在大模型技术快速迭代的今天，推理框架的选择直接影响模型部署效率与业务落地成本。本文从核心技术、性能表现、硬件适配、适用场景四大维度，对比分析 vLLM、SGLang、LMDeploy 与 Ollama 四大主流框架的差异，为开发者提供选型参考。
一、核心技术解析
1. vLLM：GPU并行计算的极致优化
核心创新：基于PagedAttention技术实现显存分页管理，动态批处理（Dynamic Batching）提升GPU利用率至90%以上。
架构设计：采用Ray框架管理分布式Worker，支持张量并行（TP）与流水线并行（PP），单卡可处理千级Token序列。
量化支持：兼容GPTQ、AWQ、INT4/8量化，显存占用降低40%-60%。
2. SGLang：结构化输出与分布式计算
核心技术：RadixAttention实现前缀缓存与零开销批处理，支持JSON/XML结构化输出加速。
架构亮点：模块化Worker设计，支持张量并行（TP）、数据并行（DP）与专家并行（EP），多节点协同计算效率提升40%。
多模态扩展：集成xgrammar库，快速处理多模态输入与控制流任务。
3. LMDeploy：国产硬件的深度适配
国产优化：针对昇腾910B、海光DCU等国产GPU优化显存分配算法，多模态任务吞吐量提升30%。
量化技术：支持权重量化（W4A16）与KV缓存量化（KV8），4bit推理速度达FP16的2.4倍。
服务模式：提供请求分发服务，支持多模型在100+节点集群中动态调度。
4. Ollama：本地化轻量部署标杆
极简架构：基于llama.cpp封装，C/C++与Go混合编程实现零配置安装，支持1700+预训练模型一键运行。
量化策略：默认加载INT4量化模型，7B模型显存占用仅4.7GB，CPU推理延迟低于3秒。
隐私保护：全离线运行模式，数据不离开本地设备，符合医疗、金融等敏感行业规范。
二、性能指标对比
数据来源：各框架官方测试报告及社区实测
三、硬件适配与部署成本
1. vLLM
适用硬件：NVIDIA A100/H100（需CUDA 12+）
部署成本：单卡80GB显存部署70B模型，成本约$15,000
扩展性：支持动态扩展至百卡集群，适合云服务商
2. SGLang
适用硬件：NVIDIA/AMD GPU（需ROCm 5.6+）
部署成本：单卡40GB显存部署13B模型，成本约$3,500
扩展性：多节点并行需手动配置网络拓扑
3. LMDeploy
适用硬件：昇腾910B/海光DCU（国产芯片）
部署成本：昇腾910B集群单节点成本$80,000，性价比优于同算力NVIDIA方案
扩展性：内置Kubernetes集成，支持自动扩缩容
4. Ollama
适用硬件：消费级GPU（RTX 3090起）或纯CPU环境
部署成本：单卡24GB显存部署7B模型，成本<$1,000
扩展性：多卡支持有限，适合本地原型验证
四CPU与GPU的支持对比
1. vLLM
GPU支持：
原生支持NVIDIA CUDA架构（需计算能力≥7.0），通过PagedAttention技术实现显存分页管理，支持多卡张量并行（TP）和流水线并行（PP）。
支持混合精度计算（FP16/FP32/FP8），在H100/A100等高端GPU上可实现单卡千级Token吞吐量。
最新版本支持摩尔线程MUSA架构GPU，通过MUSIFY工具实现CUDA代码无缝迁移。
CPU支持：
需手动编译安装CPU后端（依赖Intel扩展PyTorch），性能较低（约20-50 TPS），仅适合轻量级测试。
不支持动态批处理，无法有效利用多核CPU资源。
2. SGLang
GPU支持：
专为GPU设计，通过RadixAttention技术实现跨GPU的KV缓存复用，支持分布式多节点推理。
优化FP8/INT4量化，在A100/H100上实现比vLLM高30%的吞吐量。
支持DeepSeek等模型的数据并行注意力优化，减少显存碎片。
CPU支持：
未明确支持纯CPU推理，但可通过GPU卸载部分计算到CPU（需手动配置），性能损耗显著。
3. LMDeploy
GPU支持：
原生支持CUDA 11.3+，针对昇腾910B等国产GPU优化显存分配算法，多模态任务吞吐量提升30%。
支持W8A8量化，在Ascend NPU上实现低精度推理，显存占用降低40%。
CPU支持：
依赖GPU加速，无纯CPU模式；通过OpenVINO实现部分模型CPU卸载，延迟增加3-5倍。
4. Ollama
GPU支持：
依赖GGML库实现GPU加速（仅CUDA），性能较低（约50-100 TPS），显存利用率不足20%。
不支持动态显存扩展，大模型需分片加载至CPU。
CPU支持：
原生支持纯CPU推理，通过BLAS库优化矩阵运算，7B模型在16核CPU上可达3-5 TPS。
支持多线程请求处理，但单线程性能仅为GPU的1/20。
五、典型场景适配建议
1. 企业级高并发服务
首选vLLM：金融交易、智能客服等场景，需处理每秒万级请求，vLLM的动态批处理与PagedAttention技术可降低40%硬件成本。
2. 多模态与复杂控制流
推荐SGLang：医疗报告生成、多轮对话系统等场景，其结构化输出与KV缓存优化显著提升任务完成率。
3. 国产化替代需求
LMDeploy优势：政府、央企等机构部署时，国产芯片兼容性+数据安全合规性为核心考量。
4. 个人开发与隐私场景
Ollama最佳：学术研究、本地Demo测试等场景，零配置部署与离线特性保障数据隐私。
六、选型决策树
是否需要企业级高并发？
├─ 是 → vLLM
└─ 否 → 是否涉及多模态/复杂控制流？
├─ 是 → SGLang
└─ 否 → 是否强制国产化？
├─ 是 → LMDeploy
└─ 否 → 是否个人/低资源环境？
├─ 是 → Ollama
└─ 否 → 重新评估需求七、未来趋势与局限
vLLM：正探索与MLX框架的融合，计划支持Apple Silicon芯片。
SGLang：社区反馈学习曲线陡峭，官方计划简化API设计。
LMDeploy：多模态融合能力待加强，2025Q2将推出视频理解插件。
Ollama：Windows支持尚不稳定，GPU加速依赖第三方库。
通过本文对比可见，框架选择需综合性能需求、硬件条件与业务场景。建议开发者结合官方文档进行基准测试，优先在目标环境中验证关键指标。随着大模型推理技术的持续演进，框架的易用性与多模态支持能力将成为下一阶段竞争焦点。