陈显林-个人网站 Stay Hungry,Stay Foolish.

大模型推理框架深度对比:vLLM、SGLang、LMDeploy与Ollama的架构特性与场景适配

在大模型技术快速迭代的今天,推理框架的选择直接影响模型部署效率与业务落地成本。本文从核心技术、性能表现、硬件适配、适用场景四大维度,对比分析 vLLM、SGLang、LMDeploy 与

cxl cxl Published on 2025-05-11

LMDeploy常用命令

记录一下平时在使用LMDeploy中可能会经常用到的一些命令以及选项 一、核心子命令功能架构 lmdeploy serve ├── api_server # API服务部署核心模块 ├── gradio # 网页交互界面生成模块 ├── api_client

cxl cxl Published on 2025-04-20

探索LMDeploy:开源跨平台大模型工具的无限可能

LMDeploy 是由上海人工智能实验室开发的专为大语言模型(LLM)和视觉-语言模型(VLM)设计的高效部署工具箱,其核心目标是通过压缩、量化和服务化技术降低模型推理成本并提升性能。没错,咱们国人团队开发的,属于国货,made in china!

cxl cxl Published on 2025-04-19