记录一下平时在使用LMDeploy中可能会经常用到的一些命令以及选项 一、核心子命令功能架构 lmdeploy serve ├── api_server # API服务部署核心模块 ├── gradio # 网页交互界面生成模块 ├── api_client
LMDeploy 是由上海人工智能实验室开发的专为大语言模型(LLM)和视觉-语言模型(VLM)设计的高效部署工具箱,其核心目标是通过压缩、量化和服务化技术降低模型推理成本并提升性能。没错,咱们国人团队开发的,属于国货,made in china!