← 返回 AI 开源导航

Lmdeploy

LLM 推理与部署

GitHub 仓库

一、项目简介

LMDeploy 是上海人工智能实验室开源的大模型压缩、部署与服务工具箱。它提供自研的 TurboMind 推理引擎，支持权重量化与 KV Cache 量化，在国产硬件适配与部署一体化方面具有特色，是国内团队常用的推理方案之一。

二、核心特性

  • 高效量化：支持 W4A16 权重量化与 KV Cache 量化，显存占用显著下降；
  • TurboMind 引擎：自研高性能推理内核，吞吐优秀；
  • 模型覆盖：支持 InternLM、Llama、Qwen、Baichuan 等主流模型；
  • 服务化：内置 API Server 与 Gradio 界面，便于集成；
  • 高级特性：持久化批处理、张量并行、多机部署。

三、适用场景

  • 显存受限环境下的大模型部署；
  • 生产级高并发推理服务；
  • 国产化/信创环境下的模型落地。

四、快速上手

pip install lmdeploy
lmdeploy serve api_server Qwen/Qwen2.5-7B-Instruct
lmdeploy serve gradio Qwen/Qwen2.5-7B-Instruct

五、注意事项

  • 不同量化策略对精度影响不同，需按业务容忍度选择；
  • 部分高级特性依赖特定后端与硬件；
  • 注意模型格式与版本兼容。