← 返回 AI 开源导航

Lightllm

LLM 推理与部署

GitHub 仓库

一、项目简介

LightLLM 是轻量级高性能的 LLM 推理与服务框架，采用 Python + Triton 实现。它以「低延迟、高吞吐、易部署」为目标，通过 Token Attention 等机制高效管理显存，适合研究实验与生产部署。

二、核心特性

  • Triton 高性能内核：自定义算子提升计算效率；
  • Token Attention：按 token 粒度管理 KV Cache，降低碎片；
  • 并行支持：Tensor 并行与 Pipeline 并行；
  • FlashAttention 集成；
  • OpenAI 兼容接口；
  • 轻量部署，代码结构清晰易改造。

三、适用场景

  • 高吞吐在线推理服务；
  • 多卡 / 多机部署；
  • 推理引擎性能优化研究。

四、快速上手

pip install lightllm
python -m lightllm.server.api_server \
  --model_dir /path/to/model --port 8080

五、注意事项

  • 依赖 Triton，需匹配 PyTorch/CUDA 版本；
  • 模型覆盖度不如 vLLM 全面；
  • 生产环境建议灰度验证。