← 返回 AI 开源导航

Tabbyapi

LLM 推理与部署协议 AGPL-3.0★ 1.5kPython

GitHub 仓库

一、项目简介

TabbyAPI 是基于 ExLlamaV2 的 OpenAI 兼容 API 服务，专注在消费级显卡上高效运行 EXL2 量化模型。它启动快、占用低，并支持 LoRA 热加载，是本地部署的热门选择。

二、核心特性

  • ExLlamaV2 后端：高性能推理内核；
  • EXL2 量化：灵活位宽，显存与效果可权衡；
  • OpenAI 兼容 API；
  • LoRA 热加载：无需重启即可切换适配器；
  • 轻量部署；
  • 支持单卡 / 多卡。

三、适用场景

  • 消费级显卡本地推理；
  • 需要频繁切换 LoRA 的场景；
  • 自建轻量聊天 API。

四、快速上手

git clone https://github.com/theroyallab/tabbyAPI
cd tabbyAPI && pip install -r requirements.txt
python main.py

五、注意事项

  • 主要支持 EXL2 格式，其他格式需转换；
  • 需 NVIDIA GPU；
  • 注意依赖版本与 CUDA 匹配。