Exllamav2

一、项目简介

ExLlamaV2 是高性能的 GPU 推理库，专为 EXL2 量化格式设计，在消费级显卡上提供极高的推理速度与较低的显存占用，是本地部署（如 TabbyAPI）的常用后端。

二、核心特性

• EXL2 量化：灵活位宽，速度与效果可权衡；
• 推理速度快：GPU 内核高度优化；
• 显存友好：支持大模型在有限显存运行；
• LoRA 支持：可动态加载适配器；
• 可集成：被多种前端/服务使用；
• 持续维护。

三、适用场景

• 消费级显卡本地推理；
• 需要频繁切换 LoRA；
• 追求高吞吐的本地服务。

四、快速上手

pip install exllamav2
# 加载 EXL2 模型目录并进行推理

五、注意事项

• 主要支持 EXL2 格式；
• 需 NVIDIA GPU；
• 注意 CUDA / 驱动版本匹配。