Autogptq

一、项目简介

AutoGPTQ 是易用的 GPTQ 量化工具库，提供简洁 API 将大语言模型量化到 4bit 等低比特，并被 Transformers、vLLM 等主流框架支持，便于本地低显存部署与模型分发。

二、核心特性

• API 简洁：几行代码完成量化；
• GPTQ 4bit 量化：显存占用大幅下降；
• 框架集成：Transformers / vLLM 可加载；
• 校准灵活：支持自定义数据集；
• 社区示例丰富；
• 推理加速。

三、适用场景

• 显存受限的本地推理；
• 模型压缩与分发；
• 消费级显卡部署。

四、快速上手

pip install auto-gptq
from auto_gptq import AutoGPTQForCausalLM
model = AutoGPTQForCausalLM.from_pretrained("Qwen/Qwen2.5-7B-Instruct")

五、注意事项

• 量化需 GPU 校准，耗时依模型而定；
• 低比特有精度损失，需业务评测；
• 注意模型与后端版本兼容。