← 返回 AI 开源导航

Autoawq

训练与微调

GitHub 仓库

一、项目简介

AutoAWQ 是自动化的 AWQ（Activation-aware Weight Quantization）量化库，可将大模型压缩到 4bit 而基本不损失效果，大幅降低推理显存需求，并被 vLLM、Transformers 等主流推理框架支持。

二、核心特性

  • 自动化 AWQ 量化：无需手工调参；
  • 4bit 权重压缩：显存占用显著下降；
  • 效果保持较好：相比朴素量化损失更小；
  • 量化速度快：校准效率高；
  • 生态兼容：vLLM / Transformers 可直接加载。

三、适用场景

  • 显存受限环境下的本地部署；
  • 推理加速与成本压缩；
  • 模型量化分发与交付。

四、快速上手

pip install autoawq
from awq import AutoAWQForCausalLM
model = AutoAWQForCausalLM.from_pretrained("Qwen/Qwen2.5-7B-Instruct")
model.quantize(...); model.save_quantized("qwen2.5-7b-awq")

五、注意事项

  • 需 NVIDIA GPU 进行校准；
  • 量化后务必做效果评测；
  • 注意模型与后端版本兼容。