← 返回 AI 开源导航

Gptq For Llama

训练与微调

GitHub 仓库

一、项目简介

GPTQ-for-LLaMa 是较早落地的 GPTQ 量化实现，专门针对 LLaMA 系列模型做低比特权重量化。它推动了「消费级显卡本地跑大模型」的普及，其思想后被 AutoGPTQ 等更通用的方案继承与发展。

二、核心特性

  • 针对 LLaMA 优化：量化效率高；
  • 4bit 权重量化：显存占用显著下降；
  • 推理加速：低比特矩阵运算更快；
  • 开源经典：量化原理学习价值高；
  • 生态基础：影响后续量化工具；
  • 轻量依赖。

三、适用场景

  • LLaMA 系模型的本地量化部署；
  • 学习 GPTQ 量化原理；
  • 维护老旧量化项目。

四、快速上手

git clone https://github.com/qwopqwop200/GPTQ-for-LLaMa
cd GPTQ-for-LLaMa && pip install -r requirements.txt
# 按 README 执行量化脚本

五、注意事项

  • 项目较老旧，新项目建议用 AutoGPTQ；
  • 模型与 CUDA 版本兼容性需验证；
  • 量化后务必做效果回归评测。