Bitsandbytes

一、项目简介

bitsandbytes 是开源的量化与优化库，提供 8bit / 4bit 量化、NF4 数据类型与低显存优化器。它是 QLoRA 低显存微调与大模型推理显存压缩的关键依赖，让消费级显卡也能训练较大模型。

二、核心特性

• 8bit / 4bit 量化：大幅压缩模型显存；
• NF4 数据类型：针对正态分布权重优化；
• 低显存优化器：如 paged optimizers；
• 与 Transformers / PEFT 无缝集成；
• CUDA 加速；
• 效果损失可控。

三、适用场景

• QLoRA 低显存微调；
• 大模型推理显存压缩；
• 消费级显卡模型训练。

四、快速上手

pip install bitsandbytes
from transformers import AutoModelForCausalLM
m = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-7B-Instruct",
        load_in_4bit=True, device_map="auto")

五、注意事项

• 主要支持 NVIDIA GPU（CUDA）；
• 量化会带来精度损失，需业务评测；
• 版本与 CUDA / PyTorch 需匹配。