← 返回 AI 开源导航

Powerinfer

LLM 推理与部署协议 MIT★ 9.9kC++

GitHub 仓库

一、项目简介

PowerInfer 是面向消费级硬件的高速推理引擎，利用 Transformer 激活的「局部性」特征，把高频激活（热）神经元放 GPU、低频（冷）神经元放 CPU，用 CPU+GPU 协同大幅提升单卡推理速度。

二、核心特性

  • CPU / GPU 混合推理：热神经元上 GPU，冷神经元上 CPU；
  • 激活局部性优化：减少 GPU 显存压力；
  • 消费级显卡友好：无需大显存专业卡；
  • 稀疏计算：跳过不激活部分，提升速度；
  • 兼容常见模型格式；
  • 开源实现。

三、适用场景

  • 单张消费卡本地跑较大模型；
  • 显存不足但内存充足的机器；
  • 低成本推理部署。

四、快速上手

git clone https://github.com/SJTU-IPADS/PowerInfer
cd PowerInfer && make
./build/bin/main -m model.gguf -p "你好"

五、注意事项

  • 需支持特定指令集的 CPU；
  • 加速效果依模型与硬件而异；
  • 项目较新，需关注更新。