← 返回 AI 开源导航

llama.cpp

LLM 推理与部署协议 MIT★ 132.4kC++

GitHub 仓库官方网站

一、项目简介

llama.cpp 是 ggerganov 用纯 C/C++ 编写的大模型推理引擎，主打「零依赖、可量化、能跑在端侧」。它通过 GGUF 格式与整数量化，让大模型在笔记本、树莓派甚至手机上离线运行，是本地推理生态的基石项目。

二、核心特性

  • 零依赖：无需 Python / PyTorch，编译即可用；
  • GGUF 量化：支持 2–8bit 量化，显存/内存占用极低；
  • 多后端：CPU（AVX/NEON）、CUDA、Metal、Vulkan、SYCL；
  • 端侧友好：可在嵌入式设备、手机（Termux）运行；
  • 生态广泛：Ollama、LM Studio 等工具底层均基于它。

三、适用场景

  • 资源受限环境（无 GPU、小内存）；
  • 离线/内网推理；
  • 嵌入式与移动端 AI 应用。

四、快速上手

git clone https://github.com/ggerganov/llama.cpp && cd llama.cpp
make
./main -m models/qwen2.5-7b-instruct-q4_k_m.gguf -p "你好，介绍一下你自己"

五、注意事项

  • 吞吐低于 vLLM，不适合高并发在线服务；
  • 量化越低精度损失越大，需按场景权衡（Q4_K_M 常用）；
  • 需自行下载或转换 GGUF 模型文件。