← 返回 AI 开源导航

Aphrodite Engine

LLM 推理与部署

GitHub 仓库

一、项目简介

Aphrodite Engine 是面向本地部署的高性能 LLM 推理引擎，由 PygmalionAI 社区维护。它在 vLLM 的思路基础上做了大量工程优化，主打「消费级 GPU 上的极致吞吐」与「精细的采样控制」，非常适合本地对话、角色扮演与高并发自建服务。

二、核心特性

  • PagedAttention：分页管理 KV Cache，显存利用率高；
  • 连续批处理：请求动态进出批次，GPU 几乎不空转；
  • 量化支持：AWQ、GPTQ 等主流方案；
  • 采样控制精细：多种惩罚、logit bias、多种采样器；
  • OpenAI 兼容 API：现有客户端可直接接入；
  • 多 GPU / 多节点并行支持。

三、适用场景

  • 消费级显卡自建高并发推理；
  • 本地对话与角色扮演服务；
  • 需要精细控制生成采样参数的场景。

四、快速上手

pip install aphrodite-engine
python -m aphrodite.endpoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct --port 2242

五、注意事项

  • 主要面向 NVIDIA GPU，其他硬件支持有限；
  • 属社区项目，版本更新节奏与兼容性需自行验证；
  • 高并发前建议先压测显存与延迟。