LocalAI

一、项目简介

LocalAI 是开源的本地 AI 推理服务，完全兼容 OpenAI API。它可以在普通 CPU 上（也支持 GPU）运行大语言模型、图像生成、语音转写等多种能力，目标是成为「可自托管的 OpenAI 替代品」。

二、核心特性

• OpenAI API 兼容：现有应用改一行 base_url 即可接入；
• 多模态能力：文本生成、图像生成、TTS/STT；
• CPU 优先：无显卡也能跑，GPU 可加速；
• 模型自动管理：按需下载与加载；
• 完全离线，数据不出内网；
• 轻量部署（Docker）。

三、适用场景

• 内网 / 离线环境提供 AI 能力；
• 无 GPU 的低成本部署；
• 想用 OpenAI 接口但数据必须自主可控的团队。

四、快速上手

docker run -p 8080:8080 localai/localai:latest
curl http://localhost:8080/v1/chat/completions 
  -H "Content-Type: application/json" 
  -d '{"model":"qwen2.5","messages":[{"role":"user","content":"你好"}]}'

五、注意事项

• CPU 推理速度有限，高并发需 GPU；
• 注意模型格式与后端匹配（gguf / onnx 等）；
• 生产环境需规划内存与并发上限。