LiteLLM

一、项目简介

LiteLLM 是统一的大模型调用接口。它用一套 OpenAI 格式即可调用上百种模型服务（OpenAI、Anthropic、Azure、Ollama、本地模型等），并可部署为代理（Proxy）提供统一网关、限流、计费与日志，是多模型管理的利器。

二、核心特性

• 统一 OpenAI 格式：一套代码切换不同厂商；
• 支持 100+ 模型服务；
• 代理服务：可自建 LLM 网关；
• 负载均衡与故障转移：多 key / 多模型自动切换；
• 成本追踪与限流；
• 支持流式、函数调用、嵌入。

三、适用场景

• 多模型统一接入，避免绑定单一厂商；
• 团队自建 LLM 网关与配额管理；
• 需要成本可见性的 AI 应用。

四、快速上手

pip install litellm
from litellm import completion
r = completion(model="ollama/qwen2.5:7b",
               messages=[{"role":"user","content":"你好"}],
               api_base="http://localhost:11434")
print(r.choices[0].message.content)

五、注意事项

• 各服务商参数不完全一致，切换后需回归测试；
• 代理部署务必配置鉴权，避免密钥泄露；
• 注意各家速率限制与重试策略。