Xinference

一、项目简介

Xinference（Xorbits Inference）是开源模型推理平台，一条命令即可部署 LLM、Embedding、Rerank、语音识别等多类模型，并统一提供 OpenAI 兼容 API，适合做团队内部的统一模型服务层。

二、核心特性

• 多模型类型：LLM / Embedding / Rerank / 语音；
• 一键部署：内置模型库，命令行直接启动；
• 分布式与多卡：支持横向扩展；
• OpenAI 兼容接口：现有应用无缝切换；
• Web UI：可视化管理与监控。

三、适用场景

• 统一托管多类模型（生成 + 向量 + 重排）；
• RAG 全链路服务；
• 团队内部模型共享与治理。

四、快速上手

pip install "xinference[all]"
xinference-local --host 0.0.0.0 --port 9997

五、注意事项

• 资源占用较大，需按模型规模规划；
• 模型下载依赖网络，国内可配置镜像；
• 生产环境注意鉴权与持久化。