FastChat

一、项目简介

FastChat 是 LMSYS 开源的大模型训练、服务与评测平台，包含 Vicuna 的完整训练代码、分布式推理服务架构，以及 Chatbot Arena 的评测思路，适合想深入研究模型训练与自建聊天服务的团队。

二、核心特性

• 训练代码：Vicuna 等模型的 SFT 全流程；
• 分布式服务：Controller / Model Worker / API Server 架构；
• OpenAI 兼容 API；
• 自动评测：MT-Bench 等基准；
• 多界面：Web UI、命令行、API。

三、适用场景

• 模型微调训练实践；
• 自建类 ChatGPT 聊天服务；
• 模型能力横向评测。

四、快速上手

pip install "fschat[model_worker,webui]"
python -m fastchat.serve.controller
python -m fastchat.serve.model_worker --model-path lmsys/vicuna-7b-v1.5
python -m fastchat.serve.openai_api_server --host localhost --port 8000

五、注意事项

• 训练需要大量显存与数据准备；
• 服务组件较多，部署需按序启动；
• 适合有一定工程能力的团队。