← 返回 AI 开源导航

Text Generation Inference

LLM 推理与部署协议 Apache-2.0★ 10.9kPython

GitHub 仓库

一、项目简介

Text Generation Inference（TGI）是 Hugging Face 开源的生产级文本生成推理服务。它支持张量并行、连续批处理、多种量化方案与流式输出，是 HF 生态中部署大模型的标准方案之一，被广泛用于线上服务。

二、核心特性

  • 连续批处理：动态合并请求，显著提升吞吐；
  • 张量并行：多 GPU 拆分，突破单卡显存限制；
  • 量化支持：bitsandbytes、GPTQ、AWQ、EETQ、FP8；
  • 流式输出：基于 SSE 的 token 流式返回；
  • 接口兼容：提供 REST 与 OpenAI 风格接口；
  • 性能优化：FlashAttention、PagedAttention 等。

三、适用场景

  • 生产环境 LLM 推理 API；
  • Hugging Face 模型的快速部署；
  • 需要流式响应与高并发的生成服务。

四、快速上手

docker run --gpus all -p 8080:80 \
  ghcr.io/huggingface/text-generation-inference:latest \
  --model-id Qwen/Qwen2.5-7B-Instruct
curl http://localhost:8080/generate -d '{"inputs":"你好"}'

五、注意事项

  • 多数场景依赖 NVIDIA GPU；
  • 需关注并发、显存与批处理参数调优；
  • 版本与模型格式需匹配。