← 返回 AI 开源导航

Text Embeddings Inference

向量数据库协议 Apache-2.0★ 5.1kRust

GitHub 仓库官方网站

一、项目简介

Text Embeddings Inference（TEI）是 Hugging Face 出品的高性能向量推理服务，用 Rust 编写，专门用于高并发部署 Embedding 和 Rerank 模型，常与向量数据库搭配构成 RAG 的检索层。

二、核心特性

  • 高性能：Rust 实现，支持 ONNX / TensorRT 后端；
  • 双能力：同时支持 Embedding 与 Rerank 模型；
  • 动态批处理：自动合并请求，提升吞吐；
  • 轻量部署：单容器即可运行；
  • 易集成：标准 HTTP API，兼容常见框架。

三、适用场景

  • RAG 系统的文档向量化服务；
  • 检索结果重排（Rerank）服务；
  • 生产级高并发语义检索。

四、快速上手

docker run -p 8080:80 
  ghcr.io/huggingface/text-embeddings-inference:cpu-1.5 
  --model-id BAAI/bge-base-zh-v1.5

五、注意事项

  • CPU 版速度有限，生产建议 GPU 版；
  • 需预先确定 Embedding 模型与维度；
  • 注意请求超时与批处理大小配置。