← 返回 AI 开源导航

Infinity Embeddings

向量数据库

GitHub 仓库

一、项目简介

Infinity 是开源的嵌入推理服务，专注于高并发地部署 Embedding 与 Rerank 模型。它用 Rust/Python 实现，支持动态批处理与多种推理后端，适合作为 RAG 系统的向量化与重排层。

二、核心特性

  • 专注嵌入与重排：覆盖 RAG 检索链路关键环节；
  • 动态批处理：自动合并请求提升吞吐；
  • 多后端：支持 ONNX、TensorRT 等加速；
  • OpenAI 风格接口：易与现有应用集成；
  • 轻量部署：单容器运行；
  • 支持主流开源向量模型。

三、适用场景

  • RAG 的文档向量化服务；
  • 检索结果重排；
  • 高并发语义匹配。

四、快速上手

docker run -it --gpus all -p 7997:7997 \
  michaelf34/infinity:latest --model-id BAAI/bge-base-en-v1.5

五、注意事项

  • GPU 加速需 NVIDIA 环境；
  • 模型需预先选定，切换要重启服务；
  • 注意接口与客户端版本匹配。