← 返回 AI 开源导航

sentence-transformers

RAG 与知识库协议 Apache-2.0★ 19.2kPython

GitHub 仓库官方网站

一、项目简介

sentence-transformers 是基于 PyTorch 的句向量（Embedding）库，提供大量预训练模型，能把句子、段落甚至文档转成稠密向量并计算相似度，是 RAG 检索、语义搜索、文本聚类的常用底座。

二、核心特性

  • 模型库丰富：MiniLM、MPNet、多语言模型等开箱可用；
  • API 极简：model.encode() 得向量，util.cos_sim() 算相似度；
  • 支持微调：可用自有语料训练专属向量模型；
  • 生态打通：能直接加载 BGE、GTE 等中文向量模型；
  • 高效推理：支持批量编码与 GPU 加速。

三、适用场景

  • RAG 的文档向量化与检索；
  • 语义搜索、相似问答匹配；
  • 文本聚类、去重与推荐。

四、快速上手

pip install sentence-transformers
from sentence_transformers import SentenceTransformer, util
m = SentenceTransformer("BAAI/bge-base-zh-v1.5")
v = m.encode(["人工智能", "机器学习"])
print(util.cos_sim(v[0], v[1]))

五、注意事项

  • 中文检索优先选 BGE / GTE，纯英文模型中文效果差；
  • 检索前注意向量归一化，否则相似度不可比；
  • 首次加载模型需联网下载。