Ragas

一、项目简介

RAGAS（Retrieval Augmented Generation Assessment）是开源的 RAG 系统评测框架。它通过自动化指标量化检索与生成质量，让你在调整提示词、切片策略或向量模型后，能客观判断「变好还是变坏」。

二、核心特性

• 自动化指标：忠实度（faithfulness）、答案相关性（answer relevancy）、上下文召回/精度；
• 测试集生成：可从文档自动构造评测样本；
• 框架集成：与 LangChain、LlamaIndex 配合使用；
• 可插拔评审模型：可用自己的 LLM 作为评审；
• 端到端评估：同时衡量检索端与生成端。

三、适用场景

• RAG 系统迭代与优化；
• 提示词 / 检索策略 A/B 对比；
• 上线前的回归测试。

四、快速上手

pip install ragas
from ragas import evaluate
from datasets import Dataset
ds = Dataset.from_dict({"question":["..."], "answer":["..."], "contexts":[[...]], "ground_truth":["..."]})
print(evaluate(ds))

五、注意事项

• 评审依赖 LLM 调用，有成本；
• 自动指标不能完全替代人工判断，需结合业务审核；
• 测试集质量直接影响评测可信度。