← 返回 AI 开源导航

Evaluate

训练与微调

GitHub 仓库

一、项目简介

Evaluate 是 Hugging Face 开源的模型评测库，提供统一的接口访问上百种评测指标（准确率、F1、BLEU、ROUGE 等），并支持自定义指标，方便在训练与 RAG 系统迭代中客观比较效果。

二、核心特性

  • 统一 API：load("accuracy") 即可调用；
  • 指标丰富：覆盖分类、生成、翻译、检索等；
  • 支持自定义指标；
  • 与 datasets / transformers 集成；
  • 支持批量与分布式评测；
  • 社区持续贡献。

三、适用场景

  • 模型训练效果评测；
  • RAG 系统迭代对比；
  • 实验回归测试。

四、快速上手

pip install evaluate
import evaluate
acc = evaluate.load("accuracy")
print(acc.compute(references=[1,0], predictions=[1,0]))

五、注意事项

  • 首次加载需下载指标脚本；
  • 部分指标依赖外部库；
  • 注意版本兼容。