← 返回 AI 开源导航

Huggingface Datasets

训练与微调

GitHub 仓库

一、项目简介

Hugging Face Datasets 是开源的数据集管理与加载库，提供海量公开数据集的统一访问接口，支持流式加载、内存映射与高效预处理，是训练与评测 LLM / RAG 系统时处理数据的标配工具。

二、核心特性

  • 统一 API：一行代码加载上万个数据集；
  • 内存映射：大数据集无需全量载入内存；
  • 流式加载：支持边下边训；
  • 高效预处理：内置 map / filter / 多进程；
  • 与 Transformers 无缝配合；
  • 支持多种格式（CSV / JSON / Parquet 等）。

三、适用场景

  • 模型训练/微调的数据加载；
  • RAG 评测数据集构建；
  • 大规模语料预处理与清洗。

四、快速上手

pip install datasets
from datasets import load_dataset
ds = load_dataset("wikitext", "wikitext-2-raw-v1", split="train")
print(len(ds), ds[0])

五、注意事项

  • 首次加载需下载数据，注意磁盘与网络；
  • 大数据集建议用 streaming 模式；
  • 注意数据集许可与使用条款。