← 返回 AI 开源导航

Unstructured

RAG 与知识库协议 Apache-2.0★ 15.7kHTML

GitHub 仓库

一、项目简介

Unstructured 是开源的非结构化数据预处理库，专注把 PDF、Word、PPT、HTML 等文档解析为干净的文本与结构化元素，是 RAG 数据接入环节的高频工具，能显著提升切片与检索质量。

二、核心特性

  • 多格式支持：PDF、DOCX、PPTX、HTML、图片（OCR）等；
  • 元素抽取：标题、段落、表格、列表等结构化元素；
  • 分区（partition）API：一行代码解析文档；
  • 可对接下游：与 LangChain、LlamaIndex、向量库配合；
  • 开源 + 云服务两种形态。

三、适用场景

  • RAG 系统的文档解析与清洗；
  • 扫描件/图片 OCR 与表格提取；
  • 知识库构建前的数据预处理。

四、快速上手

pip install unstructured
from unstructured.partition.pdf import partition_pdf
els = partition_pdf("doc.pdf")
print([str(e)[:60] for e in els[:3]])

五、注意事项

  • 复杂版面/扫描件解析需额外依赖与调优；
  • 解析耗时随文档规模增长；
  • 注意 OCR 与模型组件的许可。