← 返回 AI 开源导航

Dspy

LLM 推理与部署

GitHub 仓库

一、项目简介

DSPy 是斯坦福开源的「提示编程（Prompt Programming）」框架。它把提示词当作可优化的程序模块，用少量样本自动编译与优化提示、示例甚至模型权重，从而把「手工调提示」变成「自动搜索优化」，大幅降低提示工程成本。

二、核心特性

  • 模块化抽象：用 Signature 描述输入输出，Module 组合逻辑；
  • 自动编译优化：Teleprompter 自动搜索更好的提示与少样本示例；
  • 框架集成：可对接多种 LLM 与向量库；
  • 评估驱动：内置评估流程，按指标迭代；
  • 适用广泛：RAG、分类、抽取、生成任务均可优化。

三、适用场景

  • 提示词自动优化与调参；
  • RAG 系统端到端调优；
  • 研究提示工程与自动优化方法。

四、快速上手

pip install dspy-ai
import dspy
dspy.configure(lm=dspy.LM("ollama/qwen2.5:7b", api_base="http://localhost:11434"))
class QA(dspy.Signature):
    """回答用户问题"""
    question = dspy.InputField()
    answer = dspy.OutputField()
qa = dspy.Predict(QA)
print(qa(question="什么是向量数据库").answer)

五、注意事项

  • 优化过程需要调用 LLM，有成本；
  • 需要准备有代表性的小样本与评估指标；
  • 概念较新，建议先跑通官方示例。