Langfuse

一、项目简介

Langfuse 是开源的 LLM 应用可观测性与评测平台。它可以记录每次模型调用的完整链路（提示、回复、耗时、token 成本），支持打分、数据集评测与版本对比，是 AI 应用上线后持续优化的关键工具。

二、核心特性

• 调用追踪（Tracing）：完整记录提示、上下文、工具调用链路；
• 成本与耗时分析：按模型/会话统计 token 与费用；
• 评分与人工标注：可对输出质量打分；
• 数据集与回归评测：改提示后对比效果；
• 提示管理：版本化与灰度发布；
• 可自托管，支持多框架集成（LangChain、LlamaIndex 等）。

三、适用场景

• AI 应用上线后的质量监控与成本管控；
• 提示词迭代的效果对比与回归测试；
• 需要审计模型输出的企业场景。

四、快速上手

docker compose up -d        # 官方 docker-compose 一键启动
pip install langfuse         # Python SDK 接入

五、注意事项

• 需妥善保管 API key 与访问权限；
• 自托管需规划数据库与持久化；
• 追踪数据量大时注意存储与清理策略。