← 返回 AI 开源导航

Optuna Tuning

训练与微调

一、项目简介

Optuna 是开源的超参数自动优化框架，由 Preferred Networks 开发。它通过高效的搜索算法（TPE、CMA-ES 等）、自动剪枝与可视化，帮助你在不写大量样板代码的情况下找到更优参数，也常用于 RAG 系统的切片与检索策略调优。

二、核心特性

  • 自动超参搜索：TPE / 随机 / 网格 / CMA-ES；
  • 剪枝（Pruning）：提前终止无望试验，省资源；
  • 可视化：优化历史、参数重要性；
  • 框架无关：可接入任意 Python 训练代码；
  • 分布式并行搜索；
  • 存储后端可插拔。

三、适用场景

  • 模型训练超参数调优；
  • RAG 系统切片/检索策略优化；
  • 自动搜索最佳配置。

四、快速上手

pip install optuna
import optuna
def objective(trial):
    lr = trial.suggest_float("lr", 1e-5, 1e-2, log=True)
    return train(lr)
study = optuna.create_study(direction="minimize")
study.optimize(objective, n_trials=50)
print(study.best_params)

五、注意事项

  • 搜索空间设计直接影响效果；
  • 剪枝需配合合理中间指标；
  • 大规模搜索注意资源与时间。