Metaflow

一、项目简介

Metaflow 是 Netflix 开源的数据科学工作流框架，让数据科学家用熟悉的 Python 组织从原型到生产的代码，内置版本追踪、容错与云集成，降低工程化门槛。

二、核心特性

• Python 优先：用装饰器和类组织流程，无需学新 DSL；
• 自动版本与追踪：每次运行的数据与模型可回溯；
• 本地到云无缝：同一份代码可在本地或云端运行；
• 容错与恢复：失败步骤可从断点重跑；
• 与 AWS 深度集成；
• 简洁易用，上手快。

三、适用场景

• 数据科学项目工程化；
• 实验到生产的流水线管理；
• 团队协作与可复现。

四、快速上手

pip install metaflow
# flow.py
from metaflow import FlowSpec, step
class MyFlow(FlowSpec):
    @step
    def start(self): self.next(self.end)
    @step
    def end(self): pass
if __name__ == "__main__": MyFlow()
# python flow.py run

五、注意事项

• 云集成偏向 AWS；其他云需自行配置；
• 大规模运行注意资源与成本；
• 注意版本兼容。