← 返回 AI 开源导航

Ray

LLM 推理与部署协议 Apache-2.0★ 44.2kPython

一、项目简介

Ray 是开源的分布式计算框架,提供简洁的 API 把 Python 代码扩展到多机多卡。它在 AI 领域常用于分布式训练、超参搜索、批量推理与数据处理,Ray Serve 也可直接服务化模型。

二、核心特性

  • 通用分布式原语:Task / Actor;
  • AI 生态库:Ray Train / Tune / Data / Serve;
  • 自动扩缩容:支持 K8s 与云;
  • 容错与调度;
  • 与主流框架集成(PyTorch、XGBoost 等);
  • 从单机到集群平滑扩展。

三、适用场景

  • 分布式训练与超参搜索;
  • 大规模批量推理与数据处理;
  • 模型服务化(Ray Serve)。

四、快速上手

pip install ray
import ray; ray.init()
@ray.remote
def f(x): return x * x
print(ray.get([f.remote(i) for i in range(4)]))

五、注意事项

  • 集群部署与资源管理有学习成本;
  • 注意节点间网络与依赖一致;
  • 小任务单机即可,避免过度设计。