← 返回 AI 开源导航

Kserve

LLM 推理与部署

GitHub 仓库

一、项目简介

KServe 是 Kubernetes 原生的模型推理平台（原 KFServing），提供标准化的推理接口、自动扩缩容、金丝雀发布与多框架支持，是在 K8s 上做模型服务化的主流方案。

二、核心特性

  • K8s 原生：基于 CRD 定义推理服务；
  • 自动扩缩容：含缩容到零；
  • 金丝雀发布与流量切分；
  • 多框架支持：PyTorch、TensorFlow、XGBoost、sklearn 等；
  • 标准化推理协议（V2）；
  • 与 Istio / Knative 集成。

三、适用场景

  • Kubernetes 上的模型服务化；
  • 需要自动扩缩与灰度发布；
  • 云原生 AI 平台建设。

四、快速上手

kubectl apply -f https://github.com/kserve/kserve/releases/.../kserve.yaml
# 定义 InferenceService 资源部署模型

五、注意事项

  • 依赖 K8s 与相关组件（Knative / Istio）；
  • 部署与运维复杂度较高；
  • 注意版本与集群兼容性。