Kubeflow vs KubeRay 对比分析与学习指南

一、项目定位

二、适用场景对比

2.1 Kubeflow 适用场景

2.2 KubeRay 适用场景

三、使用侧重点对比

四、学习路径与开发要点

4.1 Kubeflow 学习路线

基础层                    核心组件                     进阶
─────────────────────────────────────────────────────────────
Kubernetes 基础     →    Kubeflow Pipelines (KFP)  →   自定义 Pipeline 组件开发
Docker/容器化       →    Training Operators         →   分布式训练配置调优
Argo Workflows      →    KServe / Model Serving     →   推理服务定制
Istio / Knative     →    Katib (AutoML)             →   自定义搜索算法
Kustomize           →    Notebook Controller        →   平台二次开发

关键学习点：

1. KFP SDK（v2）：掌握 @component 装饰器、Pipeline DSL、Artifact 传递机制
2. Training Operator：理解 TFJob / PyTorchJob / MPIJob 的 CRD 设计及 Worker 拓扑
3. KServe：InferenceService CRD、Transformer/Predictor/Explainer 架构、自定义 Runtime
4. Katib：Experiment → Trial → Suggestion 的控制循环、自定义 Metric Collector
5. 平台集成：Istio AuthorizationPolicy、Dex 认证、Multi-tenancy Profile

4.2 KubeRay 学习路线

基础层                    核心组件                     进阶
─────────────────────────────────────────────────────────────
Ray Core 编程模型   →    KubeRay Operator           →   Autoscaler 定制
Task & Actor API    →    RayCluster CRD             →   自定义调度策略
Ray 资源管理        →    RayJob CRD                 →   Fault Tolerance 调优
Kubernetes Operator →    RayService CRD             →   GCS FT (HA) 配置
Go / controller-    →    Ray Dashboard 集成         →   多集群管理
runtime

关键学习点：

1. Ray Core：深入理解 Task/Actor 模型、Object Store、GCS 架构、Placement Group
2. KubeRay Operator 源码：基于 Go controller-runtime，核心是三个 Controller（RayCluster/RayJob/RayService）
3. Autoscaler 机制：Ray Autoscaler 如何与 K8s 协作，idleTimeoutSeconds、upscalingMode 等参数调优
4. RayService 滚动升级：理解 Pending → Active 集群切换的状态机
5. 资源调度：rayStartParams 中的 num-cpus、num-gpus、resources 与 K8s resource requests 的映射关系

五、核心差异总结

六、学习资源推荐

6.1 Kubeflow 学习资源

官方文档与入门

核心组件文档

GitHub 仓库

视频教程

6.2 KubeRay 学习资源

官方文档与入门

Ray 框架文档（必读前置）

GitHub 仓库

在线课程

博客与实战

6.3 通用基础资源

七、选型建议

• 选 Kubeflow：需要全流程 MLOps 管控（实验追踪、Pipeline 编排、模型注册、多框架支持），且团队愿意承担较重的平台运维成本
• 选 KubeRay：核心诉求是高性能分布式计算运行时（弹性训练、在线推理、数据处理），追求轻量部署和 Ray 生态原生体验
• 两者结合：用 Kubeflow 做上层编排和实验管理，用 KubeRay 做底层分布式执行引擎 —— 这也是当前业界越来越常见的架构模式

推荐学习顺序

如果侧重 MLOps 平台建设：

1. Kubernetes 基础 → 2. Kubeflow 安装与 Pipeline 入门 → 3. Training Operator (PyTorchJob) → 4. KServe 模型服务 → 5. Katib 超参调优 → 6. 平台定制开发

如果侧重分布式计算运行时：

1. Ray Core 编程模型 → 2. Ray Train / Serve / Data → 3. KubeRay Operator 部署 → 4. RayJob / RayService 实战 → 5. Autoscaler 与 HA 配置 → 6. Operator 源码与定制开发