管理 Kueue on Kueue

设置 RBAC

Mon, 14 Feb 2022 00:00:00 +0000

This page shows you how to setup role-based access control (RBAC) in your cluster to control the types of users that can view and create Kueue objects.

The page is intended for a batch administrator.

本页面介绍了如何在集群中设置基于角色的访问控制（RBAC），以控制可以查看和创建 Kueue 对象的用户类型。

本页面适用于批处理管理员。

开始之前

确保满足以下条件：

Kubernetes 集群正在运行。
kubectl 命令行工具与你的集群通信。
Kueue 已安装。

本页面假设你已经熟悉 Kubernetes 中的 RBAC。

管理集群配额

Mon, 14 Mar 2022 00:00:00 +0000

本页面向你展示如何管理集群资源配额，并在租户之间建立公平共享规则。

本页面的目标读者是批处理管理员。

你开始之前

请确保满足以下条件：

Kubernetes 集群已运行。
kubectl 命令行工具能与你的集群通信。
已安装 Kueue。

安装单一 ClusterQueue 和 ResourceFlavor

在以下步骤中，你将创建一个排队系统用于管理集群的配额，它拥有一个 ClusterQueue 和一个 ResourceFlavor。

使用工作负载优先级（`WorkloadPriority`）运行作业（Job）

Mon, 02 Oct 2023 00:00:00 +0000

通常，在 Kueue 中，工作负载的优先级是使用 Pod 的优先级来计算的，用于排队和抢占。

通过使用 WorkloadPriorityClass，你可以独立管理工作负载的优先级，以便进行排队和抢占，与 Pod 的优先级分开。

此页面包含如何使用工作负载优先级运行作业的说明。

在你开始之前

确保满足以下条件：

一个正在运行的 Kubernetes 集群。
kubectl 命令行工具能够与你的集群通信。
Kueue 已安装。

0. 创建 WorkloadPriorityClass

首先应该创建 WorkloadPriorityClass。

使用就绪态 Pod 配置全有或全无调度

Mon, 14 Mar 2022 00:00:00 +0000

有些作业需要所有 Pod 同时运行才能工作；例如，同步的分布式训练或基于 MPI 的作业需要 Pod 间通信。在默认的 Kueue 配置下，如果可用的物理资源与 Kueue 中配置的配额不匹配，这类作业可能会死锁。而如果这些作业的 Pod 能够顺序调度，则可以顺利完成。

为了解决这一需求，从 0.3.0 版本开始，我们引入了一个可选机制，通过 waitForPodsReady 标志进行配置，提供了全有或全无调度的简单实现。启用后，Kueue 会监控工作负载，直到其所有 Pod 就绪（即已调度、运行并通过可选的就绪态检测）。如果在配置的超时时间内工作负载对应的所有 Pod 并未完全就绪，则该工作负载会被驱逐并重新排队。

本页面向你展示如何配置 Kueue 使用 waitForPodsReady，这是全有或全无调度的简单实现。本页面面向批处理管理员。

开始之前

请确保满足以下条件：

Kubernetes 集群已运行。
kubectl 命令行工具已能与你的集群通信。
已安装 Kueue，版本为 0.3.0 或更高。

启用 waitForPodsReady

请按照此处的说明，使用如下字段扩展配置来安装某个发布版本：

设置 MultiKueue 环境

Mon, 26 Feb 2024 00:00:00 +0000

本教程解释了如何在 MultiKueue 环境中配置管理集群和一个工作集群来运行 JobSets 和 batch/Jobs。

请查看概念部分了解 MultiKueue 概述。

假设您的管理集群名为 manager-cluster，工作集群名为 worker1-cluster。要遵循本教程，请确保所有这些集群的凭据都存在于您本地机器的 kubeconfig 中。查看 kubectl 文档了解更多关于如何配置多集群访问的信息。

在工作集群中

注意

确保您当前的 kubectl 配置指向工作集群。

运行：

kubectl config use-context worker1-cluster

当 MultiKueue 将工作负载从管理集群分发到工作集群时，它期望作业的命名空间和 LocalQueue 也存在于工作集群中。换句话说，您应该确保工作集群配置在命名空间和 LocalQueues 方面与管理集群的配置保持一致。

要在 default 命名空间中创建示例队列设置，您可以应用以下清单：

apiVersion: kueue.x-k8s.io/v1beta2
kind: ResourceFlavor
metadata:
  name: "default-flavor"
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: ClusterQueue
metadata:
  name: "cluster-queue"
spec:
  namespaceSelector: {} # match all.
  resourceGroups:
  - coveredResources: ["cpu", "memory"]
    flavors:
    - name: "default-flavor"
      resources:
      - name: "cpu"
        nominalQuota: 9
      - name: "memory"
        nominalQuota: 36Gi
---
apiVersion: kueue.x-k8s.io/v1beta2
kind: LocalQueue
metadata:
  namespace: "default"
  name: "user-queue"
spec:
  clusterQueue: "cluster-queue"

MultiKueue 专用 kubeconfig

为了在工作集群中委托 Job，管理集群需要能够创建、删除和监视工作负载及其父 Job。

设置 Workload 的垃圾回收

Fri, 16 May 2025 00:00:00 +0000

本指南演示如何在 Kueue 中启用并配置可选的对象保留策略，以在指定时间后自动删除已完成或已停用的 Workload。默认情况下，Kueue 会在集群中永久保留所有 Workload 对象；通过对象保留策略，可以释放 etcd 存储并降低 Kueue 的内存占用。

前置条件

可正常运行的 Kueue v0.12 或更高版本。

设置保留策略

按照此处描述的说明安装自定义配置的发布版本，并通过添加以下字段扩展配置：

启用 Dashboard（KueueViz）

Fri, 18 Jul 2025 00:00:00 +0000

注意

为了简化安装和升级过程，我们建议使用 Helm 部署 Kueue。
你可以使用本地 values.yaml 文件来自定义部署以适应你的环境。
有关完整说明，请参阅 Helm chart 安装指南。

KueueViz 是一个基于 Web 的可视化工具，提供对 Kueue 工作负载、队列和资源分配的实时监控。它提供了直观的 Dashboard，用于观察作业队列状态、资源利用率和工作负载进展。

本页面展示如何在你的集群中安装和配置 KueueViz。

本页面的目标读者是批处理管理员。

开始之前

请确保满足以下条件：

Kubernetes 集群正在运行
kubectl 命令行工具可以与你的集群通信
已安装 Helm 命令行工具
你的集群中已安装 Kueue
（可选）用于外部访问的入口控制器（例如 Nginx Ingress Controller）

KueueViz 可以使用 Helm（推荐）或 kubectl 进行安装。选择最适合你工作流程的方法。