Skip to content

策略管理

「策略管理」面向平台管理员,用于配置分布式训练调度策略、训练队列、资源回收策略与任务优先级体系,实现算力资源的高效调度与闲置回收。

入口路径:左侧菜单 AI 智算管理 > 策略管理,页面路由 /admin/ai/schedule

策略管理模块菜单

页面菜单

页面路由说明
训练调度策略/admin/ai/manage/schedule-configVolcano 调度策略配置
创建训练调度策略/admin/ai/manage/schedule-config/create新建调度策略
训练调度策略详情/admin/ai/manage/schedule-config/details/:uuid查看策略版本历史
训练队列管理/admin/ai/manage/train-queueVolcano 队列管理
资源回收策略/admin/ai/manage/recycle-strategy平台/租户/项目级回收策略
优先级策略/admin/ai/manage/priority-config全局优先级开关与默认值

训练调度策略

训练调度策略用于自定义 Volcano 调度器的行为、策略与算法组合,影响训练任务的调度顺序与资源分配。

查看调度策略

  1. 进入 AI 智算管理 > 策略管理 > 训练调度策略
  2. 列表展示:策略名称、Volcano 版本模板、状态(启用/禁用)、namespace、创建时间。
  3. 使用顶部筛选栏按名称、Volcano 版本模板、状态、namespace 查询。
  4. 点击策略名称进入详情页,查看当前策略的小版本号(创建时间戳)与完整配置。

训练调度策略详情页

训练调度策略列表页

创建调度策略

  1. 在训练调度策略列表页点击「创建调度策略」。
  2. 填写基础信息:
    • 名称:策略唯一标识。
    • Volcano 版本模板:选择适配的 Volcano 版本。
    • namespace:策略生效的命名空间。
  3. 配置调度行为(可多选/组合):
    • enqueue:任务入队行为。
    • allocate:资源分配行为。
    • preempt:抢占行为。
    • reclaim:资源回收行为。
    • backfill:回填调度行为。
  4. 配置调度策略(可多选/组合):
    • priority:优先级策略。
    • gang:Gang 调度,可配置 enablepreemptable
    • conformance:一致性策略。
  5. 配置调度算法(可多选/组合):
    • overcommit:超分算法。
    • drf:Dominant Resource Fairness,可配置 enablepreemptable
    • deviceshare:设备共享算法。
    • predicates:谓词过滤算法。
    • proportion:比例调度算法。
    • nodeorder:节点排序算法。
    • binpack:紧凑装箱算法,可配置 arguments。
  6. 点击「创建」。

创建调度策略表单,标注调度行为/策略/算法

管理调度策略

  1. 在列表行内点击「更多操作」:
    • 启用/禁用:控制策略是否生效,无需删除即可控制生效范围。
    • 编辑:修改调度行为、策略、算法组合;修改后会生成新的小版本号。
    • 删除:删除不再使用的策略。

训练队列管理

训练队列对应 Volcano 队列,用于对训练任务进行队列化调度与资源隔离。

查看训练队列

  1. 进入 AI 智算管理 > 策略管理 > 训练队列管理
  2. 列表每次加载前自动同步 volcano 队列,展示:队列名称/别名、权重、可被回收、状态、已分配资源(CPU/内存/VGPU)、关联工作空间数量、创建人。
  3. 点击「任务」列中的数值,可跳转对应状态的训练任务列表页。
  4. 将鼠标悬停在任务数量上,可查看关联任务概要。

训练队列管理列表页

创建训练队列

创建训练队列弹窗

  1. 在训练队列管理列表页点击「创建训练队列」。
  2. 填写配置:
    • 名称:队列唯一标识。
    • 别名:展示名称。
    • 权重:影响队列在调度中的优先级,数值越大优先级越高。
    • 可被回收:开启后该队列资源可被回收策略回收。
    • 关联工作空间:选择该队列可被哪些租户使用。
  3. 点击「创建」。

管理训练队列

  1. 在列表行内点击「更多操作」:
    • 编辑:修改别名、权重、可被回收状态、关联工作空间。
    • 删除:系统队列(default/root)以及有关联运行中任务的队列禁止删除。

资源回收策略

资源回收策略用于按显存利用率、算力利用率与持续时间自动回收闲置资源,覆盖容器实例、训练任务、推理服务、微调任务四类计算资源。

查看回收策略

  1. 进入 AI 智算管理 > 策略管理 > 资源回收策略
  2. 列表展示:类型、名称、作用范围、显存利用率、算力利用率、持续时间(小时)。
  3. 使用顶部筛选栏按类型、作用范围、名称查询。

资源回收策略列表页

创建回收策略

  1. 在资源回收策略列表页点击「创建策略」。
  2. 选择作用范围:
    • 平台:对整个平台生效。
    • 工作空间:对指定租户生效。
    • 项目:对指定项目生效。
  3. 填写配置:
    • 所属工作空间/项目:根据作用范围选择。
    • 作用范围:容器实例 / 训练任务 / 推理服务 / 微调任务。
    • 持续时间:小时,超过该时间且满足利用率条件即触发回收。
    • 算力利用率:百分比阈值,低于该值视为闲置。
    • 显存利用率:百分比阈值,低于该值视为闲置。
  4. 点击「保存」。

创建回收策略表单

管理回收策略

  1. 在列表行内点击「更多操作」:
    • 修改:调整利用率阈值、持续时间、作用范围。
    • 删除:删除不再需要的策略。

优先级策略

优先级策略用于配置任务创建时的默认优先级,以及 GPU/CPU 优先级功能的全局开关。

配置优先级策略

  1. 进入 AI 智算管理 > 策略管理 > 优先级策略
  2. 在页面顶部开启或关闭「GPU 优先级」和「CPU 优先级」全局开关。
  3. 在下方表格中为三类资源分别设置默认优先级:
    • 容器实例:创建容器实例时的默认优先级。
    • 推理服务:创建推理服务时的默认优先级。
    • 自定义服务:创建自定义服务时的默认优先级。
  4. 自定义高/低优先级的显示名称(如将「高」改为「紧急」,将「低」改为「一般」);高/低标签会联动更新以保持对应关系一致。
  5. 所有配置变更即时保存至平台全局配置,无需额外确认。

优先级策略配置页

常见问题

Q:训练任务一直 Pending 是否与调度策略有关? A:可能有关。请检查任务所选队列对应的调度策略、队列权重、以及是否启用了 Gang 调度导致最小可用实例数无法满足。

Q:资源回收策略会误删正在运行的任务吗? A:回收策略按利用率阈值和持续时间双重判断;如果任务确实在运行但利用率持续低于阈值,也会被回收。建议对关键任务关闭可回收属性或设置合理的阈值。

Q:为什么修改队列权重后没有立即生效? A:队列权重由 Volcano 调度器控制,修改后通常需要数秒到数分钟才能在调度中体现;可通过队列列表查看同步后的最新状态。

Q:优先级策略中的显示名称会影响哪些地方? A:会影响创建容器实例/推理服务/自定义服务时优先级下拉框的展示名称,以及列表中优先级列的展示。

基于 Rise 智算平台 release-2606.v2.2.x 生成