Skip to content

策略管理 ​

功能概述 ​

项目内容
适用角色运营管理员
导航路径AI基础设施 > On-Cloud > 调度治理 > 策略管理
页面路由/infrahub/op/schedule/policy
管理对象应用场景、关联模型、主备路由和健康探测规则

新手理解 ​

策略管理像模型部署的交通规则。它把模型和主备部署点连接起来,并通过健康探测决定什么时候继续走主路、什么时候切换备用路由。

术语表 ​

术语说明
应用场景成本优先、高可用生产或极速推理等调度目标。
主备路由模型请求在主要和备用部署点之间的拓扑。
健康探测用于判断部署点是否可继续接收请求的检测规则。

推荐操作顺序 ​

先确认模型和部署点已准备,再创建策略,依次填写基础信息、主备拓扑和健康探测,提交后验证策略状态和实际路由。

小白先看 ​

场景先做不要直接做
第一次进入页面查看现有对象、状态和可用操作直接修改未知对象
准备变更配置核对上游依赖、影响范围和目标对象跳过依赖和影响检查
操作完成按结果校验表复核当前页和下游页面只看成功提示不复核下游
页面出现异常记录脱敏对象、时间和页面提示反复提交或写入真实凭据

前提条件 ​

  1. 当前账号具备 策略管理 页面或流程所需权限。
  2. 关联模型至少有一个可用部署点,框架版本和资源规格已确认。
  3. 策略变更前已评估线上路由、容量、费用和故障切换影响。

页面说明 ​

页面展示策略列表和添加入口,创建策略分为三个步骤。

页面截图:

策略管理页面

上图展示“策略管理”列表页面,展示多云调度策略卡片、应用场景类型、主备节点拓扑及运行状态,并提供“添加策略”入口。

主要操作 ​

创建策略 ​

步骤一:基础信息与模型关联 ​

  1. 在策略管理页面点击 "添加策略"。
  2. 填写策略名称,选择应用场景(如“成本优先”、“高可用生产”或“极速推理”)。
  3. 选择需要绑定的目标模型及版本(如 Qwen3-8b / v1.0),下方将自动联动展示该模型在各云平台的可用路由节点资源列表。
  4. 填写策略描述后点击 "下一步"。

基础信息与模型关联

上图展示“添加策略 - 步骤1:基础信息与模型关联”,录入策略名称、应用场景并关联目标模型,联动呈现各云平台可用节点。

步骤二:定义主备路由拓扑 ​

  1. 在路由配置中,根据多云多地域的节点规格和成本,挑选主路由节点与备用路由节点。
  2. 针对备路由节点配置优先级顺序(P1、P2 等),设定流量调度与自动降级策略。
  3. 核对各节点的云厂商、规格、费用参考与推理框架版本,确认无误后点击 "下一步"。

主备路由拓扑

上图展示“添加策略 - 步骤2:定义主备路由拓扑”,为主路由与备用节点配置调度优先级与降级链路。

步骤三:定义健康探测规则 ​

  1. 配置针对主备路由节点的健康探测参数,包括探测周期、超时时间及健康/不健康阈值。
  2. 指定探测接口路径与期望响应状态码,确保异常节点能够及时被剔除并触发切流。
  3. 确认探测规则无误后点击 "提交" 完成策略创建,返回列表核对新策略状态。

健康探测规则

上图展示“添加策略 - 步骤3:定义健康探测规则”,配置健康检查探测周期、超时时间与故障切换判定阈值。

查看策略 ​

  1. 在列表定位目标策略。
  2. 核对应用场景、关联模型、状态和更新时间。
  3. 进入详情检查主备拓扑和健康探测是否与部署点一致。

参数速查表 ​

字段名称是否必填字段类型示例说明
名称是文本policy-cost-priority-demo策略展示名称,应使用脱敏示例或业务可识别的非敏感名称。
标签ID否文本label-demo列表筛选字段,用于按标签标识检索策略。
应用场景是分段选择成本优先选择策略目标,页面支持成本优先、高可用生产和极速推理。
关联模型是选择框示例模型 / v1.0选择策略绑定的模型及版本。
云平台否表格字段示例云平台相关路由节点资源所属云平台。
地域否表格字段示例地域相关路由节点资源所在地域。
可用规格否表格字段gpu.example当前模型可使用的资源规格。
可用框架否表格字段示例框架当前模型可使用的推理框架。
描述是多行文本示例策略说明描述策略用途,避免写入真实客户、租户、业务或内部测试参数。
路由节点是选择项主路由节点在路由配置中选择参与策略的节点。
主路由是操作状态主策略优先使用的路由节点。
备路由否操作状态备主路由不可用时的备用路由节点。
优先级否排序控件P1调整备路由或候选节点的优先顺序。
规格否展示字段gpu.example路由节点使用的资源规格。
价格否展示字段示例价格/小时路由节点的费用参考,文档中不展示真实金额明细。
框架否展示字段示例框架路由节点使用的推理框架。
版本否表格字段v1.0镜像或运行配置版本。
镜像否表格字段<BASE_URL>/namespace/image:tag镜像地址示例仅使用占位信息,不写真实仓库地址。
主节点启动命令否表格字段--model-path /models/example主节点启动命令,文档中仅使用占位示例。
子节点启动命令否表格字段--worker子节点启动命令,避免写入内部启动参数。
端口否数字8000服务监听端口。
创建时间否日期时间2026-07-21 10:00:00路由节点或版本配置创建时间。
探测方式是分段选择HTTP心跳健康探测类型,页面支持 HTTP 心跳、GPU 性能指标和服务状态。
检测路径否文本/healthHTTP 心跳检测路径。
检测频率否数字10健康探测执行频率。
失败阈值否数字3连续失败达到阈值后触发异常判断。
恢复逻辑否数字/规则2服务恢复判断规则或恢复阈值。
宕机判定超时时间否数字30判定服务宕机前的超时时间。
搜索否按钮搜索按当前筛选条件查询策略记录。
重置否按钮重置清空筛选条件并恢复列表展示。
导出否按钮导出导出策略记录,可能包含敏感运营配置。
导入否按钮导入批量导入策略记录,可能改变多条策略配置。
批量删除否按钮批量删除批量删除策略,执行前需确认影响范围。
上一步否按钮上一步返回上一配置步骤。
下一步否按钮下一步校验当前步骤并进入下一步骤。
提交是按钮提交最终提交策略配置,点击前必须完成复核。

踩坑提示 ​

  • 不要跳过上游依赖检查:关联模型至少有一个可用部署点,框架版本和资源规格已确认。
  • 配置变更前先确认影响:策略变更前已评估线上路由、容量、费用和故障切换影响。
  • 页面成功提示不等于下游已同步,操作后必须按结果校验表复核。
  • 示例凭据只使用 <API_KEY>、<PERSONAL_KEY>、<ACCESS_KEY_ID>、<ACCESS_KEY_SECRET>、<BASE_URL> 和 <ENDPOINT_PATH>。

结果校验 ​

检查项成功表现异常时处理
页面可访问标题、导航和主要内容正常显示检查角色权限和导航路径
管理对象可见应用场景、关联模型、主备路由和健康探测规则按预期显示清除筛选并核对上游依赖
操作结果已保存页面显示预期状态或新记录查看页面提示、必填字段和依赖关系
下游结果一致关联页面能看到本页变更等待同步后刷新,并回到责任对象排查

常见问题 ​

策略管理中找不到目标对象 ​

问题现象:

页面列表或选择器中没有预期对象。

可能原因:

  • 查询条件仍在生效,目标对象被过滤。
  • 上游对象未启用,或当前角色没有可见权限。

处理方式:

  1. 清除筛选并刷新页面。
  2. 回到前置对象核对:关联模型至少有一个可用部署点,框架版本和资源规格已确认。
  3. 确认当前角色和数据范围后重新定位目标对象。

策略管理操作入口不可用 ​

问题现象:

预期按钮、菜单或状态开关不可用。

可能原因:

  • 当前账号缺少对应操作权限。
  • 目标对象状态、引用关系或前置条件不允许执行该操作。

处理方式:

  1. 核对按钮对应的权限和目标对象当前状态。
  2. 检查页面提示的引用关系和前置条件。
  3. 解除阻断条件后刷新页面,再执行一次。

策略管理修改后下游未生效 ​

问题现象:

页面提示成功,但后续页面仍显示旧状态。

可能原因:

  • 关联页面存在缓存或同步延迟。
  • 当前页与下游页使用了不同角色、租户或数据范围。

处理方式:

  1. 等待同步完成并刷新当前页和下游页。
  2. 确认两页使用相同角色、租户和对象范围。
  3. 仍不一致时回到责任对象核对保存结果。

策略管理数据与其他页面不一致 ​

问题现象:

当前页面的数量或状态与关联页面不同。

可能原因:

  • 两个页面的筛选条件、统计口径或更新时间不同。
  • 对象变更仍在同步,或当前角色的数据权限不同。

处理方式:

  1. 统一两页的筛选条件和统计口径。
  2. 核对各页面更新时间并等待同步。
  3. 按对象详情逐项比较,不只对比汇总数量。

策略管理操作失败如何排查 ​

问题现象:

提交后页面提示失败或状态长时间不变化。

可能原因:

  • 必填字段、字段组合或对象状态不满足提交条件。
  • 上游依赖失效、网络请求失败,或同一操作已在处理中。

处理方式:

  1. 记录脱敏后的对象、时间和完整页面提示。
  2. 核对必填字段、对象状态和上游依赖。
  3. 确认没有进行中的相同任务后再重试一次。

注意事项 ​

  • 策略变更前已评估线上路由、容量、费用和故障切换影响。
  • 文档、截图、工单和聊天记录中不得写入真实账号、凭据、内部地址或客户数据。
  • 涉及授权、部署、删除、发布、启停或计费的变更,应保留可审计记录并准备恢复方案。

后续操作 ​

  1. 使用测试部署验证策略命中、主备路由和故障转移结果。
  2. 监控策略影响的模型服务状态、延迟、成本和可用性。
  3. 定期复核健康探测阈值、路由优先级和关联模型版本。