Skip to content

部署模板 ​

功能概述 ​

项目内容
适用角色模型提供方
导航路径AI基础设施 > On-Prem > 模型部署 > 部署模板
页面路由/powerone/quickstart/inference-template
管理对象模型库、加速卡、业务参数、推荐规格、部署设置和预览信息

新手理解 ​

模板可以理解为模型服务的点单页。用户先选模型,再查看可用加速卡和推荐规格;确实需要创建实例时,再填写部署设置,并在预览页核对后提交。

术语表 ​

术语说明
模板由运营管理员维护的可部署方案,组合模型、框架、镜像、规格、启动参数和可见范围规则。
模型库展示当前用户或租户可用模型的区域。
加速卡可运行所选模型的 GPU、NPU 等硬件选项。

推荐操作顺序 ​

先确认模型库、加速卡、业务参数、推荐规格、部署设置和预览信息的前置依赖,再按主要操作顺序处理,最后执行结果校验并进入后续页面。

小白先看 ​

先确认当前任务是否涉及模型库、加速卡、业务参数、推荐规格、部署设置和预览信息,再按照推荐顺序操作。页面字段或状态与预期不符时,先回到前置对象页核对依赖,不要跳过结果校验直接进入下游流程。

前提条件 ​

  1. 运营管理员已发布至少一个当前租户可见的模板。
  2. 当前租户在目标地域下有可用配额。
  3. 模板依赖的镜像、加速卡、规格和框架参数已由运营管理员配置完成。
  4. 如果部署会暴露服务,创建实例前应确认访问范围和安全策略。

页面说明 ​

页面用于查看和处理模型库、加速卡、业务参数、推荐规格、部署设置和预览信息。

部署模板

页面按向导展示模型库、加速卡、业务参数、推荐规格、部署设置和预览信息。截图中展示了部署模板列表区域。

页面区域 ​

字段/区域说明
模型库按模型厂商和模型名称展示可部署模型。
加速卡展示加速卡厂商、型号、显存、适配状态和峰值能力。
业务参数展示模型能力、上下文、启动或运行参数等需要确认的信息。
推荐规格展示可选实例形态和推荐资源规格。
部署设置用于填写实例名称、地域、规格、启动参数等部署信息。
预览提交前汇总本次选择的部署配置。

主要操作 ​

查看部署模板 ​

  1. 进入 模型部署 > 部署模板。
  2. 按模板名称、模型、框架、状态或更新时间筛选。
  3. 打开详情,核对模型版本、镜像、资源规格、端口、存储和副本配置。
  4. 无结果时重置筛选;模板不可用时检查依赖资产和配额。

复核部署参数和费用 ​

  1. 选择目标模板后查看地域、集群、规格、副本和预估资源消耗。
  2. 对照业务需求检查容量、可用性和配额。
  3. 参数不兼容时按页面提示修正,不绕过限制。
  4. 执行最终部署前,应确认资源和费用影响,并取得授权。

部署模板 ​

操作前确认 ​

  1. 确认当前账号可以进入 AI Infra > On-Prem > 模型部署 > 部署模板。
  2. 如果页面提供全局租户或地域选择器,确认当前上下文正确。

操作步骤 ​

  1. 进入 AI基础设施 > On-Prem > 模型部署 > 部署模板。
  2. 在 模型库 查看可部署模型。
  3. 选择目标模型,查看 加速卡、业务参数 和 推荐规格。
  4. 核对 业务参数 中的模型能力、上下文、启动或运行参数。

业务参数

  1. 进入 部署设置,查看实例名称、地域、规格、启动参数等字段。

部署设置

  1. 在 预览 页面核对最终配置。

参数速查表 ​

字段名称是否必填字段类型说明
模板名称系统生成文本平台展示的可部署模板名称。
模型必填选择项从模型库中选择的目标模型。
加速卡必填选择项本次部署使用的加速卡厂商和型号。
业务参数取决于模板表单字段模板维护的模型能力、上下文、启动或运行参数。
推荐规格必填选择项模板推荐或允许选择的资源规格。
地域创建实例时必填选择项模型实例将要创建到的地域或资源池。
实例名称创建实例时必填文本将要创建的模型实例名称。文档中不要使用真实客户或敏感名称。
启动参数取决于模板文本或表单字段模板带出的启动参数,只有在明确业务需要时才调整。
状态系统生成枚举模板或当前选择项是否可用于创建实例。

踩坑提示 ​

  • 加速卡显示 未适配 或 未纳管 时,可能无法直接部署。
  • 推荐规格为空时,优先检查加速卡适配、资源规格、配额和地域。
  • 模板参数由运营管理员维护,不要随意修改启动参数,错误参数可能导致模型服务启动失败。
  • 提交、确定、确认 属于高风险最终动作。
  • 通过模板部署可能创建真实模型实例、占用资源并产生用量。
  • 文档中不要写真实租户名、地域名、模型 ID、资源 ID、内部镜像地址、Endpoint、启动参数、日志或测试数据。

结果校验 ​

检查项成功表现异常时处理
页面入口可进入部署模板并看到目标操作入口检查运营管理员权限和对应菜单是否已开放
对象记录模型库、加速卡、业务参数、推荐规格、部署设置和预览信息在列表或详情中可见重置筛选并核对名称、所属范围和创建结果
状态结果新增或变更后的状态符合页面提示查看操作提示、依赖对象状态和最近更新时间
下游使用后续页面能够选择或关联目标对象回到前置配置核对启用状态、归属关系和可见范围

常见问题 ​

部署模板中找不到目标对象 ​

问题现象:

页面可进入,但没有看到预期的模型库、加速卡、业务参数、推荐规格、部署设置和预览信息。

可能原因:

  • 筛选条件仍生效。
  • 对象属于其他范围。
  • 前置配置未完成。

处理方式:

  1. 重置筛选
  2. 核对所属地域或租户
  3. 返回前置页面确认对象状态。

部署模板的操作入口不可用 ​

问题现象:

新增、注册或维护入口不可见或不可点击。

可能原因:

  • 当前角色权限不足。
  • 页面处于只读状态。
  • 依赖对象不满足条件。

处理方式:

  1. 检查运营管理员权限
  2. 核对页面提示
  3. 先完成依赖对象配置。

部署模板的必填项没有可选值 ​

问题现象:

表单能打开,但下拉框为空。

可能原因:

  • 候选对象未启用。
  • 所属范围不一致。
  • 当前账号不可见。

处理方式:

  1. 到候选对象页面核对状态
  2. 确认归属关系
  3. 检查可见范围后刷新表单。

部署模板操作后状态异常 ​

问题现象:

提交后记录存在,但状态不是预期值。

可能原因:

  • 连通性或校验失败。
  • 关联对象异常。
  • 后台处理尚未完成。

处理方式:

  1. 查看页面提示和更新时间
  2. 检查关联对象
  3. 按状态阶段排查处理任务。

下游页面无法使用部署模板 ​

问题现象:

当前页状态正常,但下游页面无法选择或关联模型库、加速卡、业务参数、推荐规格、部署设置和预览信息。

可能原因:

  • 可见范围不匹配。
  • 对象未启用。
  • 下游缓存未刷新。

处理方式:

  1. 核对启用状态和归属
  2. 检查角色可见范围
  3. 刷新下游页面并重新选择。

注意事项 ​

  • 通过模板部署可能创建真实模型实例、占用资源并产生用量,提交前必须确认实例名称、地域、规格和运行周期。
  • 截图或工单中不要包含内部服务地址、访问密钥、Endpoint、敏感启动参数、日志或客户信息。
  • 模板、规格和加速卡由运营管理员维护。用户侧无法选择目标项时,应联合运营管理员核对发布范围、租户可见性、配额和资源池状态。

后续操作 ​

  1. 进入 模型实例 查看实例状态。
  2. 进入 资源用量 或 资源配额 复核配额和用量变化。
  3. 进入 统计概览 观察部署后的运行状态。