场景概览 - 异构卡纳管:模型部署与状态检查
本场景介绍用户如何基于推理模板创建模型实例,并从实例、作业、节点和设备四个层面判断部署是否成功。对于 4 张 NPU 卡,本场景负责验证模板是否真的申请到预期卡数。
适用角色
- 模型提供方
- 平台用户
- 参与排障的运营管理员
场景目标
- 使用 NPU 推理模板创建模型实例。
- 判断实例处于创建、运行、失败还是停止状态。
- 确认实际分配的 NPU 数量与模板一致。
场景流程
主线: 选择模板与规格 → 创建模型实例 → 检查调度和运行状态 → 验证服务调用
| 阶段 | 核心结果 |
|---|---|
| 1. 选择配置 | 模板、卡数、配额、存储和实例参数满足任务要求 |
| 2. 创建实例 | 部署请求进入模型实例列表并可持续跟踪 |
| 3. 检查状态 | 调度、镜像、事件、日志和实际 NPU 占用正常 |
| 4. 验证服务 | 健康检查通过,服务入口完成一次受控调用 |
开始前准备
- 已有可用推理模板和足够的租户配额。
- 目标集群有足够的空闲 NPU。
- 已准备模型文件、镜像和启动参数。
推荐阅读顺序
文档索引
| 文档 | 说明 |
|---|---|
| 部署模型并检查状态 | 创建实例,核对状态、作业事件和 NPU 分配结果 |
完成检查
用途: 以下检查是本场景的退出条件,用于判断是否已经取得可观察、可复核的结果,以及是否可以进入下一场景。它不是操作步骤的重复;任一项不满足时,请返回对应功能文档的“常见失败分支”排查。
| 检查项 | 通过标准 |
|---|---|
| 1 | 模型实例进入运行状态。 |
| 2 | 作业实际占用卡数与模板规格一致。 |
| 3 | 服务健康检查和访问入口正常。 |