LLMDeployASCEND · DEPLOYMENT NOTESView on GitHub ↗
DOCUMENTATION / 昇腾部署实践

<硬件代际> / <型号> / <推理引擎>

状态:计划 / 待验证 / 历史使用成功。未取得本型号真机验收,不填写“支持”。 本文分享使用经验,不构成兼容性、稳定性、性能或适用性保证;敏感信息不提供。

适用范围与版本

字段 必填内容
硬件 代际、具体型号、单机卡数、OS 和架构
引擎 / 模型 上游仓库、commit/tag、模型 revision;配方相对路径
软件 驱动、CANN、Python、框架、编译器、子模块及补丁前后 SHA
容量 总上下文、输出上限、图片限制、并行与调度参数;配置和实测分开
工件 镜像 digest / 本地 image ID、构建输入、源码与 native 库身份

部署步骤

按环境与资源归属检查、权重校验、镜像获取或构建、私有机器配置、命令生成与人工阅读、显式启动、预热就绪、认证入口的顺序写出命令。生成、构建、启动三者分开;不得隐式停服务或抢卡。不复制其他型号的设备清单、拓扑或内存比例作为本机事实。

验证与证据边界

区分本地单测、CPU/协议 fixture、镜像构建、真实 NPU、完整模型及外部客户端验收。记录已完成和未运行项,不写性能数据或原始日志;配置存在、HTTP 200、容器 running 不等于完整验收。新版本、型号或镜像必须重新验证。

服务、换机与回退

链接公共认证网关、流控、监控和空闲恢复文档;写明本引擎的健康协议、会话与缓存行为。先排空并保全旧容器,再由操作者决定切换或回退;列出不支持的功能。

公开范围

只提交脱敏配方、锁定、补丁和必要文档。认证材料、实际机器地址与账号、主机名、容器实例标识、本机用户路径、内部拓扑、会话、权重、二进制、原始日志和性能数据不提供。示例使用 loopback 或文档地址,并由使用者自行填入私有配置。

本文源于仓库文档 · 查看 Markdown 源文件
仅分享已使用经验;新环境与新工件需重新验证。敏感信息不提供。