Large Scale Deploy

大规模集群部署

功能概述

用于 ascend-deployer 的大规模集群自动化安装部署工具。帮助用户在集群环境中跨多个节点部署各种 Ascend 组件。

ascend-deployer 仓库

仓库地址

https://gitcode.com/Ascend/ascend-deployer

获取方式

git clone https://gitcode.com/Ascend/ascend-deployer.git

前置条件

使用此 skill 前，请确保满足以下要求：

1. ascend-deployer 仓库：工作空间中必须有 ascend-deployer 仓库
2. Linux 环境：当前环境必须是 Linux 系统
3. 清单配置：用户必须已配置 large_scale_inventory.ini 文件
4. 网络访问：能够 SSH 访问集群中所有目标节点

支持的组件

以下组件可以安装：

使用方法

脚本位置：ascend-deployer/large_scale_install.sh

单组件安装

cd ascend-deployer
bash large_scale_install.sh --install=<组件名>

示例 - 安装固件：

bash large_scale_install.sh --install=firmware

多组件安装

bash large_scale_install.sh --install=<组件1>,<组件2>,<组件3>

示例 - 安装固件和内核：

bash large_scale_install.sh --install=firmware,kernels

示例 - 安装驱动、固件和工具包：

bash large_scale_install.sh --install=driver,firmware,toolkit

工作流程

步骤 1：验证前置条件

1. 检查 ascend-deployer 仓库是否存在
2. 验证是否为 Linux 环境
3. 确认 large_scale_inventory.ini 已配置

步骤 2：验证清单配置

确保 large_scale_inventory.ini 包含：

• 所有目标节点的 IP 地址
• SSH 连接信息
• 节点分组和角色

步骤 3：选择组件

根据以下因素帮助用户选择合适的组件：

• 部署目的（训练、推理、开发）
• 硬件配置
• 软件需求

步骤 4：执行安装

进入 ascend-deployer 目录，使用选定的组件运行安装命令：

cd ascend-deployer
bash large_scale_install.sh --install=<选定的组件>

步骤 5：验证安装

安装完成后，验证：

• 所有组件已正确安装
• 服务在目标节点上运行
• 安装日志中没有错误

常见安装场景

以下命令需在 ascend-deployer 目录下执行：

场景 1：基础 NPU 环境搭建

在新集群上搭建基础 NPU 环境：

bash large_scale_install.sh --install=driver,firmware,toolkit,toolbox

场景 2：深度学习训练环境

用于深度学习训练工作负载：

bash large_scale_install.sh --install=driver,firmware,toolkit,pytorch,nnae

场景 3：Kubernetes 部署

用于基于 Kubernetes 的部署：

bash large_scale_install.sh --install=ascend-device-plugin,ascend-docker-runtime,ascend-operator,volcano

场景 4：全栈安装

安装完整的 Ascend 软件栈：

bash large_scale_install.sh --install=driver,firmware,toolkit,toolbox,nnae,nnrt,pytorch,tensorflow,mindspore

场景 5：监控设置

用于集群监控：

bash large_scale_install.sh --install=npu-exporter,fault-diag

清单文件格式

large_scale_inventory.ini 文件应遵循以下格式：

[master]


[worker]
1.1.1.1-1.1.1.9 ansible_ssh_user="root" ansible_ssh_pass="test1234" step_len=3 test_expr="master-{ip}-{int(index)+1}-y"


[deploy_node]


[npu_node]


[large_scale]
SUB_GROUP_MAX_SIZE=5


[all:vars]

清单文件字段说明

故障排查

常见问题

1. SSH 连接失败

   • 验证 SSH 密钥是否正确配置
   • 检查到目标节点的网络连通性
   • 确保 ansible_user 具有适当的权限

2. 组件安装失败

   • 检查目标节点上的可用磁盘空间
   • 验证仓库源是否可访问
   • 查看安装日志以获取具体错误

3. 服务无法启动

   • 检查服务状态：systemctl status <服务名>
   • 查看服务日志：journalctl -u <服务名>
   • 验证配置文件是否正确

注意事项

1. 安装顺序：某些组件存在依赖关系。建议按以下顺序安装：

   • sys_pkg（系统包）
   • driver（NPU 驱动）
   • firmware（NPU 固件）
   • toolkit, toolbox（工具）
   • kernels（内核包）
   • nnae, nnrt（运行时）
   • 框架（pytorch, tensorflow, mindspore）

2. 并行安装：可以在单个命令中安装多个组件以提高效率

3. 回滚：如果安装失败，请查看 ascend-deployer 文档中的回滚说明

4. 日志：安装日志通常存储在 /var/log/ascend-deployer/

相关文件