External Gitcode Ascend Atb Testframework Build

ATB 测试框架编译

功能概述

此技能提供 ATB (Ascend Transformer Boost) 测试框架的编译指导，包括全量编译（含第三方依赖克隆与源替换）和增量编译两种模式。

调用时机

在以下情况下调用此技能：

• 用户需要编译 ATB 测试框架
• 用户需要运行 CSV 测试但测试框架未编译
• 用户需要从零开始构建 ATB 项目
• 用户遇到第三方依赖克隆失败的问题

前置条件

• Docker 容器已启动
• CANN 环境已安装
• ATB 源码仓库已克隆

关键路径变量

在执行编译前，需确认以下路径变量（从用户处获取）：

编译模式选择

增量编译

当 3rdparty/ 目录已存在且第三方依赖完整时，直接执行增量编译：

docker exec <DOCKER_NAME> bash -c "
source <CANN_PATH>/set_env.sh && \
cd <ATB_REPO_PATH> && \
bash scripts/build.sh testframework
"

适用场景：第三方依赖已就绪，仅需重新编译 ATB 源码。

全量编译

当 3rdparty/ 目录为空或不存在时，需要全量编译，包括第三方依赖的克隆。由于 Docker 容器内可能无法访问 GitHub，需要先进行源替换。

第1步：替换 GitHub 源为 gitcode 镜像

ATB 的 scripts/build.sh 中包含多个 GitHub 依赖，在国内网络环境下需要替换为 gitcode.com 镜像。

需要替换的源映射表：

替换命令：

cd <ATB_REPO_PATH>
sed -i 's|https://github.com/nlohmann/json.git|https://gitcode.com/nlohmann/json.git|g' scripts/build.sh
sed -i 's|https://github.com/google/googletest.git|https://gitcode.com/google/googletest.git|g' scripts/build.sh
sed -i 's|https://github.com/coolxv/cpp-stub.git|https://gitcode.com/coolxv/cpp-stub.git|g' scripts/build.sh
sed -i 's|https://github.com/pybind/pybind11.git|https://gitcode.com/pybind/pybind11.git|g' scripts/build.sh

doxygen 替换说明：doxygen 的 wget 下载需要改为 git clone 方式，修改 fn_build_doxygen 函数：

# 将 wget + tar 方式替换为 git clone
# 原始代码:
#   [[ ! -f "doxygen-1.9.6.src.tar.gz" ]] && wget --no-check-certificate https://github.com/doxygen/doxygen/releases/download/Release_1_9_6/doxygen-1.9.6.src.tar.gz
#   tar -xzvf doxygen-1.9.6.src.tar.gz
#   mv doxygen-1.9.6 doxygen
# 替换为:
#   [[ ! -d "doxygen" ]] && git clone --branch Release_1_9_6 --depth 1 https://gitcode.com/doxygen/doxygen.git

第2步：清理旧构建产物（可选）

cd <ATB_REPO_PATH>
rm -rf build output 3rdparty

第3步：执行全量编译

docker exec <DOCKER_NAME> bash -c "
source <CANN_PATH>/set_env.sh && \
cd <ATB_REPO_PATH> && \
bash scripts/build.sh testframework
"

编译产物验证

编译成功后，检查关键产物：

# 检查测试框架库
ls -lh <ATB_REPO_PATH>/output/atb/cxx_abi_0/lib/libatb_test_framework.so

# 检查 ATB 主库
ls -lh <ATB_REPO_PATH>/output/atb/cxx_abi_0/lib/libatb.so

预期产物：

• libatb_test_framework.so — 测试框架核心库
• libatb.so — ATB 主库
• atb_testframework_<arch>_<timestamp>.tar.gz — 打包文件

编译后环境设置

编译完成后，设置环境变量以运行 CSV 测试：

source <ATB_REPO_PATH>/output/atb/set_env.sh

或手动设置：

export ATB_HOME_PATH=<ATB_REPO_PATH>/output/atb/cxx_abi_0
export LD_LIBRARY_PATH=<ATB_REPO_PATH>/output/atb/cxx_abi_0/lib:$LD_LIBRARY_PATH

运行 CSV 测试

cd <ATB_REPO_PATH>/tests/framework/python/CsvOpsTestTool
python3 atb_csv_ops_test.py -i <csv_file_path> -n <start>:<end>

testframework 构建所需的第三方依赖：

注意：testframework 不需要 googletest、cpp-stub、pybind11、doxygen（这些是 unittest/fuzztest/doc 构建模式所需）。但如果使用其他构建模式（如 alltest、unittest），也需要替换对应的 GitHub 源。

CXX ABI 版本

编译时 USE_CXX11_ABI 由 fn_init_env 函数自动检测：

• 检查系统安装的 torch 是否使用 CXX11 ABI
• 输出目录为 output/atb/cxx_abi_0/ 或 output/atb/cxx_abi_1/

修改文件后重新编译

当修改了 *_aclnn_runner.cpp、*_operation.cpp 等源码后，需要重新编译：

# 在 Docker 容器内执行（已在容器中）
source $ASCEND_TOOLKIT_HOME/set_env.sh
cd $ATB_REPO_PATH
bash scripts/build.sh testframework 2>&1 | tail -50

注意：确保环境变量已设置：

• ASCEND_TOOLKIT_HOME（CANN 安装路径，如 /usr/local/Ascend/ascend-toolkit/latest）
• ATB_REPO_PATH（ATB 仓库路径，如 {your working path}ascend-transformer-boost）

编译失败处理流程：

编译约束规则：

• 最多验证 3 次：3次均失败时，记录完整错误信息，询问用户
• Step by Step：每次只修复一个问题，重新编译验证
• 无法解决时：记录问题并询问用户

编译错误记录模板：

### 编译失败记录 (#N)

**错误信息**：

<编译器输出>

**问题分析**：
<分析原因>

**修改计划**：
1. <修改步骤1>
2. <修改步骤2>

**状态**：待用户确认

执行结果

⚠️ 执行后填写：技能执行完成后，参照下方格式填写实际执行结果。

检查点检查表

VERDICT: ✅ SUCCESS / ⚠️ PARTIAL / ❌ FAILED / ⏭️ SKIPPED

问题列表（若有）

执行摘要

• 执行时间：
• 执行环境：
• ATB_REPO_PATH：
• 持续时间：
• 通过率：