External Cannbot Model Model Infer Parallel Analysis

基于 PyTorch 框架的昇腾 NPU 模型推理并行策略分析技能。分析模型架构参数和昇腾硬件规格,推荐最优的 TP/EP/DP 并行配置(parallel_config)。触发场景:新模型需要确定并行策略、现有配置需要优化、部署卡数或硬件变更后需要重新评估。输出为结构化的 parallel_config 推荐及定量依据。

ascend-ai-coding Updated 182 repo stars
image

File contents

ascend-ai-coding/awesome-ascend-skills commit b29e7ed6b5

Frequently asked questions

npx get-skill add ascend-ai-coding/external-cannbot-model-model-infer-parallel-analysis