External Cannbot Model Model Infer Prefetch

基于 PyTorch 框架的昇腾 NPU 模型推理权重预取优化技能。为模型添加 torch_npu.npu_prefetch 特性以优化推理性能。触发场景:profiling 显示 MatMul/QBMM/GMM 算子存在 memory-bound 热点、需要为模型添加权重预取、将 prefetch 模式迁移到新模型。

ascend-ai-coding Updated 182 repo stars
image

File contents

ascend-ai-coding/awesome-ascend-skills commit ad752e5eff

Frequently asked questions

npx get-skill add ascend-ai-coding/external-cannbot-model-model-infer-prefetch