Msmodelslim Quant

华为昇腾 NPU 服务器模型quant工具技能,专为在昇腾 NPU 卡上进行大语言模型quant加速,聚焦于msmodelslim已验证模型的快速量化流程,支持量化流程和量化配置的轻微修改。支持 INT4/INT8/INT16 quant,提供完整的quant工作流,包括环境检查、动态方案query、容器deployment、quant执行等。

ascend-ai-coding Updated 182 repo stars
image

File contents

ascend-ai-coding/awesome-ascend-skills commit 6b7e950a37

Frequently asked questions

npx get-skill add ascend-ai-coding/msmodelslim-quant