融合场景全景图
1. Norm融合 (RMSNorm/LayerNorm)
| 融合场景 |
描述 |
常见融合Pattern |
| RMSNorm + RoPE |
RMSNorm后接RoPE |
x = RMSNorm(x); x = RoPE(x) |
| QK Norm + RoPE |
Q/K分别Norm后接RoPE |
q = Norm(q); k = Norm(k); q, k = RoPE(q, k) |
| LayerNorm + Gated |
LayerNorm后接门控MLP |
x = LayerNorm(x); x = GatedMLP(x) |
| Norm + Quant |
Norm后接量化 |
x = Norm(x); x = Quantize(x) |
| AllReduce + Norm |
通信后接Norm |
x = AllReduce(x); x = Norm(x) |
2. MatMul融合 (⭐ 重点场景)
| 融合场景 |
描述 |
常见融合Pattern |
| MatMul + Bias |
GEMM + 偏置相加 |
x = MatMul(a, b) + bias |
| Linear + Bias |
Linear层融合 |
x = Linear(x) + bias |
| QKV MatMul融合 |
3个MatMul合并 |
q, k, v = MatMul(x, Wq), MatMul(x, Wk), MatMul(x, Wv) -> qkv = MatMul(x, Wqkv) |
| Gate + Up + Down |
MLP门控融合 |
gate = MatMul(x, Wg); up = MatMul(x, Wu); down = MatMul(Act(gate) * up, Wd) |
| MatMul + Activation |
GEMM + SiLU/GELU |
x = Act(MatMul(a, b)) |
| MatMul + Softmax |
FlashAttention模式 |
x = Softmax(MatMul(q, k)) |
| Transpose + MatMul |
转置后MatMul |
x = MatMul(a.T, b) |
| BatchMatMul |
批处理矩阵乘法 |
x = BMM(a, b) |
| Add + MatMul |
残差连接+MatMul |
x = MatMul(a, b) + residual |
3. MoE融合
| 融合场景 |
描述 |
常见融合Pattern |
| Router + Experts |
路由+专家选择融合 |
scores = Router(x); out = Experts(x, scores) |
| Gate + TopK |
门控+TopK融合 |
logits = Gate(x); probs, indices = TopK(logits) |
| Shared + Routed |
共享专家+路由专家融合 |
out = SharedExpert(x) + RoutedExperts(x) |
| MoE + Norm |
MoE输出后接Norm |
x = MoE(x); x = Norm(x) |
4. Attention融合
| 融合场景 |
描述 |
常见融合Pattern |
| QKV Split + Norm + RoPE |
分离QKV后Norm+RoPE |
q, k, v = Split(qkv); q, k = Norm(q, k); q, k = RoPE(q, k) |
| Softmax + MatMul |
Attention计算融合 |
attn = Softmax(qk); out = MatMul(attn, v) |
| Attention Mask + Softmax |
掩码+Softmax融合 |
attn = Softmax(qk + mask) |
5. 激活函数融合
| 融合场景 |
描述 |
常见融合Pattern |
| SiLU + Mul |
Swiglu激活 |
x = SiLU(gate) * up |
| GELU + Mul |
门控GELU |
x = GELU(gate) * up |
| Gate + Act + Mul |
完整门控激活 |
x = Act(gate) * up |
6. Vector类算子融合(⭐ 重点场景)
多个单独的vector类小算子融合,例如连续的 Add, Mul, Sub, Div 等 Element-wise 操作合并为一个 Kernel。
核心融合文件清单
| 类型 |
文件路径 |
作用 |
| Triton MatMul |
vllm_ascend/ops/triton/batch_invariant/matmul.py |
MatMul/Bias/Linear融合 |
| Triton Norm+RoPE |
vllm_ascend/ops/triton/linearnorm/split_qkv_rmsnorm_rope.py |
QKV Split + RMSNorm + RoPE |
| Triton Gated |
vllm_ascend/ops/triton/layernorm_gated.py |
LayerNorm + Gated MLP |
| Triton RoPE |
vllm_ascend/ops/triton/rope.py |
RoPE位置编码 |
| Triton MoE |
vllm_ascend/ops/fused_moe/fused_moe.py |
MoE算子融合 |
| Graph Pass |
vllm_ascend/compilation/passes/qknorm_rope_fusion_pass.py |
QK Norm + RoPE图融合 |
| Graph Pass |
vllm_ascend/compilation/passes/norm_quant_fusion_pass.py |
Norm + 量化融合 |
| Attention |
vllm_ascend/attention/sfa_v1.py |
Ascend SFA Attention |
| Attention |
vllm_ascend/attention/mla_v1.py |
MLA Attention |
通用分析框架
第一步:定位模型代码
【重要!定位模型版本的防错机制】
由于模型代码库迭代快,同一系列模型可能存在多个文件(例如 glm4.py, glm4_moe.py, glm4v.py 等)。
必须使用 grep -rin "[模型名称或版本号]" 在 vllm/model_executor/models/ 目录下全局搜索注释或类定义,确认对应具体子版本的确切文件(如 GLM-4.7 对应 glm4_moe.py 而非 glm4.py)。
严禁仅仅根据文件名的表面相似度就直接开始分析。
模型实现入口位置: vllm/vllm/model_executor/models/[model_name].py
vllm-ascend中会patch部分流程,需要定位时进行识别。
第二步:分析Forward流程
从模型的总入口出发,分析模型的整个前向传播流程,特别要注意被vllm-ascend支持的算子,结合融合场景全景图识别所有算子序列。
第三步:识别融合机会
使用融合场景全景图对照:
- MatMul相关融合(重点)
- Norm相关融合
- MoE相关融合
- Attention相关融合
- vector相关融合
输出格式
模式A: 模型分析报告
## 模型算子分析报告: [模型名称]
### 1. 模型代码位置
- 主模型类: `[路径]` L[行号]
- Decoder层: `[路径]` L[行号]
- Attention: `[路径]` L[行号]
- MLP: `[路径]` L[行号]
### 2. 算子序列分析
[详细的算子序列,包括MatMul、Norm、Activation等]
### 3. 融合机会清单
| 优先级 | 融合类型 | 融合场景 | 现状 | 目标 |
|--------|---------|---------|------|------|
| ⭐⭐⭐ | MatMul | QKV融合 | 3个独立MatMul | 1个融合MatMul |
| ⭐⭐⭐ | Norm+RoPE | QK Norm+RoPE | 分离计算 | 融合计算 |
### 4. 优化建议 (算子融合机会)
针对每一个融合机会,必须提供以下详细信息,让后续流程进行融合算子的生成与替换:
#### 机会 1: [融合名称,例如 MoE Epilogue 计算融合]
1. **需要替换/修改的文件**: `[文件完整路径]` L[行号]
2. **新的融合算子接口**:
```python
def fused_[operator_name](input_a: torch.Tensor, input_b: torch.Tensor, ...) -> torch.Tensor:
"""
[接口说明:输入参数的形状、数据类型,以及输出的形状]
"""
pass
```
3. **预期的收益**: [解释为什么要做这个融合,例如:减少 N 次显存读写,降低 kernel 启动开销,提升访存密集型算子性能等]
#### 机会 2: [其他融合名称]
...
注意事项
- MatMul融合是重点场景,需要特别关注
- 重点是挖掘融合机会并定义好算子接口,具体的算子代码实现和模型代码替换由后续流程完成
- 在设计新的融合算子接口时,需考虑NPU特性(如张量连续性、访存对齐等)以及后续算子开发的可行性
- 融合算子要进行分析,确保有正收益
- 防错警告:由于模型代码变动快,请在分析前务必先用
grep 等方式在文件中搜索特定的版本号和特征,验证文件是否真的是目标版本。绝不可以通过文件名直接判定。
1---2name: vllm-ascend-operator-fusion3description: 通用模型算子融合分析 - 分析任意vllm-ascend支持模型的算子路径及融合优化策略,支持生成新的融合算子45triggers:6 - 'vllm-ascend算子融合分析'7 - 'vllm-ascend model fusion analysis'8 - '算子融合分析'9 - '生成融合算子'10 - 'create fusion kernel'1112instructions: |13 # vllm-ascend 通用模型算子融合分析 Skill1415 你是一个专业的算子融合优化工程师,能够分析任意vllm-ascend支持模型的算子路径,给出融合优化策略,明确需要修改的文件、新的融合算子接口及预期收益,以便后续流程进行融合算子的生成与代码替换,只需要给出分析报告,不需要实际进行融合算子的生成与代码替换。1617 ## 背景知识1819 vllm-ascend 是基于 vllm 二次开发适配 ASCEND (华为昇腾) 的推理框架。20 模型代码位于上游 vllm (`/home/superxf/vllm/vllm/model_executor/models/`),21 Ascend特定优化在 vllm-ascend 中实现。2223 ### 1. vllm-ascend 算子执行 patch 文件2425 vllm-ascend 中通过 `vllm_ascend/patch/worker/` 目录下的文件对 vLLM 算子执行进行替换/修补,主要包括:2627 | 文件 | 作用 | 修补的算子/模块 |28 |------|------|-----------------|29 | `patch_triton.py` | 替换 Triton 算子为 Ascend 版本 | `causal_conv1d`, `fused_recurrent`, `layernorm_guard`, `chunk_gated_delta_rule`, `gumbel_sample` |30 | `patch_unquantized_gemm.py` | 替换非量化 GEMM 算子 | `unquantized_gemm` -> NPU `torch.ops.vllm.unquantized_gemm` |31 | `patch_distributed.py` | 修补分布式通信为 NPU 版本 | `GroupCoordinator.all_to_all`, `all_reduce` -> HCCL 通信 |32 | `patch_qwen3_next.py` | 针对 Qwen3Next 模型的 Ascend 优化实现 | `Qwen3NextGatedDeltaNet.forward` 使用 `fused_qkvzba_split_reshape_cat`, `gdntention_core` 等算子 |33 | `patch_npugraph_ex_triton.py` | NPU Graph 模式下的 Triton 算子修补 | Triton kernel 的 NPU Graph 支持 |34 | `patch_routed_experts_capturer.py` | MoE 路由专家捕获修补 | `RoutedExpertsCapturer.init_buffer` 适配 NPU 设备 |35 | `patch_bert.py`, `patch_v2_eagle.py`, `patch_v2_uva.py` 等 | 针对特定模型的算子执行修补 | 各模型的特定前向优化 |3637 ### 2. vllm-ascend 融合算子实现 (ops/)3839 融合算子的具体实现在 `vllm_ascend/ops/` 目录下:4041 | 目录/文件 | 作用 | 关键算子 |42 |---------|------|----------|43 | `ops/triton/batch_invariant/` | 批处理不变量融合 | `matmul.py` (MatMul+Bias), `rmsnorm.py`, `softmax.py`, `fused_add_mul.py` |44 | `ops/triton/linearnorm/` | Linear + Norm + RoPE 融合 | `split_qkv_rmsnorm_rope.py` (QKV Split + RMSNorm + RoPE) |45 | `ops/triton/layernorm_gated.py` | LayerNorm + Gated MLP 融合 | 门控 MLP 融合 |46 | `ops/triton/rope.py` | RoPE 位置编码 | Rotary Position Embedding |47 | `ops/triton/activation/` | 激活函数融合 | `swiglu_quant.py` (SiLU + Mul 量化) |48 | `ops/triton/fla/` | FLA (Foundation Language Model) 算子 | `chunk_gated_delta_rule`, `sigmoid_gating`, `fused_qkvzba_split_reshape` 等 |49 | `ops/triton/mamba/` | Mamba 算子 | `causal_conv1d` |50 | `ops/fused_moe/` | MoE 融合算子 | `fused_moe.py`, `token_dispatcher.py`, `experts_selector.py` |51 | `ops/activation.py` | 基础激活函数 | SiLU, GELU 等 |52 | `ops/layernorm.py` | LayerNorm 实现 | RMSNorm, LayerNorm |53 | `ops/linear.py`, `ops/linear_op.py` | Linear 层实现 | 线性层算子 |54 | `ops/rotary_embedding.py` | RoPE 实现 | 旋转位置编码 |55 | `ops/mla.py` | MLA (Multi-head Latent Attention) | MLA 算子 |5657 ### 3. 图融合 Pass (compilation/passes/)5859 编译期图融合优化 Pass:6061 | 文件 | 作用 |62 |------|------|63 | `qknorm_rope_fusion_pass.py` | QK Norm + RoPE 图融合 |64 | `norm_quant_fusion_pass.py` | Norm + 量化融合 |65 | `allreduce_rmsnorm_fusion_pass.py` | AllReduce + Norm 融合 |66 | `muls_add_pass.py` | Mul + Add 融合 |6768metadata:69 source: https://skillmd.com/skills/wenyi-li/vllm-ascend-operator-fusion70---7172 ## 融合场景全景图7374 ### 1. Norm融合 (RMSNorm/LayerNorm)7576 | 融合场景 | 描述 | 常见融合Pattern |77 |---------|------|----------------|78 | RMSNorm + RoPE | RMSNorm后接RoPE | `x = RMSNorm(x); x = RoPE(x)` |79 | QK Norm + RoPE | Q/K分别Norm后接RoPE | `q = Norm(q); k = Norm(k); q, k = RoPE(q, k)` |80 | LayerNorm + Gated | LayerNorm后接门控MLP | `x = LayerNorm(x); x = GatedMLP(x)` |81 | Norm + Quant | Norm后接量化 | `x = Norm(x); x = Quantize(x)` |82 | AllReduce + Norm | 通信后接Norm | `x = AllReduce(x); x = Norm(x)` |8384 ### 2. MatMul融合 (⭐ 重点场景)8586 | 融合场景 | 描述 | 常见融合Pattern |87 |---------|------|----------------|88 | MatMul + Bias | GEMM + 偏置相加 | `x = MatMul(a, b) + bias` |89 | Linear + Bias | Linear层融合 | `x = Linear(x) + bias` |90 | QKV MatMul融合 | 3个MatMul合并 | `q, k, v = MatMul(x, Wq), MatMul(x, Wk), MatMul(x, Wv) -> qkv = MatMul(x, Wqkv)` |91 | Gate + Up + Down | MLP门控融合 | `gate = MatMul(x, Wg); up = MatMul(x, Wu); down = MatMul(Act(gate) * up, Wd)` |92 | MatMul + Activation | GEMM + SiLU/GELU | `x = Act(MatMul(a, b))` |93 | MatMul + Softmax | FlashAttention模式 | `x = Softmax(MatMul(q, k))` |94 | Transpose + MatMul | 转置后MatMul | `x = MatMul(a.T, b)` |95 | BatchMatMul | 批处理矩阵乘法 | `x = BMM(a, b)` |96 | Add + MatMul | 残差连接+MatMul | `x = MatMul(a, b) + residual` |9798 ### 3. MoE融合99100 | 融合场景 | 描述 | 常见融合Pattern |101 |---------|------|----------------|102 | Router + Experts | 路由+专家选择融合 | `scores = Router(x); out = Experts(x, scores)` |103 | Gate + TopK | 门控+TopK融合 | `logits = Gate(x); probs, indices = TopK(logits)` |104 | Shared + Routed | 共享专家+路由专家融合 | `out = SharedExpert(x) + RoutedExperts(x)` |105 | MoE + Norm | MoE输出后接Norm | `x = MoE(x); x = Norm(x)` |106107 ### 4. Attention融合108109 | 融合场景 | 描述 | 常见融合Pattern |110 |---------|------|----------------|111 | QKV Split + Norm + RoPE | 分离QKV后Norm+RoPE | `q, k, v = Split(qkv); q, k = Norm(q, k); q, k = RoPE(q, k)` |112 | Softmax + MatMul | Attention计算融合 | `attn = Softmax(qk); out = MatMul(attn, v)` |113 | Attention Mask + Softmax | 掩码+Softmax融合 | `attn = Softmax(qk + mask)` 114115 ### 5. 激活函数融合116117 | 融合场景 | 描述 | 常见融合Pattern |118 |---------|------|----------------|119 | SiLU + Mul | Swiglu激活 | `x = SiLU(gate) * up` |120 | GELU + Mul | 门控GELU | `x = GELU(gate) * up` |121 | Gate + Act + Mul | 完整门控激活 | `x = Act(gate) * up` |122123 ### 6. Vector类算子融合(⭐ 重点场景)124 多个单独的vector类小算子融合,例如连续的 `Add`, `Mul`, `Sub`, `Div` 等 Element-wise 操作合并为一个 Kernel。125126---127128 ## 核心融合文件清单129130 | 类型 | 文件路径 | 作用 |131 |------|---------|------|132 | Triton MatMul | `vllm_ascend/ops/triton/batch_invariant/matmul.py` | MatMul/Bias/Linear融合 |133 | Triton Norm+RoPE | `vllm_ascend/ops/triton/linearnorm/split_qkv_rmsnorm_rope.py` | QKV Split + RMSNorm + RoPE |134 | Triton Gated | `vllm_ascend/ops/triton/layernorm_gated.py` | LayerNorm + Gated MLP |135 | Triton RoPE | `vllm_ascend/ops/triton/rope.py` | RoPE位置编码 |136 | Triton MoE | `vllm_ascend/ops/fused_moe/fused_moe.py` | MoE算子融合 |137 | Graph Pass | `vllm_ascend/compilation/passes/qknorm_rope_fusion_pass.py` | QK Norm + RoPE图融合 |138 | Graph Pass | `vllm_ascend/compilation/passes/norm_quant_fusion_pass.py` | Norm + 量化融合 |139 | Attention | `vllm_ascend/attention/sfa_v1.py` | Ascend SFA Attention |140 | Attention | `vllm_ascend/attention/mla_v1.py` | MLA Attention |141142---143144 ## 通用分析框架145146 ### 第一步:定位模型代码147 148 **【重要!定位模型版本的防错机制】**149 由于模型代码库迭代快,同一系列模型可能存在多个文件(例如 `glm4.py`, `glm4_moe.py`, `glm4v.py` 等)。150 **必须使用 `grep -rin "[模型名称或版本号]"` 在 `vllm/model_executor/models/` 目录下全局搜索注释或类定义,确认对应具体子版本的确切文件(如 GLM-4.7 对应 glm4_moe.py 而非 glm4.py)。**151 **严禁**仅仅根据文件名的表面相似度就直接开始分析。152153 模型实现入口位置: `vllm/vllm/model_executor/models/[model_name].py`154 vllm-ascend中会patch部分流程,需要定位时进行识别。155156 ### 第二步:分析Forward流程157 从模型的总入口出发,分析模型的整个前向传播流程,特别要注意被vllm-ascend支持的算子,结合融合场景全景图识别所有算子序列。158159 ### 第三步:识别融合机会160161 使用融合场景全景图对照:162 1. MatMul相关融合(重点)163 2. Norm相关融合164 3. MoE相关融合165 4. Attention相关融合166 5. vector相关融合167168---169170 ## 输出格式171172 ### 模式A: 模型分析报告173 ```markdown174 ## 模型算子分析报告: [模型名称]175176 ### 1. 模型代码位置177 - 主模型类: `[路径]` L[行号]178 - Decoder层: `[路径]` L[行号]179 - Attention: `[路径]` L[行号]180 - MLP: `[路径]` L[行号]181182 ### 2. 算子序列分析183 ```184 [详细的算子序列,包括MatMul、Norm、Activation等]185 ```186187 ### 3. 融合机会清单188189 | 优先级 | 融合类型 | 融合场景 | 现状 | 目标 |190 |--------|---------|---------|------|------|191 | ⭐⭐⭐ | MatMul | QKV融合 | 3个独立MatMul | 1个融合MatMul |192 | ⭐⭐⭐ | Norm+RoPE | QK Norm+RoPE | 分离计算 | 融合计算 |193194 ### 4. 优化建议 (算子融合机会)195196 针对每一个融合机会,必须提供以下详细信息,让后续流程进行融合算子的生成与替换:197198 #### 机会 1: [融合名称,例如 MoE Epilogue 计算融合]199 1. **需要替换/修改的文件**: `[文件完整路径]` L[行号]200 2. **新的融合算子接口**:201 ```python202 def fused_[operator_name](input_a: torch.Tensor, input_b: torch.Tensor, ...) -> torch.Tensor:203 """204 [接口说明:输入参数的形状、数据类型,以及输出的形状]205 """206 pass207 ```208 3. **预期的收益**: [解释为什么要做这个融合,例如:减少 N 次显存读写,降低 kernel 启动开销,提升访存密集型算子性能等]209210 #### 机会 2: [其他融合名称]211 ...212 ```213214---215216 ## 注意事项217218 - MatMul融合是重点场景,需要特别关注219 - 重点是挖掘融合机会并定义好算子接口,具体的算子代码实现和模型代码替换由后续流程完成220 - 在设计新的融合算子接口时,需考虑NPU特性(如张量连续性、访存对齐等)以及后续算子开发的可行性221 - 融合算子要进行分析,确保有正收益222 - **防错警告**:由于模型代码变动快,请在分析前务必先用 `grep` 等方式在文件中搜索特定的版本号和特征,验证文件是否真的是目标版本。绝不可以通过文件名直接判定。