# Model Compression

> Use when working with model compression — quantization, pruning, knowledge distillation

- Skill: `liaosw97/model-compression` (Agent Skill, multi-file: 2 files)
- Install (CLI): `npx skillmds@latest add liaosw97/model-compression`
- Raw SKILL.md: https://api.skillmd.com/api/skills/liaosw97/model-compression/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: AI & ML
- Author: liaosw97 (https://skillmd.com/u/liaosw97)
- Updated: 2026-09-22
- Page: https://skillmd.com/skills/liaosw97/model-compression

---


## 核心原则
- **精度优先**：压缩后保持模型性能在可接受范围内
- **效率导向**：追求最佳的压缩率与推理速度比
- **硬件感知**：针对目标部署平台优化压缩策略
- **可恢复性**：保留模型微调和恢复的能力
- **系统化流程**：建立完整的压缩评估工具链

## 技术栈
- **量化技术**：PTQ（训练后量化）、QAT（量化感知训练）、GPTQ、AWQ
- **剪枝方法**：结构化剪枝、非结构化剪枝、稀疏剪枝
- **知识蒸馏**：Teacher-Student 架构、自蒸馏、多教师蒸馏
- **低秩分解**：SVD 分解、张量分解
- **工具框架**：PyTorch, TensorFlow Model Optimization, NVIDIA TensorRT, Intel Neural Compressor

## 最佳实践
1. **量化策略**
   - 权重量化优先，激活量化谨慎
   - INT8 量化需进行校准（Calibration）
   - 敏感层使用更高精度或跳过量化
   - 大语言模型优先使用 GPTQ/AWQ

2. **剪枝实践**
   - 结构化剪枝更适合实际加速
   - 逐步剪枝避免精度骤降
   - 使用 Lottery Ticket 假设指导剪枝
   - 剪枝后需进行微调恢复

3. **知识蒸馏**
   - 选择合适的教师模型规模
   - 设计多任务蒸馏损失函数
   - 中间层特征对齐提升效果
   - 注意学生模型的容量限制

4. **评估体系**
   - 建立完整的精度评估基准
   - 测量实际推理延迟和吞吐
   - 对比不同硬件平台表现
   - 记录压缩率和精度权衡曲线

5. **工具链集成**
   - 自动化压缩流水线
   - 版本管理压缩模型
   - 支持压缩配置热更新
   - 提供 A/B 测试能力

## 关键约定
1. **压缩配置命名**
   ```yaml
   compression:
     method: quantization  # quantization/pruning/distillation
     precision: int8       # fp16/int8/int4
     target_hardware: nvidia_gpu
     version: v1.0.0
   ```

2. **评估指标**
   - 压缩率 = 原始大小 / 压缩后大小
   - 精度损失 = 原始精度 - 压缩后精度
   - 加速比 = 原始延迟 / 压缩后延迟

3. **精度容忍度**
   - 分类任务：< 1% 精度损失
   - 检测任务：< 2% mAP 损失
   - 生成任务：< 5% BLEU 损失

4. **恢复方案**
   - 保留原始模型检查点
   - 记录压缩超参数配置
   - 支持渐进式微调恢复