核心原则
- 精度优先:压缩后保持模型性能在可接受范围内
- 效率导向:追求最佳的压缩率与推理速度比
- 硬件感知:针对目标部署平台优化压缩策略
- 可恢复性:保留模型微调和恢复的能力
- 系统化流程:建立完整的压缩评估工具链
技术栈
- 量化技术:PTQ(训练后量化)、QAT(量化感知训练)、GPTQ、AWQ
- 剪枝方法:结构化剪枝、非结构化剪枝、稀疏剪枝
- 知识蒸馏:Teacher-Student 架构、自蒸馏、多教师蒸馏
- 低秩分解:SVD 分解、张量分解
- 工具框架:PyTorch, TensorFlow Model Optimization, NVIDIA TensorRT, Intel Neural Compressor
最佳实践
量化策略
- 权重量化优先,激活量化谨慎
- INT8 量化需进行校准(Calibration)
- 敏感层使用更高精度或跳过量化
- 大语言模型优先使用 GPTQ/AWQ
剪枝实践
- 结构化剪枝更适合实际加速
- 逐步剪枝避免精度骤降
- 使用 Lottery Ticket 假设指导剪枝
- 剪枝后需进行微调恢复
知识蒸馏
- 选择合适的教师模型规模
- 设计多任务蒸馏损失函数
- 中间层特征对齐提升效果
- 注意学生模型的容量限制
评估体系
- 建立完整的精度评估基准
- 测量实际推理延迟和吞吐
- 对比不同硬件平台表现
- 记录压缩率和精度权衡曲线
工具链集成
- 自动化压缩流水线
- 版本管理压缩模型
- 支持压缩配置热更新
- 提供 A/B 测试能力
关键约定
压缩配置命名
compression: method: quantization # quantization/pruning/distillation precision: int8 # fp16/int8/int4 target_hardware: nvidia_gpu version: v1.0.0评估指标
- 压缩率 = 原始大小 / 压缩后大小
- 精度损失 = 原始精度 - 压缩后精度
- 加速比 = 原始延迟 / 压缩后延迟
精度容忍度
- 分类任务:< 1% 精度损失
- 检测任务:< 2% mAP 损失
- 生成任务:< 5% BLEU 损失
恢复方案
- 保留原始模型检查点
- 记录压缩超参数配置
- 支持渐进式微调恢复