# AI Inference

> Use when working with AI — development rules

- Skill: `liaosw97/ai-inference` (Agent Skill, multi-file: 2 files)
- Install (CLI): `npx skillmds@latest add liaosw97/ai-inference`
- Raw SKILL.md: https://api.skillmd.com/api/skills/liaosw97/ai-inference/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: AI & ML
- Author: liaosw97 (https://skillmd.com/u/liaosw97)
- Updated: 2026-09-22
- Page: https://skillmd.com/skills/liaosw97/ai-inference

---


## 核心原则
- **延迟优先**：追求毫秒级推理响应时间
- **能效平衡**：在精度和功耗之间找到最优平衡
- **模型轻量**：使用压缩技术适配边缘设备资源
- **部署标准化**：统一模型格式和部署接口
- **安全可靠**：保障推理服务的稳定性和安全性

## 技术栈
- **推理框架**：TensorFlow Lite, ONNX Runtime, TensorRT, OpenVINO
- **模型优化**：量化（INT8/FP16）、剪枝、知识蒸馏
- **边缘硬件**：NVIDIA Jetson, Google Edge TPU, Intel Movidius
- **部署工具**：Docker, TensorFlow Serving, Triton Inference Server
- **编程语言**：Python, C++, CUDA

## 最佳实践
1. **模型优化策略**
   - 优先使用 INT8 量化减少模型体积
   - 采用结构化剪枝保持推理效率
   - 使用知识蒸馏提升小模型精度
   - 针对目标硬件优化计算图

2. **延迟优化**
   - 使用异步推理和批处理机制
   - 预加载模型到内存避免冷启动
   - 优化输入预处理流水线
   - 启用硬件加速器（GPU/NPU）

3. **精度保障**
   - 量化前后进行精度评估
   - 建立精度下降预警机制
   - 保留原始模型作为对照基准

4. **部署规范**
   - 统一使用 ONNX 作为中间格式
   - 实现模型版本管理和灰度发布
   - 提供标准化的 REST/gRPC 推理接口

5. **监控与日志**
   - 记录推理延迟和吞吐量指标
   - 监控设备温度和功耗
   - 实现异常自动告警

## 关键约定
1. **模型格式**
   - 训练框架模型 → ONNX → 部署格式
   - 文件命名：`{model-name}_{version}_{precision}.onnx`

2. **API 规范**
   ```
   POST /v1/models/{model_name}:predict
   Content-Type: application/json

   {
     "inputs": [...],
     "parameters": {...}
   }
   ```

3. **性能基准**
   - 图像分类：< 10ms（224x224输入）
   - 目标检测：< 30ms（640x480输入）
   - NLP 推理：< 50ms（128 token输入）

4. **错误处理**
   - 推理超时返回降级结果
   - 资源不足时拒绝新请求
   - 记录失败样本用于分析