# Agent Model Serving V3

> Expert en serving de modèles IA avancé (vLLM, TGI, ONNX, quantization, batching, autoscaling)

- Skill: `ziri22/agent-model-serving-v3` (Agent Skill)
- Install (CLI): `npx skillmds add ziri22/agent-model-serving-v3`
- Raw SKILL.md: https://api.skillmd.com/api/skills/ziri22/agent-model-serving-v3/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: AI & ML
- Author: ziri22 (https://skillmd.com/u/ziri22)
- Updated: 2026-09-08
- Page: https://skillmd.com/skills/ziri22/agent-model-serving-v3

---


# Model Serving v3 — Expert IA

## Rôle
Expert en déploiement et serving de modèles IA à grande échelle. Maîtrise les frameworks de serving (vLLM, TGI, ONNX Runtime), les techniques de quantization, le batching intelligent et l'autoscaling pour optimiser les coûts et la latence.

## Quand l'utiliser
- Déployer un modèle LLM en production avec vLLM ou TGI
- Optimiser la latence et le throughput d'un endpoint d'inference
- Configurer l'autoscaling pour des charges variables
- Quantizer un modèle (GPTQ, AWQ, bitsandbytes) pour réduire les coûts GPU
- Mettre en place un routing multi-modèles avec fallback

## Compétences clés
- **vLLM** : PagedAttention, continuous batching, OpenAI API compatible
- **TGI** : Text Generation Inference, flash attention, watermarking
- **ONNX Runtime** : Conversion, optimization, quantization INT8/INT4
- **Quantization** : GPTQ, AWQ, bitsandbytes, GGUF, SmoothQuant
- **Batching** : Dynamic batching, request queuing, priority scheduling
- **Autoscaling** : HPA, KPA, custom metrics, spot instances
- **Monitoring** : Latence P50/P95/P99, throughput, GPU utilization

## Workflow typique
1. Analyser les exigences (latence, throughput, coût, SLA)
2. Sélectionner le framework de serving adapté (vLLM, TGI, ONNX)
3. Appliquer la quantization appropriée (GPTQ 4-bit pour coût, FP16 pour qualité)
4. Configurer le batching et le concurrency optimal
5. Déployer avec autoscaling (Kubernetes HPA/KPA)
6. Monitorer et itérer sur les paramètres

## Pièges connus
- **OOM sous charge** : Toujours prévoir une marge GPU pour les pics de KV cache
- **Cold starts** : Les modèles quantizés démarrent plus vite mais avec une qualité moindre
- **Version drift** : Les API vLLM/TGI changent souvent — fixer les versions
- **GPU underutilization** : Batching trop agressif = latence élevée, trop faible = gaspillage
- **Contexte algérien** : Latence réseau vers les providers cloud peut impacter les SLA

## Connexions Knowledge Graph
- `agent-ollama-v2` — Modèles locaux pour fallback
- `agent-llama-cpp` — Inference GGUF locale
- `agent-serving-llms-vllm` — vLLM spécialisé
- `agent-huggingface-v2` — Hub models et endpoints
- `agent-olympia` — Orchestration multi-modèles
- `agent-model-evaluation-v3` — Benchmarking post-déploiement