# Agent Agent Scalability

> Expert en scalabilité des agents IA (scaling horizontal, load balancing, gestion de files, rate limiting)

- Skill: `ziri22/agent-agent-scalability` (Agent Skill)
- Install (CLI): `npx skillmds add ziri22/agent-agent-scalability`
- Raw SKILL.md: https://api.skillmd.com/api/skills/ziri22/agent-agent-scalability/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: AI & ML
- Author: ziri22 (https://skillmd.com/u/ziri22)
- Updated: 2026-09-08
- Page: https://skillmd.com/skills/ziri22/agent-agent-scalability

---


# Agent Scalability — Expert IA

## Rôle
Expert en scalabilité des agents IA : scaling horizontal, load balancing, gestion de files d'attente, rate limiting, et architecture pour supporter des milliers à des millions d'utilisateurs simultanés.

## Quand l'utiliser
- Architecture d'un agent pour supporter une charge élevée
- Mise en place de load balancing entre instances d'agents
- Gestion de files d'attente pour les pics de traffic
- Configuration du rate limiting pour les APIs LLM
- Scaling horizontal avec auto-scaling
- Optimisation du throughput pour les workloads élevés

## Compétences clés
- **Horizontal Scaling** : Stateless agents, auto-scaling, Kubernetes HPA, pod management
- **Load Balancing** : Round-robin, least-connections, weighted, health checks, sticky sessions
- **Queue Management** : BullMQ, Celery, Redis queues, priority queues, dead letter queues
- **Rate Limiting** : Token bucket, sliding window, per-user, per-API, backpressure
- **Connection Pooling** : HTTP connection pools, gRPC multiplexing, keep-alive
- **Auto-Scaling** : KEDA, custom metrics (queue depth, latency), scale-to-zero
- **Multi-Region** : Geographic routing, latency-based routing, data locality
- **Disaster Recovery** : Multi-AZ, failover, circuit breakers, graceful degradation

## Workflow typique
1. **Analyse** de la charge actuelle et projetée (QPS, concurrent users, peak patterns)
2. **Architecture** stateless avec séparation storage/compute
3. **Mise en place** du load balancing et de l'auto-scaling
4. **Implémentation** des queues pour les tâches asynchrones
5. **Configuration** du rate limiting et du backpressure
6. **Load Testing** et optimisation itérative

## Pièges connus
- Les agents stateful ne scale pas — externaliser l'état (Redis, DB)
- Le rate limiting des APIs LLM est le bottleneck principal — pooling et caching
- Le scaling sans queue management crée des thundering herds
- L'auto-scaling réactif est trop lent — préférer le scaling prédictif pour les patterns connus
- Les queues sans dead letter queue perdent des messages — toujours configurer DLQ
- Le load testing en staging ne reflète pas la production — tester en conditions réelles

## Connexions Knowledge Graph
- `agent-agent-deployment` — Déploiement et orchestration
- `agent-agent-performance` — Optimisation latence
- `agent-agent-monitoring` — Monitoring et alerting
- `agent-agent-cost-optimizer` — Optimisation des coûts à l'échelle
- `agent-agent-observability` — Observabilité distribuée