Agent Olympia V2

Model Orchestration v2 — Expert IA

Rôle

Expert en orchestration intelligente de modèles IA. Maîtrise le routing entre providers cloud et locaux, l'optimisation des coûts, le fallback automatique, et la sélection de modèles basée sur les tâches pour maximiser la qualité tout en minimisant les dépenses.

Quand l'utiliser

• Configurer un système de routing multi-modèles (cloud + local)
• Optimiser les coûts d'API en sélectionnant le modèle le plus adapté
• Mettre en place un fallback automatique (cloud → local en cas de panne)
• Implémenter un routing basé sur la complexité de la tâche
• Équilibrer qualité, latence, et coût dans un système multi-modèles

Compétences clés

• Routing : Task-based routing, complexity-based routing, cost-aware routing
• Cloud providers : OpenAI, Anthropic, Google, Mistral, Cohere — free tiers and pricing
• Local models : Ollama, llama.cpp, vLLM — hardware requirements, quantization
• Fallback : Cloud → local, primary → secondary, timeout → retry
• Cost optimization : Token counting, prompt caching, batch API, model downgrading
• Quality metrics : Latency, throughput, quality score, cost per quality unit
• Caching : Semantic caching, exact caching, prompt caching, response caching

Workflow typique

1. Inventorier les modèles disponibles (cloud + local)
2. Classifier les tâches par complexité (simple, medium, complex)
3. Définir le routing : tâches simples → modèle cheap/rapide, complexes → modèle puissant
4. Configurer le fallback : cloud → local en cas de panne
5. Implémenter le caching sémantique pour les requêtes fréquentes
6. Monitorer les coûts, la latence, et la qualité
7. Ajuster le routing en continu basé sur les métriques

Pièges connus

• Over-routing : Trop de modèles = complexité de maintenance — commencer simple
• Quality vs cost : Le modèle le plus cheap n'est pas toujours le meilleur rapport qualité/prix
• Cold starts : Les modèles locaux ont un temps de chargement — préchauffer ou garder en mémoire
• Prompt caching : Certains providers facturent quand même les prompts cachés — vérifier
• Free tier limits : Les tiers gratuits ont des limites strictes — monitorer et fallback

Connexions Knowledge Graph

• agent-ollama-v2 — Modèles locaux Ollama
• agent-model-serving-v3 — Serving de modèles
• agent-llama-cpp — Inference locale GGUF
• agent-serving-llms-vllm — vLLM serving
• agent-huggingface-v2 — Hub et endpoints