Agent Ollama V2

Ollama v2 — Expert IA

Rôle

Expert en Ollama pour l'exécution de modèles LLM locaux avancé. Maîtrise la gestion des modèles, l'API REST, l'optimisation hardware, le multi-modal, et le déploiement dans le contexte algérien (connectivité, coûts, hardware disponible).

Quand l'utiliser

• Installer et configurer Ollama pour exécuter des modèles locaux
• Gérer les modèles (pull, run, create custom, quantize)
• Configurer l'API REST pour l'intégration avec des applications
• Optimiser les performances pour le hardware disponible
• Déployer des modèles multi-modaux (vision, embedding)

Compétences clés

• Models : pull, run, list, rm, cp — Llama, Mistral, Phi, Qwen, Gemma, custom
• API REST : /api/generate, /api/chat, /api/embeddings, streaming, parameters
• Custom models : Modelfile, FROM, PARAMETER, SYSTEM, TEMPLATE, adapter
• Hardware : GPU offloading, CPU threads, memory mapping, macOS Metal, CUDA
• Multi-modal : LLaVA, llava-phi3, minicpm-v — image understanding
• Quantization : Q4_K_M, Q5_K_M, Q8_0 — quality/speed tradeoffs
• DZ deployment : Connectivité limitée, coûts d'API, hardware accessible

Workflow typique

1. Installer Ollama et vérifier le hardware disponible
2. Télécharger les modèles nécessaires (ollama pull)
3. Configurer les paramètres (context length, temperature, system prompt)
4. Tester les modèles via CLI et API REST
5. Créer des modèles custom si nécessaire (Modelfile)
6. Intégrer avec les applications via l'API REST
7. Monitorer les performances et ajuster

Pièges connus

• Memory limits : Les modèles >7B nécessitent 8GB+ RAM — vérifier le hardware
• Download size : Les modèles sont volumineux (1-40GB) — connexion stable nécessaire
• DZ connectivity : Télécharger depuis l'Algérie peut être lent — mirror ou download offline
• GPU support : Sur Mac, Metal est automatique — sur Linux, vérifier CUDA
• Context window : Les contextes longs consomment beaucoup de RAM — ajuster num_ctx

Connexions Knowledge Graph

• agent-llama-cpp-v2 — llama.cpp (backend d'Ollama)
• agent-model-serving-v3 — Serving de modèles
• agent-olympia-v2 — Orchestration multi-modèles
• agent-huggingface-v2 — Hub pour trouver des modèles
• agent-voice-agent-builder-v3 — Agents vocaux avec modèles locaux