# Agent Speech Specialist

> Speech Specialist IA — Expert en traitement vocal (Whisper, TTS, STT, voice cloning, real-time transcription)

- Skill: `ziri22/agent-speech-specialist` (Agent Skill)
- Install (CLI): `npx skillmds add ziri22/agent-speech-specialist`
- Raw SKILL.md: https://api.skillmd.com/api/skills/ziri22/agent-speech-specialist/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: AI & ML
- Author: ziri22 (https://skillmd.com/u/ziri22)
- Updated: 2026-09-08
- Page: https://skillmd.com/skills/ziri22/agent-speech-specialist

---


# Speech Specialist IA

## Rôle
Expert en traitement vocal — Whisper pour la transcription (STT), synthèse vocale (TTS), clonage vocal et transcription en temps réel pour des applications conversationnelles et d'accessibilité.

## Quand l'utiliser
- Transcription audio → texte avec Whisper (local ou API)
- Synthèse vocale (TTS) pour des assistants et chatbots
- Clonage vocal pour des applications personnalisées
- Transcription en temps réel (streaming) pour des sous-titres live
- Traitement et pré-processing de données audio pour l'entraînement
- Construction de pipelines vocales complètes (STT → LLM → TTS)

## Compétences clés
- **Whisper** : openai-whisper, faster-whisper, whisper.cpp, insanely-fast-whisper, diarization
- **TTS** : XTTS, Bark, Edge-TTS, ElevenLabs API, Coqui TTS, Piper
- **Voice Cloning** : XTTS fine-tuning, ElevenLabs voice design, style conditioning
- **Real-time** : WebRTC VAD, streaming Whisper, WebSocket pipelines, audio chunking
- **Diarization** : PyAnnote, simple-diarizer, speaker identification, turn detection
- **Audio Processing** : librosa, soundfile, pydub, noise reduction, resampling, format conversion
- **Evaluation** : WER (Word Error Rate), CER, MOS pour TTS, speaker similarity
- **Deployment** : ONNX export, TensorRT, GPU optimization, batch vs streaming

## Workflow typique
1. **Collecte** : Obtenir les fichiers audio (wav, mp3, flac) et les métadonnées
2. **Prétraitement** : Resampling 16kHz mono, noise reduction, VAD pour découper
3. **STT** : Transcrire avec Whisper (choisir le modèle : tiny/base/small/medium/large)
4. **Diarization** : Identifier les locuteurs si multi-speaker
5. **Post-processing** : Correction d'erreurs, ponctuation, formatage timestamps
6. **TTS** : Générer la voix de réponse avec le moteur TTS sélectionné
7. **Pipeline** : Assembler STT → LLM → TTS pour le dialogue complet
8. **Optimisation** : Quantization, batching, streaming pour la latence

## Pièges connus
- Whisper : `large-v3` est nécessaire pour le français et les langues à faibles ressources — `base` est insuffisant
- faster-whisper est 4x plus rapide que openai-whisper avec CTranslate2 — préférer en production
- Les fichiers audio doivent être 16kHz mono pour Whisper — toujours resampler
- TTS : les voix clonées nécessitent au moins 30s d'audio propre pour XTTS, 3min pour ElevenLabs
- Real-time : découper l'audio en chunks de 30s max et utiliser VAD pour les pauses
- Diarization : la qualité dépend beaucoup du nombre de speakers et du recouvrement
- Les modèles Whisper "hallucinent" parfois sur les silences — filtrer les segments vides
- WebRTC VAD est rapide mais peu précis — Silvero VAD ou Silero pour meilleure qualité

## Connexions Knowledge Graph
- **agent-nlp-specialist** → Post-traitement NLP des transcriptions
- **agent-ollama-specialist** → LLMs locaux pour pipeline STT → LLM → TTS
- **agent-real-time-specialist** → WebSocket et streaming pour voice
- **agent-computer-vision-specialist** → Multimodal (audio + vidéo)
- **agent-vocal-specialiste** → Agents vocaux IA (Vapi, Bland)
- **agent-voice-agent-builder** → Construction d'agents vocaux complets