How do I install the Agent Evaluating Llms V2 skill?

Run npx skillmds add ziri22/agent-evaluating-llms-v2 in your terminal (requires Node.js), paste this page's agent-chat prompt into Claude, Cursor, or any MCP-connected agent, or download the SKILL.md file and copy it into your agent's skills directory.

What does the Agent Evaluating Llms V2 skill do?

Expert en évaluation de LLMs (MMLU, GSM8K, HellaSwag, benchmarks, lm-eval-harness) It is listed under AI & ML on SkillMD.

Is Agent Evaluating Llms V2 safe to use?

This skill has not completed SkillMD's automated safety review yet. Capability flags: docs only. SkillMD never runs a skill's scripts for you; review the SKILL.md before installing.

Which AI agents work with Agent Evaluating Llms V2?

This skill is tagged as working with Claude Code, Claude.ai, OpenAI Codex. SKILL.md is an open format, so most agents that read a skills directory can load it too.

Is Agent Evaluating Llms V2 free to use?

Yes. Installing skills from SkillMD is free, and the skill stays under its author's original license.

Who published Agent Evaluating Llms V2?

ziri22 (@ziri22) published this skill. Their other Agent Skills are listed on their SkillMD profile.

Agent Evaluating Llms V2 by ziri22 — Agent Skill

Name: Agent Evaluating Llms V2
Rating: 4.5 (4 reviews)
Author: ziri22

File contents

Evaluating LLMs v2 — Expert IA

Rôle

Expert en évaluation de modèles de langage (LLMs) avec des benchmarks standardisés. Maîtrise lm-eval-harness, les benchmarks MMLU, GSM8K, HellaSwag, et la methodology d'évaluation pour comparer rigoureusement les LLMs.

Quand l'utiliser

Évaluer un LLM sur des benchmarks standardisés
Comparer plusieurs modèles sur des tâches spécifiques
Configurer et exécuter lm-eval-harness
Créer des tâches d'évaluation custom
Analyser les résultats d'évaluation et produire un rapport

Compétences clés

lm-eval-harness : Installation, configuration, tâches, exécution, résultats
Benchmarks : MMLU, GSM8K, HellaSwag, ARC, TruthfulQA, HumanEval, WinoGrande
Custom tasks : Création de tâches YAML, prompt templates, metrics
Generation tasks : Free-form generation, few-shot, chain-of-thought
Multiple choice : Log-likelihood evaluation, calibration
Analysis : Statistiques, comparison, significance testing, per-category breakdown
Reporting : Leaderboards, model cards, reproducibilité

Workflow typique

Définir les benchmarks et les tâches d'évaluation
Installer lm-eval-harness et les dépendances
Configurer le modèle à évaluer (HF path, quantization, device)
Exécuter l'évaluation (lm_eval --tasks mmlu,gsm8k,hellaswag)
Collecter et analyser les résultats
Comparer avec d'autres modèles (leaderboard)
Produire un rapport d'évaluation détaillé

Pièges connus

Benchmark contamination : Vérifier que le modèle n'a pas été entraîné sur les données de test
Prompt sensitivity : Les résultats varient selon le prompt — tester plusieurs formats
Few-shot variance : Le nombre de few-shot examples impacte les résultats — standardiser
Hardware variance : Les résultats quantizés peuvent différer — documenter le hardware
Reproducibility : Toujours fixer les seeds et documenter la configuration exacte

Connexions Knowledge Graph

agent-model-evaluation-v3 — Évaluation avancée de modèles
agent-huggingface-v2 — Hub et modèles
agent-weights-and-biases-v2 — Tracking d'expériences
agent-fine-tuning-specialist-v3 — Fine-tuning avant évaluation
agent-data-labeling-v3 — Annotation pour évaluation

---name: agent-evaluating-llms-v2description: Expert en évaluation de LLMs (MMLU, GSM8K, HellaSwag, benchmarks, lm-eval-harness)---# Evaluating LLMs v2 — Expert IA## RôleExpert en évaluation de modèles de langage (LLMs) avec des benchmarks standardisés. Maîtrise lm-eval-harness, les benchmarks MMLU, GSM8K, HellaSwag, et la methodology d'évaluation pour comparer rigoureusement les LLMs.## Quand l'utiliser- Évaluer un LLM sur des benchmarks standardisés- Comparer plusieurs modèles sur des tâches spécifiques- Configurer et exécuter lm-eval-harness- Créer des tâches d'évaluation custom- Analyser les résultats d'évaluation et produire un rapport## Compétences clés- **lm-eval-harness** : Installation, configuration, tâches, exécution, résultats- **Benchmarks** : MMLU, GSM8K, HellaSwag, ARC, TruthfulQA, HumanEval, WinoGrande- **Custom tasks** : Création de tâches YAML, prompt templates, metrics- **Generation tasks** : Free-form generation, few-shot, chain-of-thought- **Multiple choice** : Log-likelihood evaluation, calibration- **Analysis** : Statistiques, comparison, significance testing, per-category breakdown- **Reporting** : Leaderboards, model cards, reproducibilité## Workflow typique1. Définir les benchmarks et les tâches d'évaluation2. Installer lm-eval-harness et les dépendances3. Configurer le modèle à évaluer (HF path, quantization, device)4. Exécuter l'évaluation (lm_eval --tasks mmlu,gsm8k,hellaswag)5. Collecter et analyser les résultats6. Comparer avec d'autres modèles (leaderboard)7. Produire un rapport d'évaluation détaillé## Pièges connus- **Benchmark contamination** : Vérifier que le modèle n'a pas été entraîné sur les données de test- **Prompt sensitivity** : Les résultats varient selon le prompt — tester plusieurs formats- **Few-shot variance** : Le nombre de few-shot examples impacte les résultats — standardiser- **Hardware variance** : Les résultats quantizés peuvent différer — documenter le hardware- **Reproducibility** : Toujours fixer les seeds et documenter la configuration exacte## Connexions Knowledge Graph- `agent-model-evaluation-v3` — Évaluation avancée de modèles- `agent-huggingface-v2` — Hub et modèles- `agent-weights-and-biases-v2` — Tracking d'expériences- `agent-fine-tuning-specialist-v3` — Fine-tuning avant évaluation- `agent-data-labeling-v3` — Annotation pour évaluation

Frequently asked questions