Assess an open-source agent framework for investment readiness by evaluating community health, supersession risk, architecture alignment, and governance sustainability. Produces a four-tier classification (INVEST / EVALUATE-FURTHER / CONTRIBUTE-CAUTIOUSLY / AVOID) to guide resource allocation decisions before committing engineering effort.
Strukturierte Bewertung der Investitionsbereitschaft eines Open-Source-Agent-Frameworks. Der neuartige Wert liegt in Schritten 2-3: Quantifizierung der Community-Gesundheit durch Beitrags-Ueberlebensraten und Messung des Supersession-Risikos — der haeufigste Grund warum externer Engineering-Aufwand verschwendet wird. Die finale Klassifikation (INVEST / EVALUATE-FURTHER / CONTRIBUTE-CAUTIOUSLY / AVOID) kalibriert Ressourcenallokation bevor Entwicklungszyklen verpflichtet werden.
Wann verwenden
Bewerten ob ein Agent-Framework fuer Production-Use uebernommen werden soll
Abhaengigkeitsrisiko auf einem Framework einschaetzen auf das das Projekt sich verlaesst
Entscheiden ob Engineering-Aufwand zu einem externen Projekt beigetragen werden soll
Konkurrierende Frameworks fuer eine Build-vs-Adopt-Entscheidung vergleichen
Ein Framework nach einem Major-Release, Governance-Wechsel oder Acquisition neu bewerten
Eingaben
Erforderlich: framework_url — GitHub-URL des Framework-Repositories
Optional:
comparison_frameworks — Liste alternativer Framework-URLs zum Benchmarken
Abhaengige Repositories: GitHubs "Used by"-Anzahl pruefen oder gh api repos/<owner>/<repo>/dependents
Release-Kadenz: gh release list --limit 10 — Frequenz vermerken und ob Releases semver folgen
Bus-Faktor berechnen: Top-5-Contributors nach Commit-Anzahl ueber die letzten 12 Monate identifizieren. Wenn der Top-Contributor >60% der Commits ausmacht, ist der Bus-Faktor kritisch niedrig
Landscape-Position kartieren:
Pioneer: First Mover, definiert die Kategorie (hoher Einfluss, hohes Supersession-Risiko fuer Follower)
Fast-Follower: innerhalb 6 Monaten nach dem Pioneer gestartet, iteriert ueber das Konzept
Spaet-Einsteiger: nach Stabilisierung der Kategorie angekommen, konkurriert ueber Features oder Governance
Wenn comparison_frameworks angegeben ist, dieselben Metriken fuer jede Alternative sammeln
Erwartet: Zensus-Tabelle mit Stars, Forks, Dependents, Release-Kadenz, Bus-Faktor und Landscape-Position fuer das Ziel (und Vergleiche falls bereitgestellt).
Bei Fehler: Wenn das Repository privat oder API-rate-limitiert ist, auf manuelle README-Analyse zurueckfallen. Wenn Metriken nicht verfuegbar sind (z.B. selbst gehostetes GitLab), die Luecke vermerken und mit qualitativer Bewertung fortfahren.
Schritt 2: Community-Gesundheit bewerten
Quantifizieren ob das Projekt externe Beitragende willkommen heisst, unterstuetzt und haelt.
Die externe Beitrags-Ueberlebensrate berechnen:
Die letzten 50 geschlossenen PRs ziehen: gh pr list --state closed --limit 50 --json author,mergedAt,closedAt,labels
Jeden PR-Autor als intern (Org-Mitglied) oder extern klassifizieren
Issue-Erstantwort-Zeit: Median-Zeit von Issue-Erstellung zu erstem Maintainer-Kommentar
PR-Merge-Latenz: Median-Zeit von PR-Eroeffnung bis Merge fuer externe PRs
Gesund: <7 Tage Erstantwort, <30 Tage Merge; bedenklich: >30 Tage Erstantwort
Contributor-Diversitaet einschaetzen:
Externes/internes Contributor-Verhaeltnis ueber die letzten 6 Monate
Anzahl einzigartiger externer Contributors mit >=2 gemergten PRs (wiederkehrende Contributors signalisieren ein gesundes Oekosystem)
Governance-Artefakte pruefen:
CONTRIBUTING.md existiert und ist umsetzbar (nicht nur "PR einreichen")
CODE_OF_CONDUCT.md existiert
Governance-Docs beschreiben den Entscheidungsprozess
Issue-/PR-Templates leiten Beitragende
Erwartet: Community-Gesundheits-Scorecard mit Ueberlebensrate, Antwortzeiten, Diversitaets-Verhaeltnis und Governance-Artefakt-Checkliste.
Bei Fehler: Wenn PR-Daten unzureichend sind (neues Projekt mit <20 geschlossenen PRs), die Stichprobengroessen-Beschraenkung vermerken und andere Signale staerker gewichten. Wenn das Projekt eine Nicht-GitHub-Plattform nutzt, die Queries an die API dieser Plattform anpassen.
Schritt 3: Supersession-Risiko berechnen
Bestimmen wie wahrscheinlich es ist dass externe Beitraege durch interne Entwicklung obsolet gemacht werden — das groesste Einzelrisiko fuer Framework-Adopters und -Beitragende.
Die letzten 50-100 gemergten externen PRs sampeln (oder alle wenn weniger existieren)
Fuer jeden gemergten externen PR pruefen ob der beigetragene Code spaeter:
Reverted: expliziter Revert-Commit der den PR referenziert
Rewritten: dieselbe Datei/Modul innerhalb 90 Tagen wesentlich von einem internen Contributor geaendert
Obsoleted: Feature in einem nachfolgenden Release entfernt oder ersetzt
Die veroeffentlichte Roadmap (falls verfuegbar) gegen Bereiche kartieren in denen externe Contributors aktiv sind:
Hohe Ueberlappung = hohes Supersession-Risiko (Interne werden ueber externe Arbeit bauen)
Niedrige Ueberlappung = niedrigeres Supersession-Risiko (Externe fuellen Luecken die Interne nicht fuellen werden)
Auf "Beitrags-Fallen" pruefen: Bereiche die beitragsfreundlich aussehen aber fuer internen Rewrite geplant sind
Referenz-Benchmark: NemoClaw-Analyse zeigte 71% externe PRs innerhalb 6 Monaten superseded — als Kalibrierungspunkt nutzen
Erwartet: Supersession-Rate als Prozentsatz, mit Aufschluesselung nach Typ (reverted/rewritten/obsoleted). Roadmap-Ueberlappungs-Bewertung.
Bei Fehler: Wenn die Commit-Historie flach oder squash-merged ist (Attribution verloren), Supersession schaetzen indem externe PR-Dateipfade gegen in nachfolgenden Releases geaenderte Dateien verglichen werden. Reduziertes Vertrauen in die Schaetzung vermerken.
Schritt 4: Architektur-Alignment evaluieren
Bewerten ob die Architektur des Frameworks deinen Anwendungsfall ohne uebermaessigen Lock-in unterstuetzt.
Erweiterungspunkte kartieren:
Plugin-/Extension-API: legt das Framework eine dokumentierte Plugin-Schnittstelle offen?
Konfigurations-Oberflaeche: kann Verhalten ohne Forking angepasst werden?
Hook-/Callback-System: kannst du Framework-Verhalten an Schluesselpunkten abfangen und modifizieren?
Lock-in-Risiko einschaetzen:
Rewrite-Kosten: Engineering-Aufwand zum Wegmigrieren schaetzen (Tage/Wochen/Monate)
Datenportabilitaet: koennen Daten/State in Standardformaten exportiert werden?
Standard-Compliance: nutzt das Framework offene Standards (agentskills.io, MCP, A2A) oder proprietaere Protokolle?
API-Stabilitaet evaluieren:
Breaking Changes pro Major-Release zaehlen (CHANGELOG, Migrations-Guides)
Auf Deprecation-Policy pruefen (Vorwarnung vor Entfernung)
Semver-Compliance einschaetzen (Breaking Changes nur in Major-Versionen)
Alignment mit dem spezifischen Anwendungsfall pruefen:
Wenn use_case angegeben ist, evaluieren ob die Framework-Architektur ihn natuerlich unterstuetzt
Architektonische Mismatches identifizieren die Workarounds erfordern wuerden
Erwartet: Architektur-Alignment-Bericht mit Erweiterungspunkt-Inventar, Lock-in-Risiko-Bewertung (niedrig/mittel/hoch), API-Stabilitaets-Score und Anwendungsfall-Fit-Bewertung.
Bei Fehler: Wenn Architektur-Dokumentation duenn ist, die Bewertung aus Code-Struktur und oeffentlicher API-Oberflaeche ableiten. Wenn das Framework zu jung fuer Stabilitaets-Historie ist, dies vermerken und Governance-Signale staerker gewichten.
Schritt 5: Governance und Nachhaltigkeit bewerten
Evaluieren ob das Governance-Modell des Projekts langfristige Lebensfaehigkeit und faire Behandlung externer Beitragender unterstuetzt.
Entwickelt sich das Governance-Modell (z.B. Bewegung in Richtung Foundation)?
Gab es kuerzlich einen Leadership-Wechsel, eine Acquisition oder Re-Lizenzierung?
Gibt es oeffentliche Konflikte zwischen Maintainern und Beitragenden?
Erwartet: Governance-Bewertung mit Modell-Klassifikation, Nachhaltigkeitsbewertung (nachhaltig/at-risk/kritisch), Contributor-Schutz-Bewertung und Sicherheits-Posture-Zusammenfassung.
Bei Fehler: Wenn Governance-Information undokumentiert ist, die Abwesenheit selbst als Gelb-Flagge behandeln. Auf implizite Governance pruefen indem geprueft wird wer PRs merged, wer Issues schliesst und wer Release-Entscheidungen trifft.
INVEST (alle Dimensionen >=4): Gesunde Community, niedriges Supersession (<20%), aligntierte Architektur, nachhaltige Governance. Sicher zu uebernehmen und Engineering-Aufwand beizutragen.
EVALUATE-FURTHER (gemischt, keine Dimension <2): Gemischte Signale die spezifische Follow-ups erfordern. Dokumentieren was Klaerung braucht und ein Re-Evaluierungs-Datum setzen.
CONTRIBUTE-CAUTIOUSLY (irgendeine Dimension 2, keine <2): Hohes Supersession (>40%) oder Governance-Bedenken. Beitraege auf explizit angefragte Arbeit, vom Maintainer genehmigten Scope oder Plugin-/Extension-Entwicklung beschraenken die vom Core entkoppelt ist.
Mit der Stufen-Klassifikation und einsatzartiger Begruendung beginnen
Jeden Dimensions-Score mit Schluessel-Evidenz zusammenfassen
Wenn contribution_budget angegeben war, empfehlen wie diese Stunden gegeben der Stufe alloziert werden sollen
Fuer EVALUATE-FURTHER spezifische Fragen auflisten die Antworten brauchen und einen Zeitplan vorschlagen
Fuer CONTRIBUTE-CAUTIOUSLY spezifizieren welche Beitragstypen sicher (Plugins, Docs, Tests) vs. riskant (Core-Features) sind
Wenn comparison_frameworks evaluiert wurden, eine Vergleichsmatrix produzieren die alle Frameworks rangiert
Erwartet: Klassifikations-Bericht mit Stufe, Dimensions-Scores, Evidenz-Zusammenfassung und umsetzbaren Empfehlungen massgeschneidert auf den Investitions-Kontext.
Bei Fehler: Wenn Datenluecken sichere Klassifikation verhindern, auf EVALUATE-FURTHER defaulten mit expliziter Dokumentation was an Daten fehlt und wie man sie erhaelt. Niemals auf INVEST defaulten wenn unsicher.
Klassifikation produziert: eine von INVEST / EVALUATE-FURTHER / CONTRIBUTE-CAUTIOUSLY / AVOID
Jeder Dimensions-Score mit spezifischer Evidenz aus der Analyse begruendet
Empfehlungen sind umsetzbar und auf das Beitragsbudget kalibriert (falls bereitgestellt)
Datenluecken und Vertrauensbeschraenkungen explizit dokumentiert
Haeufige Stolperfallen
Popularitaet mit Gesundheit verwechseln: Hohe Stars aber niedrige Contributor-Diversitaet bedeutet einen Single Point of Failure. Ein 50k-Star-Projekt mit einem Maintainer ist weniger gesund als ein 2k-Star-Projekt mit 15 aktiven Contributors.
Supersession-Risiko ignorieren: Der haeufigste Grund warum externe Beitraege scheitern. Eine einladende Community bedeutet nichts wenn interne Entwicklung externe Arbeit routinemaessig ueberschreibt.
Architektur ueberzgewichten ohne Governance zu pruefen: Ein wunderschoen entworfenes Framework kann immer noch scheitern wenn das Governance-Modell unhaltbar oder externen-feindlich ist.
EVALUATE-FURTHER als AVOID behandeln: Gemischte Signale erfordern Untersuchung, nicht Ablehnung. Ein konkretes Re-Evaluierungs-Datum setzen und die spezifischen zu beantwortenden Fragen auflisten.
Snapshot-Verzerrung: Alle Metriken sind Punkt-in-Zeit. Ein abnehmendes Projekt mit grossartigen aktuellen Metriken ist schlimmer als ein verbesserndes Projekt mit mittelmaessigen aktuellen Metriken. Immer die Trend-Richtung ueber 6-12 Monate pruefen.
CLA-Selbstzufriedenheit: Manche CLAs ueberfuehren Copyright zum Projekteigentuemer, was bedeutet dass deine Beitraege ihr proprietaerer Vermoegenswert werden. Den CLA-Text lesen, nicht nur die Checkbox.
Auf einem einzelnen Framework ankern: Ohne Vergleichsframeworks sieht jedes Projekt entweder grossartig oder schrecklich aus. Immer gegen mindestens eine Alternative benchmarken, auch informell.
1---2name: evaluate-agent-framework-113description: >4 Assess an open-source agent framework for investment readiness by evaluating5 community health, supersession risk, architecture alignment, and governance6 sustainability. Produces a four-tier classification (INVEST / EVALUATE-FURTHER /7 CONTRIBUTE-CAUTIOUSLY / AVOID) to guide resource allocation decisions before8 committing engineering effort.9license: MIT10allowed-tools: Read Grep Glob Bash WebFetch WebSearch11metadata:12 source: https://skillmd.com/skills/pjt222/evaluate-agent-framework-1113 author: Philipp Thoss14 version: "1.0"15 domain: open-source16 complexity: advanced17 language: multi18 tags: open-source, framework-evaluation, risk-assessment, community-health, supersession, investment19 locale: de20 source_locale: en21 source_commit: 11edabf522 fence_basis_commit: 11edabf523 translator: "Claude + human review"24 translation_date: "2026-05-03"25---2627# Agent-Framework evaluieren2829Strukturierte Bewertung der Investitionsbereitschaft eines Open-Source-Agent-Frameworks. Der neuartige Wert liegt in Schritten 2-3: Quantifizierung der Community-Gesundheit durch Beitrags-Ueberlebensraten und Messung des Supersession-Risikos — der haeufigste Grund warum externer Engineering-Aufwand verschwendet wird. Die finale Klassifikation (INVEST / EVALUATE-FURTHER / CONTRIBUTE-CAUTIOUSLY / AVOID) kalibriert Ressourcenallokation bevor Entwicklungszyklen verpflichtet werden.3031## Wann verwenden3233- Bewerten ob ein Agent-Framework fuer Production-Use uebernommen werden soll34- Abhaengigkeitsrisiko auf einem Framework einschaetzen auf das das Projekt sich verlaesst35- Entscheiden ob Engineering-Aufwand zu einem externen Projekt beigetragen werden soll36- Konkurrierende Frameworks fuer eine Build-vs-Adopt-Entscheidung vergleichen37- Ein Framework nach einem Major-Release, Governance-Wechsel oder Acquisition neu bewerten3839## Eingaben4041- **Erforderlich**: `framework_url` — GitHub-URL des Framework-Repositories42- **Optional**:43 - `comparison_frameworks` — Liste alternativer Framework-URLs zum Benchmarken44 - `use_case` — beabsichtigter Anwendungsfall fuer Architektur-Alignment-Bewertung (z.B. "multi-agent orchestration", "tool-use pipelines")45 - `contribution_budget` — geplante Engineering-Stunden, zur Kalibrierung der Investitions-Stufe4647## Vorgehensweise4849### Schritt 1: Framework-Zensus sammeln5051Grundlegende Daten ueber Groesse, Aktivitaet und Landscape-Position des Projekts vor tieferer Analyse sammeln.52531. `README.md`, `CONTRIBUTING.md`, `LICENSE` und alle Architektur-Docs (`docs/`, `ARCHITECTURE.md`) abrufen und lesen542. Quantitative Metriken sammeln:55 - Stars, Forks, offene Issues, offene PRs: `gh repo view <repo> --json stargazerCount,forkCount,issues,pullRequests`56 - Abhaengige Repositories: GitHubs "Used by"-Anzahl pruefen oder `gh api repos/<owner>/<repo>/dependents`57 - Release-Kadenz: `gh release list --limit 10` — Frequenz vermerken und ob Releases semver folgen583. Bus-Faktor berechnen: Top-5-Contributors nach Commit-Anzahl ueber die letzten 12 Monate identifizieren. Wenn der Top-Contributor >60% der Commits ausmacht, ist der Bus-Faktor kritisch niedrig594. Landscape-Position kartieren:60 - **Pioneer**: First Mover, definiert die Kategorie (hoher Einfluss, hohes Supersession-Risiko fuer Follower)61 - **Fast-Follower**: innerhalb 6 Monaten nach dem Pioneer gestartet, iteriert ueber das Konzept62 - **Spaet-Einsteiger**: nach Stabilisierung der Kategorie angekommen, konkurriert ueber Features oder Governance635. Wenn `comparison_frameworks` angegeben ist, dieselben Metriken fuer jede Alternative sammeln6465**Erwartet:** Zensus-Tabelle mit Stars, Forks, Dependents, Release-Kadenz, Bus-Faktor und Landscape-Position fuer das Ziel (und Vergleiche falls bereitgestellt).6667**Bei Fehler:** Wenn das Repository privat oder API-rate-limitiert ist, auf manuelle README-Analyse zurueckfallen. Wenn Metriken nicht verfuegbar sind (z.B. selbst gehostetes GitLab), die Luecke vermerken und mit qualitativer Bewertung fortfahren.6869### Schritt 2: Community-Gesundheit bewerten7071Quantifizieren ob das Projekt externe Beitragende willkommen heisst, unterstuetzt und haelt.72731. Die **externe Beitrags-Ueberlebensrate** berechnen:74 - Die letzten 50 geschlossenen PRs ziehen: `gh pr list --state closed --limit 50 --json author,mergedAt,closedAt,labels`75 - Jeden PR-Autor als intern (Org-Mitglied) oder extern klassifizieren76 - Berechnen: `survival_rate = merged_external_PRs / total_external_PRs`77 - Gesunder Schwellwert: >50% Ueberlebensrate; bedenklich: <30%782. Reaktivitaet messen:79 - **Issue-Erstantwort-Zeit**: Median-Zeit von Issue-Erstellung zu erstem Maintainer-Kommentar80 - **PR-Merge-Latenz**: Median-Zeit von PR-Eroeffnung bis Merge fuer externe PRs81 - Gesund: <7 Tage Erstantwort, <30 Tage Merge; bedenklich: >30 Tage Erstantwort823. Contributor-Diversitaet einschaetzen:83 - Externes/internes Contributor-Verhaeltnis ueber die letzten 6 Monate84 - Anzahl einzigartiger externer Contributors mit >=2 gemergten PRs (wiederkehrende Contributors signalisieren ein gesundes Oekosystem)854. Governance-Artefakte pruefen:86 - `CONTRIBUTING.md` existiert und ist umsetzbar (nicht nur "PR einreichen")87 - `CODE_OF_CONDUCT.md` existiert88 - Governance-Docs beschreiben den Entscheidungsprozess89 - Issue-/PR-Templates leiten Beitragende9091**Erwartet:** Community-Gesundheits-Scorecard mit Ueberlebensrate, Antwortzeiten, Diversitaets-Verhaeltnis und Governance-Artefakt-Checkliste.9293**Bei Fehler:** Wenn PR-Daten unzureichend sind (neues Projekt mit <20 geschlossenen PRs), die Stichprobengroessen-Beschraenkung vermerken und andere Signale staerker gewichten. Wenn das Projekt eine Nicht-GitHub-Plattform nutzt, die Queries an die API dieser Plattform anpassen.9495### Schritt 3: Supersession-Risiko berechnen9697Bestimmen wie wahrscheinlich es ist dass externe Beitraege durch interne Entwicklung obsolet gemacht werden — das groesste Einzelrisiko fuer Framework-Adopters und -Beitragende.98991. Die letzten 50-100 gemergten externen PRs sampeln (oder alle wenn weniger existieren)1002. Fuer jeden gemergten externen PR pruefen ob der beigetragene Code spaeter:101 - **Reverted**: expliziter Revert-Commit der den PR referenziert102 - **Rewritten**: dieselbe Datei/Modul innerhalb 90 Tagen wesentlich von einem internen Contributor geaendert103 - **Obsoleted**: Feature in einem nachfolgenden Release entfernt oder ersetzt1043. Berechnen: `supersession_rate = (reverted + rewritten + obsoleted) / total_merged_external`1054. Die veroeffentlichte Roadmap (falls verfuegbar) gegen Bereiche kartieren in denen externe Contributors aktiv sind:106 - Hohe Ueberlappung = hohes Supersession-Risiko (Interne werden ueber externe Arbeit bauen)107 - Niedrige Ueberlappung = niedrigeres Supersession-Risiko (Externe fuellen Luecken die Interne nicht fuellen werden)1085. Auf "Beitrags-Fallen" pruefen: Bereiche die beitragsfreundlich aussehen aber fuer internen Rewrite geplant sind1096. Referenz-Benchmark: NemoClaw-Analyse zeigte 71% externe PRs innerhalb 6 Monaten superseded — als Kalibrierungspunkt nutzen110111**Erwartet:** Supersession-Rate als Prozentsatz, mit Aufschluesselung nach Typ (reverted/rewritten/obsoleted). Roadmap-Ueberlappungs-Bewertung.112113**Bei Fehler:** Wenn die Commit-Historie flach oder squash-merged ist (Attribution verloren), Supersession schaetzen indem externe PR-Dateipfade gegen in nachfolgenden Releases geaenderte Dateien verglichen werden. Reduziertes Vertrauen in die Schaetzung vermerken.114115### Schritt 4: Architektur-Alignment evaluieren116117Bewerten ob die Architektur des Frameworks deinen Anwendungsfall ohne uebermaessigen Lock-in unterstuetzt.1181191. Erweiterungspunkte kartieren:120 - Plugin-/Extension-API: legt das Framework eine dokumentierte Plugin-Schnittstelle offen?121 - Konfigurations-Oberflaeche: kann Verhalten ohne Forking angepasst werden?122 - Hook-/Callback-System: kannst du Framework-Verhalten an Schluesselpunkten abfangen und modifizieren?1232. Lock-in-Risiko einschaetzen:124 - **Rewrite-Kosten**: Engineering-Aufwand zum Wegmigrieren schaetzen (Tage/Wochen/Monate)125 - **Datenportabilitaet**: koennen Daten/State in Standardformaten exportiert werden?126 - **Standard-Compliance**: nutzt das Framework offene Standards (agentskills.io, MCP, A2A) oder proprietaere Protokolle?1273. API-Stabilitaet evaluieren:128 - Breaking Changes pro Major-Release zaehlen (CHANGELOG, Migrations-Guides)129 - Auf Deprecation-Policy pruefen (Vorwarnung vor Entfernung)130 - Semver-Compliance einschaetzen (Breaking Changes nur in Major-Versionen)1314. Alignment mit dem spezifischen Anwendungsfall pruefen:132 - Wenn `use_case` angegeben ist, evaluieren ob die Framework-Architektur ihn natuerlich unterstuetzt133 - Architektonische Mismatches identifizieren die Workarounds erfordern wuerden1345. Interoperabilitaet evaluieren:135 - agentskills.io-Kompatibilitaet (Skill-Modell-Alignment)136 - MCP-Unterstuetzung (Tool-Integration)137 - A2A-Protokoll-Unterstuetzung (Agent-zu-Agent-Kommunikation)138139**Erwartet:** Architektur-Alignment-Bericht mit Erweiterungspunkt-Inventar, Lock-in-Risiko-Bewertung (niedrig/mittel/hoch), API-Stabilitaets-Score und Anwendungsfall-Fit-Bewertung.140141**Bei Fehler:** Wenn Architektur-Dokumentation duenn ist, die Bewertung aus Code-Struktur und oeffentlicher API-Oberflaeche ableiten. Wenn das Framework zu jung fuer Stabilitaets-Historie ist, dies vermerken und Governance-Signale staerker gewichten.142143### Schritt 5: Governance und Nachhaltigkeit bewerten144145Evaluieren ob das Governance-Modell des Projekts langfristige Lebensfaehigkeit und faire Behandlung externer Beitragender unterstuetzt.1461471. Governance-Modell klassifizieren:148 - **BDFL** (Benevolent Dictator for Life): einzelner Entscheider — schnelle Entscheidungen, Bus-Faktor-Risiko149 - **Komitee/Core-Team**: verteilte Entscheidungsfindung — langsamer aber widerstandsfaehiger150 - **Foundation-backed**: formale Governance (Apache, Linux Foundation, CNCF) — am nachhaltigsten151 - **Corporate-controlled**: einzelnes Unternehmen treibt Entwicklung — auf Rug-Pull-Risiko achten1522. Funding und Nachhaltigkeit einschaetzen:153 - Funding-Quellen: VC-backed, corporate-sponsored, Grants, community-finanziert, unfinanziert154 - Vollzeit-Maintainer-Anzahl: >=2 ist gesund; 0 ist eine rote Flagge155 - Umsatzmodell (falls vorhanden): wie haelt sich das Projekt selbst?1563. Contributor-Schutz evaluieren:157 - Lizenztyp: permissiv (MIT, Apache-2.0) vs. copyleft (GPL) vs. custom158 - CLA-Anforderungen: ueberfuehrt das Unterzeichnen einer CLA Rechte die Beitragende benachteiligen?159 - Contributor-Anerkennung: werden externe Beitragende in Releases, Changelogs, Docs gewuerdigt?1604. Sicherheits-Posture pruefen:161 - Sicherheits-Disclosure-Policy (`SECURITY.md` oder Aequivalent)162 - Median-Zeit von CVE-Disclosure zu Patch-Release163 - Dependency-Update-Praktiken (Dependabot, Renovate, manuell)1645. Trajektorie einschaetzen:165 - Entwickelt sich das Governance-Modell (z.B. Bewegung in Richtung Foundation)?166 - Gab es kuerzlich einen Leadership-Wechsel, eine Acquisition oder Re-Lizenzierung?167 - Gibt es oeffentliche Konflikte zwischen Maintainern und Beitragenden?168169**Erwartet:** Governance-Bewertung mit Modell-Klassifikation, Nachhaltigkeitsbewertung (nachhaltig/at-risk/kritisch), Contributor-Schutz-Bewertung und Sicherheits-Posture-Zusammenfassung.170171**Bei Fehler:** Wenn Governance-Information undokumentiert ist, die Abwesenheit selbst als Gelb-Flagge behandeln. Auf implizite Governance pruefen indem geprueft wird wer PRs merged, wer Issues schliesst und wer Release-Entscheidungen trifft.172173### Schritt 6: Investitions-Bereitschaft klassifizieren174175Alle Befunde in eine Vier-Stufen-Klassifikation mit spezifischen Begruendungen und umsetzbaren Empfehlungen synthetisieren.1761771. Jede Dimension scoren (1-5-Skala):178 - **Community-Gesundheit**: Ueberlebensrate, Reaktivitaet, Diversitaet179 - **Supersession-Risiko**: Rate, Roadmap-Ueberlappung, Beitrags-Fallen (invertieren: niedriger ist besser)180 - **Architektur-Alignment**: Erweiterungspunkte, Lock-in, Stabilitaet, Anwendungsfall-Fit181 - **Governance-Nachhaltigkeit**: Modell, Funding, Schutz, Sicherheit1822. Klassifikations-Schwellwerte anwenden:183 - **INVEST** (alle Dimensionen >=4): Gesunde Community, niedriges Supersession (<20%), aligntierte Architektur, nachhaltige Governance. Sicher zu uebernehmen und Engineering-Aufwand beizutragen.184 - **EVALUATE-FURTHER** (gemischt, keine Dimension <2): Gemischte Signale die spezifische Follow-ups erfordern. Dokumentieren was Klaerung braucht und ein Re-Evaluierungs-Datum setzen.185 - **CONTRIBUTE-CAUTIOUSLY** (irgendeine Dimension 2, keine <2): Hohes Supersession (>40%) oder Governance-Bedenken. Beitraege auf explizit angefragte Arbeit, vom Maintainer genehmigten Scope oder Plugin-/Extension-Entwicklung beschraenken die vom Core entkoppelt ist.186 - **AVOID** (irgendeine Dimension 1): Kritische rote Flaggen — verlassenes Projekt, externen-feindlich (Ueberlebensrate <15%), inkompatible Lizenz oder unmittelbare Rug-Pull-Indikatoren. Keinen Engineering-Aufwand investieren.1873. Den Klassifikations-Bericht schreiben:188 - Mit der Stufen-Klassifikation und einsatzartiger Begruendung beginnen189 - Jeden Dimensions-Score mit Schluessel-Evidenz zusammenfassen190 - Wenn `contribution_budget` angegeben war, empfehlen wie diese Stunden gegeben der Stufe alloziert werden sollen191 - Fuer EVALUATE-FURTHER spezifische Fragen auflisten die Antworten brauchen und einen Zeitplan vorschlagen192 - Fuer CONTRIBUTE-CAUTIOUSLY spezifizieren welche Beitragstypen sicher (Plugins, Docs, Tests) vs. riskant (Core-Features) sind1934. Wenn `comparison_frameworks` evaluiert wurden, eine Vergleichsmatrix produzieren die alle Frameworks rangiert194195**Erwartet:** Klassifikations-Bericht mit Stufe, Dimensions-Scores, Evidenz-Zusammenfassung und umsetzbaren Empfehlungen massgeschneidert auf den Investitions-Kontext.196197**Bei Fehler:** Wenn Datenluecken sichere Klassifikation verhindern, auf EVALUATE-FURTHER defaulten mit expliziter Dokumentation was an Daten fehlt und wie man sie erhaelt. Niemals auf INVEST defaulten wenn unsicher.198199## Validierung200201- [ ] Zensus-Daten gesammelt: Stars, Forks, Dependents, Release-Kadenz, Bus-Faktor, Landscape-Position202- [ ] Community-Gesundheit quantifiziert: Ueberlebensrate, Antwortzeiten, Contributor-Diversitaet, Governance-Artefakte203- [ ] Supersession-Risiko berechnet mit Aufschluesselung nach Typ (reverted/rewritten/obsoleted)204- [ ] Architektur-Alignment bewertet: Erweiterungspunkte, Lock-in-Risiko, API-Stabilitaet, Anwendungsfall-Fit205- [ ] Governance evaluiert: Modell, Funding, Contributor-Schutz, Sicherheits-Posture206- [ ] Klassifikation produziert: eine von INVEST / EVALUATE-FURTHER / CONTRIBUTE-CAUTIOUSLY / AVOID207- [ ] Jeder Dimensions-Score mit spezifischer Evidenz aus der Analyse begruendet208- [ ] Empfehlungen sind umsetzbar und auf das Beitragsbudget kalibriert (falls bereitgestellt)209- [ ] Datenluecken und Vertrauensbeschraenkungen explizit dokumentiert210211## Haeufige Stolperfallen212213- **Popularitaet mit Gesundheit verwechseln**: Hohe Stars aber niedrige Contributor-Diversitaet bedeutet einen Single Point of Failure. Ein 50k-Star-Projekt mit einem Maintainer ist weniger gesund als ein 2k-Star-Projekt mit 15 aktiven Contributors.214- **Supersession-Risiko ignorieren**: Der haeufigste Grund warum externe Beitraege scheitern. Eine einladende Community bedeutet nichts wenn interne Entwicklung externe Arbeit routinemaessig ueberschreibt.215- **Architektur ueberzgewichten ohne Governance zu pruefen**: Ein wunderschoen entworfenes Framework kann immer noch scheitern wenn das Governance-Modell unhaltbar oder externen-feindlich ist.216- **EVALUATE-FURTHER als AVOID behandeln**: Gemischte Signale erfordern Untersuchung, nicht Ablehnung. Ein konkretes Re-Evaluierungs-Datum setzen und die spezifischen zu beantwortenden Fragen auflisten.217- **Snapshot-Verzerrung**: Alle Metriken sind Punkt-in-Zeit. Ein abnehmendes Projekt mit grossartigen aktuellen Metriken ist schlimmer als ein verbesserndes Projekt mit mittelmaessigen aktuellen Metriken. Immer die Trend-Richtung ueber 6-12 Monate pruefen.218- **CLA-Selbstzufriedenheit**: Manche CLAs ueberfuehren Copyright zum Projekteigentuemer, was bedeutet dass deine Beitraege ihr proprietaerer Vermoegenswert werden. Den CLA-Text lesen, nicht nur die Checkbox.219- **Auf einem einzelnen Framework ankern**: Ohne Vergleichsframeworks sieht jedes Projekt entweder grossartig oder schrecklich aus. Immer gegen mindestens eine Alternative benchmarken, auch informell.220221## Verwandte Skills222223- [polish-claw-project](../polish-claw-project/SKILL.md) — Beitrags-Workflow den diese Bewertung informiert224- [review-software-architecture](../review-software-architecture/SKILL.md) — in Schritt 4 fuer Architektur-Bewertung verwendet225- [forage-solutions](../forage-solutions/SKILL.md) — Alternative-Framework-Entdeckung fuer Vergleich226- [search-prior-art](../search-prior-art/SKILL.md) — Landscape-Mapping und Prior-Work-Analyse227- [security-audit-codebase](../security-audit-codebase/SKILL.md) — Sicherheits-Posture-Bewertung in Schritt 5 referenziert228- [assess-ip-landscape](../assess-ip-landscape/SKILL.md) — Lizenz- und IP-Risiko-Analyse
Run npx get-skill add pjt222/evaluate-agent-framework-11 in your terminal (requires Node.js), paste this page's agent-chat prompt into Claude, Cursor, or any MCP-connected agent, or download the SKILL.md file and copy it into your agent's skills directory.
Assess an open-source agent framework for investment readiness by evaluating community health, supersession risk, architecture alignment, and governance sustainability. Produces a four-tier classification (INVEST / EVALUATE-FURTHER / CONTRIBUTE-CAUTIOUSLY / AVOID) to guide resource allocation decisions before committing engineering effort. It is listed under AI & ML on SkillMD.
This skill has not completed SkillMD's automated safety review yet. Independent scanners report: SkillSpector: PASS, Skill Scanner: PASS. Capability flags: docs only. SkillMD never runs a skill's scripts for you; review the SKILL.md before installing.
This skill is tagged as working with Claude Code, Claude.ai, OpenAI Codex. SKILL.md is an open format, so most agents that read a skills directory can load it too.
Yes. Installing skills from SkillMD is free. This skill is licensed under MIT.
pjt222 (@pjt222) published this skill. Their other Agent Skills are listed on their SkillMD profile.