Os Bench

os-bench — Benchmark de Projetos Opensource

Pipeline autocontido para comparar projetos opensource clonados em /Users/oalanicolas/Code/OS/. Produz um set canônico de 7 artefatos (metadata, inventory, matrix, scorecard, gap-analysis, battle-card, executive-report) + artefatos deep de absorção.

Ativação

Invoque quando o usuário pedir:

• "comparar {A} com {B}" onde A e B são diretórios em OS/
• "benchmark {A} vs {B} vs {C}" (n-way, 2 a 8 projetos)
• "gap analysis entre {A} e {B}"
• "battle card de {A} contra {B}"
• "quais features de {A} eu deveria absorver no {B}"
• "rodar os 6 benchmarks planejados" (*run-all)
• qualquer referência a /os-bench ou à pasta _bench/

NÃO invoque para:

• Análise arquitetural single-repo (use code-anatomist ou equivalente)
• Comparação de players de mídia / canais (use spy original)
• Pesquisa de mercado / competitive intel de empresas (fora do escopo)

Princípios

1. No-invented-claims — todo score, feature, métrica tem que apontar pra um path real em OS/{subject}/ ou URL pública citada.
2. Evidence-based scoring — cada score 0–100 precisa de 2+ signals documentados no output. Sem signal = score null + confidence rebaixada.
3. Bidirectional-gaps — gap analysis sempre mapeia A→B E B→A. Nunca unidirecional.
4. Confidence-disclosure — cada dimensão carrega confidence: HIGH|MEDIUM|LOW. Rollup no topo do artefato.
5. Local-first — dado preferencialmente extraído do filesystem clonado (OS/{subject}/). Web só como fallback pra métricas de comunidade (stars, downloads).
6. Deterministic paths — slug de output sempre {a}-vs-{b} (2-way) ou {topic}-Nway (n-way). Sem datas no nome da pasta.

Comandos

Dimension packs disponíveis (data/dimension-packs.yaml)

Pesos fechados em 1.00 por pack. Ver data/dimension-packs.yaml para signals por dimensão.

Output Paths

Todos os outputs vão pra OS/_bench/ — nunca fora disso.

OS/_bench/
├── INDEX.md                            # lista rolling de benchmarks (mantida manual/*list)
├── _inventories/                       # cache de inventários reutilizáveis
│   └── {subject}/
│       ├── inventory.json
│       ├── inventory.md
│       └── fact-database.yaml
├── {a}-vs-{b}/                         # benchmark 2-way
│   ├── metadata.json
│   ├── inventory-{a}.{json,md}         # copy from _inventories (hardlink ok)
│   ├── inventory-{b}.{json,md}
│   ├── comparison-matrix.{json,md}
│   ├── scorecard.{json,md}
│   ├── gap-analysis.{json,md}
│   ├── battle-card.md
│   ├── executive-report.md
│   └── deep/
│       ├── feature-comparison.md
│       ├── absorption-roadmap.md       # se *bench-absorb rodou
│       └── migration-playbook.md       # opcional
└── {topic}-Nway/                       # benchmark n-way (3+)
    ├── metadata.json
    ├── inventory-{each}.{json,md}
    ├── comparison-matrix.{json,md}     # matriz N colunas
    ├── scorecard.{json,md}             # scorecard N colunas
    └── executive-report.md

Pipeline (bench-pair)

1. RESOLVE
   ├── validate(subject_a exists em OS/)
   ├── validate(subject_b exists em OS/)
   ├── detect(comparison_type) → suggest pack
   └── create OS/_bench/{a}-vs-{b}/

2. INVENTORY (reuse cache se existe)
   ├── run tasks/inventory.md em A → _inventories/{a}/
   ├── run tasks/inventory.md em B → _inventories/{b}/
   └── copy para pasta do bench

3. MATRIX
   └── run tasks/bench-matrix.md → comparison-matrix.{json,md}

4. SCORE
   └── run tasks/bench-score.md (usa dimension pack) → scorecard.{json,md}

5. GAP
   └── run tasks/bench-gap.md → gap-analysis.{json,md}

6. BATTLE-CARD
   └── run tasks/bench-battle-card.md → battle-card.md

7. EXECUTIVE
   └── run tasks/bench-executive-report.md → executive-report.md

8. [OPCIONAL] ABSORB
   └── run tasks/bench-absorb.md → deep/absorption-roadmap.md

9. QUALITY GATE (ver seção abaixo)

Quality Gate

Antes de considerar um benchmark completo, todos estes checks precisam passar:

• Todos os 7 artefatos canônicos existem em OS/_bench/{slug}/
• Todos os JSONs parseiam (rodar node -e "JSON.parse(require('fs').readFileSync('x'))")
• Nenhum score 90+ sem 2+ signals citados
• Nenhum claim "X tem Y" sem path em OS/{subject}/... ou URL
• Gaps bidirecionais (A-only E B-only documentados — mesmo que um seja 0)
• Confidence disclosure no topo de scorecard e gap-analysis
• Dimensão pack e pesos declarados em metadata.json
• OS/_bench/INDEX.md atualizado com entry novo

Script utilitário: scripts/bench.sh validate {slug} roda os checks mecânicos.

Autonomia do Claude

Esta skill é autocontida. Não há squad/agentes externos — o próprio Claude executa cada task lendo tasks/{nome}.md e produzindo o output.

• Sem dependência de dr-orchestrator, research-head, spy-operator, bench-analyst ou qualquer agente sinkra
• Sem dependência de SINKRA-MAP, token-registry, composition-rules
• Sem dependência de aiox-core, sinkra-hub, workspace/

Benchmarks planejados (*run-all)

Lista canônica de 6 benchmarks relevantes pra OS, executáveis em sequência via *run-all:

Ver tasks/run-all.md para detalhes de execução.

Templates deixados de fora (e porquê)

Do spy original, os seguintes templates não foram portados pra esta skill:

De code-anatomist, os seguintes templates não foram portados:

O que foi portado: fact-database-tmpl.yaml (inventory deep), rule-catalog-tmpl.md (simplificado como extração de invariantes), decision-model-tmpl.yaml (opcional quando o subject tiver policies formais).

Arquivos da skill

os-bench/
├── SKILL.md                          # este arquivo
├── README.md                         # quick-start humano
├── data/
│   ├── bench-skeleton.md             # scaffold dos 7 artefatos
│   ├── dimension-packs.yaml          # 8 packs
│   └── output-formats.yaml           # formatos disponíveis
├── templates/
│   ├── battle-card-tmpl.md
│   ├── scorecard-tmpl.md
│   ├── comparison-matrix-tmpl.md
│   ├── gap-analysis-tmpl.md
│   ├── executive-report-tmpl.md
│   ├── inventory-tmpl.md
│   ├── metadata-tmpl.json
│   ├── fact-database-tmpl.yaml
│   ├── rule-catalog-tmpl.md
│   ├── decision-model-tmpl.yaml
│   └── absorption-roadmap-tmpl.md
├── tasks/
│   ├── inventory.md
│   ├── bench-matrix.md
│   ├── bench-score.md
│   ├── bench-gap.md
│   ├── bench-battle-card.md
│   ├── bench-executive-report.md
│   ├── bench-absorb.md
│   └── run-all.md
└── scripts/
    └── bench.sh                      # orquestrador CLI standalone

Fluxo padrão recomendado

# 1) Inventário dos subjects (cache reusável)
*inventory gbrain
*inventory mempalace

# 2) Benchmark pair
*bench-pair gbrain mempalace --pack memory

# 3) Se quiser absorver features de um no outro
*bench-absorb gbrain mempalace

# 4) Rodar todos os 6 planejados
*run-all

Anti-patterns

• Salvar artefato fora de OS/_bench/
• Pontuar dimensão sem listar signal
• Criar nova dimensão sem atualizar data/dimension-packs.yaml
• Gap analysis unidirecional (só A→B, sem B→A)
• Usar data no nome da pasta ({a}-vs-{b}-2026-04-19/) — slug é estável, metadata.json guarda a data
• Editar inventário dentro de {a}-vs-{b}/ ao invés de em _inventories/{subject}/
• Inventar path OS/foo/bar sem checar com ls antes

os-bench v1.0.0 — autocontido, sem dependência de squads sinkra