Score
"Don't guess. Score."
Взвешенный фреймворк оценивания по измерениям для ИИ-агентов.
Как использовать
Сначала понять, потом оценивать. Задай достаточно вопросов, прежде чем определять измерения. Неверные измерения → неверные оценки, какова бы ни была точность.
Сначала черновик, потом итерации. Когда потребности не до конца ясны, сделай стандарт по лучшему разумению, оцени и покажи результат. Пользователи реагируют на конкретные ранжирования — «этот factor должен быть выше», «ты упустил X». Это и есть сигнал. Уточни и переоцени. Одна итерация лучше десяти раундов угадывания.
Агент — аналитик. После compute прочитай TSV. Объясни, почему X обошёл Y. Выдели неожиданности. Предложи корректировки. Ранжирование начинает разговор, а не завершает его.
Основной поток
① Понять потребности → ② Определить score.yml → ③ Оценить score.tsv → ④ x score compute → ⑤ Отчёт и итерации
Выход: target, total, rank, block, reason, <dim> (X%), evidence. Total 0–100, сортировка по убыванию. rank=1 — лучший.
Пример — помогаем пользователю выбрать рекламный слоган
- Обсуждаем с пользователем измерения и критерии оценки. Пишем
slogan.score.yml.
- ИИ оценивает каждый слоган по измерениям (0–10, с обоснованием) →
slogan.score.tsv. Total и rank оставляем пустыми.
x score compute slogan.score.yml slogan.score.tsv → заполняет total + rank.
- Читаем результаты, обсуждаем с пользователем. Корректируем оценки или добавляем кандидатов, повторяем.
- Или:
x score iter -f slogan.score.yml slogan.score.tsv "<feedback>"
Больше примеров: EXAMPLE.md.
Модель из двух файлов
*.score.yml — переиспользуемый стандарт: измерения, факторы, описания
**.score.tsv — цели + оценки + обоснования; колонка 1 = имя цели
x score compute <yml> <tsv> эквивалентен python compute.py.
Сценарии применения
- Даёт агентам рабочий процесс принятия решений. score.yml привязывает агента к структурированному процессу — агент следует стандарту, а не настроению последнего сообщения.
- Решения принимаются по правилам. Измерения × факторы × обоснования → взвешенный итог → ранг. Каждая оценка привязана к фактам. Рассуждение прозрачно.
- Настраивается под разные потребности. Меняй измерения, подкручивай факторы, добавляй жёсткие фильтры (колонка
block). Один шаблон — разные пользователи.
- Развивается по мере прояснения потребностей. Черновик → оценка → обратная связь → уточнение → резче.
- Стандартный файл + архив результатов для любого навыка. score.yml = стандарт решения. score.tsv = запись решения. Оба можно архивировать, ревьюить и распространять.
Формула
total = Σ(factor × score) ÷ Σ(factor) × 10 → 0–100
- factor — целое 1–10. Базовая = 2. 1=незначительный, 4=2×, 6=3×, 8=4×, 10=5×. Нормируется автоматически.
- score — 0–10 по каждому измерению, привязан к обоснованию.
- total — взвешенный итог 0–100.
В заголовках измерений показан вес %:
factor ÷ Σ(factor) × 100.
Колонки выхода
| Колонка |
Источник |
Описание |
target |
ввод |
Имя кандидата |
total |
вычисляется |
Взвешенная оценка (0–100) |
rank |
вычисляется |
1 = лучший. X, если заблокирован |
block |
ввод |
Жёсткий фильтр — непусто = дисквалификация, отправляется вниз, rank=X |
reason |
ввод/вывод |
Необязательно: заметки ИИ о нюансах оценки |
<dim> (X%) |
вычисляется |
Оценки по измерениям, в заголовке вес % |
evidence |
ввод |
Факты за каждым баллом |
Шкала
- 9–10 — Отлично — полностью удовлетворяет критериям
- 7–8 — Хорошо — удовлетворяет критериям, небольшой пробел
- 5–6 — Приемлемо — направление верное, заметный пробел
- 3–4 — Слабо — значительный пробел
- 1–2 — Провал — едва затронуто
- 0 — Н/П — неприменимо
Правила
- Привязка к обоснованию — у каждой оценки ДОЛЖНО быть обоснование. Факты, а не ощущения.
- Используй весь диапазон — 5 это середина, а не значение по умолчанию. 0 и 10 редки, но возможны.
- Факторы — относительные усилители — factor 2 = двукратное влияние factor 1. Нормируется автоматически.
- Цели уникальны и непусты — в колонке 1 каждой строки должно быть имя цели. Без дублей и пустых значений.
- Агент читает, отчитывается, решает — после compute объясни результаты. При необходимости переоцени или перевзвесь.
Файлы
SKILL.cn.md — китайская версия
compute.py — валидирует + вычисляет total + rank
template/*.score.yml — 35+ шаблонов. x score ls показывает список, x score init -t <name> копирует
EXAMPLE.md — больше примеров использования
rule-vs-score.md — когда применять rule, а когда score
score-template-writer.md — как писать шаблоны оценивания
Связанное
- rule — парный компаньон для проверки соответствия
- naming — имена кандидатов оцениваются здесь
1---2name: score-163description: |4 Взвешенный фреймворк оценивания по измерениям для ИИ-агентов — "Don't guess. Score." Ключевая идея:5 сначала понять потребности, сначала черновик, потом итерации, агент выступает аналитиком. Выдаёт6 отсортированный TSV через `x score compute`.7metadata:8 source: https://skillmd.com/skills/x-cmd/score-169 related: "rule,naming"10---111213# Score14"Don't guess. Score."15Взвешенный фреймворк оценивания по измерениям для ИИ-агентов.16## Как использовать17**Сначала понять, потом оценивать.** Задай достаточно вопросов, прежде чем определять измерения. Неверные измерения → неверные оценки, какова бы ни была точность.18**Сначала черновик, потом итерации.** Когда потребности не до конца ясны, сделай стандарт по лучшему разумению, оцени и покажи результат. Пользователи реагируют на конкретные ранжирования — «этот factor должен быть выше», «ты упустил X». Это и есть сигнал. Уточни и переоцени. Одна итерация лучше десяти раундов угадывания.19**Агент — аналитик.** После compute прочитай TSV. Объясни, почему X обошёл Y. Выдели неожиданности. Предложи корректировки. Ранжирование начинает разговор, а не завершает его.20## Основной поток21```22① Понять потребности → ② Определить score.yml → ③ Оценить score.tsv → ④ x score compute → ⑤ Отчёт и итерации23```24Выход: `target, total, rank, block, reason, <dim> (X%), evidence`. Total 0–100, сортировка по убыванию. rank=1 — лучший.25## Пример — помогаем пользователю выбрать рекламный слоган261. Обсуждаем с пользователем измерения и критерии оценки. Пишем `slogan.score.yml`.272. ИИ оценивает каждый слоган по измерениям (0–10, с обоснованием) → `slogan.score.tsv`. Total и rank оставляем пустыми.283. `x score compute slogan.score.yml slogan.score.tsv` → заполняет total + rank.294. Читаем результаты, обсуждаем с пользователем. Корректируем оценки или добавляем кандидатов, повторяем.305. Или: `x score iter -f slogan.score.yml slogan.score.tsv "<feedback>"`31Больше примеров: [EXAMPLE.md](EXAMPLE.md).32## Модель из двух файлов33- `*.score.yml` — переиспользуемый стандарт: измерения, факторы, описания34- `**.score.tsv` — цели + оценки + обоснования; колонка 1 = имя цели35`x score compute <yml> <tsv>` эквивалентен `python compute.py`.36## Сценарии применения371. **Даёт агентам рабочий процесс принятия решений.** score.yml привязывает агента к структурированному процессу — агент следует стандарту, а не настроению последнего сообщения.382. **Решения принимаются по правилам.** Измерения × факторы × обоснования → взвешенный итог → ранг. Каждая оценка привязана к фактам. Рассуждение прозрачно.393. **Настраивается под разные потребности.** Меняй измерения, подкручивай факторы, добавляй жёсткие фильтры (колонка `block`). Один шаблон — разные пользователи.404. **Развивается по мере прояснения потребностей.** Черновик → оценка → обратная связь → уточнение → резче.415. **Стандартный файл + архив результатов для любого навыка.** score.yml = стандарт решения. score.tsv = запись решения. Оба можно архивировать, ревьюить и распространять.42---43## Формула44```45total = Σ(factor × score) ÷ Σ(factor) × 10 → 0–10046```47- **factor** — целое 1–10. Базовая = 2. 1=незначительный, 4=2×, 6=3×, 8=4×, 10=5×. Нормируется автоматически.48- **score** — 0–10 по каждому измерению, привязан к обоснованию.49- **total** — взвешенный итог 0–100.50В заголовках измерений показан вес %: `factor ÷ Σ(factor) × 100`.51## Колонки выхода52| Колонка | Источник | Описание |53|--------|--------|-------------|54| `target` | ввод | Имя кандидата |55| `total` | вычисляется | Взвешенная оценка (0–100) |56| `rank` | вычисляется | 1 = лучший. `X`, если заблокирован |57| `block` | ввод | Жёсткий фильтр — непусто = дисквалификация, отправляется вниз, rank=X |58| `reason` | ввод/вывод | Необязательно: заметки ИИ о нюансах оценки |59| `<dim> (X%)` | вычисляется | Оценки по измерениям, в заголовке вес % |60| `evidence` | ввод | Факты за каждым баллом |61## Шкала62- 9–10 — Отлично — полностью удовлетворяет критериям63- 7–8 — Хорошо — удовлетворяет критериям, небольшой пробел64- 5–6 — Приемлемо — направление верное, заметный пробел65- 3–4 — Слабо — значительный пробел66- 1–2 — Провал — едва затронуто67- 0 — Н/П — неприменимо68## Правила691. **Привязка к обоснованию** — у каждой оценки ДОЛЖНО быть обоснование. Факты, а не ощущения.702. **Используй весь диапазон** — 5 это середина, а не значение по умолчанию. 0 и 10 редки, но возможны.713. **Факторы — относительные усилители** — factor 2 = двукратное влияние factor 1. Нормируется автоматически.724. **Цели уникальны и непусты** — в колонке 1 каждой строки должно быть имя цели. Без дублей и пустых значений.735. **Агент читает, отчитывается, решает** — после compute объясни результаты. При необходимости переоцени или перевзвесь.74## Файлы75- `SKILL.cn.md` — китайская версия76- `compute.py` — валидирует + вычисляет total + rank77- `template/*.score.yml` — 35+ шаблонов. `x score ls` показывает список, `x score init -t <name>` копирует78- `EXAMPLE.md` — больше примеров использования79- `rule-vs-score.md` — когда применять rule, а когда score80- `score-template-writer.md` — как писать шаблоны оценивания8182## Связанное8384- [rule](../rule/SKILL.md) — парный компаньон для проверки соответствия85- [naming](../naming/SKILL.md) — имена кандидатов оцениваются здесь