Score
«Не здогадуйся. Оцінюй.»
Зважена система оцінювання за вимірами для AI-агентів.
Як використовувати
Спершу зрозуміти, потім оцінювати. Постав достатньо запитань, перш ніж визначати виміри. Хибні виміри → хибні оцінки, хай якою буде точність.
Чернетка, потім ітерації. Коли потреби не прояснілися повністю, склади стандарт якнайкраще, оціни й покажи результати. Користувачі реагують на конкретні ранжування — «цей фактор має бути вище», «ти пропустив X». Ось це й є сигнал. Уточнюй і оцінюй заново. Одна ітерація краща за десять раундів здогадувань.
Агент — це аналітик. Після обчислення прочитай TSV. Поясни, чому X переміг Y. Підкресли несподіванки. Запропонуй коригування. Ранжування починає розмову, а не завершує її.
Основний потік
① Understand needs → ② Define score.yml → ③ Score score.tsv → ④ x score compute → ⑤ Report & iterate
Результат: target, total, rank, block, reason, <dim> (X%), evidence. Total 0–100, відсортовано за спаданням. rank=1 — найкращий.
Приклад — допомагаємо користувачеві обрати рекламні слогани
- Обговоріть із користувачем виміри оцінювання та критерії. Запишіть
slogan.score.yml.
- AI оцінює кожен слоган за кожним виміром (0–10, з доказом) →
slogan.score.tsv. Поля total і rank залиште порожніми.
x score compute slogan.score.yml slogan.score.tsv → заповнює total + rank.
- Прочитайте результати, обговоріть із користувачем. Скоригуйте оцінки або додайте кандидатів, повторіть.
- Або:
x score iter -f slogan.score.yml slogan.score.tsv "<feedback>"
Більше прикладів: EXAMPLE.md.
Модель із двох файлів
*.score.yml — багаторазовий стандарт: виміри, фактори, описи
**.score.tsv — цілі + оцінки + докази; колонка 1 = назва цілі
x score compute <yml> <tsv> те саме, що python compute.py.
Сценарії застосування
- Дає агентам робочий процес ухвалення рішень. score.yml прив'язує агента до структурованого процесу — агент іде за стандартом, а не за настроєм останнього повідомлення.
- Рішення ґрунтуються на правилах. Виміри × фактори × докази → зважений підсумок → ранг. Кожна оцінка спирається на факти. Міркування прозоре.
- Підлаштовується під різні потреби. Замініть виміри, скоригуйте фактори, додайте жорсткі фільтри (колонка
block). Той самий шаблон — різні користувачі.
- Розвивається в міру прояснення потреб. Чернетка → оцінка → зворотний зв'язок → уточнення → гостріше.
- Стандартний файл + архівовані результати для будь-якого skill. score.yml = стандарт рішення. score.tsv = запис рішення. Обидва можна архівувати, переглядати, ними можна ділитися.
Формула
total = Σ(factor × score) ÷ Σ(factor) × 10 → 0–100
- factor — ціле 1–10. База = 2. 1=дрібний, 4=2×, 6=3×, 8=4×, 10=5×. Автоматично нормалізується.
- score — 0–10 за кожним виміром, спирається на доказ.
- total — зважений підсумок 0–100.
Заголовки вимірів показують вагу у відсотках:
factor ÷ Σ(factor) × 100.
Колонки результату
| Колонка |
Джерело |
Опис |
target |
введено |
Назва кандидата |
total |
обчислено |
Зважена оцінка (0–100) |
rank |
обчислено |
1 = найкращий. X, якщо заблоковано |
block |
введено |
Жорсткий фільтр — не порожнє = не проходить, опускається вниз, rank=X |
reason |
введено/виведено |
Необов'язково: нотатки AI щодо нюансів оцінки |
<dim> (X%) |
обчислено |
Оцінки за вимірами, заголовок показує вагу у відсотках |
evidence |
введено |
Факти, що підтверджують кожну оцінку |
Шкала
- 9–10 — Відмінно — повністю відповідає критеріям
- 7–8 — Добре — відповідає критеріям, незначна прогалина
- 5–6 — Прийнятно — напрям правильний, помітний прорахунок
- 3–4 — Слабко — значна прогалина
- 1–2 — Провал — ледьше опрацьовано
- 0 — N/A — не застосовно
Правила
- Опирання на докази — кожна оцінка МУСИТЬ мати доказ. Факти, а не відчуття.
- Використовуй увесь діапазон — 5 це середина, а не значення за замовчуванням. 0 і 10 трапляються рідко, але можливі.
- Фактори — це відносні підсилювачі — factor 2 = 2× вплив factor 1. Автоматично нормалізується.
- Цілі унікальні й не порожні — у кожному рядку колонка 1 має містити назву цілі. Без дублікатів і порожніх значень.
- Агент читає, звітує, вирішує — після обчислення поясніть результати. За потреби переоцініть або переважте.
Файли
SKILL.cn.md — китайська версія
compute.py — валідує + обчислює total + rank
template/*.score.yml — 35+ шаблонів. x score ls показує список, x score init -t <name> копіює
EXAMPLE.md — Більше прикладів використання
rule-vs-score.md — Коли використовувати rule, а коли score
score-template-writer.md — Як писати шаблони оцінювання
Пов'язане
- rule — парний супровід для відповідності
- naming — назви кандидатів, які оцінюються тут
1---2name: score-193description: |4 Зважена система оцінювання за вимірами для AI-агентів — «Не здогадуйся. Оцінюй». Головна ідея: спершу зрозуміти потреби, потім чернетка й ітерації, агент — це аналітик. Видає ранжований TSV через `x score compute`.5metadata:6 source: https://skillmd.com/skills/x-cmd/score-197 related: "rule,naming"8---91011# Score12«Не здогадуйся. Оцінюй.»13Зважена система оцінювання за вимірами для AI-агентів.14## Як використовувати15**Спершу зрозуміти, потім оцінювати.** Постав достатньо запитань, перш ніж визначати виміри. Хибні виміри → хибні оцінки, хай якою буде точність.16**Чернетка, потім ітерації.** Коли потреби не прояснілися повністю, склади стандарт якнайкраще, оціни й покажи результати. Користувачі реагують на конкретні ранжування — «цей фактор має бути вище», «ти пропустив X». Ось це й є сигнал. Уточнюй і оцінюй заново. Одна ітерація краща за десять раундів здогадувань.17**Агент — це аналітик.** Після обчислення прочитай TSV. Поясни, чому X переміг Y. Підкресли несподіванки. Запропонуй коригування. Ранжування починає розмову, а не завершує її.18## Основний потік19```20① Understand needs → ② Define score.yml → ③ Score score.tsv → ④ x score compute → ⑤ Report & iterate21```22Результат: `target, total, rank, block, reason, <dim> (X%), evidence`. Total 0–100, відсортовано за спаданням. rank=1 — найкращий.23## Приклад — допомагаємо користувачеві обрати рекламні слогани241. Обговоріть із користувачем виміри оцінювання та критерії. Запишіть `slogan.score.yml`.252. AI оцінює кожен слоган за кожним виміром (0–10, з доказом) → `slogan.score.tsv`. Поля total і rank залиште порожніми.263. `x score compute slogan.score.yml slogan.score.tsv` → заповнює total + rank.274. Прочитайте результати, обговоріть із користувачем. Скоригуйте оцінки або додайте кандидатів, повторіть.285. Або: `x score iter -f slogan.score.yml slogan.score.tsv "<feedback>"`29Більше прикладів: [EXAMPLE.md](EXAMPLE.md).30## Модель із двох файлів31- `*.score.yml` — багаторазовий стандарт: виміри, фактори, описи32- `**.score.tsv` — цілі + оцінки + докази; колонка 1 = назва цілі33`x score compute <yml> <tsv>` те саме, що `python compute.py`.34## Сценарії застосування351. **Дає агентам робочий процес ухвалення рішень.** score.yml прив'язує агента до структурованого процесу — агент іде за стандартом, а не за настроєм останнього повідомлення.362. **Рішення ґрунтуються на правилах.** Виміри × фактори × докази → зважений підсумок → ранг. Кожна оцінка спирається на факти. Міркування прозоре.373. **Підлаштовується під різні потреби.** Замініть виміри, скоригуйте фактори, додайте жорсткі фільтри (колонка `block`). Той самий шаблон — різні користувачі.384. **Розвивається в міру прояснення потреб.** Чернетка → оцінка → зворотний зв'язок → уточнення → гостріше.395. **Стандартний файл + архівовані результати для будь-якого skill.** score.yml = стандарт рішення. score.tsv = запис рішення. Обидва можна архівувати, переглядати, ними можна ділитися.40---41## Формула42```43total = Σ(factor × score) ÷ Σ(factor) × 10 → 0–10044```45- **factor** — ціле 1–10. База = 2. 1=дрібний, 4=2×, 6=3×, 8=4×, 10=5×. Автоматично нормалізується.46- **score** — 0–10 за кожним виміром, спирається на доказ.47- **total** — зважений підсумок 0–100.48Заголовки вимірів показують вагу у відсотках: `factor ÷ Σ(factor) × 100`.49## Колонки результату50| Колонка | Джерело | Опис |51|--------|--------|-------------|52| `target` | введено | Назва кандидата |53| `total` | обчислено | Зважена оцінка (0–100) |54| `rank` | обчислено | 1 = найкращий. `X`, якщо заблоковано |55| `block` | введено | Жорсткий фільтр — не порожнє = не проходить, опускається вниз, rank=X |56| `reason` | введено/виведено | Необов'язково: нотатки AI щодо нюансів оцінки |57| `<dim> (X%)` | обчислено | Оцінки за вимірами, заголовок показує вагу у відсотках |58| `evidence` | введено | Факти, що підтверджують кожну оцінку |59## Шкала60- 9–10 — Відмінно — повністю відповідає критеріям61- 7–8 — Добре — відповідає критеріям, незначна прогалина62- 5–6 — Прийнятно — напрям правильний, помітний прорахунок63- 3–4 — Слабко — значна прогалина64- 1–2 — Провал — ледьше опрацьовано65- 0 — N/A — не застосовно66## Правила671. **Опирання на докази** — кожна оцінка МУСИТЬ мати доказ. Факти, а не відчуття.682. **Використовуй увесь діапазон** — 5 це середина, а не значення за замовчуванням. 0 і 10 трапляються рідко, але можливі.693. **Фактори — це відносні підсилювачі** — factor 2 = 2× вплив factor 1. Автоматично нормалізується.704. **Цілі унікальні й не порожні** — у кожному рядку колонка 1 має містити назву цілі. Без дублікатів і порожніх значень.715. **Агент читає, звітує, вирішує** — після обчислення поясніть результати. За потреби переоцініть або переважте.72## Файли73- `SKILL.cn.md` — китайська версія74- `compute.py` — валідує + обчислює total + rank75- `template/*.score.yml` — 35+ шаблонів. `x score ls` показує список, `x score init -t <name>` копіює76- `EXAMPLE.md` — Більше прикладів використання77- `rule-vs-score.md` — Коли використовувати rule, а коли score78- `score-template-writer.md` — Як писати шаблони оцінювання7980## Пов'язане8182- [rule](../rule/SKILL.md) — парний супровід для відповідності83- [naming](../naming/SKILL.md) — назви кандидатів, які оцінюються тут