AI Rule Failure Analysis

ai-rule-failure-analysis

Если разбор ведёт к существенной правке источника истины, сначала получи ai-work-control/full; сам разбор не подменяет контроль.

Навык применяется для разбора провала, где агент не выполнил ожидаемое правило или процедуру работы с ИИ.

Главный принцип

Если агент нарушил правило, не выполнил обязательный шаг или применил инструкцию не так, как ожидалось, считай это в первую очередь дефектом правил, навыков, маршрутизации или контроля.

Не закрывай разбор объяснением «ошибка у агента, правила верные». Такой вывод допустим только после проверки правил и явного обоснования, почему их изменение не снизит риск повторения.

Обязательный порядок

1. Зафиксируй наблюдаемый провал: что агент сделал, какое правило или ожидание нарушено, где это видно.
2. Найди ближайшие применимые правила, навыки, роли, инструкции и контрольные шаги. Если доступа к ним нет, назови это ограничением.
3. Определи, что позволило провалу случиться:
   • правило было неявным, слишком общим или непроверяемым;
   • правило было трудно обнаружить в нужный момент;
   • правило конфликтовало с другой инструкцией или рабочим контекстом;
   • правило не задавало порядок действий, проверку или условие остановки;
   • правило создавало слишком большую нагрузку на контекст;
   • маршрутизация не вызвала нужный навык, роль или контроль.
4. Предложи изменение такого масштаба, который устраняет причину провала: уточнить формулировку, добавить триггер, проверочный шаг, отрицательный пример, критерий остановки, тестовый случай или переработать порядок применения правила. Меньший объём правки не считается преимуществом, если он оставляет тот же риск повторения.
5. Если изменение затрагивает источник истины проекта, сначала примени проектную процедуру контроля таких изменений.
6. Если правило менять не нужно, явно обоснуй, почему изменение не снизит риск повторения.

Результат

Верни короткий разбор:

• Провал: наблюдаемое поведение и нарушенное ожидание.
• Причина в правилах: слабое место правила, навыка, маршрута или контроля.
• Исправление: изменение достаточного масштаба, которое снижает риск повторения.
• Остаточный риск: что всё ещё может пойти не так.

Когда не применять

• для обычной ошибки в коде, тесте или продуктовой логике, если она не связана с применением правил агентом;
• для общей оценки качества результата ИИ перед публикацией — там основной навык ai-work-result-evaluation;
• для первичного решения, можно ли поручать задачу ИИ — там основной навык ai-work-control в режиме screening;
• для проектирования нового навыка без уже наблюдаемого провала — там основной навык ai-skill-development.