Eval

코드 산출물을 4축(기능/품질/독창성/보안)으로 평가하고 점수 산출. Evaluator 에이전트를 스폰하여 독립 평가 실행. Triggers on: eval, 평가, 품질 점수, 코드 평가, quality score. NOT for: 코드 작성, 구현, 리뷰.

jh941213 Updated 125 repo stars
Codex Lattice hero illustration

File contents

코드 Eval (독립 평가)

Generator(구현자)와 분리된 Evaluator 에이전트를 스폰하여 산출물을 독립 평가합니다.

실행 프로세스

Step 1: Evaluator 에이전트 사용

Codex custom agent evaluator를 사용한다. 서브에이전트 사용은 사용자가 명시했거나 현재 Codex 실행 지침상 허용될 때만 수행한다.

요청 프롬프트:

현재 변경사항을 독립 평가하라.
4축(기능 정확성/코드 품질/단순성/사용성&보안) 100점 만점.
증거는 git diff, 테스트/빌드 출력, 파일 참조만 인정한다.
결과를 PASS / CONDITIONAL / FAIL로 판정하고 필요한 fix-forward 루프를 제안하라.

Step 2: 결과 확인

Evaluator가 완료되면 EVAL_REPORT.md를 읽고 사용자에게 요약 보고:

Eval 결과: [PASS/CONDITIONAL/FAIL] — [N]/100점

기능 정확성: [N]/40 | 코드 품질: [N]/25
독창성: [N]/20 | 사용성&보안: [N]/15

[수정 필요 항목 요약]

Step 3: CONDITIONAL/FAIL 시

수정 필요 항목을 구체적으로 안내하고, 수정 후 재평가할지 질문. 재평가 시 동일 기준 적용 (최대 5라운드).

pass@k 멱등성 테스트 (선택)

동일 프롬프트로 k회 실행하여 품질 일관성을 측정:

# k=3 실행 예시
for i in 1 2 3; do
  /eval 실행 → 점수 기록
done
# 3회 모두 85+ → 멱등성 확보
# 점수 분산 > 15점 → 불안정 (하네스 조정 필요)

수준의 멱등성: 정확히 같은 코드가 아니라 같은 품질 수준이 유지되는지 측정.

jh941213/codex-lattice commit 7a1606d82a

Frequently asked questions

npx get-skill add jh941213/eval-3