End Test

end-test

이번 세션에서 다룬 내용으로 사용자를 시험한다. 목적은 평가가 아니라 사용자가 모른다는 것조차 모르는 지점을 찾는 것이다.

에이전틱 코딩에서는 코드가 돌아가는 것과 사용자가 그것을 이해하는 것이 분리된다. 이 스킬은 그 간격을 드러낸다. 사용자를 기분 좋게 만드는 것은 목적이 아니다.

호출

/end-test        기본은 5문항
/end-test 3      문항 수 지정

인자는 문항 수 하나뿐이다. 다른 옵션은 받지 않는다.

1단계 · 출제 후보 뽑기

이번 세션의 대화 전체를 훑어 아래 네 축에서 후보를 모은다. 과거 세션은 보지 않는다. 이번 세션 맥락만 쓴다.

'그냥 넘어간 지점' 판정 기준

네 축 중 그냥 넘어간 지점을 우선한다. 나머지 셋은 사용자가 모른다는 것을 아는 영역이고, 이 축은 모른다는 것조차 모르는 영역이기 때문이다.

판정이 모호하므로 아래 기준으로 찾는다. 하나라도 해당하면 후보다.

• 내가 설계 선택을 했는데 근거를 설명하지 않고 지나간 곳
• 사용자가 되묻지 않고 승인만 한 변경 (ㅇㅋ, 고고, ㄱㄱ, 네 등)
• 내가 도입한 라이브러리·패턴 중 사용자가 한 번도 언급하지 않은 것
• 에러가 났고 내가 고쳤는데 사용자가 원인을 묻지 않은 경우

2단계 · 문항 구성

• 한 축에 몰리지 않게 섞는다. 5문항이면 최소 세 축에서 나와야 한다.
• 한 문항은 한 개념만 묻는다. 물음표가 두 개면 두 문항으로 쪼갠다.
• 객관식은 내지 않는다. 고르는 것과 설명하는 것은 다른 능력이고, 이 스킬이 재는 것은 후자다. 전부 서술형으로 낸다.
• 세션에서 실제로 나온 코드·결정을 지문에 넣는다. 교과서 문제가 되면 실패다.
• 문항 머리에 진행과 축을 표시한다. 예: Q2/5 · [장애 상황]

3단계 · 진행

한 문제씩 낸다. 문제지를 한꺼번에 주지 않는다. 사용자가 답하면 즉시 채점하고 다음 문항으로 넘어간다.

사용자가 "모르겠다"고 하면 그것도 답변이다. ✗로 처리하고 5단계로 간다.

4단계 · 채점

정답 여부가 아니라 설명할 수 있는가로 판정한다.

△가 이 스킬이 겨냥하는 상태다. "돌아는 가는데 왜인지 모름"이 정확히 △다. 그래서 △는 넘어가되 기록은 남긴다. 6단계를 보라.

후한 채점 금지

이 스킬의 가치는 전부 채점의 정직함에 달려 있다. 후하게 채점하면 사용자는 자기가 이해했다고 잘못 믿게 되고, 도구가 없느니만 못해진다.

• △를 ○로 올리지 말 것. 결론이 맞아도 메커니즘 설명이 없으면 △다.
• 사용자가 답을 길게 썼다는 이유로 점수를 올리지 않는다. 분량은 신호가 아니다.
• 사용자가 실망할까 봐 판정을 누그러뜨리지 않는다.
• 판정을 먼저 내리고 그다음에 설명한다. 설명하면서 판정을 무르게 바꾸지 않는다.

반대로 트집을 잡지도 않는다. 메커니즘을 자기 말로 설명했으면 용어가 교과서와 달라도 ○다. 재는 것은 이해이지 암기가 아니다.

5단계 · ✗ 처리

1. 무엇을 놓쳤는지 보충 설명한다. 정답을 읊는 게 아니라 왜 그런지를 설명한다.
2. 같은 개념을 다른 상황으로 즉시 재질문한다. 방금 들은 설명을 되뇌면 맞힐 수 있는 질문은 아무것도 검증하지 못한다. 반드시 각도를 바꾼다.
   • 예: 복합 인덱스 컬럼 순서를 WHERE 조건으로 물었다면, 재질문은 ORDER BY 나 인덱스 설계 방향으로 바꾼다.
3. 재질문에서 맞히면 해결, 또 틀리면 개념을 끝까지 설명하고 미해결로 남긴다. 두 번 틀린 사람에게 세 번째를 묻지 않는다.

재질문도 서술형이다. 예/아니오나 양자택일로 묻지 않는다. 찍어도 절반이 맞는 문항은 이해와 추측을 구별하지 못한다. 재질문은 판정을 해결로 뒤집는 유일한 관문이므로, 본 문항보다 헐거우면 관문 노릇을 못 한다.

재질문은 문항 수에 포함하지 않는다. 5문항이면 신규 문항이 5개다.

6단계 · 마무리

요약

• 판정 분포 (○ n · △ n · ✗ n)
• △와 ✗가 난 주제를 한 줄씩
• 기록 파일 경로

점수나 등급은 매기지 않는다. 숫자는 학습 신호를 가린다. "3/5"는 무엇을 공부해야 할지 알려주지 않지만 주제 목록은 알려준다.

기록

~/.claude/end-test/YYYY-MM-DD.md 에 기록한다. 하루 한 파일이고, 같은 날 여러 세션이면 이어붙인다. 파일이 없으면 만든다.

✗와 △를 모두 기록하되, △는 ✗와 섞지 않고 별도 섹션에 기록한다. 성격이 다르기 때문이다. ✗는 사용자가 모른다는 것을 이미 아는 영역이라 스스로 찾아갈 수 있고, △는 안다고 믿고 있는 영역이라 지적받지 않으면 영영 드러나지 않는다. 한 목록에 섞으면 후자가 전자에 묻힌다.

△ 기록의 존재 이유는 반복이다. 한 번의 △는 별것 아니지만 같은 주제에서 세 번 되풀이되면 "설명을 들어도 안 붙는 지점"이라는 뜻이고, 그건 한 번 더 설명해서 될 문제가 아니라 공부 방식을 바꿔야 한다는 신호다. 기록하지 않으면 그 신호는 관측되지 않는다.

기록할 때 파일에 같은 주제의 △가 이미 있으면 횟수를 올리고 날짜를 덧붙인다. 새 항목을 또 만들지 않는다.

# YYYY-MM-DD

## 모름 (✗)

### <주제>
- 상태: 해결 | 미해결
- 맥락: 세션에서 무엇을 하다 나왔는가
- 무엇을 몰랐는가: 오개념이면 어떤 오개념이었는지까지
- 보충: 설명의 요지 (나중에 이것만 읽어도 복기되게)

## 얕음 (△)

### <주제>
- 누적: n회 (YYYY-MM-DD, YYYY-MM-DD)
- 맥락: 세션에서 무엇을 하다 나왔는가
- 결론은 맞았으나 빠진 것: 무엇이 비어 있었는가
- 보충: 채워준 내용의 요지

이 경로는 레포 밖이다. 스킬을 공개해도 학습 이력은 로컬에 남는다.

기록 파일은 학습 로그이지 재출제 대기열이 아니다. 다음 세션 출제에 자동으로 반영하지 않는다. ✗는 그 자리에서 재질문으로 처리했다.

하지 말 것

• 세션에 없던 내용을 묻지 않는다. 일반 상식 퀴즈가 아니다.
• 정답을 문제 안에 흘리지 않는다. 힌트는 사용자가 요청할 때만 준다.
• 사용자가 답하기 전에 해설하지 않는다.
• 문항 수를 마음대로 늘리지 않는다. 사용자의 시간을 쓰고 있다.
• 위로하지 않는다. "좋은 질문이네요" 같은 말은 판정을 흐린다.