평가 도구 제작 (Assessment Creator)
개요
시험·평가 문항과 해설, 오답 분석표를 만든다. 공인 시험의 형식과 출제 범위는 해당 시험의 공식 안내 및 사용자가 제공한 실제 자료를 확인한 뒤 적용한다.
트리거 키워드
시험, 기출, 자격증, 수능, 문제 출제, 평가, 퀴즈, 학습 평가, 모의고사, TOEIC, TOEFL, 공무원 시험, 내신, 형성평가, 총괄평가, Bloom's Taxonomy
워크플로우
1단계: 평가 목적 파악
평가 유형:
- 형성평가: 학습 중 이해도 확인 (퀴즈, 단답형)
- 총괄평가: 학습 후 성취도 측정 (시험, 자격증 모의고사)
대상 시험 종류:
- 수능 (대학수학능력시험)
- 공무원 시험 (행정·기술직)
- 자격증 시험 (정보처리기사, 공인중개사 등)
- 어학 시험 (TOEIC, TOEFL, OPIC)
- 내신 (학교 성취도 평가)
2단계: 출제 범위 설정
학습 목표 설정:
- 단원, 주제, 핵심 개념 정의
- 학습자 수준과 평가 목적에 맞춰 난이도 비율 결정
- Bloom's Taxonomy 수준별 배분
Bloom's Taxonomy 기반 문항 설계:
| 인지 수준 |
설명 |
문항 유형 예시 |
| 기억(Remember) |
사실 암기 |
용어 정의, 연도 매칭 |
| 이해(Understand) |
개념 설명 |
요약, 비교, 분류 |
| 적용(Apply) |
실제 사용 |
문제 해결, 계산 |
| 분석(Analyze) |
구조 파악 |
원인 분석, 관계 파악 |
| 평가(Evaluate) |
판단·비판 |
타당성 평가, 비판 |
| 창조(Create) |
새로운 산출 |
설계, 작문, 프로젝트 |
3단계: 문항 유형 선택
선택형:
- 4지선다형 (일반)
- 5지선다형 (해당 시험의 현행 형식 확인 후)
단답형·서술형:
- 단답형 (키워드)
- 단순 서술형 (2-3줄)
- 논술형 (장문)
OX형·빈칸 채우기:
혼합 구성:
- 학습 목표와 시험 형식에 맞춰 선택형·단답형·서술형 비율 결정
4단계: 문항 작성
문항 작성 원칙:
- 학습 목표와 직접 연결
- 명확하고 모호하지 않은 문장
- 적정 난이도: 대상 학습자의 실제 응답 자료가 없으면 정답률을 예측치로 단정하지 않는다
- 오답 선택지는 논리적 오류 유형
정답 및 해설 포함:
- 정답 표시
- 해설 (오답 선택지 why wrong 포함)
- 수학·코드 문항은 풀이를 독립적으로 재계산하고, 사실형 문항은 확인 가능한 출처와 대조한다. 확인하지 못한 정답은 검증 완료로 표시하지 않는다.
5단계: 검토 및 오답 분석표
문항별 핵심 개념 연결:
- 해당 문항이 평가하는 핵심 개념
- 관련 단원·주제
오답 시 보충 학습 방향:
- 오답 선택지별 오류 유형 분석
- 보충 학습 링크·자료 추천
AI 보조 평가의 경계
- 문항 초안과 피드백 초안은 만들 수 있지만, 자동 채점 결과를 교사의 확정 판정처럼 제시하지 않는다.
- 학습자별 오답 자료가 있을 때만 반복 오류를 분석한다. 자료가 없으면 예상 약점을 실제 진단 결과로 쓰지 않는다.
- 인지 수준 분류는 문항 설계 보조값이다. 학습 성취도를 측정했다는 뜻으로 쓰지 않는다.
한국 주요 시험별 특성
| 시험 |
특징 |
AI 활용 포인트 |
| 수능 |
영역별 문항 유형은 해당 학년도 한국교육과정평가원 안내 확인 |
공개 기출과 성취기준에 맞춘 연습 |
| 공무원 시험 |
직렬·과목·연도별 공고 확인 |
공개 기출과 범위에 맞춘 연습 |
| TOEIC/TOEFL |
시험별 영역·문항 형식 확인 |
공식 시험 안내를 기준으로 연습 |
| 자격증 |
종목별 상이, 실기 포함 |
이론 문제 자동 생성, 실기 준비 체크리스트 |
| 내신 |
학교별 출제 기준 다양 |
교과서 기반 예상 문제, 수행평가 준비 |
사용 예시
예시 1: "정보처리기사 실기 모의문제 10개를 만들어줘"
→ 단원 선택 → 난이도 배분 → 문항 생성 → 정답 및 해설
예시 2: "이 단원에서 나올 수 있는 내신 예상 문제를 출제해줘"
→ 학습 목표 확인 → Bloom's 수준 배분 → 혼합 문항 출제
예시 3: "TOEIC 700점 목표 4주 학습 계획을 세워줘"
→ 현재 점수 확인 → 약점 분석 → 주차별 학습 계획 → 모의고사 스케줄
예시 4: "수강생 이해도를 평가할 형성평가 문항을 설계해줘"
→ 학습 목표 확인 → 퀴즈 문항 생성 → 오답 분석표
산출물
- 시험·평가 문제지 (정답 및 해설 포함)
- 모의고사 (자격증, 공무원, 내신)
- 학습 계획 (주차별, 목표 점수별)
- 오답 분석표 (보충 학습 방향 포함)
- 기출 분석 보고서 (실제 기출 자료를 확인한 경우)
주의사항
교육 자료 접근:
- 교육 자료 접근 불가 시 학습 목표와 핵심 개념 목록만 알려주시면 문항 생성 가능
- 특정 출판사 교과서 기반 출제 시 교과서 단원 제목과 핵심 내용 입력 필요
학습 목표 불명확 시:
- 시험 유형과 대상 수준을 먼저 확인하고 목표를 함께 설정
난이도 조절:
공인 시험 기출문제 저작권:
- 저작권이 있는 기출 자료는 허락 없이 무단 복제할 수 없음
관련 스킬
- moai-tutor:education-curriculum-designer: 커리큘럼 설계, 학습 목표 정의
- moai-tutor:education-research-assistant: 학술 논문 작성, 데이터 분석
문항을 전달하기 전에 이 스킬에서 학습 목표와 문항의 대응, 정답·해설의 독립 재풀이, 실제 자료와의 인용·숫자 대조를 수행합니다. 별도 설치된 ai-slop-reviewer나 korean-humanize가 현재 앱에 노출될 때만 문체를 추가 검토하고, 수정 뒤 문제의 의미와 정답이 유지됐는지 다시 확인합니다. 문체 검수를 정답 검증으로 표시하지 않습니다.
이 스킬을 사용하지 말아야 할 때
- 커리큘럼 및 강의 계획 설계 → moai-tutor:education-curriculum-designer 스킬이 더 적합합니다
- 학술 논문·보고서 작성 → moai-tutor:education-research-assistant 스킬을 사용하세요
- 실제 시험 응시 대행 → 자격증 시험은 해당 기관에서 직접 응시해야 합니다
References
| 파일 |
로드 조건 |
| references/exam-prep.md |
시험 트렌드 분석·약점 진단·맞춤형 학습 계획·모의고사·오류 분석 시 |
1---2name: education-assessment-creator3description: |4 정답과 해설이 포함된 시험 문제지·모의고사·오답 분석표를 만들어 드립니다.5 다음과 같은 요청 시 사용하세요:6 - "정보처리기사 실기 모의문제 10개 만들어줘"7 - "이 단원에서 나올 만한 내신 예상 문제 출제해줘"8 - "수강생 이해도 확인할 형성평가 퀴즈 만들어줘"9 - "공무원 5지선다 모의고사 만들어줘"10 - "TOEIC 700점 목표 4주 학습 계획 세워줘"11 - "수능 기출 패턴 분석하고 약점 진단해줘"12 - "이 문제의 오답 분석표랑 보충 학습 방향 정리해줘"13 - "자격증 시험 대비 퀴즈랑 해설 같이 만들어줘"14 난이도 배분과 정답·해설을 갖춘 평가 문항을 만들고, 오답 분석표로 보충 학습 방향까지 짚어 드립니다.15 [책임 경계] vs moai-tutor:education-curriculum-designer: 이 스킬=시험 문제 출제와 채점, 저 스킬=강의 커리큘럼과 학습 목표 설계.16metadata:17 source: https://skillmd.com/skills/modu-ai/education-assessment-creator18 version: "1.1.3"19---2021# 평가 도구 제작 (Assessment Creator)2223## 개요2425시험·평가 문항과 해설, 오답 분석표를 만든다. 공인 시험의 형식과 출제 범위는 해당 시험의 공식 안내 및 사용자가 제공한 실제 자료를 확인한 뒤 적용한다.2627## 트리거 키워드2829시험, 기출, 자격증, 수능, 문제 출제, 평가, 퀴즈, 학습 평가, 모의고사, TOEIC, TOEFL, 공무원 시험, 내신, 형성평가, 총괄평가, Bloom's Taxonomy3031## 워크플로우3233### 1단계: 평가 목적 파악3435**평가 유형:**36- **형성평가**: 학습 중 이해도 확인 (퀴즈, 단답형)37- **총괄평가**: 학습 후 성취도 측정 (시험, 자격증 모의고사)3839**대상 시험 종류:**40- 수능 (대학수학능력시험)41- 공무원 시험 (행정·기술직)42- 자격증 시험 (정보처리기사, 공인중개사 등)43- 어학 시험 (TOEIC, TOEFL, OPIC)44- 내신 (학교 성취도 평가)4546### 2단계: 출제 범위 설정4748**학습 목표 설정:**49- 단원, 주제, 핵심 개념 정의50- 학습자 수준과 평가 목적에 맞춰 난이도 비율 결정51- Bloom's Taxonomy 수준별 배분5253**Bloom's Taxonomy 기반 문항 설계:**54| 인지 수준 | 설명 | 문항 유형 예시 |55|-----------|------|---------------|56| 기억(Remember) | 사실 암기 | 용어 정의, 연도 매칭 |57| 이해(Understand) | 개념 설명 | 요약, 비교, 분류 |58| 적용(Apply) | 실제 사용 | 문제 해결, 계산 |59| 분석(Analyze) | 구조 파악 | 원인 분석, 관계 파악 |60| 평가(Evaluate) | 판단·비판 | 타당성 평가, 비판 |61| 창조(Create) | 새로운 산출 | 설계, 작문, 프로젝트 |6263### 3단계: 문항 유형 선택6465**선택형:**66- 4지선다형 (일반)67- 5지선다형 (해당 시험의 현행 형식 확인 후)6869**단답형·서술형:**70- 단답형 (키워드)71- 단순 서술형 (2-3줄)72- 논술형 (장문)7374**OX형·빈칸 채우기:**75- OX 퀴즈76- 빈칸 채우기7778**혼합 구성:**79- 학습 목표와 시험 형식에 맞춰 선택형·단답형·서술형 비율 결정8081### 4단계: 문항 작성8283**문항 작성 원칙:**84- 학습 목표와 직접 연결85- 명확하고 모호하지 않은 문장86- 적정 난이도: 대상 학습자의 실제 응답 자료가 없으면 정답률을 예측치로 단정하지 않는다87- 오답 선택지는 논리적 오류 유형8889**정답 및 해설 포함:**90- 정답 표시91- 해설 (오답 선택지 why wrong 포함)92- 수학·코드 문항은 풀이를 독립적으로 재계산하고, 사실형 문항은 확인 가능한 출처와 대조한다. 확인하지 못한 정답은 검증 완료로 표시하지 않는다.9394### 5단계: 검토 및 오답 분석표9596**문항별 핵심 개념 연결:**97- 해당 문항이 평가하는 핵심 개념98- 관련 단원·주제99100**오답 시 보충 학습 방향:**101- 오답 선택지별 오류 유형 분석102- 보충 학습 링크·자료 추천103104## AI 보조 평가의 경계105106- 문항 초안과 피드백 초안은 만들 수 있지만, 자동 채점 결과를 교사의 확정 판정처럼 제시하지 않는다.107- 학습자별 오답 자료가 있을 때만 반복 오류를 분석한다. 자료가 없으면 예상 약점을 실제 진단 결과로 쓰지 않는다.108- 인지 수준 분류는 문항 설계 보조값이다. 학습 성취도를 측정했다는 뜻으로 쓰지 않는다.109110### 한국 주요 시험별 특성111112| 시험 | 특징 | AI 활용 포인트 |113|------|------|---------------|114| 수능 | 영역별 문항 유형은 해당 학년도 한국교육과정평가원 안내 확인 | 공개 기출과 성취기준에 맞춘 연습 |115| 공무원 시험 | 직렬·과목·연도별 공고 확인 | 공개 기출과 범위에 맞춘 연습 |116| TOEIC/TOEFL | 시험별 영역·문항 형식 확인 | 공식 시험 안내를 기준으로 연습 |117| 자격증 | 종목별 상이, 실기 포함 | 이론 문제 자동 생성, 실기 준비 체크리스트 |118| 내신 | 학교별 출제 기준 다양 | 교과서 기반 예상 문제, 수행평가 준비 |119120## 사용 예시121122**예시 1**: "정보처리기사 실기 모의문제 10개를 만들어줘"123→ 단원 선택 → 난이도 배분 → 문항 생성 → 정답 및 해설124125**예시 2**: "이 단원에서 나올 수 있는 내신 예상 문제를 출제해줘"126→ 학습 목표 확인 → Bloom's 수준 배분 → 혼합 문항 출제127128**예시 3**: "TOEIC 700점 목표 4주 학습 계획을 세워줘"129→ 현재 점수 확인 → 약점 분석 → 주차별 학습 계획 → 모의고사 스케줄130131**예시 4**: "수강생 이해도를 평가할 형성평가 문항을 설계해줘"132→ 학습 목표 확인 → 퀴즈 문항 생성 → 오답 분석표133134## 산출물135136- 시험·평가 문제지 (정답 및 해설 포함)137- 모의고사 (자격증, 공무원, 내신)138- 학습 계획 (주차별, 목표 점수별)139- 오답 분석표 (보충 학습 방향 포함)140- 기출 분석 보고서 (실제 기출 자료를 확인한 경우)141142## 주의사항143144**교육 자료 접근:**145- 교육 자료 접근 불가 시 학습 목표와 핵심 개념 목록만 알려주시면 문항 생성 가능146- 특정 출판사 교과서 기반 출제 시 교과서 단원 제목과 핵심 내용 입력 필요147148**학습 목표 불명확 시:**149- 시험 유형과 대상 수준을 먼저 확인하고 목표를 함께 설정150151**난이도 조절:**152- 상/중/하 비율 지정 시 그에 맞춰 배분153154**공인 시험 기출문제 저작권:**155- 저작권이 있는 기출 자료는 허락 없이 무단 복제할 수 없음156157## 관련 스킬158159- **moai-tutor:education-curriculum-designer**: 커리큘럼 설계, 학습 목표 정의160- **moai-tutor:education-research-assistant**: 학술 논문 작성, 데이터 분석161162문항을 전달하기 전에 이 스킬에서 학습 목표와 문항의 대응, 정답·해설의 독립 재풀이, 실제 자료와의 인용·숫자 대조를 수행합니다. 별도 설치된 `ai-slop-reviewer`나 `korean-humanize`가 현재 앱에 노출될 때만 문체를 추가 검토하고, 수정 뒤 문제의 의미와 정답이 유지됐는지 다시 확인합니다. 문체 검수를 정답 검증으로 표시하지 않습니다.163164## 이 스킬을 사용하지 말아야 할 때165166- **커리큘럼 및 강의 계획 설계** → moai-tutor:education-curriculum-designer 스킬이 더 적합합니다167- **학술 논문·보고서 작성** → moai-tutor:education-research-assistant 스킬을 사용하세요168- **실제 시험 응시 대행** → 자격증 시험은 해당 기관에서 직접 응시해야 합니다169170## References171172| 파일 | 로드 조건 |173|------|-----------|174| references/exam-prep.md | 시험 트렌드 분석·약점 진단·맞춤형 학습 계획·모의고사·오류 분석 시 |