Skill: orca-eval
Purpose
Vòng tự cải thiện quy trình: đọc lại session logs → rút best practice / anti-pattern → report md → đề xuất hành động (promote thành skill, sửa CLAUDE.md, thêm hook…). Report là đề xuất — mọi action phải qua propose → gate, không tự thực hiện.
Triggers
/orca-eval [N] — N = số session gần nhất cần quét (vd 5/10/15)- Không có N → chỉ quét session hiện tại
- User nói "đánh giá session", "rút best practice", "tối ưu quy trình từ lịch sử"
Input
| Tham số |
Ý nghĩa |
Default |
N |
Số session gần nhất (theo mtime của *.jsonl) |
session hiện tại |
Session logs nằm tại ~/.claude/projects/<project-slug>/*.jsonl — slug là cwd với / thay bằng - (vd -Users-giatran-orca-workspaces-setup-evaluation).
Steps
- Scan — chạy
skills/orca-eval/assets/orca-eval-scan.sh [N] từ repo root. Script trả về digest gọn (user prompts, tool errors, lệnh Bash lặp lại). KHÔNG nạp nguyên transcript — 1 session có thể hàng trăm KB.
- Distill — từ digest, tìm 4 loại tín hiệu:
- Correction: user sửa lời agent ("không, dùng X", "sai rồi", "actually…") → quy tắc ứng xử mới
- Repetition: chuỗi lệnh/thao tác lặp ≥ 3 lần qua các session → ứng viên skill-hóa
- Friction: tool error lặp lại, permission prompt nhiều lần, retry loop → ứng viên hook/permission/config
- Win: workflow user approve nhanh, không phải sửa → ghi nhận best practice giữ nguyên
- Report — ghi
llmwiki/wiki/draft/orca/DDMMYY-eval-report.md theo template dưới. Cập nhật wiki/index.md + wiki/log.md.
- Action proposal — mỗi finding gắn đúng 1 action:
promote-to-skill / update-CLAUDE.md / add-hook / keep / ignore. Hiển thị bảng action cho user. DỪNG — action chỉ thực hiện sau khi user duyệt (qua propose nếu là thay đổi code/skill).
Report template
# DDMMYY-eval-report
**Type:** draft
**Status:** proposed
**Tags:** orca-eval, eval-report
**Proposed:** YYYY-MM-DD
**Scope:** <N session / session hiện tại> — <danh sách file jsonl đã quét>
## Best practices
| # | Tín hiệu | Loại | Bằng chứng (session, trích dẫn ngắn) |
|---|----------|------|--------------------------------------|
## Đề xuất action
| # | Finding | Action | Lý do |
|---|---------|--------|-------|
## Origin
- **Sessions:** <paths đã quét>
- **Generated by:** /orca-eval
Giới hạn
- Read-only với session logs — không sửa/xóa
*.jsonl.
- Format JSONL của Claude Code không có spec công khai — scanner fail thì fallback session hiện tại và báo rõ, không sinh report rỗng.
- Auto-trigger mỗi 30 session: Phase 2 (cần Stop-hook + counter), chưa nằm trong skill này.
References (community — claimed 2026-06-11)
Origin
- Raw:
llmwiki/raw/evalution-engineering.md
- Draft:
wiki/draft/orca/110626-orca-eval-skill.md
1---2name: orca-eval3description: Quét N session Claude Code gần nhất, distill best practices thành report md + đề xuất action cải tiến quy trình4---56# Skill: orca-eval78## Purpose910Vòng tự cải thiện quy trình: đọc lại session logs → rút best practice / anti-pattern → report md → đề xuất hành động (promote thành skill, sửa CLAUDE.md, thêm hook…). Report là **đề xuất** — mọi action phải qua `propose` → gate, không tự thực hiện.1112## Triggers1314- `/orca-eval [N]` — N = số session gần nhất cần quét (vd 5/10/15)15- Không có N → chỉ quét session hiện tại16- User nói "đánh giá session", "rút best practice", "tối ưu quy trình từ lịch sử"1718## Input1920| Tham số | Ý nghĩa | Default |21|---------|---------|---------|22| `N` | Số session gần nhất (theo mtime của `*.jsonl`) | session hiện tại |2324Session logs nằm tại `~/.claude/projects/<project-slug>/*.jsonl` — slug là cwd với `/` thay bằng `-` (vd `-Users-giatran-orca-workspaces-setup-evaluation`).2526## Steps27281. **Scan** — chạy `skills/orca-eval/assets/orca-eval-scan.sh [N]` từ repo root. Script trả về digest gọn (user prompts, tool errors, lệnh Bash lặp lại). KHÔNG nạp nguyên transcript — 1 session có thể hàng trăm KB.292. **Distill** — từ digest, tìm 4 loại tín hiệu:30 - **Correction**: user sửa lời agent ("không, dùng X", "sai rồi", "actually…") → quy tắc ứng xử mới31 - **Repetition**: chuỗi lệnh/thao tác lặp ≥ 3 lần qua các session → ứng viên skill-hóa32 - **Friction**: tool error lặp lại, permission prompt nhiều lần, retry loop → ứng viên hook/permission/config33 - **Win**: workflow user approve nhanh, không phải sửa → ghi nhận best practice giữ nguyên343. **Report** — ghi `llmwiki/wiki/draft/orca/DDMMYY-eval-report.md` theo template dưới. Cập nhật `wiki/index.md` + `wiki/log.md`.354. **Action proposal** — mỗi finding gắn đúng 1 action: `promote-to-skill` / `update-CLAUDE.md` / `add-hook` / `keep` / `ignore`. Hiển thị bảng action cho user. **DỪNG** — action chỉ thực hiện sau khi user duyệt (qua `propose` nếu là thay đổi code/skill).3637## Report template3839```markdown40# DDMMYY-eval-report41**Type:** draft42**Status:** proposed43**Tags:** orca-eval, eval-report44**Proposed:** YYYY-MM-DD45**Scope:** <N session / session hiện tại> — <danh sách file jsonl đã quét>4647## Best practices48| # | Tín hiệu | Loại | Bằng chứng (session, trích dẫn ngắn) |49|---|----------|------|--------------------------------------|5051## Đề xuất action52| # | Finding | Action | Lý do |53|---|---------|--------|-------|5455## Origin56- **Sessions:** <paths đã quét>57- **Generated by:** /orca-eval58```5960## Giới hạn6162- Read-only với session logs — không sửa/xóa `*.jsonl`.63- Format JSONL của Claude Code không có spec công khai — scanner fail thì fallback session hiện tại và báo rõ, không sinh report rỗng.64- Auto-trigger mỗi 30 session: **Phase 2** (cần Stop-hook + counter), chưa nằm trong skill này.6566## References (community — claimed 2026-06-11)6768| Repo | Áp dụng được gì |69|------|-----------------|70| [BayramAnnakov/claude-reflect](https://github.com/BayramAnnakov/claude-reflect) | Regex bắt correction ("no, use X", "remember:"), queue → review 2 giai đoạn, routing global vs project CLAUDE.md, `/reflect-skills` tìm pattern lặp để skill-hóa |71| [haddock-development/claude-reflect-system](https://github.com/haddock-development/claude-reflect-system) | Stop-hook auto-run cuối session (mẫu cho Phase 2 auto-trigger 30 session), cross-skill best-practice extraction |72| [netresearch/claude-coach-plugin](https://github.com/netresearch/claude-coach-plugin) | Friction detection — đếm permission prompts / retry loops làm tín hiệu cải tiến |73| [robonuggets/skills — calibrate](https://github.com/robonuggets/skills) | In-session self-improvement: review conversation hiện tại, đề xuất sửa skill/memory có chủ đích |74| [a-c-m reflection.md gist](https://gist.github.com/a-c-m/f4cead5ca125d2eaad073dfd71efbcfc) | Bản tối giản 1 file — giữ skill này gọn, không over-engineer |7576## Origin77- **Raw:** `llmwiki/raw/evalution-engineering.md`78- **Draft:** `wiki/draft/orca/110626-orca-eval-skill.md`
rheinmir