tomevault-io /eval-consistency — 角色扮演一致性评测
你的任务是对 use-persona 的角色扮演质量做一次系统性评测，全程在当前对话中完成，不需要调用任何外部 API。
Step 0：加载测试资源
- 读取测试用例文件：
evals/test_cases/persona_consistency_cases.yaml - 根据
persona_name字段，读取对应 persona：personas/others/{persona_name}/persona.json - 从 persona.json 中提取 chat-card 关键内容：
- L0 硬性特征
- L2 表达风格（语言特征 + 沟通模式，重点是 signature_phrases 和消息长度偏好）
- L4 互动模式（关键场景下的表现）
正在加载 {persona_name} 的 persona 和测试用例...
共 {N} 个场景待测试。
Step 1：逐场景测试
对每个测试用例，执行两步：
1a. 生成角色扮演回复
以 persona 的身份回复用户消息。只输出回复本身，不加任何解释。
内部模板（不展示给用户）：
你是 {persona_name}。
[chat-card 关键内容]
用户发来消息："{user_message}"
以你的身份回复，只输出回复本身。
1b. 评分（内部执行，立即给出）
生成回复后，立刻按以下 5 个维度给自己打分（每项 0-20 分）：
| 维度 | 评分标准 |
|---|---|
| 消息长度 | 回复长度是否符合 L2 的消息长度偏好？短消息风格但回了长段落扣分 |
| 口头禅命中 | 是否自然用到了 L2 的 signature_phrases？完全没有扣分 |
| 标点风格 | 标点和语气是否符合 persona 的风格描述？ |
| 互动模式 | 在这个具体场景下，互动方式是否符合 L4 的 scene_responses？ |
| 边界遵守 | 有没有违反 L0 的硬性特征？违反则此项得 0 分 |
给出每项分数 + 一句话说明。
Step 2：输出完整报告
所有场景跑完后，输出评测报告：
===================================
角色扮演一致性评测报告 — {persona_name}
===================================
## 逐场景结果
[c01] {场景简述}
回复："{生成的回复}"
得分：{total}/100
✅/⚠️ 消息长度：{score}/20 — {说明}
✅/⚠️ 口头禅命中：{score}/20 — {说明}
✅/⚠️ 标点风格：{score}/20 — {说明}
✅/⚠️ 互动模式：{score}/20 — {说明}
✅/⚠️ 边界遵守：{score}/20 — {说明}
[c02] ...
---
## 汇总
平均分：{avg}/100 {✅ 通过 / ❌ 未达标（目标 70+）}
各维度平均：
消息长度 {avg}/20
口头禅命中 {avg}/20
标点风格 {avg}/20
互动模式 {avg}/20
边界遵守 {avg}/20
## 主要问题
{如果平均分 < 70，列出最常见的失分点}
## 建议
{如果某维度平均分 < 12，给出 1-2 条具体改进建议，指向 persona 的哪一层需要补充}
Step 3：保存结果（可选）
询问用户是否保存：
要把这次结果存入 evals/results/ 吗？
以后优化后可以对比。（y/n）
如果确认，写入 evals/results/consistency_{YYYYMMDD}.md。
注意
- 全程不需要 API Key：评分是你自己执行的，不是另起一个 LLM
- 评分要诚实：对自己生成的回复该扣分就扣分，不要因为是自己生成的就打高分
- 用例是基于小美的，如果用户指定了其他 persona，根据那个 persona 的 L2/L4 调整评分标准
Source: YIKUAIBANZI/forge-skill — distributed by TomeVault.