Role Audition Design

Role Audition Design

概述

角色海选设计技能专注于创建标准化测试集，用于评估（角色, 演员）组合的适配度。这是RAMS框架评估体系的核心组成部分。

核心概念

角色海选 (Role Audition)

使用标准测试集评估（角色, 演员）组合的表现，生成适配度矩阵。支持变体评估。

测试集设计原则

• 覆盖性：测试用例应覆盖角色的核心能力和边界情况
• 可重复性：测试结果应该稳定可重复
• 可量化：每个测试用例应该有明确的评分标准
• 效率：测试集应该在合理时间内完成

设计流程

1. 分析角色能力

• 识别角色的核心技能
• 确定角色的能力边界
• 识别关键任务场景

2. 设计测试用例

• 为每个核心技能设计测试用例
• 设计边界情况测试
• 设计异常情况测试

3. 定义评分标准

• 为每个测试用例定义评分标准
• 设定权重（不同测试用例的重要性）
• 定义通过/失败阈值

4. 验证测试集

• 运行测试集，验证其有效性
• 调整测试用例和评分标准
• 确保测试集的稳定性和可靠性

测试集结构

role_audition:
  role_name: "client_unity"
  test_cases:
    - name: "实现2D角色移动"
      skill: "unity_2d_movement"
      weight: 0.3
      input: "实现一个2D角色移动系统，支持WASD控制"
      output_schema:
        type: "object"
        properties:
          code: {type: "string"}
          explanation: {type: "string"}
      scoring:
        functionality: 0.4
        code_quality: 0.3
        documentation: 0.3
    - name: "设计经济数值"
      skill: "game_balance"
      weight: 0.2
      # ...

适配度计算

适配度 = Σ(测试用例得分 × 权重)

最佳实践

• 测试集应该定期更新，反映角色定义的进化
• 测试用例应该独立，不依赖执行顺序
• 评分标准应该透明可解释
• 测试集应该支持变体评估（不同场景的变体）

常见错误

• 测试集覆盖不足，遗漏关键能力
• 评分标准模糊，导致主观判断
• 测试用例相互依赖，影响可重复性
• 测试集过于复杂，执行时间过长