Ue Benchmark

UE Agent Benchmark — 评测框架

前置技能：本技能依赖 use-unrealhub 技能提供的 UE 工具链知识。 执行 Benchmark 前，Agent 应已加载 use-unrealhub 技能。

1. 概述

UE Agent Benchmark 衡量 AI 编码代理在无人工代码介入的条件下，通过 MCP 工具链在 Unreal Engine 中端到端交付完整游戏原型的综合能力。

评测覆盖：工程创建、C++ 编码、关卡构建、游戏系统设计、PIE 自测、迭代修复的全生命周期。

1.1 多场景架构

Benchmark 支持多个评测场景，每个场景定义一种游戏类型及其专属评分细则：

skills/ue-benchmark/
├── SKILL.md              ← 本文件：通用框架（评分公式、评测流程、质量层级）
└── scenarios/
    ├── vampire-survivors-v1.md  ← 场景 A：3D 吸血鬼幸存者
    └── (future scenarios)       ← 场景 B, C, ...

启动 Benchmark 时：

1. 读取本文件了解通用框架
2. 读取 scenarios/<场景名>.md 获取标准 Prompt、执行阶段、游戏内容规格
3. 按场景要求执行

2. 通用评分体系

2.1 总分公式

TotalScore = PackageGate × (UserScore × 0.55 + AIReviewScore × 0.30 + ContentScore × 0.05 + TokenScore × 0.10)

总分无上限。Agent 可通过迭代增强持续提升各项分数。

2.1.1 PackageGate — 打包门槛（硬性前置条件）

PackageGate 是资格赛：不通过则整体 0 分，不进入后续评分。

通过条件（全部满足才为 1）

失败判定

工程目录要求：Agent 完成后工程目录应保持干净、结构合理。评测方须能直接用 UE 编辑器打开工程并运行 Cook。允许使用引擎内置资源，不要求外部资源包。

2.1.2 Playability Verification Protocol — 可玩性验证协议

为什么需要结构化验证？ 单纯"能跑"不代表"可玩"。操作感和可玩性是游戏的生命线， 必须通过可复现的测试流程来评估，而非仅凭主观印象。

PackageGate 通过后，在用户打分（UserScore）之前，必须执行可玩性验证协议 (PVP)。 PVP 不直接产生分数，但为 UserScore 评分提供客观依据，并可发现 PackageGate 未覆盖的问题。

结构化游玩测试（4 轮）

每轮结束后记录观察笔记，作为 UserScore 各项打分依据。

操作验证清单（场景专属，见场景文件）

每个场景定义一份操作验证清单——由具体的「输入→期望响应」测试项组成。 评测方须逐项执行并记录通过/失败。此清单同时用于：

• 发现 PackageGate 未覆盖的可玩性缺陷
• 为 UserScore 的「操作手感分」提供客观评分依据

PVP 与评分的关系

PackageGate ─── 通过 ───→ PVP（结构化测试）───→ UserScore 打分
     │                        │                       │
     │                        ├── 操作验证清单          ├── 基础功能分
     │                        ├── 4 轮游玩测试          ├── 操作手感分 ← PVP 提供依据
     │                        └── 观察笔记              ├── 内容深度分
     │                                                 ├── 体验加分
   失败 → 0 分                                         └── 稳定性惩罚

2.2 UserScore — 用户综合评分（权重 55%）

用户在 打包产物 和 PIE 中实际游玩后打分，采用累加制（非百分制）。

核心原则：内容越充实越完善，分数越高；操作手感是游戏体验的基石。 没有操作感的游戏即使内容再多也难以获得高分。

• 基础功能分（0-100）：由场景文件定义各模块的分值和评分标准
• 操作手感分（0-30）：独立维度，评估输入响应、移动手感、战斗反馈、UI 响应（见场景文件）
• 内容深度分（0-60）：对每个基础模块的实现深度进行额外评分（见场景文件）
• 体验加分（无上限）：由场景文件定义加分项
• 稳定性惩罚：

2.3 AIReviewScore — AI 审查评分（权重 30%）

由另一个独立 AI（非执行 Agent）对产出代码和工程进行审查。

代码质量（0-40）

工程完整度（0-30）

游戏设计质量（0-30）

加分项（无上限）

2.5 ContentScore — 内容充实度评分（权重 5%）

独立维度，衡量游戏内容的广度和深度，由用户和 AI 审查者共同评估。

评分标准（0-100，无上限加分）

加分项（无上限）

评估方式：UserScore 打分时同步评估 ContentScore，AI 审查时也单独给出 ContentScore。 最终取 ContentScore = (UserContentScore + AIContentScore) / 2。

2.6 TokenScore — Token 效率评分（权重 10%）

TokenScore = BaseEfficiency + QualityBonus

BaseEfficiency = 100 × (ReferenceTokens / ActualTokens)
QualityBonus   = UserScore × 0.1

Token 记录要求：Agent 须通过 add_note 阶段性记录 Token 消耗。用户也独立记录。

3. 评测流程

所有场景共享此通用流程：

┌──────────────────────────────────────────────┐
│  1. 准备阶段                                  │
│     - 准备干净的 UE 引擎环境                   │
│     - 启动 UnrealMCPHub                       │
│     - 记录开始 Token 计数                      │
│     - 读取场景文件获取标准 Prompt               │
├──────────────────────────────────────────────┤
│  2. 执行阶段                                  │
│     - 向 Agent 发送场景的标准 Prompt            │
│     - Agent 自主执行全部流程                    │
│     - 不做任何人工干预                          │
│     - 记录所有 MCP 调用日志                     │
├──────────────────────────────────────────────┤
│  3. Cook & Package 阶段 ⚠️ GATE              │
│     - Agent 完成后，在工程目录执行 Cook 打包     │
│     - 验证打包产物可启动、可进入游戏、可游玩     │
│     - 若打包失败或产物不可玩 → PackageGate=0    │
│       → TotalScore=0，流程终止                 │
│     - 通过后保留工程目录和打包产物               │
├──────────────────────────────────────────────┤
│  4. 可玩性验证阶段 (PVP)                       │
│     - 执行操作验证清单（逐项测试输入→响应）      │
│     - 完成 4 轮结构化游玩测试（S1-S4）           │
│     - 记录每轮观察笔记                           │
├──────────────────────────────────────────────┤
│  5. 验收评分阶段                                │
│     - 基于 PVP 结果打 UserScore                  │
│       （基础分 + 操作手感分 + 内容深度分 + 加分） │
│     - 同步评估 ContentScore                      │
├──────────────────────────────────────────────┤
│  6. AI 审查阶段                               │
│     - 将全部 C++ 源码提交给独立 AI              │
│     - 使用场景提供的审查 Prompt 模板             │
│     - AI 按标准打 AIReviewScore + ContentScore │
├──────────────────────────────────────────────┤
│  7. 汇总阶段                                  │
│     - 计算 TokenScore（2.6 节）                │
│     - 计算 ContentScore 均值（2.5 节）          │
│     - 代入总分公式（含 PackageGate）             │
│     - 记录到排行榜                              │
└──────────────────────────────────────────────┘

4. 质量层级

5. 排行榜格式

| 排名 | Agent | 模型 | 场景 | 总分 | PackageGate | User | AIReview | Content | Token | 消耗Token | 日期 |
|------|-------|------|------|------|-------------|------|----------|---------|-------|----------|------|
| 1 | Agent-X | claude-4-opus | vampire-survivors-v1 | 207.4 | ✅ | 230 | 150 | 85 | 208 | 500M | 2026-03-07 |
| - | Agent-F | model-y | vampire-survivors-v1 | 0 | ❌ Cook失败 | - | - | - | - | 300M | 2026-03-08 |

6. 评分示例

案例 A：基础完成（1B Token，通过打包）

案例 B：优秀完成（800M Token，通过打包）

案例 C：极致打磨（2B Token，通过打包，内容极其丰富）

案例 D：打包失败

7. 通用前置条件

所有场景共享以下前置条件：

8. 可用场景

新场景按 scenarios/<game-type>-v<N>.md 命名。每个场景文件定义：标准 Prompt、执行阶段、游戏内容规格、场景专属评分细则、AI 审查 Prompt 模板。