# AI评估

> 来自2位产品领袖的2条洞察。如何构建和运用AI评估体系来衡量模型能力。

- Skill: `wuwu119/ai` (Agent Skill)
- Install (CLI): `npx skillmds@latest add wuwu119/ai`
- Raw SKILL.md: https://api.skillmd.com/api/skills/wuwu119/ai/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Coding & Dev Tools
- Author: wuwu119 (https://skillmd.com/u/wuwu119)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/wuwu119/ai

---


# AI评估（Evals）

## 何时使用此技能

当你需要：
- 为AI产品建立评估框架和基准测试
- 衡量和比较不同模型的能力表现
- 设计产品需求文档中的AI评估标准
- 理解AI时代产品构建的新核心技能

## 核心原则

### 1. 评估即产品需求
AI评估不仅是测试工具，更是定义产品成功标准的核心文档。当模型本身就是产品时，评估就是产品需求文档。

### 2. 系统化评估流程
评估需要包含错误分析、开放编码、建立评分标准等多步骤工作流，而非简单的通过/失败测试。

### 3. 评估是新兴核心技能
这是区别于传统软件测试或通用AI策略的独特专业技能，正在成为产品构建者最重要的新能力。

## 专家洞察

### Hamel Husain & Shreya Shankar
> "Anthropic和OpenAI的首席产品官都表示，评估正在成为产品构建者最重要的新技能。"

**核心洞察**：AI评估被明确定义为一项"新技能"，它不同于传统软件测试或通用AI策略。这涉及特定的多步骤工作流程，包括错误分析、开放编码和评估标准制定。

**如何应用**：
- 将AI评估作为产品团队的核心能力来培养
- 建立系统化的评估工作流程，不仅仅依赖简单的测试用例
- 投资学习评估设计和错误分析方法论

### Brendan Foody
> "如果模型就是产品，那么评估就是产品需求文档。"

**核心洞察**：我们正在进入"评估时代"，评估已成为AI实验室的核心瓶颈。这涉及创建评分标准、基准测试和系统化测试来衡量模型能力。

**如何应用**：
- 将评估设计与产品需求定义同等对待
- 为每个AI功能建立明确的评估指标和基准
- 使用评估结果驱动产品迭代决策

## 常见错误

- 将AI评估等同于传统软件测试
- 只关注单一指标而忽视多维度评估
- 评估标准与实际用户价值脱节
- 在没有明确评估框架的情况下迭代产品

## 关键战术

| 战术 | 说明 |
|------|------|
| **错误分析** | 系统化分析模型失败案例，找出模式和根因 |
| **评分标准** | 建立多维度的评估rubric，涵盖准确性、相关性、安全性等 |
| **基准测试** | 设计可重复的benchmark来追踪模型能力变化 |
| **A/B评估** | 对比不同模型或提示词策略的效果差异 |

## 相关技能

- [[01-AI产品策略-ai-product-strategy|AI产品策略]]
- [[02-LLM应用开发-building-with-llms|LLM应用开发]]
- [[03-技术评估-evaluating-new-technology|技术评估]]
- [[04-平台策略-platform-strategy|平台策略]]