# Skill Evaluator

> Evaluate, compare, recommend, discover, and install AI agent skills. Use whenever the user wants to find, assess, choose, or install skills — even if they don't explicitly say "evaluate". Triggers: "评估/找/对比/安装/推荐 skill", "skill 安全", "哪个 skill 好用", "找个技能", "给 agent 装技能", "safe skill", "evaluate/compare/install skill", or any request involving skill discovery, security assessment, installation, or cross-agent compatibility.

- Skill: `cnife/skill-evaluator` (Agent Skill, multi-file: 6 files)
- Install (CLI): `npx skillmds@latest add cnife/skill-evaluator`
- Raw SKILL.md: https://api.skillmd.com/api/skills/cnife/skill-evaluator/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: Product & Planning
- Author: cnife (https://skillmd.com/u/cnife)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/cnife/skill-evaluator

---


# Skill Evaluator

系统性地评估、对比、推荐、搜索和安装 AI agent skills 的完整流程指南。

## 参考文件

本 skill 依赖以下参考文件，按需读取：

- **references/reference.md** → 安全评估检查清单（威胁分类、攻击模式、审计清单、评分标准）
- **references/patterns.md** → 工具限制与绕过策略、常见陷阱、安装最佳实践
- **references/examples.md** → 完整评估案例（markitdown 对比 + fallback 策略演示）

**关键**：多个常用工具存在限制，在阶段 3 读取源码前务必查阅 `references/patterns.md` 中的绕过策略。

## 核心流程

整个流程分为四个阶段，按顺序执行：

```text
搜索候选 → 信息收集 → 安全评估 → 对比推荐与安装
```

---

## 术语澄清

用户提问时可能混淆以下概念，先理解再执行搜索：

| 用户说 | 实际指向 | 对应操作 |
|--------|---------|---------|
| `skill.sh` | **文件名** — 仓库根目录下的 `skill.sh` 安装脚本 | 检查仓库是否有此文件（非标准，极少数仓库使用） |
| `skills.sh` | **生态系统** — `bunx skills` CLI 工具 | `bunx skills find` / `bunx skills add` |
| `skillhub` | **SkillHub** — `skillhub` CLI | `skillhub search` / `skillhub install` |
| `SkillsMP` | **SkillsMP** — `skills` CLI | `skills search` / `skills install` |

**常见歧义**：用户问"能通过 skill.sh 安装吗"，可能是问 skills.sh 生态系统（`bunx skills`），而非检查仓库里有没有 `skill.sh` 文件。**先反问确认再行动。**

---

## 阶段 1：搜索候选

### ⚠️ 搜索前必读：术语澄清

用户说 **"skill.sh"** 或 **"skillhub"** 时，指的不是 GitHub 仓库里的文件名，而是两个平台/CLI：

- **skills.sh** — 平台，CLI 命令为 `bunx skills`（搜索 `bunx skills find`，安装 `bunx skills add`）
- **SkillHub** — 平台，CLI 命令为 `skillhub`（搜索 `skillhub search`，安装 `skillhub install`）

不要跑去 GitHub 仓库找叫 `skill.sh` 的文件——那是错误方向。先查平台是否收录。

### ⚠️ 必须先加载本技能（关键流程约束）

**当用户提出任何「找技能」「有没有 X 的技能」「评估/对比/推荐 skill」等请求时，必须立即加载本 skill（skill_view('skill-evaluator')），按照以下流程执行。不得先做 ad-hoc 搜索、不得凭记忆回答、不得跳过流程直接推荐。**

这是最常被违反的规则。即使你「知道」有哪些技能可用，也必须走完整搜索-评估-推荐流程，原因：

- 技能市场在不断更新，你「知道」的可能已过时
- 安全风险需要逐行审计，不能靠记忆判断
- 用户需要可验证的对比数据，而不是凭印象的推荐

### 1.0 前置检查：本地已安装技能

- **先检查本地**：执行 `ls ~/.agents/skills/` 和 `ls ~/.hermes/skills/`，查看用户是否已安装同类技能
- **如果已安装**：直接读取已安装的 SKILL.md，跳过搜索和评估流程，直接进入对比或告知用户

### 1.1 多源并行搜索

**同时发起三个搜索，不等彼此**，以最快找到候选：

- **Skills.sh**（全球生态，社区验证多）：

  ```bash
  bunx skills find [关键词]
  ```

  **注意**：经常超时（60s+）。Agent 的 shell/terminal 工具自带超时机制，并行发起其他搜索，谁先完成用谁的结果。

- **SkillHub**（中国优化，速度快，中文技能多）：

  ```bash
  skillhub search [关键词]
  ```

- **SkillsMP**（跨平台生态，独立市场）：

  ```bash
  skills search [关键词]
  ```

  或直接 `skills list` 列出所有索引技能。SkillsMP 使用 `skills install <name>` 安装，是独立于 skills.sh 和 SkillHub 的第三方市场。

### 1.2 记录候选列表

对每个候选 skill，记录：名称（`owner/repo@skill-name`）、安装量、来源（skills.sh / SkillHub / SkillsMP）、GitHub 仓库 URL（从 `owner/repo` 直接推导：`https://github.com/owner/repo`）。

### 1.3 快速过滤

| 过滤条件 | 阈值 | 理由 |
|---------|------|------|
| 安装量 | < 20 | 太低可能不可靠或缺乏社区验证 |
| 最近提交 | > 4 个月 | 大概率已停止维护 |
| Agent Trust Hub | Fail | 明确安全问题，立即拒绝 |

**过滤后保留 2-5 个候选进入深度评估。** 如果过滤后只剩 1 个，同时搜索替代方案对比。

---

## 阶段 2：信息收集

**此阶段所有操作应并行执行**，以提高效率。

### 2.1 功能详情与仓库活跃度

从技能名字 `owner/repo@skill-name` 直接定位 GitHub 仓库：`https://github.com/{owner}/{repo}`

关注点：

- Stars/Forks/Issues 数量（社区关注度）
- 支持的文件格式/功能范围
- License 类型
- 依赖项和集成方式

### 2.2 更新频率

调用 GitHub API：`https://api.github.com/repos/{owner}/{repo}/commits?per_page=5`

从 `commit.author.date` 判断最近一次提交时间和提交间隔。详见 `references/patterns.md` 中的 GitHub API 元数据获取。

**注意**：如果 skill 是 SkillHub 独占（无公开 GitHub 仓库），更新频率和活跃度指标标记为 N/A，在可信度评级中相应降级。同时在阶段 4 推荐时加入跨平台可用性检查（详见 `references/patterns.md` 第 9 节）。

### 2.3 信息汇总表

| 指标 | Skill A | Skill B | Skill C |
|------|---------|---------|---------|
| 安装量 | | | |
| Stars | | | |
| 最近提交 | | | |
| 更新频率 | | | |
| Agent Trust Hub | | | |
| Socket | | | |
| Snyk | | | |

---

## 阶段 3：安全评估（核心）

**此阶段最为关键**，决定 skill 是否可安全使用。

### 3.1 读取源码

## 策略：根据来源选择最直接的路径。

- **来自 skills.sh 的技能**：直接用 `git clone --depth 1` 克隆 GitHub 仓库（`owner/repo` 已知），避免 `web_extract` 被拦截：

  ```bash
  TMPDIR=$(mktemp -d) && git clone --depth 1 "https://github.com/{owner}/{repo}.git" "$TMPDIR"
  ```

  克隆后查找 SKILL.md，常见目录结构（按优先级）：`.agents/skills/{name}/` → `.claude/skills/{name}/` → `.opencode/skills/{name}/` → `skills/{name}/` → 根目录。

- **来自 SkillHub 的技能**：默认下载到临时目录：

  ```bash
  TMPDIR="/tmp/skillhub-tmp-$$" && mkdir -p "$TMPDIR"
  skillhub --dir "$TMPDIR" install <slug>
  ```

读取 SKILL.md 后，如果它引用了其他文件（如 `reference.md`、`scripts/` 下的脚本），一并读取。完成后清理临时目录。

### 3.2 检查硬编码路径

SkillHub 下载的 skill 常包含作者本机的硬编码路径。审计时必须检查 SKILL.md 和 scripts/ 中是否有 `find /mnt/c/Users/...`、`/root/.openclaw` 等路径。

如果路径硬编码为作者机器特有路径，在报告中注明"路径需适配当前环境"，不建议直接安装。

### 3.3 安全审计

**逐行阅读 SKILL.md，按照 `references/reference.md` 中的检查清单逐项审计。** 以下是要点摘要：

## 致命红线（立即拒绝）：

- Base64 编码的隐藏指令
- 引导 agent 读取并外传环境变量（如 `$ANTHROPIC_API_KEY`）
- 附带可执行文件且功能与 skill 声称不符
- 条件激活逻辑（"当 X 条件满足时执行 Y"，Y 与 skill 功能无关）

## 高风险（需明确警告用户）：

- API Key 通过 CLI 参数传递（会出现在 shell 历史和 `ps` 输出中）
- 第三方插件/扩展系统默认启用且无验证
- 向外部服务发送文档内容但未明确告知用户

## 中风险（需提醒用户注意）：

- 文件路径未做穿越防护（`../../` 攻击）
- 输出文件覆盖已有内容无确认
- 递归目录遍历可能暴露意外文件

**平台审计结果（辅助验证）：**
结合 GitHub 仓库 README、skills.sh 安装页面或其他渠道获取的 Agent Trust Hub / Socket / Snyk 评级，与自主审计结果交叉验证。如自主审计与平台结果冲突，以自主审计为准。

### 3.4 仓库信誉检查

- **维护者身份**：个人/组织/官方（如 `anthropics`、`vercel-labs` 更可信）
- **提交验证状态**：是否有 Verified commits（GPG 签名）
- **Issue/PR 响应**：维护者是否积极回应社区反馈
- **安全修复历史**：是否有过漏洞修复记录

### 3.5 安全评分

对每个 skill 给出安全评分（1-10 分）。评分维度、分数段含义详见 `references/reference.md` 的"安全评分标准"部分。核心维度：Prompt 注入、凭证处理、代码执行、数据外泄、文件系统安全、插件系统、混淆内容。

---

## 阶段 4：对比推荐与安装

### 4.1 生成综合对比表

合并所有阶段信息，生成**单一综合对比表**：

| 指标 | Skill A | Skill B | Skill C |
|------|---------|---------|---------|
| 安装量 | | | |
| Stars | | | |
| 更新频率 | | | |
| Agent Trust Hub | | | |
| Socket | | | |
| Snyk | | | |
| 自主安全评分 | | | |
| 功能定位 | | | |
| 核心风险点 | | | |

### 4.2 分级推荐

**安全优先型：** 推荐安全评分最高、Agent Trust Hub 通过、有完整安全文档的 skill。

**功能优先型：** 推荐功能最全、更新最活跃、社区验证最多的 skill。

**组合安装：** 同时安装两个 skills，日常用一个，安全参考用另一个。

**⚠️ 呈现推荐后不要问"装哪个"。** 用户很可能回答选择标准（如"功能优先""兼容 Hermes 和 OpenCode"），而不是安装指令。如果用户回答的是标准，说明你的推荐还没到——回到 4.1 补充信息后重新推荐。

只有用户明确说出 **"安装 X"、"装 X"、"install X"、"用 X"** 等字眼，才进入阶段 4.3。误将选择标准当安装指令是常见陷阱。

### 4.3 执行安装

**⚠️ 确认信号必须是明确的安装指令。** 用户说"装 X"、"安装 X"、"install X"才视为确认。用户说"功能优先"、"跨平台兼容"、"兼容 Hermes 和 OpenCode"等是选择标准，不是安装确认——说明阶段 4.2 还没完成。

确认后根据技能来源选择正确的安装命令。完整命令速查和注意事项详见 `references/patterns.md`。

## Skills.sh 技能：

```bash
bunx skills add {owner}/{repo}@{skill-name} -g -y
```

## SkillHub 技能：

```bash
skillhub --dir ~/.hermes/skills/ install {slug}
```

注意 `--dir` 是全局选项，必须放在子命令 `install` 之前。

**⚠️ Hermes `external_dirs` 配置影响安装目标：** 如果用户的 Hermes 配置了 `skills.external_dirs` 自动扫描 `~/.agents/skills/`，则 `~/.agents/skills/` 是 Hermes 和 OpenCode/Claude Code 等 agent 的共享技能目录。此时 SkillHub 技能应安装到 `~/.agents/skills/` 而非 `~/.hermes/skills/`：

```bash
# 当 Hermes 通过 external_dirs 发现 ~/.agents/skills/ 时：
skillhub --dir ~/.agents/skills/ install {slug}
```

**判断方法：** 检查 Hermes 配置中是否有 `skills.external_dirs` 指向 `~/.agents/skills/`。如有，优先使用 `~/.agents/skills/` 作为安装目标。

## SkillsMP 技能：

```bash
skills install {name}
```

安装到 SkillsMP 自己的目录。手动复制或 symlink 到 `~/.hermes/skills/` 下：

```bash
ln -s ~/.local/share/skillsmp/{name} ~/.hermes/skills/{name}
```

### 4.4 多 Agent 兼容处理

`bunx skills add` 内置 `--agent` 参数，支持 40+ 个 Agent。

## 安装策略：

1. 从系统提示词识别当前运行的 Agent
2. 默认安装到当前 Agent 的目录
3. 安装后询问用户是否扩展到其它 Agent
4. 避免使用 `--all`（会创建 40+ 个目录）

## 单一真相源原则：

- Skills.sh 安装以 `~/.agents/skills/` 为主目录
- Hermes 通过 `skills.external_dirs` 配置扫描 `~/.agents/skills/`，无需软链接或副本
- SkillHub 安装以 `~/.hermes/skills/` 为主目录。但如果 Hermes 配置了 external_dirs 指向 `~/.agents/skills/`，则 SkillHub 也应安装到 `~/.agents/skills/`，避免技能分散在两个目录

### 4.5 安装后验证

1. **检查安装路径**：确认 skill 文件存在于目标 Agent 的技能目录中
2. **读取已安装 SKILL.md**：确认内容与预期一致
3. **确认安全审计结果**：与评估时一致
4. **跨 Agent 验证（external_dirs 场景）**：如果安装到共享目录（如 `~/.agents/skills/`），验证两个 Agent 都能发现：
   - Hermes：`hermes skills list | grep <skill-name>`（确认状态为 enabled）
   - OpenCode/其他 agent：`ls ~/.agents/skills/<skill-name>/SKILL.md`（确认文件存在可读）
5. **提醒用户审查**：提醒用户阅读 SKILL.md 内容后再使用

---

## 输出格式

评估完成后，按以下结构输出：

1. **搜索摘要**：找到 N 个候选 skills
2. **综合对比表**：合并所有关键指标
3. **安全评估详情**：每个 skill 的风险点和加分项
4. **分级推荐**：按安全/功能/组合三个维度
5. **安装命令**：用户可直接复制执行的命令
6. **安装后验证结果**：确认安装成功且内容一致