# Xiaoyi Gui Agent

> 通过模拟人在手机屏幕上的操作（点击、滑动、输入、拖拽等）自动完成手机APP中的任务。当任务需要真实操作手机APP界面、获取APP内部信息、执行用户行为（搜索、签到、关注、购买、发布等）时，应使用该Skill。适用于所有需要在手机上直接操控APP完成的指令。

- Skill: `18816132863/xiaoyi-gui-agent` (Agent Skill)
- Install (CLI): `npx skillmds@latest add 18816132863/xiaoyi-gui-agent`
- Raw SKILL.md: https://api.skillmd.com/api/skills/18816132863/xiaoyi-gui-agent/raw
- Safety review: pending
- Works with: Claude Code, Claude.ai, OpenAI Codex
- Category: AI & ML
- Author: 18816132863 (https://skillmd.com/u/18816132863)
- Updated: 2026-09-17
- Page: https://skillmd.com/skills/18816132863/xiaoyi-gui-agent

---


# Xiaoyi GUI Agent（手机GUI操作 Agent）

该 Skill 提供模拟真实用户在手机上操作的能力，通过点击、滑动、输入、拖拽、页面导航等交互行为，自动完成手机 APP 中的各类任务。

## 何时使用

当满足以下任一条件时，应使用该 Skill：

- 需要在 APP 界面上执行任务或获取信息（搜索、浏览、点击按钮等）
- 需要完成特定用户行为（签到、关注、点赞、收藏、购买、发送消息等）
- 需要在 APP 中发布或编辑内容
- 需要修改 APP 或手机系统设置

理论上，所有可以通过人在手机上操作完成的任务，该 Agent 都可以尝试执行。


## 使用方法

调用 `xiaoyi-gui-tool` 工具，传入 `query` 参数。

### 参数说明

| 参数 | 类型 | 必填 | 说明 |
|------|------|------|------|
| `query` | string | 是 | 完整的手机操作任务描述，包含所有必要信息 |

`query` 是唯一的输入参数，所有任务信息都必须写入该字段。

### 构造 query 的步骤

1. **准确规划任务**：基于用户原始指令准确规划需要该skill完成的任务。
2. **补充上下文**：结合对话历史、用户偏好等信息，将规划任务补充为具体可执行的任务。
3. **组织为清晰指令**：按照下方推荐结构构造 `query`。

### query 应包含的信息

| 要素 | 必要性 | 说明 |
|------|--------|------|
| 目标 APP | 推荐 | 指定要操作的 APP 名称 |
| 具体操作 | 必填 | 需要执行的操作步骤或目标 |
| 目标页面/对象 | 推荐 | 操作的目标位置或元素 |
| 期望结果 | 推荐 | 任务完成的标准和需要返回的信息 |
| 数量/范围约束 | 推荐 | 查看几篇、搜索前几个等具体量化要求 |

### 推荐 query 结构

```
打开 <APP名称>，进入 <目标页面或功能>，执行 <具体操作>，并返回 <需要的信息或结果>。
```

### query 构造最佳实践

- **具体化**：将模糊需求转化为明确操作目标。用户说"看看小红书上的美食推荐"，应具体为"查看热度最高的3篇图文帖子"。
- **量化**：对于探索调研类任务，明确数量限制（如"最新的3篇"、"排名前3的"），避免无限制地操作。
- **明确返回要求**：如果需要获取信息，明确说明需要返回什么（如"返回博主昵称和粉丝数"）。
- **拆分复杂任务**：如果任务涉及多个 APP 或多个独立步骤，考虑拆分为多次调用。

## 示例

### 信息查询类

**用户：** "帮我在小红书查找小艺Claw最新的3篇帖子并总结"

**query：**
```
打开小红书，搜索关键词"小艺claw"，筛选并查看最新的3篇图文帖子，分别总结每篇帖子的标题和主要内容并汇总返回。
```
> 小红书搜索结果通常包括图文和视频，需要筛选“图文”帖子来保障信息高效获取

---

**用户：** "帮我看看小红书上粉丝最多的AI博主是谁"

**query：**
```
打开小红书，搜索关键词"AI博主"，找到粉丝数最多的博主，返回该博主的昵称、粉丝数和简介。
```

---

**用户：** "帮我查一下明天北京到上海的高铁票价"

**query：**
```
打开铁路12306，搜索明天从北京到上海的高铁车次，返回前3个车次的车次号、出发时间、到达时间和二等座票价。
```

### 操作执行类

**用户：** "在拼多多上签到"

**query：**
```
打开拼多多APP，进入首页，找到并点击签到入口，完成今日签到。
```

---


### 内容发布类

**用户：** "帮我在微信给妈妈发一条消息说今晚回家吃饭"

**query：**
```
打开微信，找到联系人"妈妈"的聊天窗口，输入"今晚回家吃饭"并发送。
```

> 注意：发送消息属于高风险操作，Agent 会在发送前通过 clarify 向用户确认内容。


## 输出说明

`xiaoyi-gui-tool` 执行完成后会返回文本结果，描述任务完成情况和获取到的信息。

**输出示例：**

```text
任务完成：已在小红书搜索"小艺claw"，以下是最新3篇帖子的总结：
1. 《小艺Claw体验报告》- 详细评测了小艺Claw的语音交互能力...
2. 《AI助手对比》- 对比了多款AI助手，小艺Claw在xxx方面表现突出...
3. 《新功能发布》- 小艺Claw最新更新了xxx功能...
```

```text
任务完成：已在拼多多完成今日签到，获得10积分。
```

```text
无法完成：拼多多签到页面需要滑动验证，当前无法自动完成，请手动操作。
```