18816132863 Xiaoyi GUI Agent（手机GUI操作 Agent）
该 Skill 提供模拟真实用户在手机上操作的能力，通过点击、滑动、输入、拖拽、页面导航等交互行为，自动完成手机 APP 中的各类任务。
何时使用
当满足以下任一条件时，应使用该 Skill：
- 需要在 APP 界面上执行任务或获取信息（搜索、浏览、点击按钮等）
- 需要完成特定用户行为（签到、关注、点赞、收藏、购买、发送消息等）
- 需要在 APP 中发布或编辑内容
- 需要修改 APP 或手机系统设置
理论上，所有可以通过人在手机上操作完成的任务，该 Agent 都可以尝试执行。
使用方法
调用 xiaoyi-gui-tool 工具，传入 query 参数。
参数说明
| 参数 | 类型 | 必填 | 说明 |
|---|---|---|---|
query |
string | 是 | 完整的手机操作任务描述，包含所有必要信息 |
query 是唯一的输入参数，所有任务信息都必须写入该字段。
构造 query 的步骤
- 准确规划任务：基于用户原始指令准确规划需要该skill完成的任务。
- 补充上下文：结合对话历史、用户偏好等信息，将规划任务补充为具体可执行的任务。
- 组织为清晰指令：按照下方推荐结构构造
query。
query 应包含的信息
| 要素 | 必要性 | 说明 |
|---|---|---|
| 目标 APP | 推荐 | 指定要操作的 APP 名称 |
| 具体操作 | 必填 | 需要执行的操作步骤或目标 |
| 目标页面/对象 | 推荐 | 操作的目标位置或元素 |
| 期望结果 | 推荐 | 任务完成的标准和需要返回的信息 |
| 数量/范围约束 | 推荐 | 查看几篇、搜索前几个等具体量化要求 |
推荐 query 结构
打开 <APP名称>，进入 <目标页面或功能>，执行 <具体操作>，并返回 <需要的信息或结果>。
query 构造最佳实践
- 具体化：将模糊需求转化为明确操作目标。用户说"看看小红书上的美食推荐"，应具体为"查看热度最高的3篇图文帖子"。
- 量化：对于探索调研类任务，明确数量限制（如"最新的3篇"、"排名前3的"），避免无限制地操作。
- 明确返回要求：如果需要获取信息，明确说明需要返回什么（如"返回博主昵称和粉丝数"）。
- 拆分复杂任务：如果任务涉及多个 APP 或多个独立步骤，考虑拆分为多次调用。
示例
信息查询类
用户： "帮我在小红书查找小艺Claw最新的3篇帖子并总结"
query：
打开小红书，搜索关键词"小艺claw"，筛选并查看最新的3篇图文帖子，分别总结每篇帖子的标题和主要内容并汇总返回。
小红书搜索结果通常包括图文和视频，需要筛选“图文”帖子来保障信息高效获取
用户： "帮我看看小红书上粉丝最多的AI博主是谁"
query：
打开小红书，搜索关键词"AI博主"，找到粉丝数最多的博主，返回该博主的昵称、粉丝数和简介。
用户： "帮我查一下明天北京到上海的高铁票价"
query：
打开铁路12306，搜索明天从北京到上海的高铁车次，返回前3个车次的车次号、出发时间、到达时间和二等座票价。
操作执行类
用户： "在拼多多上签到"
query：
打开拼多多APP，进入首页，找到并点击签到入口，完成今日签到。
内容发布类
用户： "帮我在微信给妈妈发一条消息说今晚回家吃饭"
query：
打开微信，找到联系人"妈妈"的聊天窗口，输入"今晚回家吃饭"并发送。
注意：发送消息属于高风险操作，Agent 会在发送前通过 clarify 向用户确认内容。
输出说明
xiaoyi-gui-tool 执行完成后会返回文本结果，描述任务完成情况和获取到的信息。
输出示例：
任务完成：已在小红书搜索"小艺claw"，以下是最新3篇帖子的总结：
1. 《小艺Claw体验报告》- 详细评测了小艺Claw的语音交互能力...
2. 《AI助手对比》- 对比了多款AI助手，小艺Claw在xxx方面表现突出...
3. 《新功能发布》- 小艺Claw最新更新了xxx功能...
任务完成：已在拼多多完成今日签到，获得10积分。
无法完成：拼多多签到页面需要滑动验证，当前无法自动完成，请手动操作。