liuyun847 屏幕截图网格标注技能
功能概述
本技能集成了屏幕截图网格标注工具和鼠标点击工具，专为 VLM（视觉语言模型）设计，帮助 AI 模型通过网格坐标精确定位屏幕上的元素，并执行鼠标点击操作。按照使用流程中的步骤执行以准确操作图形界面.
核心工具
1. 网格标注工具
本技能提供两个独立的网格标注工具，分别用于全屏截图和区域截图：
1.1 完整截图工具 (grid_full.py)
功能：
- 全屏截图并添加网格和坐标标注
- 自适应网格参数计算
- 对比度网格线（自动选择黑/白对比色）
使用场景：
- 需要 VLM 模型识别屏幕元素大致位置时
- 分析整体界面布局时
1.2 区域截图工具 (grid_region.py)
功能：
- 以指定中心点截取屏幕 1/5 大小的区域
- 支持自动放大小区域
- 绝对坐标标注
- 对比度网格线
使用场景：
- 精确定位界面控件坐标时
- 需要放大查看细节时
可用参数：
python grid_region.py cx,cy
| 参数 | 简写 | 说明 | 示例 |
|---|---|---|---|
cx,cy |
- | 中心点坐标（必需） | 100,200 或 (100, 200) |
注意： 中心点坐标格式支持 x,y、x y 或 (x, y)
2. 坐标点击工具 (click_tool.py)
功能：
- 在指定坐标执行鼠标点击
- 支持单击、双击、右键点击
- 鼠标平滑移动到目标位置后点击
- 获取当前鼠标位置
使用场景：
- VLM 模型已识别目标坐标后
- 需要自动化执行界面操作时
- 验证坐标准确性时
可用参数：
python click_tool.py [-h] [-c CLICKS] [-i INTERVAL] [-b {left,right,middle}] [-d DURATION] [-p] [x] [y]
| 参数 | 简写 | 说明 | 默认值 | 示例 |
|---|---|---|---|---|
x |
- | 屏幕 X 坐标 | - | 100 |
y |
- | 屏幕 Y 坐标 | - | 200 |
--clicks |
-c |
点击次数 | 1 |
-c 2 (双击) |
--interval |
-i |
多次点击间隔（秒） | 0.0 |
-i 0.5 |
--button |
-b |
鼠标按钮（left/right/middle） | left |
-b right (右键) |
--duration |
-d |
鼠标移动时间（秒） | 0.5 |
-d 1.0 |
--position |
-p |
获取当前鼠标位置 | - | -p |
--help |
-h |
显示帮助信息 | - | -h |
常用示例：
# 单击坐标 (100, 200)
python click_tool.py 100 200
# 双击
python click_tool.py 500 300 -c 2
# 右键点击
python click_tool.py 800 600 -b right
# 点击 3 次，间隔 0.5 秒
python click_tool.py 100 200 -c 3 -i 0.5
# 移动 1 秒后点击
python click_tool.py 100 200 -d 1.0
# 获取当前鼠标位置
python click_tool.py --position
高风险操作警告
⚠️ 重要警告： 本技能执行的操作具有高风险性，可能导致意外的系统行为或数据丢失。
必须遵循以下规则：
- 任务前风险评估与授权： 在开始任务前，必须评估操作可能带来的风险并获得用户明确授权，包括：
- 意外修改系统设置
- 错误删除文件
- 干扰正在进行的工作
- 触发意外的程序行为
- 坐标验证： 确保 VLM 模型识别的坐标准确无误
- 执行过程： 获得授权后，按既定方案执行，中途无需再次确认
使用流程
标准工作流（四步法）
注意：所有工具文件与 SKILL.md 位于同一目录下。
粗定位：全屏截图，VLM 识别目标大致位置
python grid_full.py精定位：区域截图，VLM 获取精确坐标
python grid_region.py cx,cy参数说明：
cx,cy：中心点坐标，工具会自动截取以该点为中心、屏幕 1/5 大小的矩形区域
执行操作：在精确坐标执行鼠标点击
python click_tool.py x y验证结果：操作后全屏截图，验证操作是否成功
python grid_full.py
配置说明
配置文件 (grid_tool_config.json)
配置文件存储默认输出路径：
{
"default_output_path": "C:\\Users\\MLTZ\\Desktop\\程序\\temp_ai"
}
设置默认输出路径（完整截图工具）：
python grid_full.py --set-default-output "C:\path\to\output\folder"
设置默认输出路径（区域截图工具）：
python grid_region.py 0,0 --set-default-output "C:\path\to\output\folder"
注意事项
- Windows 专用：截图功能使用 Windows API，仅支持 Windows 系统
- 权限要求：可能需要管理员权限才能执行某些操作
- DPI 感知：工具会自动设置 DPI 感知以获取正确的屏幕分辨率
- 字体支持：网格标注会自动尝试系统中文字体
- 输出管理：定期清理生成的截图文件
紧急情况处理
如果执行操作后出现意外情况：
- 立即停止：停止任何正在执行的操作
- 用户通知：立即告知用户发生的情况
- 系统检查：检查系统状态是否正常
- 回滚操作：执行必要的回滚步骤
- 记录问题：记录问题详情，便于后续分析
工具文件列表
grid_common.py- 公共模块（配置、图像处理核心函数）grid_full.py- 完整截图工具grid_region.py- 区域截图工具click_tool.py- 坐标点击工具grid_tool_config.json- 配置文件SKILL.md- 技能说明文档
⚠️ 再次强调： 本技能仅在用户明确要求且取得同意后使用，任务开始前必须评估风险并获得授权，执行过程中无需再次确认。