Clicar na tela (humano)
Quando usar
- Clicar botões/menus do Cursor ou outros apps macOS
- Digitar texto, atalhos, scroll
- Screencast automático enquanto o agente opera a UI
- Não use para sites no Chrome → prefira
browser-harness
Pré-requisitos
- MCP
touchpointativo (veja/mcpou Settings → MCP) - Acessibilidade liberada para o Cursor (obrigatório)
Ajustes → Privacidade e Segurança → Acessibilidade → marcar Cursor - Opcional: marcar também Terminal se for rodar
cliclick/ scripts no shell - Teste:
./scripts/test_touchpoint_cursor.sh
Ferramentas (MCP user-touchpoint)
Ordem típica:
diagnostics— confere AX / input (dependencies.application_services,input_provider)windowsouapps— achar o Cursoractivate_window— trazer à frentesnapshotouscreenshot+find— localizar o controleclick(porelement_idoux,y)type_text/press_key/scrollconforme a tarefa
Clique confiável
- Preferir
clickcomelement_id(ação nativa de acessibilidade) - Se falhar:
mouse_move+clickcom coordenadas - Fallback shell (precisa Acessibilidade no app do terminal):
cliclick c:500,400 # click
cliclick m:500,400 # move
cliclick kd:cmd t:v ku:cmd # exemplo de atalho
Fluxo screencast + clique
# Terminal A — grava tela
AUTO=0 MIX_VO=1 ./scripts/gravar_screencast_cursor.sh
# No chat — use esta skill / Touchpoint para clicar e digitar durante a gravação
Stack instalada
| Peça | Onde |
|---|---|
touchpoint-py 0.3.0 |
/Users/naubergois/qclawmonitor/.venv |
| MCP bin | .../.venv/bin/touchpoint-mcp |
| MCP config | ~/.cursor/mcp.json + .cursor/mcp.json |
cliclick |
/opt/homebrew/bin/cliclick |
| Teste | scripts/test_touchpoint_cursor.sh |
| Skill pessoal | ~/.cursor/skills/clicar-tela/ |
Anti-padrões
- Não invente coordenadas sem
snapshot/screenshot/find - Não use Touchpoint para páginas web se o Chrome estiver acessível via harness
- Não grave
.env, tokens ou chats pessoais no screencast