Desktop — Mouse e Teclado

Controle de mouse e teclado por coordenadas (PyAutoGUI)

Clicar na Posição

autogui.click_position

Clica nas coordenadas X, Y

Como usar

Clica nas coordenadas X, Y da tela (em pixels, a partir do canto superior esquerdo), com o botão e a quantidade de cliques escolhidos. Use quando não há controle acessível; prefira os comandos Desktop, Java ou Clicar na Imagem, que não dependem da resolução.

Exemplo: Clique em X 1200, Y 640 para fechar o aviso do sistema remoto.

Campos

Campo	Tipo	Padrão	Detalhes
X *	Número
Y *	Número
Botão do mouse	Opção	`Esquerdo`	Opções: Esquerdo, Direito, Do meio
Cliques	Número	`1`

+ Avançado (1)

Campo	Tipo	Padrão	Detalhes
Tempo do movimento do mouse	Número	`0 s`

Duplo Clique

autogui.double_click

Duplo clique nas coordenadas

Como usar

Dá um duplo clique nas coordenadas, por exemplo para abrir um item numa lista desenhada pelo programa.

Exemplo: Dê duplo clique em X 300, Y 410 para abrir o primeiro registro.

Campos

Campo	Tipo	Padrão	Detalhes
X *	Número
Y *	Número

Clicar com Direito

autogui.right_click

Clique direito nas coordenadas

Como usar

Clica com o botão direito nas coordenadas para abrir um menu de contexto.

Exemplo: Clique com o direito em X 500, Y 300 e depois em "Copiar".

Campos

Campo	Tipo	Padrão	Detalhes
X *	Número
Y *	Número

Mover Mouse

autogui.move_mouse

Move o cursor para posição

Como usar

Move o cursor até a posição, no tempo informado. Útil para exibir dicas ou menus que abrem quando o mouse passa por cima.

Exemplo: Mova o mouse para X 50, Y 900 para abrir a barra lateral oculta.

Campos

Campo	Tipo	Padrão	Detalhes
X *	Número
Y *	Número

+ Avançado (1)

Campo	Tipo	Padrão	Detalhes
Tempo do movimento	Número	`0.2 s`

Arrastar Mouse

autogui.drag_mouse

Arrasta de posição A para posição B

Como usar

Pressiona o botão num ponto, arrasta até outro e solta. Serve para mover itens, ajustar controles deslizantes ou selecionar áreas.

Exemplo: Arraste de X 200, Y 300 até X 800, Y 300 para mover o arquivo para a outra pasta.

Campos

Campo	Tipo	Padrão	Detalhes
X (início) *	Número
Y (início) *	Número
X (fim) *	Número
Y (fim) *	Número

+ Avançado (2)

Campo	Tipo	Padrão	Detalhes
Tempo do arraste	Número	`0.5 s`
Botão do mouse	Opção	`Esquerdo`	Opções: Esquerdo, Direito, Do meio

Digitar Texto

autogui.type_text

Digita texto via teclado

Como usar

Digita o texto pelo teclado na janela que estiver em foco, tecla por tecla (acentos funcionam), podendo pressionar Enter no fim. O Caps Lock é desligado durante a digitação. Garanta o foco antes, com Definir Foco ou um clique.

Exemplo: Digite {usuario} e pressione Enter na tela de login do sistema via acesso remoto.

Campos

Campo	Tipo	Padrão	Detalhes
Texto *	Texto		Digitado na janela em foco; texto com acentos é colado
Pressionar Enter no fim	Sim/Não	`Não`

+ Avançado (1)

Campo	Tipo	Padrão	Detalhes
Intervalo entre teclas	Número	`0.02 s`

Pressionar Tecla

autogui.press_key

Pressiona tecla especial (Enter, Tab, Esc, etc.)

Como usar

Pressiona uma tecla especial (Enter, Tab, Esc, setas, F1...) uma ou mais vezes na janela em foco.

Exemplo: Pressione Tab 3 vezes para chegar ao campo "Valor".

Campos

Campo	Tipo	Padrão	Detalhes
Tecla *	Texto		Enter, Tab, Esc, F5, Cima, Baixo, Delete...Ex.: `Enter`
Vezes	Número	`1`

Atalho de Teclado

autogui.hotkey

Combinação de teclas (ex: Ctrl+C, Alt+F4)

Como usar

Envia um atalho de teclado, como Ctrl+C, Ctrl+Shift+S ou Alt+F4, para a janela em foco.

Exemplo: Envie Ctrl+A e depois Ctrl+C para copiar todo o texto do relatório.

Campos

Campo	Tipo	Padrão	Detalhes
Atalho *	Texto		Separe as teclas com +: Ctrl+Shift+S, Alt+F4, Win+REx.: `Ctrl+C`

Capturar Tela

autogui.screenshot

Captura screenshot da tela inteira ou região

Como usar

Captura a tela inteira ou uma região e salva em arquivo (PNG) e/ou numa variável, para usar nos comandos de imagem e OCR.

Exemplo: Capture a região 0, 0, 800 × 200 em {topo_tela} e leia o texto com OCR.

Campos

Campo	Tipo	Padrão	Detalhes
Salvar no arquivo (vazio = só na variável)	Arquivo
Salvar resultado na variável *	Variável de saída	`screenshot`	O caminho do arquivo salvo, ou a imagem

+ Avançado (4)

Campo	Tipo	Detalhes
Região: esquerda	Número	Vazio = a tela inteira
Região: topo	Número	Vazio = a tela inteira
Região: largura	Número	Vazio = a tela inteira
Região: altura	Número	Vazio = a tela inteira

Resultado: guardado na variável screenshot (Qualquer).

Localizar na Tela

autogui.locate_on_screen

Busca uma imagem na tela (template matching)

Como usar

Procura na tela uma imagem de referência (um recorte do botão ou ícone) e guarda a posição encontrada, com centro em x e y. Ajuste a semelhança mínima se a tela variar um pouco.

Exemplo: Localize o ícone salvar.png na tela e clique no centro com Clicar na Posição {position.x}, {position.y}.

Campos

Campo	Tipo	Padrão	Detalhes
Imagem *	Arquivo
Semelhança mínima	Número	`80 %`
Salvar resultado na variável *	Variável de saída	`position`	{x, y, width, height, center_x, center_y, confidence} ou vazio (None) se não achar

+ Avançado (4)

Campo	Tipo	Detalhes
Região: esquerda	Número	Vazio = a tela inteira
Região: topo	Número	Vazio = a tela inteira
Região: largura	Número	Vazio = a tela inteira
Região: altura	Número	Vazio = a tela inteira

Resultado: guardado na variável position (Dicionário).

Aguardar Imagem

autogui.wait_image

Espera até que uma imagem apareça na tela

Como usar

Espera uma imagem de referência aparecer na tela, como um ícone que indica fim de carregamento, e guarda a posição.

Exemplo: Aguarde até 120 s a imagem concluido.png aparecer antes de seguir.

Campos

Campo	Tipo	Padrão	Detalhes
Imagem *	Arquivo
Tempo limite (0 = sem limite)	Número	`30 s`
Semelhança mínima	Número	`80 %`
Salvar resultado na variável *	Variável de saída	`position`	{x, y, width, height, center_x, center_y, confidence} ou vazio (None) se não achar

+ Avançado (1)

Campo	Tipo	Padrão	Detalhes
Falhar o robô se o tempo esgotar	Sim/Não	`Sim`

Resultado: guardado na variável position (Dicionário).

Obter Posição do Mouse

autogui.get_mouse_position

Retorna coordenadas atuais do cursor

Como usar

Guarda as coordenadas atuais do cursor. Útil durante o desenvolvimento para descobrir as posições a usar nos cliques.

Exemplo: Teste o nó com o mouse sobre o botão desejado e veja {mouse_position} no painel de variáveis.

Campos

Campo	Tipo	Padrão	Detalhes
Salvar resultado na variável *	Variável de saída	`mouse_position`	{x, y}

Resultado: guardado na variável mouse_position (Dicionário).

Obter Janela Ativa

autogui.get_active_window

Retorna informações da janela em foco

Como usar

Guarda informações da janela em foco (título, processo, posição), para conferir se o robô está na tela certa antes de digitar.

Exemplo: Se {active_window.title} não contém "ERP", traga o ERP para frente antes de continuar.

Campos

Campo	Tipo	Padrão	Detalhes
Salvar resultado na variável *	Variável de saída	`active_window`	{title, x, y, width, height, process, pid}

Resultado: guardado na variável active_window (Dicionário).