Herramientas de navegador

Los participantes pueden mirar una página web y operarla, en un navegador que AutoDev mantiene para la ejecución. Están desactivadas hasta que las actives, usan un perfil propio, y algunas acciones siempre piden un gate.

Qué son #

Las herramientas de navegador dejan que un participante vea y opere una página web que no tiene API, CLI ni servidor MCP que usar en su lugar. Son cinco, y el participante llega a ellas por las herramientas que AutoDev le sirve:

• browser_screen abre una dirección, o muestra la página en la que quedó la última llamada, como una captura de pantalla.
• browser_click hace clic, o doble clic, en un punto de la última captura.
• browser_type escribe texto, en el campo de un punto o donde está el foco.
• browser_key pulsa una tecla: Enter, Tab, Escape, Backspace, Space, una flecha, PageUp o PageDown.
• browser_scroll desplaza la página un número de píxeles.

Toda llamada responde con la página como quedó después: una captura de 1280 por 800, el título y la dirección. El participante actúa por píxel en esa imagen. Solo se abren direcciones http y https.

El participante mira y decide con su propio modelo, en su propia suscripción. Las capturas se envían a ese modelo, como el código que lee.

Un navegador dura toda la ejecución y se cierra cuando esta termina, así que un inicio de sesión, una pestaña abierta y una posición de desplazamiento pasan de una llamada a la siguiente.

Actívalas #

Están desactivadas hasta que las actives, porque una capacidad que opera interfaces no es un valor por defecto. Abre el destino Config y, en la sección Computer use, define capability.computerUse.enabled, o ejecuta esto en el proyecto:

autodev config set capability.computerUse.enabled true

Mientras están desactivadas, un participante que llama a una herramienta de navegador recibe el aviso de que el uso del ordenador está desactivado para el proyecto, y de que debe pedirte ese paso. Todas las claves de configuración lista las claves.

Las herramientas necesitan Chrome o Edge en la máquina. Cuando no se encuentra ninguno, define AUTODEV_BROWSER con la ruta de uno.

Un perfil propio #

El navegador se ejecuta en un perfil del propio AutoDev, guardado en la máquina, en la carpeta browser-profile/ del estado del proyecto que vive en la máquina. No es tu navegador de todos los días: nada en él lee tus cookies, tu historial ni tus contraseñas guardadas, y tu navegador no se abre ni se controla. Dónde vive el estado dice dónde está esa carpeta. autodev new-run la deja donde está, así que los inicios de sesión sobreviven a una ejecución.

El archivo de configuración puede nombrar una carpeta tuya en capability.computerUse.browserProfile. autodev config set rechaza esa clave, porque una ruta allí es tu propio perfil de navegador, y lleva todas tus cookies a una sesión automatizada.

Inicia sesión en un sitio #

El inicio de sesión es tuyo, una vez por sitio, y queda en el perfil para toda ejecución posterior. Un participante nunca escribe una contraseña: rechaza un campo de contraseña, y un campo rotulado como código o clave.

En el panel, abre el destino Config y pulsa Log in to a site… en la sección Computer use. El panel pide la dirección. Desde una terminal:

autodev browser login <url>

La dirección debe ser una URL completa http:// o https://, y se abre en el navegador del propio AutoDev, visible, en esa página. Inicia sesión allí y luego cierra la ventana. Una ejecución iniciada mientras está abierta la usa y la cierra cuando termina.

Si una ejecución ya tiene ese navegador abierto y visible, la página se abre en una pestaña nueva de él, y cierras esa pestaña tras el inicio de sesión, porque la siguiente llamada de la ejecución continúa en la pestaña más nueva. Si la ejecución lo tiene oculto, no hay ventana en la que iniciar sesión: inicia sesión cuando la ejecución termine, o define capability.computerUse.headless como false. autodev browser login tiene los detalles.

Oculto por defecto #

El navegador se ejecuta sin ventana. capability.computerUse.headless como false muestra la ventana mientras el participante trabaja, en la sección Computer use o con autodev config set. Cambiarlo durante una ejecución cambia el navegador en la llamada siguiente. Deja la ventana en paz mientras una llamada se ejecuta.

Qué puede y qué no puede hacer un participante #

Un participante puede mirar una página, hacer clic, escribir, pulsar las teclas de arriba y desplazarse. Trabaja solo en este navegador: nada más del escritorio está a su alcance.

Lo que no hace por su cuenta se decide a partir de la página, no de lo que el participante dice estar haciendo. AutoDev lee el rol y la etiqueta del elemento bajo el puntero, o del campo que tiene el foco, y clasifica la acción. Los pagos, los cambios de cuenta, las acciones destructivas, la publicación, el envío de un mensaje y las acciones de administrador son las clases bloqueadas. Basta una etiqueta que se parezca a una de ellas: los patrones son amplios a propósito, porque un clic bloqueado cuesta un gate, y uno equivocado cuesta algo que nadie aprobó. Desplazarse nunca se bloquea.

Una acción bloqueada vuelve al participante como un bloqueo que nombra el control. El camino es un gate que lo nombra, y, con el gate aprobado, el participante llama de nuevo con su id. Una aprobación se usa una vez, y libera solo el control que nombra. Un gate sigue tus ajustes de gate como cualquier otro, y por defecto AutoDev aprueba los gates que se le muestran, así que define gateMode como gated cuando quieras que cada uno de estos te espere. Tu primer objetivo trata de los gates.

En un campo secreto nunca se escribe, sea lo que sea que se apruebe: un campo de contraseña, o uno rotulado como contraseña, código, clave o token. El participante te pide que lo escribas, o inicias sesión antes, como arriba.

Cada acción de un participante, y cada acción rechazada, se escribe en el registro de eventos. Un aviso que un participante deja también puede retener las herramientas de navegador hasta que lo respondas, y El hilo compartido dice cómo se libera una retención.