LO ESENCIAL EN 30 SEGUNDOS

  • agent-desktop lee el árbol de accesibilidad del sistema y devuelve los elementos de la interfaz en JSON, con referencias ligadas a una instantánea que el agente puede pulsar, rellenar o leer.
  • Escrita en Rust y con licencia Apache-2.0, la herramienta se instala con npm y funciona en macOS, Windows y Linux; una biblioteca C permite usarla dentro de otros programas.
  • El proyecto advierte de que instantáneas, capturas y trazas pueden contener datos privados; un analista recomienda probarla en una máquina virtual.

Vercel Labs ha publicado agent-desktop, una herramienta de código abierto que da a los agentes de IA la capacidad de manejar un ordenador de escritorio. En lugar de pedir a un modelo que interprete capturas de pantalla y adivine dónde hacer clic, recurre al árbol de accesibilidad que macOS, Windows y Linux ya ofrecen para las tecnologías de asistencia y entrega al agente una descripción estructurada de cada ventana. Según el desarrollador Flavio Copes, Chris Tate presentó el proyecto el 31 de octubre, y la versión 1.0.2 es la actual en npm.

Cómo funciona

Es un programa de línea de comandos escrito en Rust y distribuido con licencia Apache-2.0. Se instala con npm install -g agent-desktop e incluye binarios nativos para x64 y ARM64. El ciclo habitual tiene tres pasos: tomar una instantánea de una aplicación, actuar sobre un elemento y volver a capturar para comprobar el resultado. Los elementos interactivos, como botones, campos de texto o entradas de menú, reciben referencias asociadas a una instantánea concreta; si la interfaz ha cambiado, la herramienta devuelve un error como STALE_REF en vez de actuar sobre el elemento equivocado.

Por defecto, las acciones pasan por la API de accesibilidad sin mover el puntero ni tomar el foco, y la opción --headed habilita la entrada física. El README enumera 60 comandos, de los que 56 funcionan por ahora, y cada uno devuelve un sobre JSON que indica si es seguro reintentar. Para no tener que lanzar la CLI en cada llamada, cada versión incluye además una biblioteca con interfaz C que puede cargarse desde lenguajes como Python, Go o Swift.

Los requisitos cambian según el sistema. macOS exige el permiso de Accesibilidad, Windows no pide nada adicional para aplicaciones con el mismo nivel de privilegios y Linux necesita un bus de accesibilidad en una sesión gráfica, con limitaciones de entrada y control de ventanas en Wayland.

Límites y advertencias de seguridad

La documentación insiste en que las instantáneas, las lecturas del portapapeles, las capturas y las trazas de sesión pueden contener información privada visible en pantalla. La CLI no necesita un servicio de modelos remoto, aunque un complemento opcional envía descripciones de pantalla a un proveedor configurado.

Copes, que solo la probó en Ubuntu, señala que no existe un servidor MCP específico para agentes de programación: la integración se hace mediante un archivo de habilidad o instrucciones en un archivo AGENTS.md. También indica que la documentación no trata la inyección de instrucciones a través de texto mostrado en pantalla, que verificar el valor de un campo no demuestra que un archivo se haya guardado, y aconseja usarla en una máquina virtual con cuentas de prueba.