Los agentes de IA ya tocan su teclado. ¿Qué puede salir mal?
Esta semana, Anthropic lanzó «computer use» para Claude, una función que permite a la IA abrir aplicaciones, navegar por la web, rellenar hojas de cálculo y enviar pull requests en su Mac. Usted le escribe a Claude desde su teléfono y el agente realiza el trabajo en su ordenador mientras usted está ausente. La función se lanzó en vista previa de investigación para suscriptores Pro y Max, y se combina con Dispatch, una herramienta móvil que permite asignar tareas de forma remota.
Esto forma parte de una carrera más amplia. OpenClaw, el framework de agentes de código abierto, se volvió viral a principios de este año y atrajo tanta atención que su creador fue contratado por otra empresa. Varios laboratorios compiten ahora por lanzar agentes que vayan más allá del chat y empiecen a actuar. Como dijo un CEO la semana pasada, estos agentes son «el próximo ChatGPT».
Así que aquí está la cuestión: estamos presenciando un cambio de categoría en tiempo real, y la mayoría de los equipos de desarrollo no lo están analizando desde el ángulo correcto.
El verdadero problema no es la IA. Es el acceso.
Cuando realizamos pruebas de penetración para estudios de videojuegos y clientes empresariales, los hallazgos más preocupantes rara vez son exploits exóticos. Son problemas de permisos. Cuentas de servicio con demasiado acceso. Herramientas de administración abiertas de par en par. Credenciales almacenadas donde no deberían estar.
Ahora imagínese darle a un agente de IA la capacidad de hacer clic, escribir y navegar por su escritorio. Anthropic afirma que Claude pedirá permiso antes de acceder a nuevas aplicaciones y que el usuario puede detenerlo en cualquier momento. Es un punto de partida razonable. Pero «punto de partida razonable» y «listo para producción en equipos que manejan datos sensibles» son cosas muy distintas.
El uso del ordenador por parte de Claude funciona actualmente solo en macOS. Se basa en capturas de pantalla, es decir, lee los píxeles de su pantalla para determinar qué hacer a continuación. Si un gestor de contraseñas rellena automáticamente un campo mientras Claude está observando, él lo ve. Si un hilo de Slack con información personal de clientes pasa por la pantalla, también lo ve. El propio Anthropic afirmó que la función «aún es incipiente en comparación con la capacidad de Claude para programar o interactuar con texto» y advirtió que «Claude puede cometer errores».
Esa honestidad es de agradecer. Pero creo que los equipos adoptarán esto más rápido de lo que construirán medidas de protección a su alrededor.
Qué significa esto para los desarrolladores
El lado orientado a los desarrolladores es interesante. Anthropic afirma que Claude puede realizar cambios en un IDE, enviar pull requests y ejecutar pruebas. Si usted es un desarrollador independiente trabajando en un proyecto personal, eso podría ahorrarle tiempo de verdad.
¿Para equipos, en cambio? Nosotros desarrollamos aplicaciones web y APIs para clientes empresariales con requisitos de cumplimiento normativo, a menudo en sectores regulados de toda Europa. La idea de un agente de IA enviando PRs de forma autónoma y ejecutando pruebas plantea preguntas que van más allá de «¿el código es correcto?». ¿Quién lo revisó? ¿A qué datos accedió el agente para escribirlo? ¿Existe un registro de auditoría?
Un estudio reciente con 700 ingenieros reveló que el 69% de los desarrolladores que usan herramientas de programación con IA con mucha frecuencia experimentan problemas de despliegue «siempre, casi siempre o con frecuencia» cuando hay código generado por IA de por medio. El código se escribe más rápido, pero la infraestructura de pruebas, seguridad y despliegue no ha seguido el mismo ritmo. Añadir un agente que también puede pulsar botones en su IDE no cierra esa brecha. La ensancha.
En nuestro trabajo con PHP y Docker en aplicaciones nativas de la nube, hemos aprendido por las malas que la velocidad sin controles simplemente significa que las cosas se rompen antes. Los equipos que entregan resultados de forma fiable no son los que escriben código más rápido. Son los que tienen pipelines de CI/CD, procesos de revisión de código y controles de seguridad lo suficientemente sólidos como para absorber esa velocidad.
Los equipos móviles también deberían prestar atención
Puede parecer una historia de escritorio, pero no lo es. La función Dispatch conecta específicamente el teléfono y el ordenador. Usted lanza una tarea desde su iPhone y Claude la ejecuta en su Mac. Ese patrón de flujo de trabajo entre dispositivos lo veremos mucho más en el futuro.
En nuestros proyectos nativos de iOS y Android, especialmente en sanidad e IoT, llevamos años lidiando con los quebraderos de cabeza de coordinar acciones entre dispositivos. La parte difícil nunca fue la capa de comunicación. Fueron los límites de confianza. ¿Qué dispositivo tiene la autoridad? ¿Qué ocurre cuando la acción remota falla silenciosamente? ¿Cómo se muestran los errores a los usuarios que no están mirando la pantalla donde ocurrió la acción?
Los flujos de trabajo impulsados por agentes entre el teléfono y el escritorio se toparán exactamente con los mismos problemas, salvo que ahora el «usuario» en el proceso es una IA que no puede decirle que está confundida. Simplemente sigue haciendo clic.
Qué hacer ahora mismo
Estas son las cosas que su equipo puede hacer esta semana, antes de que alguien instale un agente de uso del ordenador en una máquina de trabajo:
Audite lo que hay en pantalla. Si sus desarrolladores tienen datos de clientes, credenciales o paneles internos visibles en sus escritorios, un agente que puede tomar capturas de pantalla puede ver todo eso. Esta es la misma superficie de ataque que evaluamos durante las revisiones de seguridad, solo que activada por una herramienta que usted mismo invitó.
Establezca una política antes de que llegue la herramienta. Decida ahora si los agentes que pueden controlar ordenadores están aprobados para su organización, para qué casos de uso y en qué máquinas. Aplicar políticas a posteriori tras la adopción es doloroso.
No omita lo aburrido. Si su pipeline de CI/CD, la cobertura de pruebas y el proceso de revisión de código no son lo suficientemente sólidos para detectar código humano defectuoso, desde luego no detectarán código defectuoso generado por IA enviado por un agente autónomo. Consolide primero su flujo de trabajo de desarrollo.
Preste atención a los permisos, no a las demos. Las demos llamativas muestran a Claude exportando un PDF. El riesgo está en todo lo demás a lo que puede acceder mientras lo hace. Trate el acceso del agente como trataría el primer día de un nuevo contratista: mínimo privilegio, acceso delimitado y supervisado hasta que se gane la confianza.
El panorama general
Sigo volviendo a un patrón que vemos en nuestro trabajo con clientes empresariales: las nuevas capacidades se adoptan más rápido que la madurez en seguridad y procesos necesaria para respaldarlas. Ocurrió con la migración a la nube, ocurrió con la contenedorización y está ocurriendo ahora con los agentes de IA.
La tecnología es genuinamente impresionante. Ver a una IA navegar por su escritorio para completar una tarea es un momento real de «vaya, ya estamos aquí». Pero impresionante y listo para producción no son lo mismo, y prefiero que nuestros clientes vayan seis meses por detrás de la curva de expectativas con sus datos intactos, a que estén en la vanguardia con un informe de incidentes.
Anthropic, en su favor, no está exagerando esto. Lo denominaron vista previa de investigación, señalaron las limitaciones y afirmaron que las amenazas evolucionan constantemente. Esa es la actitud correcta. Solo desearía que todos los equipos que evalúan estas herramientas las abordaran con la misma cautela.
Si determinar dónde encajan (o no encajan) los agentes de IA en su flujo de trabajo de desarrollo le resulta familiar, hablemos.