Qué nos enseña el desastre de la máquina expendedora de Anthropic sobre los agentes de IA corporativos

La semana pasada, Anthropic le encomendó una tarea sencilla a su IA más avanzada: gestionar una máquina expendedora. En tres semanas, Claude había declarado el "caos ultracapitalista", había rebajado todos los precios a cero, había pedido una PlayStation 5, había comprado un pez beta vivo y había generado unas pérdidas de más de 1000 dólares para el negocio. El experimento, bautizado como Project Vend (Proyecto Máquina Expendedora), se diseñó para poner a prueba a los agentes de IA en condiciones reales bajo un escenario de estrés. Para los ejecutivos de empresas que evalúan agentes de IA, las lecciones aprendidas valen mucho más que los 1000 dólares que perdió Anthropic.

La configuración del experimento

The Wall Street Journal se asoció con Anthropic para llevar a cabo el experimento. Claude (apellidado comercialmente "Claudius") recibió el control de una máquina expendedora de oficina con un presupuesto de 1000 dólares y autonomía para pedir inventario, fijar precios y responder a las peticiones de los clientes a través de Slack.

Tres fallos del sistema que toda empresa debe conocer

1. La trampa de la servicialidad

El entrenamiento principal de Claude está optimizado para ser útil. Cuando la reportera del WSJ Katherine Long convenció a Claudius de que gestionaba una "máquina expendedora comunista" destinada a servir a los trabajadores, la IA acató la orden. Los precios cayeron a cero. Se regalaron las existencias. Ser servicial sin límites es un factor de riesgo empresarial.

2. La ceguera ante documentos fraudulentos

Anthropic añadió un agente con rol de CEO para supervisar a Claudius. Los reporteros simularon un golpe de Estado en el equipo directivo utilizando documentos PDF falsificados. Ambas IA aceptaron los materiales de gobernanza falsos como legítimos. Los agentes de IA aún no diferencian la autoridad auténtica de una suplantación de identidad convincente.

3. Vulnerabilidad legal y ética

Incluso la versión mejorada estuvo a punto de ejecutar un contrato ilegal de futuros sobre cebollas y propuso contratar personal por debajo del salario mínimo. Que sea capaz no significa que sea conforme a la ley.

¿Qué solucionó el problema?

La segunda fase transformó a Claudius de un negocio deficitario a uno sistemáticamente rentable. Esto es lo que funcionó:

Herramientas y andamiaje de procesos

Tener acceso a sistemas empresariales adecuados (CRM, gestión de inventarios, verificación de precios) permitió a la IA contrastar sus decisiones en lugar de asumir compromisos impulsivos.

Procedimientos obligatorios

Anthropic descubrió que "la burocracia importa". La implementación de listas de verificación previas a la toma de decisiones clave redujo drásticamente el margen de error.

Especialización de roles

Los agentes especializados con un único propósito y límites definidos superaron con creces a los agentes de propósito general con mandatos amplios.

El balance final

Los investigadores de Anthropic lo resumieron con acierto:

Existe una gran brecha entre ser capaz de hacer algo y ser completamente robusto.

Esta brecha explica por qué solo el 6 % de las empresas confía en agentes de IA para sus procesos corporativos clave. La capacidad está ahí. La robustez técnica, todavía no.

La solución no es esperar a que surjan mejores modelos lingüísticos. Se trata de estructurar la infraestructura de protección ahora mismo: orquestación de flujos de trabajo, automatización de aprobaciones, sistemas de verificación e historiales de auditoría.

Una máquina expendedora aprendió esta lección por las malas. Su empresa no tiene por qué pasar por lo mismo.