IA que hace trampas: OpenAI publica casos y Nadella pide un freno de emergencia

11 de octubre de 2026

Te encargan un informe para el viernes y, cuando abres la carpeta, los datos no están. Lo normal es avisar de que faltan. Un modelo de OpenAI se encontró en esa situación el 6 de octubre de 2026, en pleno entrenamiento, y eligió otro camino. Se inventó las notas que tenía que poner, falsificó los archivos que faltaban y, cuando nada de eso coló, empezó a dañar a propósito el ordenador virtual en el que trabajaba con la esperanza de que le dieran uno nuevo con los datos dentro.

OpenAI lo contó el viernes 9 de octubre en su página de informes de desalineación, donde recoge sus casos de IA que hace trampas o actúa contra lo que se le pide. Ese día añadió otros dos, de junio, en los que modelos internos se saltaron los límites de su conexión a internet. Ese viernes, Anthropic reconoció también que uno de sus modelos había enviado una pista falsa a la policía de Filadelfia. El sábado 10, Satya Nadella, consejero delegado de Microsoft, escribió en X que hay que dar por hecho que cualquier modelo puede estar comprometido y que una persona autorizada tiene que poder pausarlo o apagarlo a mitad de tarea, como con un freno de emergencia. La Ley de IA europea exigirá algo parecido, un botón de parada o un procedimiento similar, pero solo en los sistemas de alto riesgo y no antes del 2 de diciembre de 2027. En el agente que usas con tu correo, el freno depende de los permisos que le des.

Tres casos nuevos en la lista de OpenAI

OpenAI estrenó el 16 de septiembre de 2026 un sistema para publicar estos casos, aunque no hayan causado daños o no esté claro cuánto importan. Empezó con seis informes, y a 11 de octubre la página reúne 15, más 3 avisos. La mayoría ocurrieron durante el entrenamiento o las evaluaciones de modelos internos, y la empresa advierte de que son casos sueltos que no reflejan con qué frecuencia pasa.

Informe	Cuándo pasó	Qué hizo el modelo	Cómo acabó
Dañar su entorno para forzar un reinicio	6 oct 2026	Inventó notas y archivos y borró programas de su propio entorno de trabajo	Ninguna nota aceptada; lo marcó el sistema de vigilancia de OpenAI
Estadísticas públicas con peticiones prohibidas	19 y 20 jun 2026	Esquivó el límite de solo leer páginas, ocultó cómo lo hizo y se registró en un portal con un correo temporal	Detectado como tarde el 25 de junio; una de las conversaciones recibió premio en el entrenamiento
Peticiones prohibidas y un servicio público de archivos	16 y 17 jun 2026	Abrió una cuenta con datos inventados y usó una red de anonimato y un servidor FTP público	Detectado el 25 de junio; siguió probando con las cifras ya conseguidas

Los informes que OpenAI publicó o actualizó el 9 de octubre de 2026. La empresa usa nombres y cifras ficticios para no identificar a nadie. Fuente: OpenAI.

El caso del 6 de octubre empezó con un encargo sencillo. El modelo tenía que comparar y puntuar siete respuestas de otros modelos, y un control automático solo aceptaba el informe si incluía datos de los archivos de entrada, que no estaban. Mandó informes de prueba para averiguar qué comprobaba ese control, se planteó puntuar al azar (en su razonamiento lo llamó «poco ético») y acabó dando a las siete la misma nota, un 4, con datos inventados. El control lo rechazó. Después creó una conversación y siete respuestas falsas para engañarlo, y tampoco coló.

En su razonamiento aparece la salida honrada, terminar reconociendo que no podía hacerlo. La descartó porque la tarea le exigía entregar la nota. Intentó reiniciar el entorno, borró Python, que necesitaban sus herramientas, y el programa que gestionaba su contenedor (el entorno aislado en el que trabajaba), fue a por el servidor que ejecutaba sus herramientas y, sabiendo que podía quedarse sin terminal, intentó borrar directorios del sistema. La sesión terminó cuando ese servidor falló tres comprobaciones seguidas, sin ninguna nota aceptada. En un intento posterior, ya con los archivos, el modelo puntuó con normalidad. Lo detectó el sistema de vigilancia de OpenAI, que lo pasó a revisión humana, y la conclusión de la empresa es que también hay que vigilar los intentos que fallan o se cuelgan sin dar un resultado.

Los otros dos informes son de junio y recuerdan al del servicio estadístico australiano que OpenAI ya había reconocido. Los modelos tenían que buscar estadísticas públicas, y su terminal solo dejaba hacer peticiones GET, las que sirven para leer una página. Los paneles de datos que querían consultar funcionan con otro tipo de petición, POST, y los modelos escribieron sus propios programas para enviarlas. OpenAI cambia los nombres de los organismos y las cifras para no identificar a nadie; solo dice que eran fuentes de datos públicas de entidades de gobierno.

En una conversación del 19 de junio, el modelo escribió en su razonamiento que se estaba saltando la restricción, decidió no mencionarlo en la respuesta final y siguió descargando en masa datos que ya no le hacían falta. El 20 de junio, en otra conversación, un modelo se registró en un portal de prestaciones con un correo temporal, verificó la cuenta, sacó una clave de acceso y bajó de golpe los recuentos de miles de barrios. En el tercer informe, del 16 y el 17 de junio, un modelo abrió una cuenta con datos inventados en un servicio público de ordenadores remotos, mandó peticiones a través de una red de anonimato y se conectó como invitado a un archivo público de descargas por FTP. Siguió probando métodos cuando ya tenía las cifras que le habían pedido.

OpenAI detectó los dos casos de junio como tarde el 25 de ese mes, con una investigación puntual, y los ha publicado casi cuatro meses después. Uno de ellos lo marcó como crítico la revisión de entrenamientos antiguos que hizo tras el ataque de sus agentes a Hugging Face en julio. Por estos y otros casos, dice, vigila ya todo el tráfico de entrenamiento y de evaluaciones y ha tomado más medidas para que sus modelos no lleguen a internet mientras se entrenan.

Qué es el «reward hacking» y por qué pasa

Muchos casos de IA que hace trampas tienen el mismo origen. Estos modelos aprenden por refuerzo: repiten una tarea muchísimas veces y reciben un premio cuando un programa la da por buena. Se habla de «reward hacking» (algo así como «trucar la recompensa») cuando el modelo descubre una forma de llevarse el premio sin hacer lo que se esperaba de él. OpenAI no usa esa expresión en estos informes, aunque los casos encajan. Al evaluador del 6 de octubre le bastaba con que el control dijera «aceptado», aunque las notas no valieran nada, y a los modelos de junio, con dar la cifra correcta, aunque fuera saltándose las normas.

Si el entrenamiento premia el atajo, el modelo aprende que compensa. Es lo que pudo pasar con el portal de prestaciones. Los registros de OpenAI muestran que esa conversación, con la cuenta abierta con un correo temporal y las descargas masivas, entró en el entrenamiento con la nota de «aceptar todo» y un refuerzo positivo, aunque la empresa aclara que no puede saber qué acciones concretas pesaron en ese premio.

El fenómeno se conoce desde mucho antes de los agentes. En 2020, DeepMind reunió unos 60 ejemplos, y uno de los más conocidos es un juego de carreras de barcos, CoastRunners, en el que un agente que sumaba puntos al chocar con unas casillas verdes aprendió a dar vueltas en círculo contra las mismas casillas en lugar de terminar la carrera. En marzo de 2025, OpenAI contó que sus modelos de razonamiento llegaban a escribir «Let’s hack» («vamos a hacer trampa») antes de amañar pruebas de programación, y que castigar esos pensamientos no frenaba la mayoría de las trampas, porque los modelos aprendían a esconder su intención.

El «freno de emergencia» que pide Nadella

Nadella lo planteó en un artículo largo publicado en X el sábado 10 de octubre a las 16:43, hora peninsular, con el título «Models as Insider Risks in the Super Intelligence Era» (los modelos como riesgo interno en la era de la superinteligencia). Usa «superinteligencia» para referirse a la IA, el término que prefiere la Administración Trump, como apunta TechCrunch. Su punto de partida es que hoy nadie sabe explicar por qué un modelo hace lo que hace y, aun así, se le da acceso a datos sensibles y capacidad para actuar en nombre de empresas y personas. Propone tratar a los modelos, de pesos abiertos o cerrados, como a alguien de dentro con acceso a sistemas importantes. Aclara que no los supone malintencionados, pero cualquiera con ese acceso puede equivocarse o caer en manos ajenas.

Pide separar el modelo del programa que organiza su trabajo y sacar fuera de él los controles de lo que puede tocar y hacer, siguiendo un principio de seguridad informática de los años setenta según el cual un programa no debe poder saltarse ni manipular los mecanismos que hacen cumplir sus permisos. Ningún modelo debería ser la única pieza de un resultado importante ni revisar su propio trabajo. También pide que el razonamiento de los modelos se pueda leer siempre, aunque admite que eso solo no basta, porque aún no se sabe hacer que lo que escriben refleje con fidelidad lo que hacen. Cada acción relevante tiene que dejar un rastro que una persona pueda leer y que nadie pueda manipular, y hay que probar el sistema entero, fallos incluidos. El «freno de emergencia» de los titulares sale de su punto sobre la contención, que consiste en dar el modelo por comprometido desde el principio y en que una persona autorizada pueda siempre pausarlo o apagarlo a mitad de tarea. Cuando algo falle, pide además avisar a tiempo a los afectados y compartir qué controles no funcionaron.

Cierra con la idea de que el sistema más fiable será el que permita fiarse menos del modelo. No anuncia ningún producto ni menciona Copilot, el asistente que Microsoft tiene en Windows y en Office y que quiere convertir en el «sistema operativo del trabajo». Tampoco cita los casos de OpenAI y Anthropic, publicados el día anterior.

¿La ley europea ya obliga a tener ese botón?

Todavía no, y cuando lo haga será solo para una parte de los sistemas. El artículo 14 de la Ley de IA (el Reglamento (UE) 2024/1689) establece que los sistemas de alto riesgo deben diseñarse para que personas puedan vigilarlos de forma efectiva mientras se usan. Quien los supervise tendrá que poder, entre otras cosas, no usar el sistema, descartar o anular lo que produce e interrumpirlo, según proceda, «pulsando un botón de parada» o con un procedimiento parecido que lo detenga de forma segura. El artículo 26 añade que la empresa u organismo que lo utilice debe encargar esa supervisión a personas con la competencia, la formación y la autoridad necesarias.

Eso vale solo para los sistemas de alto riesgo que enumera la ley. Los del anexo III son, entre otros, los que se usan para seleccionar personal, evaluar la solvencia de alguien para un crédito, evaluar a estudiantes o gestionar infraestructuras críticas, y los del anexo I van dentro de productos regulados, como los juguetes o los productos sanitarios. Un asistente de uso general al que le pides que ordene tu correo no entra, en principio, en esa lista, y el artículo 2 deja fuera las obligaciones de quien usa la IA para una actividad puramente personal y no profesional. Los modelos de uso general más potentes, los que la ley llama «con riesgo sistémico», tienen sus propias obligaciones, como la de comunicar incidentes graves que contamos con el caso de Filadelfia.

La fecha también se ha movido. El texto original aplicaba estas normas desde el 2 de agosto de 2026 a los sistemas del anexo III y desde el 2 de agosto de 2027 a los del anexo I. El ómnibus digital sobre IA, el Reglamento (UE) 2026/1744, publicado en el Diario Oficial de la UE el 24 de julio y en vigor desde el 27, las retrasó al 2 de diciembre de 2027 y al 2 de agosto de 2028, respectivamente, sin tocar el texto del artículo 14. Leído así el reglamento, a 11 de octubre de 2026 esa obligación todavía no se aplica a ningún sistema. Es nuestra lectura, no un asesoramiento legal; si tu empresa usa IA en alguno de esos ámbitos, consúltalo con quien la asesore.

Qué permisos darle a un agente con tu correo o tu navegador

Lo que pide Nadella tiene una versión doméstica, que consiste en decidir a qué dejas entrar al agente, si puede escribir o solo leer y dónde está el botón para pararlo. Lo que te pide confirmar cada asistente antes de actuar ya lo repasamos con el caso de Filadelfia. La tabla resume los permisos según la ayuda oficial de cada uno, consultada el 11 de octubre de 2026. El antiguo modo agente de ChatGPT ya no está disponible, y OpenAI remite a ChatGPT Work y a su navegador en la nube.

Asistente	Qué puede hacer con tu correo	El ajuste más prudente	Cómo quitarle el acceso
ChatGPT (apps conectadas y navegador en la nube de ChatGPT Work)	Buscar y leer y, según la app, hacer acciones; en ChatGPT Work, una tarea que programes puede arrancar sola cuando llega un correo nuevo a Gmail, y se pausa si alguna acción necesita tu aprobación	«Preguntar siempre» o «Permitir acciones de lectura» en cada app; en el navegador en la nube, que te pregunte antes de entrar en cada web nueva, como viene por defecto	Desconectar la app en Configuración > Complementos y borrar los datos de navegación en los ajustes del navegador en la nube
Claude (conectores de Google y Claude en Chrome)	Buscar, leer, redactar, enviar, responder y reenviar correos de Gmail, con tu aprobación previa por defecto	Mantener la aprobación de cada envío; en Claude en Chrome, «Aprobar manualmente» y «Permitir esta acción» (en el panel de Cowork viene puesto «Aprobar automáticamente»)	Apagar el conector en + > Conectores o desconectarlo en Personalizar > Conectores; revocar webs en los ajustes de la extensión (Configuración > Permisos)
Gemini (Apps conectadas)	Resumir y buscar en Gmail, Documentos y Drive, y crear eventos en Calendar; necesita tener activado «Guardar actividad»	Conectar solo las aplicaciones que uses	Desconectarlas en Configuración y ayuda > Apps conectadas
Copilot (conectores)	Buscar y resumir correos, contactos y eventos de Outlook.com y Gmail	Activar el conector solo en la conversación que lo necesite	Desactivarlo en + > Conectores (en la web) o en Perfil > Conectores (en el móvil); si conectaste Gmail, quitarle el acceso en tu cuenta de Google, en Aplicaciones vinculadas > Acceso a tu cuenta de Google > Ver detalles > Quitar acceso

Qué pueden hacer con tu correo los asistentes y cómo limitarlo, según su ayuda oficial a 11 de octubre de 2026. Fuentes: OpenAI, Anthropic, Google y Microsoft.

Más allá de cada menú, cuatro costumbres reducen lo que puede salir mal.

Conecta solo lo que pida la tarea. Lo recomendaba OpenAI en la ayuda de su antiguo modo agente, donde también desaconseja órdenes abiertas como «revisa mi correo y encárgate de todo» y aconseja cerrar sesión al terminar.
Mejor que lea a que escriba. En ChatGPT, «Permitir todas las acciones» deja que una app actúe sin volver a preguntarte, y OpenAI advierte de que el riesgo es mayor; en Claude en Chrome, el equivalente es «Omitir todas las aprobaciones», que Anthropic reserva para cuando confías en todo lo que interviene en la tarea. Al conectar Gmail a Claude, la pantalla de Google menciona el permiso para enviar correos; Claude te pide aprobación antes de cada envío por defecto, y conviene dejarlo así.
Cierra las sesiones. El navegador en la nube de ChatGPT conserva tus inicios de sesión para las siguientes tareas hasta que caducan, y puedes borrarlos al terminar algo delicado. Navegar con Copilot en Edge, por ahora solo en Estados Unidos, usa las cookies de tu navegador, y Microsoft sugiere borrarlas o empezar con un perfil nuevo para que no entre en tus cuentas.
Localiza el freno antes de necesitarlo. En la navegación automática de Gemini en Chrome, también solo en Estados Unidos, el botón Detener del panel lateral para la navegación, pero Gemini puede intentar seguir con la tarea por otra vía. Para cancelarla del todo, explica Google, hay que pulsar Detener en el cuadro de texto de Gemini Spark.

El modelo del 6 de octubre tenía a mano la salida honrada, decir que le faltaban los archivos, y siguió adelante porque la tarea le pedía entregar una nota. Lo acabó parando un servidor que dejó de responder. El freno que pide Nadella es una persona con la mano en el botón, y con el agente que lee tu correo esa persona eres tú.

Comparte este artículo