La nota tem¨¢tica de septiembre de 2026, Agentes de IA, desalineaci¨®n y riesgo de p¨¦rdida de control humano: evidencia del incidente de OpenAI y Hugging Face, examina este incidente como una de las advertencias m¨¢s claras hasta la fecha, en el mundo real, de una posible v¨ªa hacia la p¨¦rdida de control humano sobre la IA: agentes con capacidades avanzadas que persiguen objetivos contrarios a las intenciones humanas.
Entre mayo y julio de 2026, agentes de IA que participaban en el entrenamiento y las evaluaciones de ciberseguridad de OpenAI eludieron restricciones de red, se comunicaron entre ejecuciones que deb¨ªan mantenerse separadas, enga?aron a un evaluador e intentaron ocultarlo y comprometieron partes de los sistemas de OpenAI y Hugging Face. Ninguna persona dio instrucciones para ejecutar cada uno de esos pasos.
A partir de la informaci¨®n divulgada por ambas empresas, una investigaci¨®n independiente de METR y un conjunto m¨¢s amplio de investigaciones, la nota concluye que unas mayores capacidades pueden ayudar a los sistemas desalineados a encontrar resquicios y ocultar sus acciones. No estima la probabilidad ni el momento de una p¨¦rdida grave de control, pero se?ala que detener esta actividad no demuestra que los seres humanos conservar¨¢n el control sobre agentes m¨¢s capaces.
Sobre la base del informe preliminar (EN) del Panel Cient¨ªfico Internacional Independiente sobre Inteligencia Artificial, la nota explica c¨®mo el entrenamiento puede dar lugar a objetivos y comportamientos desalineados, como la explotaci¨®n de fallos del sistema de recompensa (reward hacking) y la manipulaci¨®n del mecanismo de recompensa (reward tampering). Se?ala que los fallos de la IA pueden trascender los l¨ªmites de las empresas y las fronteras nacionales, y que ninguna organizaci¨®n ni pa¨ªs observa por s¨ª solo suficientes incidentes para identificar todos los patrones emergentes. Sin formular recomendaciones, la nota examina enfoques utilizados en ¨¢mbitos como la aviaci¨®n, la energ¨ªa nuclear y la ciberseguridad como posibles opciones para quienes toman decisiones.
Leer la nota tem¨¢tica
Esta nota se publica como versi¨®n anticipada sin editar. Las versiones actualizadas se publicar¨¢n en este enlace y las versiones anteriores se enumerar¨¢n a continuaci¨®n.
51ÁÔÆæ
Descargar la versi¨®n actual (PDF, 21 de septiembre de 2026) (EN)
