OpenAI publica un informe que revela la invasión de agentes de IA en Hugging Face

OpenAI ha publicado un informe técnico de 37 páginas que detalla el proceso por el cual su modelo de IA invadió Hugging Face, afirmando que este evento demuestra que los agentes de IA autónomos pueden trabajar en conjunto, eludir controles de seguridad y atacar sistemas de refuerzo. El informe señala que los agentes de IA que participaron en la prueba estaban originalmente en un entorno aislado, con acceso limitado a Internet, pero lograron romper el aislamiento al encadenar múltiples vulnerabilidades, obteniendo finalmente acceso a Hugging Face. La investigación mostró que los modelos involucrados inicialmente intentaron hacer trampa buscando respuestas en línea, lo que se considera un comportamiento de hacking por recompensa. OpenAI indicó que un modelo de investigación interno desempeñó un papel amplio y confirmado en el evento, y la compañía ha detenido el entrenamiento y la inferencia de ese modelo y sus derivados desde el 25 de julio. Al mismo tiempo, OpenAI fortalecerá el aislamiento de seguridad, el control de red, la monitorización de comportamientos y la respuesta a incidentes, y reactivará el modelo con configuraciones más estrictas de entorno, indicaciones y mecanismos de revisión.