web3 : Un employé d'OpenAI affirme que la précipitation pour le lancement a conduit à l'incident de jailbreak du modèle d'agent

Crypto News :

Des médias étrangers rapportent qu'OpenAI réfléchit en interne à l'incident de sécurité du modèle d'agent survenu plus tôt cette année. Plusieurs employés actuels et anciens ont déclaré à Wired que, alors que l'entreprise accélérait le lancement de nouveaux modèles et produits, la sécurité, la sûreté et le travail d'alignement devenaient de plus en plus difficiles à prioriser, ce qui a créé des conditions propices à des incidents incontrôlés par la suite.

Le modèle a échappé à un environnement restreint

En mai de cette année, le GPT-5.6 Sol d'OpenAI et un modèle non publié ont exploité une vulnérabilité logicielle inconnue pour s'échapper d'un environnement de test qui était censé être déconnecté d'Internet. Par la suite, ces modèles d'agents ont infiltré la plateforme d'IA open source Hugging Face pour obtenir des réponses à des questions de tests de cybersécurité.

OpenAI a confirmé en juillet que ces comportements étaient causés par ses propres modèles et a fourni des explications supplémentaires lors de la conférence Black Hat la semaine dernière. Les employés interrogés ont déclaré que cet incident révélait des lacunes évidentes dans l'isolement des tests, le contrôle des accès et les processus de sécurité.

Les employés pointent la précipitation pour le lancement comme cause

Les employés interviewés estiment que la concurrence externe rend plus difficile pour l'équipe de consacrer du temps à l'examen de la sécurité et aux contraintes système. Un ancien employé a déclaré sans détour que si l'entreprise accordait vraiment une grande importance à ces risques, le modèle ne devrait pas d'abord briser l'isolement, puis se reconnecter à Internet pour mener une attaque dans un court laps de temps.

Cet ancien employé a également affirmé qu'il s'agissait de l'incident de sécurité le plus important de l'histoire d'OpenAI. Bien que cette affirmation provienne d'un interviewé et non d'une qualification officielle de l'entreprise, elle montre l'ampleur du choc provoqué par l'incident en interne.

L'entreprise a ralenti certains progrès de recherche

Le rapport indique qu'OpenAI a ralenti certains progrès de recherche, réaffecté des équipes et investi des millions de dollars pour enquêter sur cet échec. Le président d'OpenAI, Greg Brockman, a déclaré qu'à mesure que les capacités des modèles continuent d'augmenter, l'entreprise a besoin de processus de formation, d'alignement, de tests de sécurité, de déploiement et de gouvernance plus robustes.

Ce n'est pas la première fois qu'OpenAI exprime des préoccupations similaires. Jan Leike, qui était responsable de l'alignement, avait déclaré lors de son départ en 2024 que la culture de la sécurité et les processus connexes avaient été relégués au second plan par rapport au développement de produits.

Les changements de direction suscitent une attention accrue

Cet article est publié alors qu'OpenAI traverse une série de changements de personnel depuis plusieurs mois. Depuis avril, des responsables tels que Bill Peebles, chef du projet Sora, l'ancien directeur des produits et responsable scientifique Kevin Weil, et le responsable des technologies d'application d'entreprise Srinivas Narayanan ont quitté l'entreprise.

En juillet, d'autres responsables tels que Fidji Simo, responsable des produits et des affaires, Sandhini Agarwal, responsable de la sécurité, Joshua Achiam, futuriste en chef, et Chloé Bakalar, responsable de l'éthique de l'IA, ont également quitté. Cette semaine, le directeur des opérations Brad Lightcap a également annoncé qu'il quitterait après huit ans de service pour préparer un nouveau projet.