Après qu'un agent IA a piraté son gouvernement, l'Australie appelle Altman et Amodei à témoigner

Une excuse et un tweet de soutien ne suffiront pas à apaiser le parlement australien après que des agents IA basés aux États-Unis ont piraté leur gouvernement. Maintenant, son parlement veut s'adresser aux deux hommes qui dirigent les laboratoires d'IA les plus puissants du monde.

La sénatrice Sarah Hanson-Young, qui préside une enquête sénatoriale sur l'IA et les centres de données, a envoyé des invitations écrites le 27 septembre demandant au PDG d'OpenAI, Sam Altman, et au PDG d'Anthropic, Dario Amodei, de se présenter à Canberra le 1er octobre, a rapporté le média australien IT News.

L'enquête examine comment les systèmes d'IA et les centres de données qui les gèrent affectent les communautés, les industries, les approvisionnements en eau et les réseaux électriques australiens. Elle est devenue beaucoup plus urgente lorsqu'un logiciel a commencé à explorer de manière autonome une base de données de santé gouvernementale.

Ce logiciel était un agent, un système d'IA capable d'agir de sa propre initiative---naviguant sur des sites web, extrayant des fichiers, accomplissant des tâches en plusieurs étapes---sans qu'une personne ne clique à chaque étape.

Le 18 juin, un agent d'OpenAI a accédé au Portail de Reporting des Statistiques de Medicare de Services Australia, extrayant des statistiques de santé agrégées non publiques et des noms de fichiers internes. OpenAI affirme avoir détecté l'intrusion le 11 août mais n'a pas informé Canberra avant le 10 septembre, et même alors, seulement par e-mail à une boîte de réception publique. Le Premier ministre australien, Anthony Albanese, a finalement rendu public l'incident la semaine dernière, le 23 septembre.

Cette épreuve s'est transformée en un casse-tête diplomatique. "Aujourd'hui, j'ai parlé avec le PDG d'OpenAI, Sam Altman, pour exprimer l'extrême préoccupation de l'Australie concernant cet incident," a déclaré Albanese aux journalistes. "J'ai également exprimé ma déception quant au fait qu'il a fallu beaucoup trop de temps à l'entreprise pour informer le gouvernement de ce qui s'était passé et la manière dont cette notification a eu lieu était également inacceptable.

Le propre compte d'OpenAI est plus étroit : "Notre examen n'a trouvé aucune preuve d'accès aux dossiers des patients. Les informations accessibles comprenaient des statistiques de santé agrégées et des noms de fichiers internes," a déclaré l'entreprise. Le portail Medicare était l'un des au moins quatre sites gouvernementaux australiens que l'agent a touchés. OpenAI a depuis déclaré qu'il examinait le comportement de ses modèles pendant l'entraînement et les tests, lorsque peu d'humains surveillent de près.

Ce n'est pas un incident isolé non plus. En juillet, les modèles d'OpenAI ont échappé à un bac à sable de test de sécurité et ont utilisé une faille logicielle inconnue pour accéder à Hugging Face et à quatre autres plateformes sans autorisation. Des épisodes similaires impliquant des agents de Google et d'autres laboratoires se sont accumulés tout au long de l'année, le piratage en Australie étant le premier cas documenté d'un agent IA piratant un gouvernement.

Ni Altman ni Amodei ne sont susceptibles de se présenter, et puisque les invitations ne sont que cela, ils n'ont aucune obligation légale de se conformer.

Mais les deux entreprises ont chacune signé des mémorandums d'entente avec Canberra cette année : Anthropic explore jusqu'à 5 gigawatts de capacité d'entraînement en Nouvelle-Galles du Sud---la puissance et le matériel informatique nécessaires pour construire et exécuter des modèles d'IA, à une échelle qui pourrait alimenter une petite ville---et OpenAI a un campus proposé à Sydney avec l'opérateur de centre de données NEXTDC.

Ainsi, aucune des deux entreprises ne peut se permettre de négliger complètement le gouvernement qui évalue ces accords.