The Japan Times - Incident OpenAI: les modèles IA ont fait intrusion sur d'autres plateformes

L'une d'entre elle a servi de relais pour préparer l'attaque sur Hugging Face, une bibliothèque IA que les deux modèles ont fouillée pour trouver les réponses aux tests soumis par les développeurs d'OpenAI.

Au total, quatre comptes associés à d'autres plateformes ont été piratés. OpenAI n'a pas révélé les noms des entités visées. Ces manoeuvres ont été effectuées avec le même objectif que celui poursuivi lors de l'offensive contre Hugging Face.

Selon une actualisation du compte rendu de l'incident, publiée dans la nuit de mardi à mercredi, les deux IA ont également utilisé plusieurs sites en accès libre pour copier du code de programmation ou le tester, mais sans aller plus loin qu'un utilisateur ordinaire.

Pour Hugging Face, qui a mis en ligne, de son côté, un long récit des événements, l'effraction dont elle a été victime relevait d'une "tentative (des deux modèles) de tricher à l'évaluation" d'OpenAI.

Les IA ont voulu "dérober les solutions aux tests plutôt que d'essayer d'y répondre par elles-mêmes".

Pour les besoins du test, les informaticiens d'OpenAI avaient réduit les garde-fous pour juger du potentiel des modèles en matière de cybersécurité.

L'entreprise a révélé qu'outre son modèle le plus avancé, GPT-5.6 Sol, l'autre IA mêlée à l'incident n'avait pas vocation à être commercialisée et était uniquement destinée à un usage interne.

Le rapport d'Hugging Face indique que l'attaque a duré pas moins de cinq jours avant que le site ne parvienne à la contenir.

Aucun des deux documents ne le mentionne clairement et la société n'a pas répondu à une question de l'AFP sur ce point, mais il semble qu'OpenAI n'ait pris conscience de l'évasion que plusieurs jours après les faits.

- Une IA auto-programmée -

"Un pirate (informatique) humain aurait pu trouver et exploiter les mêmes vulnérabilités", explique l'entreprise.

Ce qui a fait la différence, c'est le volume des tentatives, avec pas moins de 17.600 actions contre Hugging Face, marquées par beaucoup d'échecs, mais suffisamment de réussites pour que les modèles parviennent à leurs fins.

"L'échelle et la vitesse de ces actions dépassent de loin les capacités d'un humain qui opérerait manuellement", a fait valoir Hugging Face.

Le chercheur en IA Daniel Kokotajlo a plaidé pour une analyse de l'incident menée par un laboratoire indépendant, une démarche "qui devrait devenir systématique" pour des cas similaires, selon lui.

Cette évasion de modèles n'est pas la première à être documentée, mais elle est considérée comme, de loin, la plus sérieuse à ce jour.

Elle a donné un écho supplémentaire au débat, déjà nourri, sur l'accélération de l'IA, aux capacités de plus en plus étendues, et sur la difficulté de la contrôler.

Lors de l'épisode OpenAI, les modèles ont utilisé des méthodes dont ils savaient qu'elles étaient en contradiction avec le scénario du test, sans en informer les développeurs.

Mardi, plus d'un millier d'employés de géants de l'IA, dont plusieurs dirigeants de premier plan, ont demandé au gouvernement américain d'aider à "temporiser" la sortie des nouveaux modèles, pour laisser le temps à l'écosystème informatique de s'y préparer.

Ils plaident, dans une pétition, pour que les États-Unis soient moteur dans la création d'une instance internationale de référence en matière d'évaluation et de supervision de l'IA.

Interrogé sur la question, le président américain Donald Trump a estimé qu'il "fallait être prudent", et trouver un équilibre entre le contrôle des agents et le fait de ne pas être devancé par la Chine dans le développement de l'IA.

"Nous ne voulons pas les limiter, et que l'on se retrouve d'un seul coup derrière la Chine", a-t-il déclaré, "celui qui l'emportera" dans cette course à l'IA "pourrait très bien ramasser toute la mise".

Le milieu s'inquiète d'autant plus qu'il voit approcher le stade dit de "l'auto-amélioration récursive" (recursive self-improvement), au-delà duquel l'intelligence artificielle serait en mesure de concevoir seule son successeur, une séquence qui pourrait se répéter à l'infini.

Les derniers modèles d'OpenAI et Anthropic ont été en partie programmés par l'IA elle-même.

Le "RSI", son abréviation, rendrait plus difficile les vérifications et l'évaluation de nouveaux modèles par des informaticiens humains, car ils n'auraient pas participé directement à leur élaboration.

S.Yamamoto--JT