The Japan Times - Les objets connectés infiltrés par une IA malveillante, ce n'est plus de la science-fiction

Les résultats publiés lundi soir par ce grand nom de l'IA font écho à une étude présentée en juin par une équipe de l'université de Toronto sur l'utilisation par un modèle d'un appareil relié à internet.

Pour ce faire, un modèle doit être à la fois puissant et de taille suffisamment réduite pour fonctionner dans les limites des capacités de traitement informatique de l'appareil en question, explique Anthropic.

En l'état, aucun modèle ne satisfait à ces contraintes mais la société anticipe qu'une nouvelle IA devrait présenter ces caractéristiques "d'ici la fin 2026".

Anthropic reprend le terme de "ver informatique" (worm), un logiciel malveillant à même de se propager seul d'un ordinateur à un autre.

L'entreprise a observé qu'un modèle peut être scindé en plusieurs morceaux pour tenir dans la configuration d'un équipement connecté. Par la suite, les différentes parties se coordonnent pour atteindre la puissance de l'IA d'origine.

"Un duplicateur de cette sorte serait compliqué à désactiver, dans la mesure où il n'existe pas de point central de commande", estiment les chercheurs William Zhou et Daniel Freeman, auteurs de l'étude, qui jugent toutefois qu'un tel outil serait lent et peu puissant.

Cette publication intervient après une série d'incidents révélés ces derniers mois, lors desquels des modèles d'OpenAI, Anthropic, Google et Meta ont fait intrusion sur des dizaines de sites internet sans autorisation.

Plusieurs informaticiens, employés ou ex-salariés de ces grands acteurs de l'IA, ont mis en garde contre la perte de contrôle progressive de ces modèles, susceptibles de prendre des initiatives déconnectées des objectifs fixés par leurs développeurs.

En créant une copie de lui-même sur un appareil connecté, un modèle bénéficierait des capacités de traitement de l'objet grâce aux puces directement installées.

Il échapperait également à une intervention humaine sur le modèle d'origine.

"Nous n'avons pas encore observé (d'IA capable) de se reproduire spontanément et totalement", reconnaît Anthropic, "mais les agents (des IA exécutant des tâches de façon autonome) maîtrisent de mieux en mieux les étapes de la chaîne."

- "Adversaires autonomes" -

Des réserves ont toutefois été émises quant aux conclusions d'Anthropic, notamment par le spécialiste de la cybersécurité Marcus Hutchins.

Ce dernier a contesté la possibilité pour un modèle de faire de vrais dégâts via un objet connecté, du fait des limites de capacités informatiques de ces appareils.

Il a également fait valoir que les systèmes d'exploitation de ces instruments se réinitialisaient régulièrement, ce qui, selon lui, effacerait alors l'IA ajoutée.

"Même s'ils sont réinitialisés, il est facile de faire de nouveau intrusion", a commenté à l'AFP Varun Chandrasekaran, professeur d'informatique à l'université d'Illinois.

Pour cet universitaire, il est difficile d'évaluer les risques de dérapage d'une IA d'OpenAI ou Anthropic car ces entreprises ne publient pas suffisamment de données pour vérifier leurs affirmations.

Il accorde davantage de crédit à l'idée que "grâce à l'IA, un individu mal intentionné a des moyens démultipliés pour commettre des actes répréhensibles".

Varun Chandrasekaran mentionne la cyberattaque qui a visé les frigos de plusieurs centaines de supermarchés en France dans la nuit de dimanche à lundi.

Une équipe de chercheurs de l'université de Toronto avait déjà annoncé en juin avoir constaté que des agents IA pouvaient se servir d'un objet connecté pour se propager. L'hypothèse était celle d'un pirate informatique et non d'une IA agissant de sa propre initiative.

"Nous devons nous préparer à (faire face à) des adversaires d'IA générative autonomes", avaient mis en garde les chercheurs, des systèmes ayant "l'aptitude" de raisonner, de s'adapter et "de définir une logique d'attaque en temps réel".

Les objets "intelligents" ont envahi notre quotidien, des enceintes connectées aux tondeuses à gazon, en passant par les télévisions, ventilateurs ou radiateurs.

Anthropic avertit qu'un modèle dupliqué sur un objet connecté risque de se révéler plus dangereux qu'un ver informatique classique.

La start-up suggère des pistes pour améliorer la protection contre ce type d'invasion, notamment la mise en quarantaine d'un appareil pour empêcher la diffusion de l'IA à d'autres objets connectés.

"Le problème", souligne Varun Chandrasekaran, "c'est que la sécurité informatique (des objets connectés) reste très faible."

Y.Kimura--JT