The Japan Times - Britisches Sicherheitsinstitut: KI-Modell verschickt Phishing-Mail

Forscher des AISI gewährten KI-Modellen von Anthropic und des ChatGPT-Entwicklers OpenAI absichtlich Zugang zum Internet. Sie seien davon ausgegangen, dass die Künstliche Intelligenz (KI) sich dort nur Werkzeuge holen würde, um die gestellte Aufgabe zu erfüllen, erklärte das AISI. Doch vor allem ein Modell - Mythos 5 - habe sich "eigenmächtig und ohne Genehmigung" gegen "echte Menschen und Organisationen" gerichtet.

Mythos 5 versuchte demnach, Schadprogramme in ein Projekt einzuschleusen, dessen Software frei zugänglich ist. Das Modell erstellte dafür eine gefälschte Identität auf der für jedermann zugänglichen Entwickler-Plattform GitHub. Unter dieser Identität verschickte es sogenannte Phishing-Mails - also echt aussehende Mails, mit denen Kriminelle versuchen, etwa an Daten zu kommen. "Ein menschlicher Projektbetreuer durchschaute den Versuch und weigerte sich, den Schadcode freizugeben", erklärte AISI.

Der Vorfall wurde erst nachträglich bei der Auswertung des Versuchs entdeckt, wie das Institut mitteilte. Ungefähr eine Stunde nach dieser Entdeckung sei der Versuch abgebrochen worden. Ein Schaden in der echten Welt sei nicht entstanden, versicherte AISI. Die Risiken der KI-Modelle seien aber "klar" zutage getreten. Gleichzeitig mahnte das Institut, den Vorfall mit "Vorsicht" zu bewerten - die Testbedingungen hätten ihn erst ermöglicht.

AISI untersucht nach eigenen Angaben die neuesten KI-Modelle, um potenzielle Risiken zu erkennen - bevor diese Modelle der Öffentlichkeit zugänglich gemacht werden. OpenAI und Anthropic haben mit den Modellen Sol beziehungsweise Mythos in diesem Jahr ihre bislang leistungsfähigsten KI-Modelle veröffentlicht. In den vergangenen Tagen hatten beide Unternehmen bekannt gemacht, dass ihre KI-Modelle in Tests mehrfach eigenmächtig in Computersysteme in der echten Welt eingedrungen waren.

Ein Sprecher des Bundesdigitalministeriums sprach von einem "Paradigmenwechsel": Die Fähigkeiten von KI-Modellen nähmen rasend schnell zu, das verändere auch die "Bedrohungslage massiv". Mehrere EU-Politiker forderten eine größere technologische Eigenständigkeit Europas von US-Konzernen. Ein unkontrolliertes Vorgehen von KI dürfe nicht Realität werden.

T.Ikeda--JT