Auch KI-Tools sind von Cyberangriffen und Manipulationen betroffen. Microsoft warnt aktuell vor einer Methode namens AI Recommendation Poisoning, wie The Register berichtet. KI-Modelle werden in dem Fall gezielt so beeinflusst, dass sie verzerrte oder extern gesteuerte Empfehlungen ausgeben. Microsoft identifizierte im Rahmen einer Analyse mehr als 50 solcher Eingabeaufforderungen von 31 Unternehmen aus 14 Branchen.

Microsoft bietet mit Copilot selbst einen KI-Assistenten an, der tief in Windows und in Office-Anwendungen wie Word oder Teams integriert ist. Er soll Nutzer bei alltäglichen Aufgaben unterstützen. Microsoft-Sicherheitsforscher warnen jetzt vor Angriffen, die darauf abzielen, das „Gedächtnis“ von KI-Modellen mit manipulierten Informationen zu vergiften, um Antworten gezielt zu manipulieren.

Die Forscher haben laut Microsoft zahlreiche Fälle entdeckt, bei denen Unternehmen versteckte Anweisungen in Schaltflächen oder Links integriert hatten. URLs, die auf KI-Chatbots verweisen, können manipulierte Eingabetexte als Abfrageparameter enthalten. Mit einem Link demonstrierte The Register die Methode. Dabei wurde Perplexity AI angewiesen, einen Nachrichtenartikel im Stil eines Piraten zusammenzufassen, was der Dienst dann auch lieferte.

Das Microsoft Defender Security Team erklärte in einem Blogbeitrag: „Wir haben über 50 einzigartige Eingabeaufforderungen von 31 Unternehmen aus 14 Branchen identifiziert, wobei frei verfügbare Tools die Anwendung dieser Technik kinderleicht machen”. „Das ist von Bedeutung, da kompromittierte KI-Assistenten subtil voreingenommene Empfehlungen zu kritischen Themen wie Gesundheit, Finanzen und Sicherheit geben können, ohne dass die Benutzer wissen, dass ihre KI manipuliert wurde.“

„Einmal vergiftet, behandelt die KI diese eingespeisten Anweisungen als legitime Nutzungspräferenzen und beeinflusst damit zukünftige Antworten“, so das Sicherheitsteam. „Die Manipulation ist unsichtbar und dauerhaft.“ Darin sehen die Microsoft-Forscher ein großes Risiko. KI-Empfehlungen würden viele Nutzer nicht ausreichend hinterfragen. Daher rät Microsoft, dass KI-bezogene Links sorgfältig geprüft werden sollten. Auch sollten Nutzer die gespeicherten Erinnerungen ihrer KI-Assistenten regelmäßig kontrollieren, unbekannte Einträge löschen und zweifelhafte Empfehlungen bewusst überprüfen.

(ts, hannover)

(siehe auch: Heise-News-Ticker)

Hannover · EDV-Beratung · Linux · Novell · Microsoft · Seminar · IT-Consult · Netzwerk · LPIC · CLE