Eine Top-10-Schwachstellen für große Sprachmodelle (LLMs, Large Language Models) hat das Non-Profit-Projekt OWASP (Open Worldwide Application Security Project) veröffentlicht. Das Projekt hat in einem mehrmonatigen Verfahren in Zusammenarbeit mit ungefähr 500 Experten aus aller Welt die wichtigsten Schwachstellen der KI-Modelle zusammengetragen.

Besonders am Jailbreaken von Chatbots zeigt, dass die Gefahren drastisch sind. Kriminelle Nutzer können an interne Dokumente gelangen, indem sie sich beispielsweise als Admin ausgeben. Mittels Prompt-Injektion können Angreifer zudem automatisiert Sperren für bestimmten Output zu sensiblen Themen oder illegalen Machenschaften umgehen.

Der Aufruf von Google an seine Entwickler, keinen Quellcode mehr in den hauseigenen Chatbot Bard einzugeben zeigt, dass Menschen oft sensible Daten in die Chatbots eingeben.

Auf der Webseite des Projekts können Sie ausführliche Informationen zur OWASP Top 10 for Large Language Model Applications und die Listen mit Schwachstellen und Maßnahmen finden.

(ts, hannover)

(siehe auch: Heise-News-Ticker)

Hannover · EDV-Beratung · Linux · Novell · Microsoft · Seminar · IT-Consult · Netzwerk · LPIC · CLE