TL;DR – Der Espresso-Lift, die Schnelllese-Dosis für heute
- Prompt Injection, Datenleaks und übermäßige Berechtigungen für KI-Agenten zählen zu den größten Sicherheitsrisiken – sichere Modelle allein reichen nicht aus.
- Kompromittierte KI-Supply-Chains und manipulierte Trainingsdaten können unbemerkt Schadcode einschleusen oder fehlerhafte Ergebnisse erzeugen.
- Unternehmen brauchen Transparenz über alle KI-Komponenten, ein starkes Governance-Modell und kontinuierliche Überwachung des gesamten Agentic Development Lifecycle.
Sichere LLMs sind nur der Anfang bei der KI-Sicherheit
San Francisco/Heilbronn, 16. September 2026 – Kaum ein Unternehmen verzichtet heute darauf, Künstliche Intelligenz zu verwenden. Die Vorteile wiegen die potenziellen Gefahren mehr als auf. Dennoch kann ein zu lasches AI-Security-Konzept sie teuer zu stehen kommen. Cycode, der Pionier im Bereich Agentic Development Lifecycle Security, beleuchtet die sieben aktuell größten Sicherheitsrisiken. Spoiler Alert: unsichere KI-Modelle sind nicht das Hauptproblem.
Der Einsatz Künstlicher Intelligenz, insbesondere in Form von KI-Agenten, ist in vielen Unternehmen mittlerweile an der Tagesordnung. Viele sind sich der besonderen Gefahrenlage durch den hohen Grad der Automatisierung bewusst, glauben aber, es genüge, sichere Modelle zu verwenden. Dieser Schein kann trügen. Cycode stellt die sieben größten Sicherheitsrisiken vor und nennt passende Schutzmaßnahmen.
Sicherheitsrisiko #1: Prompt Injection
Das derzeit wohl größte Risiko im Hinblick auf KI-Agenten ist die Prompt Injection. Einfach erklärt geht es darum, dass Hacker manipulierte Eingaben erstellen, die Large Language Models (LLMs) dazu bringen, ursprüngliche Anweisungen zu ignorieren und Restriktionen zu umgehen. Besonders gefährlich sind kompromittierte Prompts, die Kriminelle in Dokumenten, E-Mails oder Webseiten verbergen, auf die KI-Agenten Zugriff haben. Beispiele wie CVE-2025-53773 und EchoLeak im Microsoft Copilot zeigen, dass solche Angriffe bis zum Zugriff auf sensible Daten führen können. Schutz bieten eine klare Trennung von System- und Nutzereingaben, Content-Filter sowie eingeschränkte Berechtigungen für KI-Agenten.
Sicherheitsrisiko #2: Datenleaks
Unter bestimmten Umständen legen LLMs sensible Informationen wie personenbezogene Daten, API-Schlüssel oder interne Unternehmensdaten offen. Das passiert zum Beispiel, wenn sie versehentlich im Trainingsdatensatz enthalten sind und so über das Modell zugänglich werden. Haben KI-Agenten etwa Zugriff auf E-Mails, CRM- oder Dokumentensysteme, steigt das Risiko erheblich. Immer wieder kommt es auf diese Weise zu ungewollten Datenleaks, die Unternehmen schwer schädigen können. Es ist daher unverzichtbar, dass sie Data-Loss-Prevention-Maßnahmen, regelmäßige Zugriffskontrollen nach dem Least-Privilege-Prinzip sowie Tests zur Erkennung von Datenlecks als Sicherheitsmaßnahmen fest implementieren.
Sicherheitsrisiko #3: Mangelhaftes Output Handling
Es kommt leider häufig vor, dass Ausgaben von Large Language Models ungeprüft an andere Systeme weitergegeben werden. Das kann durchaus Sinn ergeben, birgt aber das Risiko, dass etwa fehlerhafte Codevorschläge, SQL-Injections oder schädliche Skripte entstehen. Besonders im Zusammenhang mit KI-Agenten besteht das Risiko unkontrollierter Vertrauensketten, wenn ein System oder eine Anwendung eine KI-Ausgabe direkt und ohne Kontrollinstanz verarbeitet. Um dies zu verhindern, sollten LLM-Ausgaben wie nicht vertrauenswürdige Eingaben behandelt, validiert, bereinigt und durch sichere Schnittstellen kontrolliert werden.
Sicherheitsrisiko #4: Zu viele Berechtigungen für KI-Agenten
Wenn Unternehmen ihren KI-Agenten mehr Berechtigungen geben, als sie für die Erfüllung ihrer Aufgabe benötigen, spricht man von „Excessive Agency“. Das Problem ist, dass umfangreiche Zugriffe auf Datenbanken, E-Mails oder Finanzsysteme bei Fehlern oder Manipulationen erhebliche Schäden verursachen können. Um dieses Risiko zu reduzieren, sollten KI-Agenten nach dem Least-Privilege-Prinzip eingeschränkt, kritische Aktionen durch Menschen freigegeben und alle Aktivitäten vollständig protokolliert werden.
Sicherheitsrisiko #5: Kompromittierte KI-Supply-Chains
Large Language Models, Datensätze, Plug-ins und Komponenten von Drittanbietern können Bugs und Fehler enthalten. So ist es möglich, dass manipulierte Modelldateien oder kompromittierte Erweiterungen Schadcode einschleusen und unbemerkt in KI-Systeme gelangen. Eine besondere Gefahr stellen in diesem Zusammenhang Angriffe auf eigentlich vertrauenswürdige Abhängigkeiten und Automatisierungsworkflows dar. Schutz gegen die Kompromittierung der KI-Supply-Chain bieten nur absolute Transparenz, eine Übersicht über alle vorhandenen KI-Komponenten, die eingehende Prüfung ihrer Herkunft und Integrität sowie eine kontinuierliche Überwachung von Drittanbieter-Tools.
Sicherheitsrisiko #6: Daten- und Modellvergiftung
Wenn manipulierte Daten in Datensätze für das KI-Training, das Feintuning oder in RAG (Retrieval-Augmented Generation)-Wissensdatenbanken gelangen, nennen Fachleute dies Data beziehungsweise Model Poisoning. Durch diese „Vergiftung“ besteht die Gefahr, dass KI-Modelle fehlerhafte Muster lernen, verinnerlichen und dann falsche Ergebnisse erzeugen. Das Model Poisoning stellt in diesem Zusammenhang eine besonders schwere Form der Vergiftung dar, da hierbei Modellparameter direkt manipuliert werden. Unternehmen können sich schützen, indem sie eine lückenlose Nachverfolgung der Datenherkunft implementieren, Datensätze stets validieren und Tools zur Erkennung ungewöhnlicher Modellreaktionen nutzen. Neue Modelle sollten sie vor dem produktiven Einsatz dringend in isolierten Umgebungen testen.
Sicherheitsrisiko #7: Schwachstellen in Vektordatenbanken und Embeddings
RAG ist mittlerweile der etablierte Mechanismus, um LLM-Ausgaben mit spezifischen Datenquellen zu verknüpfen. Die zugrunde liegenden Vektordatenbanken und Embeddings stellen jedoch selbst eine Angriffsfläche dar. Angreifer können manipulierte Dokumente in Wissensbasen einschleusen, Ähnlichkeitswerte von Embeddings verändern oder Schwachstellen bei Zugriffskontrollen von Vektorspeichern ausnutzen, um gezielt zu beeinflussen, welche Informationen das Modell abruft. Maßnahmen wie Zugriffskontrollen, Integritätsprüfungen und regelmäßige Audits helfen, Manipulationen frühzeitig zu erkennen.
„Das Schadenspotenzial, das von kompromittierten KI-Systemen und -Agenten ausgeht, ist gewaltig“, warnt Jochen Koehler, Vice President of Sales EMEA bei Cycode. „Unternehmen benötigen daher nicht nur sichere Modelle, denn die sind nur ein Teil der sehr viel komplexeren Infrastruktur. Darüber hinaus müssen sie Transparenz über ihre KI-Komponenten und Abhängigkeiten herstellen, ein starkes Governance-Modell etablieren und – man kann es nicht oft genug sagen – kontinuierlich ihren gesamten Agentic Development Lifecycle überwachen.“
Anmerkung der Redaktion
KI-Sicherheit ist längst kein Nischenthema mehr – sie betrifft jede Führungskraft, die KI-Tools im Unternehmen einsetzt oder einsetzen lässt. Wenn du tiefer in das Thema einsteigen möchtest, empfehlen wir dir unseren Beitrag „IT-Security-Risiken durch KI“, der die Bedrohungslage aus einer breiteren Perspektive beleuchtet. Auch der Artikel „So vermeiden Unternehmen Datenlecks durch ChatGPT & Co.“ liefert konkrete Handlungsempfehlungen zum Schutz sensibler Daten. Und für alle, die wissen möchten, wie KI auch positiv zur Sicherheit beitragen kann, lohnt sich ein Blick auf „7 Beispiele, wie KI die Datensicherheit verbessert“. Ein einfacher erster Schritt: Prüfe, welche Berechtigungen deine KI-Agenten aktuell haben – das Least-Privilege-Prinzip ist der schnellste Hebel für mehr Sicherheit.
FAQ zu „Sichere LLMs sind nur der Anfang bei der KI-Sicherheit“
Prompt Injection ist eine Angriffsmethode, bei der manipulierte Eingaben ein KI-Modell dazu bringen, seine ursprünglichen Anweisungen zu ignorieren und Sicherheitsbeschränkungen zu umgehen. Angreifer können solche manipulierten Prompts in Dokumenten, E-Mails oder Webseiten verstecken, auf die KI-Agenten Zugriff haben.
Excessive Agency beschreibt die Situation, in der KI-Agenten mehr Berechtigungen erhalten, als sie für ihre eigentliche Aufgabe benötigen. Das erhöht das Schadenspotenzial bei Fehlern oder gezielten Manipulationen erheblich, weil die Agenten auf Datenbanken, E-Mails oder Finanzsysteme zugreifen können.
Data Poisoning (Datenvergiftung) bezeichnet das gezielte Einschleusen manipulierter Daten in Trainings- oder Wissensdatensätze einer KI. Dadurch lernt das Modell fehlerhafte Muster und erzeugt verfälschte Ergebnisse. Eine besonders schwere Form ist Model Poisoning, bei dem Modellparameter direkt manipuliert werden.
Sichere Modelle sind nur ein Baustein in einer komplexen Infrastruktur. Risiken entstehen auch durch kompromittierte Supply-Chains, unsichere Vektordatenbanken, übermäßige Berechtigungen und mangelhaftes Output Handling. Unternehmen müssen den gesamten KI-Entwicklungszyklus absichern, nicht nur das Modell selbst.
Das Least-Privilege-Prinzip ist der schnellste Hebel: KI-Agenten sollten nur die Berechtigungen erhalten, die sie für ihre konkrete Aufgabe benötigen. Zusätzlich sollten kritische Aktionen durch Menschen freigegeben und alle Aktivitäten vollständig protokolliert werden.
