Der stille Abfluss: Wie außer Kontrolle geratene LLM-Agenten unbemerkt Budgets verbrennen

Die rasche Verbreitung von Large Language Model (LLM)-Agenten in Unternehmensumgebungen ermöglicht eine beispiellose Automatisierung und Analysefähigkeit. Es hat sich jedoch ein besorgniserregendes Vorfallmuster herausgebildet: unkontrollierte LLM-Agenten, die API-Kontingente aufbrauchen und erhebliche, oft unvorhergesehene Kosten verursachen. Dieses Phänomen, als „Token-Burn-Vorfälle“ bezeichnet, verdeutlicht kritische Lücken in der aktuellen KI-Sicherheit und der operativen Aufsicht.

Was passiert ist

Entwickler erleben einen stillen finanziellen Abfluss, da ihre LLM-Agenten, die für die Automatisierung komplexer Aufgaben entwickelt wurden, unbeabsichtigt in außer Kontrolle geratene Zustände geraten. Ein Entwickler berichtete von einem Agenten, der auf einen kleinen JSON-Fehler stieß und anschließend in eine „nutzlose Schleife aus Planen, Analysieren, Wiederholen und Zusammenfassen“ geriet. Dieser scheinbar harmlose Fehler führte zu einem vertikalen Anstieg der Anfragenanzahl und des Token-Verbrauchs, wodurch ein API-Kontingent schnell erschöpft wurde. Die finanziellen Auswirkungen können erschreckend sein. Berichte deuten auf Vorfälle hin, bei denen Einzelpersonen in einem einzigen Monat OpenAI API-Tokens im Wert von 1,3 Millionen Dollar verbraucht haben. Auch wenn dies extrem klingen mag, unterstreicht es die inhärente Macht und das Potenzial für unkontrollierte Ausgaben, wenn KI-Agenten ohne robuste Schutzmaßnahmen agieren.

Die autonome Natur von LLM-Agenten, obwohl ihre größte Stärke, stellt auch ihre größte finanzielle und operative Schwachstelle dar.

Ein weiteres reales Beispiel zeigt das Ausmaß dieser Kosten, selbst in kontrollierteren Umgebungen. Eine VC-Firma, die einen kleinen Schwarm von KI-Agenten für Forschung und Analyse betrieb, bezifferte die Kosten im Juni 2026 auf 1.462,37 US-Dollar, wobei 1.022,82 US-Dollar direkt auf Modellprovider wie OpenAI, Anthropic und Perplexity entfielen. Obwohl diese spezifischen Ausgaben beabsichtigt und produktiv waren, veranschaulichen sie die Grundkosten des Agentenbetriebs und das Potenzial für exponentielles Wachstum, wenn ein Agent außer Kontrolle geraten würde. Das Kernproblem liegt oft darin, dass Agenten in unproduktiven Schleifen gefangen sind, fehlgeschlagene Operationen endlos wiederholen oder redundante Daten generieren, während sie kontinuierlich teure API-Tokens verbrauchen.

Warum sich dieses Muster ständig wiederholt

Dieses Vorfallmuster besteht aufgrund einer Vielzahl von Faktoren, die dem aktuellen Design und den Bereitstellungspraktiken von LLM-Agenten inhärent sind. Erstens kann die iterative Natur agentischer Arbeitsabläufe – Planen, Ausführen, Analysieren, Verfeinern – zu einem sich selbst verstärkenden Zyklus werden, wenn sie nicht richtig eingeschränkt wird. Ein kleiner Fehler oder eine mehrdeutige Aufforderung kann dazu führen, dass ein Agent ein Problem endlos neu bewertet und dabei zahlreiche, kostspielige API-Aufrufe generiert. Zweitens bedeutet eine unzureichende Beobachtbarkeit des Token-Verbrauchs auf einer detaillierten, pro-Agent-Ebene, dass außer Kontrolle geratene Kosten oft unbemerkt bleiben, bis eine Abrechnungswarnung oder eine Kontingenterschöpfung auftritt. Entwickler, die Agenten testen, sehen möglicherweise zunächst geringfügige Schwankungen, nur um festzustellen, dass die Kosten dramatisch ansteigen, wenn ein Agent auf einen Grenzfall oder einen anhaltenden Fehlerzustand stößt. Das schiere Volumen potenzieller API-Aufrufe, die ein Agent in kurzer Zeit tätigen kann, verstärkt dieses Problem und verwandelt kleine Fehler in große finanzielle Verbindlichkeiten.

Das Vorgehen des Angreifers Schritt für Schritt

Während die hier diskutierten Hauptvorfälle oft unbeabsichtigt sind, spiegelt der finanzielle Einfluss den eines Denial-of-Wallet-Angriffs wider. Ein Angreifer oder sogar ein unoptimierter legitimer Agent könnte diese Schritte befolgen:

1. Agenten-Endpunkt identifizieren: Einen exponierten oder schlecht gesicherten LLM-Agenten-API oder -Schnittstelle lokalisieren.
2. Mehrdeutige/bösartige Aufforderung injizieren: Eine Aufforderung bereitstellen, die darauf ausgelegt ist, den Agenten zu verwirren oder ihn in einen unbestimmten Zustand zu zwingen. Dies könnte eine komplexe, widersprüchliche Anforderung sein oder eine, die eine unmögliche Anzahl von Iterationen erfordert.
3. Rekursive Schleife auslösen: Den dem Agenten inhärenten Mechanismus der „Planen-Analysieren-Wiederholen“-Schleife ausnutzen. Ein JSON-Parsing-Fehler könnte beispielsweise dazu führen, dass ein Agent wiederholt dieselbe fehlgeschlagene Aktion versucht und dabei jedes Mal neue Anfragen generiert.
4. Token-Burn aufrechterhalten: Die mehrdeutige Eingabe oder den Fehlerzustand beibehalten, um sicherzustellen, dass der Agent weiterhin Tokens mit beschleunigter Rate verbraucht und die API-Kosten in die Höhe treibt.
5. Kontingente erschöpfen/Kosten verursachen: Fortfahren, bis die API-Kontingente der Zielorganisation erschöpft sind oder erhebliche finanzielle Schäden verursacht wurden.

Was die Verteidiger übersehen haben

Verteidiger haben die betrieblichen und finanziellen Sicherheitsauswirkungen des unüberwachten Verhaltens von LLM-Agenten weitgehend übersehen. Eine kritische Nachlässigkeit ist das Fehlen einer granularen Echtzeit-Kostenüberwachung, die direkt an die Agentenaktivität gebunden ist. Viele Organisationen verlassen sich auf aggregierte Abrechnungsberichte, die das Problem erst nach dem entstandenen Schaden aufzeigen. Darüber hinaus ermöglichen unzureichende Fehlerbehandlungs- und Wiederherstellungsmechanismen innerhalb von Agentenarchitekturen, dass kleinere Probleme, wie z. B. ein JSON-Fehler, zu kostspieligen Endlosschleifen eskalieren. Es wird auch allgemein der „Blast Radius“ eines unbegrenzten Agenten unterschätzt; die Annahme, dass ein Agent einfach elegant fehlschlägt, ist oft falsch. Das Fehlen strikter Ratenbegrenzungen und Budgetobergrenzen auf der Ebene des einzelnen Agenten oder API-Schlüssels schafft ein Umfeld, das reif für außer Kontrolle geratene Kosten ist. Schließlich werden eine ordnungsgemäße Speicherverwaltung und Kontextbewusstsein, wie sie beispielsweise durch eine „GoodMem Memory Layer“ implementiert werden, die den Token-Verbrauch um 28 % reduzieren und potenziell Hunderttausende jährlich einsparen kann, bei den ersten Bereitstellungen oft übersehen.

Eine praktische Checkliste zur Verteidigung

• Granulare Kostenüberwachung implementieren: Token-Nutzung und API-Aufrufe pro Agent, pro Projekt und in Echtzeit verfolgen. Mit Abrechnungswarnungen integrieren.
• Harte Budgetobergrenzen festlegen: Strenge Ausgabenlimits auf API-Schlüssel- oder Agenten-Ebene durchsetzen, die den Zugriff bei Erreichen von Schwellenwerten automatisch deaktivieren.
• Robuste Fehlerbehandlung und Schutzschalter: Agenten mit ausgeklügelter Fehlerbehebung entwickeln, einschließlich Mechanismen zur Erkennung und zum Verlassen unproduktiver Schleifen, und Schutzschalter zur Beendigung der Ausführung unter anormalen Bedingungen.
• Kontextuelle Speicheroptimierung: Speicherebenen verwenden, um redundante API-Aufrufe zu reduzieren und die Effizienz des Agenten zu verbessern, wodurch unnötiger Token-Verbrauch reduziert wird.
• Ratenbegrenzung: API-Ratenbegrenzungen auf Gateway-Ebene anwenden, um zu verhindern, dass einzelne Agenten in kurzer Zeit übermäßige Aufrufe tätigen.
• Eingabevalidierung und -bereinigung: Strenge Validierung aller Eingaben an Agenten implementieren, um zu verhindern, dass fehlerhafte oder mehrdeutige Prompts ein außer Kontrolle geratenes Verhalten auslösen.
• Regelmäßige offensive Tests: Agenten proaktiv auf außer Kontrolle geratene Zustände, Fehlerschleifen-Schwachstellen und übermäßigen Token-Verbrauch unter Stress testen.

Wie moderne offensive Tests dies aufgedeckt hätten

Traditionelle Sicherheitstests konzentrieren sich oft auf Datenlecks und unbefugten Zugriff. Das Vorfallmuster „Token-Burn“ erfordert jedoch einen anderen Ansatz. Moderne offensive Tests, insbesondere autonome offensive Tests, würden diese Schwachstellen proaktiv identifizieren. Durch die Simulation des Versuchs eines Angreifers (oder eines versehentlichen Versuchs), einen außer Kontrolle geratenen Zustand herbeizuführen, können solche Tests Designfehler aufdecken, die zu übermäßigem Token-Verbrauch führen. Unsere Plattform, die sich auf KI-Agenten-Sicherheit konzentriert, ermöglicht autonome offensive Tests mit ausführbaren Proof-of-Concepts (PoCs). Dies ermöglicht es Sicherheitsteams, systematisch fehlerhafte Prompts einzuschleusen, Grenzfallfehler auszulösen und das Verhalten von Agenten unter Stress zu beobachten, um potenzielle Endlosschleifen zu identifizieren und deren Token-Burn-Rate zu quantifizieren, bevor sie die Produktionsbudgets beeinflussen. Diese proaktive Validierung geht über die theoretische Analyse hinaus und liefert konkrete Beweise für Schwachstellen und deren finanzielle Auswirkungen.

Was als Nächstes zu beachten ist

Da Unternehmen zunehmend ihre Geschäftsprozesse mit KI orchestrieren, wird sich das Spannungsfeld zwischen Geschwindigkeit und Kontrolle verschärfen. Der Fokus wird sich auf umfassende KI-Governance- und Agentensicherheits-Frameworks verlagern. Es werden voraussichtlich anspruchsvollere KI-Gateways entstehen, die eine zentrale Steuerung, Richtliniendurchsetzung und Echtzeit-Transparenz der Agentenaktivitäten und -kosten bieten. Die Entwicklung von Speicherebenen und kontextuellem Bewusstsein innerhalb von Agenten wird für Effizienz und Kostensenkung entscheidend sein. Darüber hinaus wird die Entwicklung von Industriestandards für die sichere Bereitstellung und den Betrieb von LLM-Agenten von größter Bedeutung sein. Ziel ist es, eine Zukunft zu schaffen, in der KI-Agenten nicht nur leistungsfähig, sondern auch auditierbar, vorhersehbar und kostengünstig sind, um die derzeitige Spannung zwischen der KI-Geschwindigkeit und dem kritischen Bedarf an finanzieller und operativer Kontrolle aufzulösen. Die Diskussion wird über bloße Funktionalität hinausgehen und die gesamte Lebenszyklussicherheit und wirtschaftliche Rentabilität von KI-Agenten-Bereitstellungen umfassen, um sicherzustellen, dass die Leistungsfähigkeit von KI nicht mit einem unerwartet hohen Preis einhergeht. Organisationen wie Palo Alto Networks betonen bereits die Notwendigkeit von „Agent Security“ und „AI Governance“ als kritische Kategorien für die sichere KI-Entwicklung und signalisieren damit eine breitere Branchenanerkennung dieser neuen Herausforderungen.