Die Demo, die zu gut funktionierte

Das Muster wiederholt sich in DACH-Mittelstandsunternehmen mit deprimierender Regelmäßigkeit. Ein vielversprechender Agentic-AI-Proof-of-Concept liefert im Labor beeindruckende Ergebnisse: ein Kundenservice-Agent, der Tier-1-Tickets ohne menschliche Eskalation löst, ein Beschaffungsassistent, der Lieferantenkonditionen verhandelt, ein Compliance-Prüfer, der regulatorische Lücken in Vertragsentwürfen markiert. Der Business Case sieht überzeugend aus. Die Geschäftsführung genehmigt den Produktivbetrieb. Drei Monate später meldet die Finanzabteilung ein Problem: Die Kosten pro Aufgabe stiegen auf €0,40, während ein Junior-Mitarbeiter bei €4.500-5.000/Monat Gesamtkosten und 500 bearbeiteten Aufgaben pro Monat €9-10 pro Aufgabe kostet – aber die erwarteten Einsparungen von 95% materialisierten sich nicht.

Der Fehlerfall ist nicht die Modellqualität. Der Agent leistet, was versprochen wurde. Der Fehler liegt darin, dass niemand die Wirtschaftlichkeitsstruktur eines autonomen Systems modelliert hat, das mehrere Modelle aufruft, fehlgeschlagene Schritte wiederholt, Kontext aus Vektorspeichern abruft, externe APIs aufruft und gelegentlich in teure Reasoning-Zyklen gerät, bevor es zu einer Antwort kommt. Das Innovationsbudget deckte den Piloten ab. Niemand hat ein Stückkostenmodell erstellt, das vorhersagen konnte, was passiert, wenn der Agent zehntausend Aufgaben pro Monat statt fünfzig bearbeitet.

Was die Leaderboard nicht verrät

Foundation-Model-Benchmarks messen Genauigkeit, Reasoning-Tiefe und Aufgabenerledigung auf kuratierten Datensätzen. Sie messen nicht die Kosten pro erfolgreich abgeschlossener Geschäftsaufgabe in einer Produktivumgebung, in der der Agent mehrdeutige Eingaben, unvollständigen Kontext und Sonderfälle bewältigen muss, die mehrere Tool-Calls oder die Eskalation zu einem teureren Modell erfordern. Ein Bericht in „The Economist" stellt fest, dass Unternehmen verzweifelt versuchen, explodierende KI-Kosten einzudämmen, wobei eine Führungskraft das aufkommende Problem als „absoluten Albtraum" beschreibt, da KI-Agenten sich über Hunderte von Unternehmenssoftware-Programmen ausbreiten und riesige Rechnungen verursachen. Das Problem wächst, weil Agentic-Modelle pro Aufgabe weitaus mehr Token verbrauchen als einfache Frage-Antwort-Systeme, sodass das Nutzungswachstum sinkende Stückkosten überholen kann, selbst wenn Token-Preise fallen.

Die Wirtschaftlichkeitsstruktur eines Agentic-Systems unterscheidet sich grundlegend von einem Chatbot. Ein Chatbot erhält einen Prompt, generiert eine Antwort und stoppt. Ein Agent erhält ein Ziel, plant eine Abfolge von Schritten, führt jeden Schritt aus (was den Aufruf anderer Modelle, Datenbankabfragen oder externe API-Aufrufe umfassen kann), bewertet das Ergebnis und entscheidet, ob er fortfahren, wiederholen oder eskalieren soll. Jeder Entscheidungspunkt verbraucht Token. Jeder Tool-Call fügt Latenz und Kosten hinzu. Jede Wiederholungsschleife multipliziert beides. Wie ein Branchenbeobachter auf „Towards Data Science" anmerkte: Wenn Agentic-Tools involviert sind und das Large Language Model Prompts konstruiert, die an andere Modelle weitergegeben werden, haben Sie nicht mehr die Kontrolle über die Länge der Prompts, und Sie haben nur minimale Kontrolle über die Anzahl der Token, mit denen ein Modell antwortet.

Das Ergebnis ist, dass die Kosten pro Aufgabe eine Verteilung werden, keine feste Zahl. Einige Aufgaben werden in einem Durchgang mit einem kleinen Modell erledigt. Andere lösen eine Eskalation zu einem größeren Modell, mehrere Retrieval-Schritte und mehrere Wiederholungsschleifen aus, bevor sie erfolgreich sind. Einige gelingen nie und müssen an einen Menschen weitergeleitet werden, was sowohl die fehlgeschlagenen Agent-Kosten als auch die Kosten für die menschliche Prüfung verursacht. Das Unternehmen, das für den Medianfall budgetiert, wird vom Tail überrascht werden.

Die versteckte Kostenstruktur eines Produktiv-Agenten

Ein CFO-taugliches Kostenmodell für ein Agentic-System muss mindestens sechs Kostenkomponenten berücksichtigen, von denen jede je nach Aufgabenkomplexität und Systemdesign um eine Größenordnung variieren kann. Model-Inferenz-Kosten sind am sichtbarsten: die Token-Gebühr für Input und Output über alle Modelle hinweg, die der Agent aufruft. In einem gut gestalteten System werden die meisten Aufgaben an ein kleines, schnelles, kostengünstiges Modell weitergeleitet. In einem schlecht gestalteten System trifft jede Aufgabe auf das größte verfügbare Modell, weil niemand Routing-Logik implementiert hat. Tool-Call- und API-Kosten akkumulieren sich, wenn der Agent einen externen Dienst aufruft: eine Vektordatenbank-Abfrage, eine Websuche, einen CRM-Lookup, eine Zahlungsgateway-Prüfung. Jeder Aufruf hat Stückkosten, und einige APIs berechnen pro Anfrage, unabhängig davon, ob die Anfrage erfolgreich ist. Retrieval-Kosten umfassen sowohl die Vektordatenbank-Abfrage (berechnet pro Embedding und pro zurückgegebenem Ergebnis) als auch die Kosten für die Übergabe des abgerufenen Kontexts in das Input-Fenster des Modells. Retrieval ist oft die größte versteckte Kostenkomponente in RAG-erweiterten Agenten, weil das System für jeden Schritt in einem mehrstufigen Plan Kontext abrufen muss, nicht nur einmal pro Aufgabe.

Wiederholungs- und Nachbearbeitungskosten entstehen, wenn der erste Versuch des Agenten eine Validierungsprüfung nicht besteht oder eine Ausgabe erzeugt, die die Erfolgskriterien der Aufgabe nicht erfüllt. Der Agent muss neu planen, zusätzlichen Kontext abrufen oder zu einem leistungsfähigeren Modell eskalieren. Jede Wiederholung verbraucht den gesamten Kostenstack erneut. Kosten für menschliche Prüfung und Eskalation umfassen sowohl die Zeit, die ein Mensch mit der Prüfung markierter Aufgaben verbringt, als auch die Opportunitätskosten, diesen Menschen von anderen Arbeiten abzuziehen. Wenn der Agent 15 Prozent der Aufgaben eskaliert und jede Eskalation zwanzig Minuten der Zeit eines mittleren Mitarbeiters in Anspruch nimmt, müssen die gemischten Kosten pro Aufgabe diese Arbeit berücksichtigen. Vendor-Minima und reservierte Kapazität erscheinen, wenn das Unternehmen sich zu einem monatlichen Mindestausgaben oder reservierter Inferenz-Kapazität verpflichtet, um niedrigere Token-Raten zu sichern. Diese Fixkosten müssen auf alle Aufgaben umgelegt werden; wenn die Auslastung sinkt, steigen die Kosten pro Aufgabe, obwohl die Token-Rate konstant bleibt.

Die Unternehmen, die diese Kosten im Produktivbetrieb entdecken, anstatt sie vor dem Deployment zu modellieren, stehen vor einer unangenehmen Wahl: eine Kostenstruktur akzeptieren, die den Agenten unwirtschaftlich macht, das System neu gestalten, um Kosten zu senken (was den ROI verzögert und das Team demoralisiert), oder die Nutzung des Agenten stillschweigend drosseln und zu manuellen Prozessen zurückkehren.

Model-Routing ist keine Optimierung, sondern das Geschäftsmodell

Der einzelne effektivste Kostenkontrollhebel in einem Agentic-System ist intelligentes Model-Routing: die Fähigkeit, jede Aufgabe an das kleinste, schnellste, günstigste Modell zu senden, das sie erledigen kann, und nur bei Bedarf zu eskalieren. Eine gut gestaltete Routing-Schicht kann die Gesamt-Inferenz-Kosten um 60 bis 80 Prozent im Vergleich zu einem naiven System reduzieren, das jede Aufgabe an das leistungsfähigste Modell sendet. Die Herausforderung besteht darin, dass Routing-Entscheidungen in Echtzeit getroffen werden müssen, basierend auf Aufgabenmerkmalen, die nicht immer aus der ursprünglichen Eingabe ersichtlich sind.

Eine nützliche Heuristik ist die Klassifizierung von Aufgaben in drei Stufen. Tier-1-Aufgaben sind hochvolumige, wenig mehrdeutige Anfragen, die einem bekannten Muster folgen: Bestellstatus prüfen, strukturierte Daten aus einem Standarddokument extrahieren, eine häufig gestellte Frage aus einer Wissensdatenbank beantworten. Diese Aufgaben können von einem kleinen, schnellen Modell mit einem eng gefassten Prompt und minimalem Retrieval bearbeitet werden. Die Kosten pro Aufgabe sollten in Bruchteilen eines Cents gemessen werden. Tier-2-Aufgaben erfordern moderates Reasoning, mehrstufige Planung oder Retrieval aus mehreren Quellen: Entwurf einer Antwort auf eine nicht standardisierte Kundenanfrage, Zusammenfassung eines komplexen Dokuments mit spezifischen Extraktionsanforderungen, Validierung einer Vertragsklausel gegen regulatorische Vorgaben. Diese Aufgaben rechtfertigen ein mittelgroßes Modell und einen teureren Retrieval-Schritt, zielen aber immer noch auf einstellige Cent-Beträge pro Aufgabe ab. Tier-3-Aufgaben beinhalten offenes Reasoning, mehrdeutige Ziele oder hochriskante Entscheidungen, bei denen Fehlerkosten inakzeptabel sind: Verhandlung von Konditionen mit einem Lieferanten, Entwurf einer Rechtsauskunft, Gestaltung einer maßgeschneiderten Lösung für einen Kunden. Diese Aufgaben können das größte verfügbare Modell, mehrere Reasoning-Durchgänge und menschliche Prüfung erfordern. Die Kosten pro Aufgabe können mehrere Euro erreichen, was nur akzeptabel ist, wenn der Wert der Aufgabe dies rechtfertigt.

Die Routing-Logik muss explizit, instrumentiert und kontinuierlich verfeinert sein. Wenn das System nicht erklären kann, warum es eine bestimmte Aufgabe an ein bestimmtes Modell weitergeleitet hat, kann das Unternehmen die Entscheidung nicht optimieren. Wenn das System die Kosten und das Ergebnis jeder Routing-Entscheidung nicht protokolliert, kann das Unternehmen nicht messen, ob die Routing-Logik funktioniert. Die Daten von „TechCrunch" zeigen, dass Foundation-Model-Anbieter explizit um Agentic-Kosten konkurrieren: Anthropic brachte Claude Sonnet 5 als „günstigeren Weg, Agenten zu betreiben" auf den Markt und positionierte es als Modell, das „Pläne erstellen, Tools wie Browser und Terminals verwenden und autonom auf einem Niveau laufen kann, das noch vor wenigen Monaten größere und teurere Modelle erforderte". Die Implikation ist klar: Die Unternehmen, die Routing beherrschen, werden einen strukturellen Kostenvorteil gegenüber denen haben, die es nicht tun.

Warum der erste Produktiv-Agent der schwierigste ist

Der erste Produktiv-Agent zwingt das Unternehmen, sich Fragen zu stellen, die es während der Pilotphase aufschieben konnte. Was sind die akzeptablen Kosten pro erfolgreich abgeschlossener Aufgabe? Wenn die Antwort „wir wissen es nicht" lautet, wird der Agent ohne Kostenbeschränkung gebaut, und das Unternehmen wird die Antwort zufällig entdecken, wenn die Rechnung eintrifft. Was ist die akzeptable Fehlerrate, und was sind die Kosten jedes Fehlers? Wenn der Agent eine Kundenanfrage falsch weiterleitet, sind die Kosten ein Folgeticket und geringfügige Kundenreibung. Wenn der Agent eine regulatorische Einreichung falsch klassifiziert, könnten die Kosten eine fünfstellige Geldstrafe und Reputationsschaden sein. Die akzeptable Fehlerrate muss in Bezug auf Fehlerkosten festgelegt werden, nicht isoliert. Was ist die Eskalationsschwelle, und wer besitzt eskalierte Aufgaben? Wenn der Agent zu oft eskaliert, wird er zu einem teuren Triage-Tool statt zu einem autonomen System. Wenn er zu selten eskaliert, wird er minderwertige Ausgaben produzieren, die Nacharbeit erfordern. Die Eskalationsschwelle muss auf die Risikotoleranz des Unternehmens und die Verfügbarkeit menschlicher Prüfer abgestimmt sein.

Was ist das Wiederholungsbudget? Ein Agent, der fehlgeschlagene Schritte unbegrenzt wiederholt, wird schließlich bei den meisten Aufgaben erfolgreich sein, aber die Kosten pro Aufgabe werden unbegrenzt sein. Ein Wiederholungsbudget legt eine maximale Anzahl von Versuchen (und maximale Kosten) fest, bevor der Agent eskaliert oder scheitert. Was ist die Modellauswahlrichtlinie? Wenn die Richtlinie „immer das beste verfügbare Modell verwenden" lautet, werden die Kosten hoch und das Routing trivial sein. Wenn die Richtlinie „das günstigste Modell verwenden, das die Erfolgskriterien erfüllt" lautet, werden die Kosten niedriger sein, aber das System muss Erfolgskriterien implementieren und Compliance messen. Was ist die Instrumentierungs- und Observability-Strategie? Wenn das Unternehmen nicht sehen kann, welche Aufgaben teuer sind, welche Routing-Entscheidungen suboptimal sind und welche Fehlermodi häufig sind, kann es das System nicht verbessern. Observability ist kein Nice-to-have, sondern die Feedback-Schleife, die Unit Economics handhabbar macht.

Die Unternehmen, die diese Fragen vor dem Deployment des ersten Produktiv-Agenten beantworten, bauen Systeme, die wirtschaftlich skalieren. Die Unternehmen, die die Fragen aufschieben, bauen Systeme, die im Labor funktionieren und in der Finanzprüfung scheitern.

Das CFO-Gespräch, das Sie irgendwann führen werden

Das Gespräch findet drei bis sechs Monate nach dem Start des ersten Produktiv-Agenten statt. Die Finanzabteilung präsentiert ein Diagramm, das zeigt, dass die monatlichen KI-Infrastrukturkosten schneller steigen als das Aufgabenvolumen. Die Geschäftsführung fragt, ob der Agent ROI liefert. Der KI-Verantwortliche erklärt, dass der Agent nach technischen Metriken gut abschneidet – Genauigkeit, Aufgabenerledigung, Benutzerzufriedenheit –, aber die Kosten pro Aufgabe höher sind als erwartet aufgrund von Wiederholungsschleifen, Eskalationsraten und unerwarteten Retrieval-Kosten. Der CFO fragt, warum diese Kosten nicht im Business Case modelliert wurden. Der KI-Verantwortliche erklärt, dass der Pilot mit einem kleinen Datensatz lief und nicht auf die Sonderfälle stieß, die die Kosten im Produktivbetrieb treiben. Der CFO fragt, was der Plan ist, um die Kosten mit dem ursprünglichen Business Case in Einklang zu bringen. Der KI-Verantwortliche hat keinen Plan, weil das System nicht instrumentiert wurde, um Kostentreiber zu identifizieren oder Routing-Alternativen zu testen.

Dieses Gespräch ist vermeidbar. Es erfordert den Aufbau eines Stückkostenmodells, bevor der Agent in den Produktivbetrieb geht: eine Tabelle oder Simulation, die die Kosten pro Aufgabe über die erwartete Verteilung der Aufgabentypen schätzt, die Auswirkungen von Routing-Entscheidungen und Wiederholungsrichtlinien modelliert und die Wirtschaftlichkeit gegen realistische Auslastungs- und Fehlerraten stresstestet. Das Modell muss nicht präzise sein – der Produktivbetrieb wird immer überraschen –, aber es muss explizit sein. Es muss das Team zwingen, seine Annahmen über Aufgabenmix, Modellkosten, Eskalationsraten und menschliche Prüfungszeit zu formulieren und die gemischten Kosten pro Aufgabe unter diesen Annahmen zu berechnen. Wenn die gemischten Kosten akzeptabel sind und die Annahmen vernünftig, kann der Agent mit einem Kostenbudget und einem Überwachungsplan in den Produktivbetrieb gehen. Wenn die gemischten Kosten inakzeptabel sind, kann das Team das System neu gestalten, den Aufgabenumfang anpassen oder zu dem Schluss kommen, dass der Agent noch nicht wirtschaftlich ist.

Die Alternative ist, die Unit Economics zu entdecken, indem man das System im großen Maßstab betreibt und die Rechnung liest. Diese Entdeckung ist teuer, demoralisierend und führt oft dazu, dass der Agent stillschweigend gedrosselt oder eingestellt wird. Die Unternehmen, die Unit Economics als Designbeschränkung behandeln, nicht als Post-Launch-Audit, bauen Agenten, die den Kontakt mit der Finanzabteilung überleben.

Wie ein Stückkostenbudget in der Praxis aussieht

Ein praktisches Stückkostenbudget für ein Agentic-System beginnt mit einer Aufgabentaxonomie: einer Liste der Aufgabentypen, die der Agent bearbeiten wird, dem erwarteten Volumen jedes Typs und den Zielkosten pro Aufgabe. Für einen Kundenservice-Agenten in einem DACH-Mittelstandsunternehmen könnte die Taxonomie umfassen: Bestellstatus-Anfragen (manuell: ~€1,50-1,75/Aufgabe bei Vollkosten von €30-35/Stunde für Kundenservice-Mitarbeiter, Zielkosten Agent: €0,02; 40 Prozent des Volumens), Produktinformationsanfragen (30 Prozent, Zielkosten 0,05 €), Rücksendungen und Erstattungen (15 Prozent, Zielkosten 0,10 €), Beschwerden und Eskalationen (10 Prozent, Zielkosten 0,50 € einschließlich menschlicher Prüfung) und Sonderfälle (5 Prozent, keine Kostenziele, da diese an Menschen weitergeleitet werden). Die gemischten Zielkosten pro Aufgabe, gewichtet nach Volumen, betragen etwa 0,08 €. Bei 50.000 Aufgaben pro Monat (typisch für einen Mittelständler mit 500+ Mitarbeitern) betragen die monatlichen Zielkosten 4.000 €.

Das Budget verteilt dann diese 0,08 € auf Kostenkomponenten. Eine vernünftige Startverteilung könnte sein: 0,03 € für Model-Inferenz (unter der Annahme, dass die meisten Aufgaben an ein kleines Modell mit gelegentlicher Eskalation weitergeleitet werden), 0,02 € für Retrieval (ein oder zwei Vektorabfragen pro Aufgabe), 0,01 € für Tool-Calls und API-Zugriff, 0,01 € für Wiederholung und Nachbearbeitung (unter der Annahme einer 10-Prozent-Wiederholungsrate mit durchschnittlich 1,5 Wiederholungen pro fehlgeschlagener Aufgabe) und 0,01 € für menschliche Prüfung (unter der Annahme einer 5-Prozent-Eskalationsrate mit zehn Minuten Prüfungszeit bei Vollkosten von €50/Stunde für mittlere Mitarbeiter). Die Verteilung ist eine Hypothese. Das System