Warum die Ausgaben steigen, obwohl die Modellleistung günstiger geworden ist
Die Leistung des besten Modells von Ende 2024 kostete damals 26,25 US-Dollar pro eine Million Token. Im Oktober 2026 war dieselbe Leistung nach unserem AI FinOps Monitor für 0,10 US-Dollar erhältlich. Gesunken ist also der Preis für ein bestimmtes Leistungsniveau, während die leistungsfähigsten Modelle weiterhin deutlich mehr kosten. Gleichzeitig erwartet Gartner, dass die weltweiten Ausgaben für GenAI-Modelle von 28,3 Milliarden US-Dollar im Jahr 2026 auf 51,6 Milliarden im Jahr 2027 steigen.
Die Ursache für die steigenden Ausgaben ist der höhere Verbrauch. Nach einer Gartner-Einschätzung vom August 2026 brauchen Agenten pro Aufgabe 5- bis 30-mal so viele Token wie ein Chatbot, und die Inferenzkosten pro agentischem Ablauf steigen bis 2028 auf mehr als das Fünffache. Artificial Analysis hat im Oktober seinen Intelligence Index umgestellt: Der mittlere Verbrauch stieg von 35.000 auf 59.000 Output-Token pro Aufgabe. Rund 90 Prozent aller Output-Token entfallen dabei auf die vier Tests des Index, in denen das Modell als Agent arbeitet, also eine Aufgabe selbstständig in vielen Schritten löst.
Erste Banken berichten inzwischen öffentlich über diese Entwicklung. Die Royal Bank of Canada nennt einen Token-Verbrauch, der innerhalb eines Jahres um 500 Prozent gewachsen ist. Bei der CIBC haben einzelne Aufgaben 10 bis 100 Millionen Token verbraucht. Die Commonwealth Bank of Australia stellt fest, dass Tokenkosten nicht linear mit der Nutzung wachsen, und TD hat eine eigene AI-FinOps-Funktion eingerichtet.
Hinzu kommt, dass sich weiter fallende Preise nicht mehr voraussetzen lassen. Die Linux Foundation hält in ihrer Ankündigung der Tokenomics Foundation vom Juni fest, dass die Preise pro Token nicht weiter sinken und neue Modelle teurer werden. Google hat für Gemini 4 Argon zum 1. Dezember 2026 eine Verdopplung der Listenpreise angekündigt.
Wo die Kosten eines Vorgangs entstehen
Ein Sprachmodell speichert zwischen zwei Aufrufen keine Informationen. Ein Agent, der einen Vorgang in 15 Schritten bearbeitet, übermittelt dem Modell deshalb in jedem Schritt erneut die Arbeitsanweisung, die Beschreibung der Werkzeuge, die Dokumente und alle bisherigen Zwischenergebnisse. Jeder Token, der einmal in diesem Kontext steht, wird in allen folgenden Schritten erneut verarbeitet und abgerechnet.
Ein Rechenbeispiel (unsere Berechnung): Ein Agent prüft einen Vorgang in 15 Schritten. Anweisung, Werkzeuge und Richtlinien umfassen 20.000 Token, jeder Schritt fügt 3.000 Token hinzu. Am Ende umfasst der Vorgang 62.000 Token an Inhalt. Über alle Schritte hinweg verarbeitet das Modell jedoch 615.000 Input-Token, die auch abgerechnet werden.
Input-Token, die der Agent im jeweiligen Schritt liest (in Tausend)
Arbeitsschritt des Agenten (jeder zweite gezeigt)
Lesebeispiel: In Schritt 15 liest der Agent 62.000 Token, obwohl nur 3.000 davon neu sind. Über alle 15 Schritte summiert sich das auf 615.000 Input-Token, von denen 553.000 aus dem Cache kommen (unsere Berechnung mit 20.000 Token für Anweisung und Werkzeuge und 3.000 neuen Token je Schritt).
10x
Der Agent liest insgesamt 615.000 Input-Token. Das sind zehnmal so viele, wie der fertige Vorgang mit 62.000 Token enthält.
3,1x
Braucht derselbe Agent 30 statt 15 Schritte, fallen 3,1-mal so viele Input-Token an.
0,36 $
So viel kostet der Vorgang mit Prompt-Caching, ohne Cache sind es 1,32 $. Bei 200.000 Vorgängen im Jahr ergibt das rund 71.000 statt 264.000 $.
Das Beispiel rechnet mit 2 US-Dollar pro eine Million Input-Token und 10 US-Dollar pro eine Million Output-Token. Token, die aus dem Cache gelesen werden, kosten 90 Prozent weniger, und für das Schreiben in den Cache fällt ein Aufschlag von 25 Prozent an. Die Größenordnung deckt sich mit den Messwerten im AI FinOps Monitor 11/2026: In den agentischen Tests lesen die Modelle 2 bis 49 Millionen Input-Token pro Aufgabe, mehr als 99 Prozent davon aus dem Cache. Ohne Cache wären dieselben Aufgaben 4- bis 10-mal so teuer (unsere Berechnung).
Aus dem Listenpreis lässt sich nur eingeschränkt ableiten, was ein Modell im Betrieb kostet. Claude Sonnet 5.5 kostet pro Token ein Fünftel von GPT-6 Astra, verbraucht aber 5,5-mal so viele Output-Token. Pro Aufgabe fallen deshalb 10,02 statt 6,25 US-Dollar an. Einen ähnlich großen Einfluss hat der Reasoning-Effort: Claude Opus 5.5 erreicht im Index von Artificial Analysis auf niedriger Stufe 35 Punkte für 0,98 US-Dollar pro Aufgabe, auf höchster Stufe 58 Punkte für 10,04 US-Dollar.
Eine Architektur, in der sich Modelle austauschen und Kosten messen lassen
Bei vielen Finanzdienstleistern sind die ersten KI-Anwendungen einzeln entstanden. Nach unserer Beobachtung ruft dann häufig jede Anwendung das Modell eines Anbieters direkt auf, mit einem eigenen API-Schlüssel, und die Kosten erscheinen als Sammelposition auf der Rechnung des Modellanbieters oder des Cloud-Kontos. Aus dieser Rechnung geht nicht hervor, was die Bearbeitung eines Schadenfalls oder eines Kreditantrags gekostet hat.
Eine Architektur sollte deshalb drei Fähigkeiten mitbringen. Erstens lässt sich ein Modell mit geringem Aufwand gegen ein anderes austauschen, ohne dass jede Anwendung einzeln angepasst werden muss. Zweitens zeigen eigene Evals vor jedem Wechsel, wie gut das neue Modell die Aufgabe erfüllt. Drittens werden die Kosten jedes Modellaufrufs dem fachlichen Vorgang zugeordnet. Abbildung 2 zeigt einen Aufbau, der das leistet: Die Aufrufe laufen vom Fachprozess über die Agenten und ein zentrales KI-Gateway zu den Modellen, und Evals sowie die laufende Messung begleiten alle vier Ebenen.
Legt fest, was ein abgeschlossener Vorgang ist und aus welchen Arbeitsschritten er besteht.
- Schadenfall
- Kreditantrag
- Kundenanliegen
- Fondsreport
Zerlegt den Vorgang in Schritte und gibt jedem Schritt nur den Kontext, den er braucht.
- Obergrenze für Schritte
- Token-Budget je Vorgang
- Zusammenfassen langer Verläufe
- Übergabe an Menschen
Zentrale Stelle für die Modellaufrufe, mit einem eigenen API-Schlüssel je Anwendungsfall.
- Routing-Regeln
- Budgets und Limits
- Freigegebene Modelle
- Protokoll je Aufruf
- Reasoning-Effort je Schritt
Austauschbar, weil das Gateway jedem Anwendungsfall sein Modell zuweist und die Anwendung es nicht selbst festlegt.
- Kleine Modelle
- Spitzenmodelle
- Open-Weight-Modelle im eigenen Betrieb
- EU-Endpunkte
- Evals mit eigenen Fällen und erwarteten Ergebnissen
- Vergleich von Modellen vor jedem Wechsel
- Kosten pro Vorgang
- Qualität pro Vorgang
- Durchlaufzeit
- Freigabe für jeden Modellwechsel
Schematische Darstellung. Die Ebenen sind unabhängig von einzelnen Produkten und Anbietern.
Ein KI-Gateway ist in vielen Architekturen noch nicht vorhanden oder leitet Anfragen lediglich technisch weiter. Sinnvoll ist es, jeden Anwendungsfall, zum Beispiel die Schadenprüfung, im Gateway einzeln anzulegen. Er erhält dort einen eigenen API-Schlüssel, ein eigenes Budget und eine Konfiguration. Sie legt fest, welches Modell mit welchem Reasoning-Effort arbeitet und welches Modell einspringt, wenn das erste nicht erreichbar ist. Über den Schlüssel lässt sich jeder Aufruf einem Anwendungsfall und einem Vorgang zuordnen. Weil das Modell in der Konfiguration des Gateways hinterlegt ist, kann es dort ausgetauscht werden, ohne dass die Anwendung geändert werden muss.
Evals sind die zweite Voraussetzung. Gemeint ist ein gepflegter Bestand eigener Fälle mit erwarteten Ergebnissen, gegen den jedes infrage kommende Modell automatisiert geprüft wird. Erst der Vergleich von Qualität, Kosten und Durchlaufzeit auf diesen Fällen zeigt, ob ein günstigeres Modell oder ein niedrigerer Reasoning-Effort für einen Arbeitsschritt ausreicht. Ranglisten wie der Intelligence Index helfen bei der Vorauswahl, ersetzen diese Prüfung aber nicht.
Dass diese Grundlagen häufig fehlen, zeigen zwei Befragungen aus diesem Jahr. Laut Harness und Sapio (700 Unternehmen, davon 100 aus Deutschland) hatten 72 Prozent bereits eine unerwartet hohe KI-Rechnung, 52 Prozent haben keinen klaren Kostenverantwortlichen, und nur 20 Prozent könnten die Ursache einer Verdopplung innerhalb von Stunden finden. In einer Befragung von VentureBeat leiten nur 31 Prozent der Unternehmen Routineaufgaben ihrer Agenten an günstigere Modelle, und 21 Prozent haben keinen Mechanismus, der den Token-Verbrauch eines Agenten automatisch stoppt.
Wir betreiben unsere eigenen KI-Anwendungen nach diesem Muster. Eine Anwendung nennt dem Gateway nur ihren Anwendungsfall, und welches Modell ihn bearbeitet, ist in der Konfiguration des Gateways hinterlegt. Erscheint ein günstigeres oder besseres Modell, ändern wir diese Konfiguration zunächst in der Testumgebung und geben sie danach für den Betrieb frei. Die Anwendung selbst muss dafür nicht geändert und neu ausgeliefert werden.
Mit welchen Maßnahmen sich die Kosten pro Vorgang senken lassen
Die folgenden sieben Maßnahmen lassen sich mit den Schnittstellen der Modellanbieter, etwa von Anthropic, OpenAI und Google, heute umsetzen. Ob sie die erwartete Wirkung erzielen, hängt in der Praxis davon ab, ob der Prozess die jeweilige Voraussetzung erfüllt und ob die Maßnahmen aufeinander abgestimmt sind.
| Hebel | Wirkung | Voraussetzung | Grenze |
|---|---|---|---|
| Modell-Routing | Modelle knapp unter der Spitzenleistung kosten pro Aufgabe häufig nur einen Bruchteil des Spitzenmodells. Routineschritte lassen sich deshalb deutlich günstiger bearbeiten. | Arbeitsschritte sind nach Schwierigkeit und Fehlerfolgen eingestuft, ein Testdatensatz liegt vor. | Werden viele Fälle doch an das große Modell weitergereicht, schrumpft die Einsparung. Ohne Qualitätsmessung je Route fällt ein Qualitätsverlust nicht auf. |
| Reasoning-Effort | Dasselbe Modell kann auf der höchsten Stufe ein Vielfaches dessen kosten, was es auf einer niedrigen Stufe kostet. In aktuellen Messungen liegt der Faktor bei etwa zehn. | Der Effort ist je Arbeitsschritt festgelegt: hoch, wo Fehler teuer sind, niedrig für Routine. | Bei manchen Anbietern wird der Cache des bisherigen Verlaufs ungültig, wenn der Effort innerhalb eines Vorgangs wechselt. |
| Prompt-Caching | Token, die aus dem Cache gelesen werden, kosten nur einen kleinen Teil des normalen Preises. Bei Agenten mit vielen Schritten ist das in der Regel die größte einzelne Einsparung. | Anweisung, Werkzeuge und feste Dokumente stehen unverändert am Anfang, alles Veränderliche am Ende. | Das Schreiben in den Cache kostet einen Aufschlag, und ohne erneute Nutzung verfällt der Cache standardmäßig nach einigen Minuten. Eine geänderte Anweisung oder Werkzeugdefinition macht ihn ungültig. |
| Gezielter Kontext | Jeder Token, der nicht im Kontext steht, wird in allen folgenden Schritten eingespart. Die Wirkung wächst deshalb mit der Zahl der Schritte. | Der Agent holt Dokumente bei Bedarf, kürzt Werkzeug-Ergebnisse und fasst lange Verläufe zusammen. | Zu stark gekürzter Kontext führt zu Fehlern und Wiederholungen, die mehr kosten als die Einsparung. |
| Batch-Verarbeitung | Für Aufträge, die nicht sofort beantwortet werden müssen, gewähren die Anbieter einen deutlichen Nachlass, derzeit meist die Hälfte des Preises. | Der Prozess verträgt Stunden bis zur Antwort, etwa bei Bestandsprüfungen oder Berichten über Nacht. | Für Vorgänge, bei denen ein Kunde oder eine Sachbearbeiterin wartet, scheidet der Hebel aus. |
| Budgets und Abbruchgrenzen | Begrenzen den teuersten Einzelfall: Ein Agent in einer Schleife wird gestoppt, bevor er Millionen Token verbraucht. | Ein Token-Budget und eine maximale Zahl von Arbeitsschritten je Vorgang sind im Gateway und in der Orchestrierung hinterlegt. | Zu enge Grenzen brechen auch schwierige Fälle ab, die den Aufwand rechtfertigen. Ein gestoppter Vorgang muss an einen Menschen übergeben werden. |
| Open-Weight-Modelle | Open-Weight-Modelle kosten pro Aufgabe oft deutlich weniger und lassen sich im eigenen Rechenzentrum oder bei einem Betreiber in der EU betreiben. | Eigene Betriebsfähigkeit oder ein Betreiber in der EU, dazu eine gleichmäßige Auslastung. | Die besten Open-Weight-Modelle liegen in der Leistung bisher hinter den Spitzenmodellen. Bei geringer Auslastung werden aus variablen Kosten Fixkosten. |
Die Größenordnungen stammen aus dem AI FinOps Monitor 11/2026 und aus der Dokumentation von Anthropic, OpenAI und Google (Stand November 2026). Aktuelle Preise und Messwerte einzelner Modelle veröffentlichen wir monatlich im AI FinOps Monitor.
Für die Architektur ergeben sich daraus zwei Folgerungen. Zum einen setzen Caching und Routing eine stabile Konfiguration voraus. Modell, Reasoning-Effort, Anweisung und Werkzeuge sollten je Arbeitsschritt einmal festgelegt und anschließend nur über einen geregelten Freigabeprozess geändert werden, vergleichbar mit einem Release. Wird bei jeder Anfrage neu entschieden, kann der Cache nicht genutzt werden, und damit entfällt die Maßnahme mit der größten Einzelwirkung. Zum anderen rechnet sich Caching nur, wenn derselbe Anfang einer Anfrage häufig genug wiederverwendet wird. Für lange Anweisungen sollte deshalb berechnet werden, ab wie vielen Aufrufen innerhalb der Haltezeit der Aufschlag für das Schreiben in den Cache ausgeglichen ist.
Beim semantischen Caching erhalten ähnliche Fragen dieselbe gespeicherte Antwort. In regulierten Prozessen empfehlen wir, dieses Verfahren nur mit Vorsicht einzusetzen, weil eine Antwort auf eine ähnliche, aber nicht identische Frage in einer Kundenauskunft oder einer Leistungsentscheidung fachlich falsch sein kann.
Wie die Bausteine bei einem Kundenanliegen zusammenwirken
Geht ein Kundenanliegen ein, wird der Vorgang zunächst mit einem kleinen Modell und festen Regeln eingestuft. Von dieser Einstufung hängt ab, welches Modell den Vorgang bearbeitet, mit welchem Reasoning-Effort es arbeitet und wie viel Kontext es erhält. Ist die Einstufung nicht eindeutig, wird der Vorgang der nächsthöheren Stufe zugeordnet.
Kleines Modell und feste Regeln, im Zweifel eine Stufe höher
Routinefall
- Kleines Modell liest Daten aus und ordnet zu
- Regelprüfung ohne Modell
- Antwort oder Buchung
Niedriger Reasoning-Effort, fester Anfang aus dem Cache, wenige Schritte
Prüffall
- Mittleres Modell mit Auszug aus der Akte
- Agent mit Token-Budget und begrenzter Zahl von Schritten
- Stichprobe durch den Fachbereich
Mittlerer Reasoning-Effort, Kontext wird je Schritt gezielt geladen
Sonderfall
- Spitzenmodell mit hohem Reasoning-Effort
- Vorschlag mit Begründung und Quellen
- Entscheidung durch die Sachbearbeitung
Höchste Kosten je Vorgang, dort, wo ein Fehler am teuersten ist
Beispielhafte Verteilung. Die Anteile in Ihrem Prozess zeigt erst die Messung mit eigenen Fällen; sie gehört zu jedem Business Case.
In diesem Ablauf wählen die Mitarbeiter in der Sachbearbeitung kein Modell aus. Die kanadische Bank CIBC geht nach eigenen Angaben ebenso vor: Ihre Plattform stuft jede Anfrage ein und bestimmt das Modell, eine Auswahl durch die Nutzer ist nicht mehr vorgesehen. Die Modellwahl ist damit Teil der Architektur und kann getestet, gemessen und freigegeben werden. Welche fachliche Einheit sich für die Messung eignet, hängt vom Geschäft ab.
- →Banken: Kosten pro geprüftem Kreditantrag, pro abgeschlossener KYC-Prüfung oder pro bearbeiteter Zahlungsreklamation.
- →Versicherer: Kosten pro bearbeitetem Schadenfall, pro Leistungsantrag oder pro eingegangenem Dokument im Posteingang.
- →Asset Manager: Kosten pro erstelltem Fondsreport, pro beantwortetem Fragebogen eines Investors oder pro ausgewertetem Geschäftsbericht. Die Dokumente sind hier oft mehrere hundert Seiten lang. Die Kosten sinken deshalb deutlich, wenn der Agent nur die Abschnitte lädt, die er für den jeweiligen Arbeitsschritt braucht.
Was Aufsicht und Standort an der Rechnung ändern
Für regulierte Häuser kommen zwei Themen hinzu, die sowohl die Kosten als auch die Architektur betreffen. Das erste ist der Ort der Verarbeitung. OpenAI berechnet für regionale Verarbeitung bei neueren Modellen 10 Prozent Aufschlag. Anthropic bietet auf der eigenen Schnittstelle keine Verarbeitung ausschließlich in der EU an; sie läuft über Amazon Bedrock oder Google Cloud, mit ebenfalls 10 Prozent Aufschlag auf regionale Endpunkte. Mit dem Ort der Verarbeitung wird also zugleich über die Plattform entschieden, und der Aufschlag sollte in der Kalkulation pro Vorgang berücksichtigt werden.
Das zweite Thema ist die Abhängigkeit von einzelnen Anbietern. Die europäischen Aufsichtsbehörden EBA, EIOPA und ESMA haben am 31. Juli 2026 in einer gemeinsamen Erklärung zu IKT-Risiken durch Frontier-KI eine belastbare Governance gefordert und Aufsichtsaktivitäten unter DORA für kritische Drittanbieter angekündigt. Eine Architektur, in der sich das Modell je Arbeitsschritt austauschen lässt, erfüllt deshalb zwei Zwecke. Sie ermöglicht den Wechsel auf ein günstigeres Modell ohne eigenes Projekt, und sie bildet die technische Grundlage für eine Ausstiegsstrategie.
Auch die Abrechnungsdaten der Anbieter werden genauer, sie ersetzen die eigene Messung jedoch nicht. Der Abrechnungsstandard FOCUS soll in Version 1.5 am 3. Dezember 2026 verabschiedet werden und ordnet Kosten einem Modell und einem API-Schlüssel zu. Reasoning-Token und Batch-Tarife sind nach dem veröffentlichten Umfang nicht enthalten. Die Zuordnung der Kosten zum fachlichen Vorgang muss weiterhin das eigene Protokoll leisten, das zugleich als Nachweis gegenüber Revision und Aufsicht dient.
In welcher Reihenfolge Sie vorgehen können
- 01Einen Vorgang als Einheit festlegen. Wählen Sie einen Prozess mit Volumen und definieren Sie, wann ein Vorgang fachlich abgeschlossen ist.
- 02Die Modellaufrufe zentral führen. Ein Gateway mit einem API-Schlüssel je Anwendungsfall liefert Kosten und Verbrauch pro Vorgang, noch bevor Sie etwas optimieren, und schafft die Stelle, an der sich Modelle später austauschen lassen.
- 03Eigene Evals aufbauen. Eigene Fälle mit erwarteten Ergebnissen sind die Grundlage dafür, ein günstigeres Modell oder einen niedrigeren Reasoning-Effort ohne Qualitätsverlust einzusetzen.
- 04Die Konfiguration je Arbeitsschritt festlegen. Modell, Reasoning-Effort, Anweisung und Kontext werden einmal entschieden, versioniert und freigegeben. Der feste Teil steht am Anfang, damit der Cache greift.
- 05Budgets und Abbruchgrenzen setzen. Jeder Vorgang bekommt ein Token-Budget und eine maximale Zahl von Arbeitsschritten. Wird ein Vorgang gestoppt, übernimmt ihn ein Mensch.
- 06Den Modell-Mix regelmäßig prüfen. Neue Modelle erscheinen jeden Monat. Ein Test mit eigenen Fällen, mindestens einmal im Quartal, zeigt, ob sich ein Wechsel lohnt.
Die ersten drei Schritte senken die Kosten noch nicht. Sie schaffen jedoch die Messung und die Evals, mit denen sich die Wirkung der übrigen Schritte belegen und gegenüber dem Fachbereich vertreten lässt. Routing und Caching lassen sich auch nachträglich einführen. Der Aufwand ist dann allerdings höher, weil Anweisungen, Werkzeuge und Kontext dafür neu geordnet werden müssen.
Was kostet ein Vorgang bei Ihnen heute?
Wenn Sie diese Frage an einem konkreten Prozess durchgehen möchten: In einer 45-minütigen Working Session betrachten wir gemeinsam die Kosten pro Vorgang, die wichtigsten Verbrauchstreiber und die Annahmen in Ihrer Architektur.
Working Session vereinbaren- Zeyt Advisory: AI FinOps Monitor 10/2026 und 11/2026, Datenstand 07.10.2026 und 02.11.2026. Modelldaten von Artificial Analysis, Marktzahlen von Gartner (Pressemitteilungen vom 20.07.2026 und 16.09.2026).
- VentureBeat, 16.10.2026: Gartner says agent costs will rise fivefold by 2028 (Gartner-Einschätzung vom 17.08.2026; Befragung VB Pulse, 109 Unternehmen, September 2026).
- Artificial Analysis, 27.10.2026: Intelligence Index v5.
- Evident Banking Brief, 11.06.2026: Time to pay the AI piper.
- American Banker, 29.06.2026: How banks are looking to tame their growing AI bills.
- Linux Foundation, 03.06.2026: Ankündigung der Tokenomics Foundation.
- Harness und Sapio Research, 29.07.2026: Befragung von 700 Unternehmen zu KI-Ausgaben.
- Anthropic: Dokumentation zu Prompt-Caching, Preisen und Datenresidenz, abgerufen am 10.11.2026.
- OpenAI: Dokumentation zu Prompt-Caching und Preisen, abgerufen am 10.11.2026.
- Google: Preise und Caching der Gemini-Schnittstelle, abgerufen am 10.11.2026.
- FinOps Foundation: Umfang von FOCUS 1.5, Stand Oktober 2026.
- EBA, EIOPA und ESMA, 31.07.2026: Gemeinsame Erklärung zu IKT-Risiken durch Frontier-KI (JC 2026 25).
