Was der Betrieb von LLMs in der Produktion wirklich kostet (mit Zahlen)

Alle reden davon, KI in ihre Produkte zu integrieren. Wenige sprechen über die Rechnung, die am Monatsende eintrifft.

Bei Soamee haben wir zwei Jahre damit verbracht, KI-Funktionen für Kunden aus verschiedenen Branchen zu entwickeln: von Kundensupport-Chatbots bis hin zu RAG-Systemen für die Verarbeitung juristischer Dokumente. In dieser Zeit haben wir gelernt, dass die tatsächlichen Kosten des Betriebs von LLMs in der Produktion wenig mit dem zu tun haben, was man sich anfangs vorstellt. Die Überraschungen gehen fast immer in die falsche Richtung.

Dies ist der Artikel, den ich mir gewünscht hätte, als wir anfingen. Echte Zahlen, konkrete Szenarien und Strategien, die tatsächlich funktionieren.

Token-Preise 2025-2026: Die Tabelle, die du brauchst

Bevor wir über Szenarien sprechen, müssen wir die Grundpreise kennen. Die heute in der Produktion relevanten Modelle sind diese:

Ein wichtiger Hinweis: Der Preis pro Token ist die Kosten der Token selbst. In der echten Produktion blähen der System-Prompt (der bei jedem Aufruf wiederholt wird), der Gesprächsverlauf und der RAG-Kontext die Anzahl der Eingabe-Token enorm auf. Das ist der häufigste Fehler bei Kostenschätzungen.

Echte Szenarien: Was kostet es genau?

Konkrete Zahlen für die vier häufigsten Anwendungsfälle.

Szenario 1: Kundensupport-Chatbot (1.000 Anfragen/Tag)

Typische Parameter:

• System-Prompt: 500 Token (Anweisungen, Ton, FAQ-Basis)
• Durchschnittlicher Gesprächsverlauf: 800 Token (4-5 Runden)
• Nutzeranfrage: 100 Token
• Modellantwort: 300 Token

Gesamt pro Aufruf: ~1.400 Input-Token + 300 Output-Token

Für einen einfachen Chatbot mit niedrigem bis mittlerem Volumen sind GPT-4o mini, Claude Haiku oder Gemini Flash zu minimalen Kosten vollkommen valide Optionen. Die entscheidende Frage ist, ob die Antwortqualität für deinen Anwendungsfall ausreicht.

Szenario 2: Dokumentenverarbeitung (500 Dokumente/Tag, ~5 Seiten je)

Dokumente verändern die Gleichung grundlegend. Eine A4-Seite hat etwa 400-500 Wörter, was ungefähr 500-600 Token entspricht.

Parameter:

• 5-seitiges Dokument: ~2.500 Input-Token
• Anweisungs-Prompt: 300 Token
• Generierte Zusammenfassung/Extraktion: 500 Token

Gesamt pro Dokument: ~2.800 Input-Token + 500 Output-Token

Für die Dokumentenverarbeitung, wo Präzision kritisch ist (Verträge, medizinische, finanzielle Dokumente), rechtfertigen Claude Sonnet oder GPT-4o ihre Mehrkosten. Für die strukturierte Datenextraktion aus einfacheren Dokumenten bietet Gemini Flash ein unschlagbares ROI.

Szenario 3: Code-Assistent (200 aktive Entwickler/Tag)

Ein Code-Assistent hat ein sehr anderes Token-Profil: Code-Snippets sind token-dicht (Code mit seiner Syntax verbraucht mehr Token pro Zeichen als natürlicher Text).

Geschätzte Parameter pro Sitzung:

• Code-Kontext: 3.000 Token
• Gesprächsverlauf: 1.500 Token
• System-Prompt: 400 Token
• Antwort mit Code: 800 Token
• Durchschnitt: 4 Interaktionen/Sitzung

Gesamt pro Sitzung: ~23.600 Input-Token + 3.200 Output-Token

Für Code-Assistenten in mittelgroßen Teams liegen die Kosten je nach Modell zwischen $370 und $714/Monat. Nicht übermäßig, aber es gibt erhebliches Optimierungspotenzial durch Caching des Projektkontexts.

Szenario 4: RAG-System (Dokumentenbasis + 2.000 Anfragen/Tag)

RAG-Systeme fügen eine Schicht hinzu: Das Retrieval holt relevante Fragmente aus einer Vektordatenbank, die in den Prompt jeder Anfrage eingefügt werden.

Parameter:

• Abgerufene Fragmente: 3 Chunks × 400 Token = 1.200 Token
• System-Prompt: 600 Token
• Nutzeranfrage: 150 Token
• Generierte Antwort: 400 Token

Gesamt pro Anfrage: ~1.950 Input-Token + 400 Output-Token

Bei RAG mit hohem Volumen beginnt der Unterschied zwischen Premium- und Economy-Modellen sehr relevant zu werden.

Die versteckten Kosten, die niemand erwähnt

Token sind nur die Spitze des Eisbergs. In der echten Produktion werden mehrere Kostenkategorien in den anfänglichen Schätzungen ignoriert:

Infrastruktur und Observability

• Vektordatenbank: Pinecone beginnt bei $70/Monat für einen kleinen Index. Weaviate Cloud oder Qdrant haben günstigere Optionen ab $25/Monat. Self-hosted fügt DevOps-Kosten hinzu.
• Monitoring und Tracing: Tools wie LangSmith (ab $39/Monat), Langfuse (Open Source mit Self-Hosting) oder Helicone (ab $20/Monat) sind in der Produktion unverzichtbar. Ohne sie ist das Debuggen eines fehlschlagenden Agenten ein Albtraum.
• API-Gateway und Rate Limiting: Das Verwalten von Rate Limits, Retries und Fallbacks erfordert entweder eine SaaS-Lösung oder Engineering-Zeit.

Latenz und ihre indirekten Kosten

Die Latenz von LLMs ist real und hat geschäftliche Kosten:

• GPT-4o: 500-1.500 ms Zeit bis zum ersten Token
• Claude Sonnet 4: 400-1.200 ms
• Gemini 2.5 Flash: 200-600 ms
• Llama 3.3 70B (self-hosted, gute GPU): 300-800 ms

Für konversationelle Benutzeroberflächen hat eine Latenz über 2 Sekunden direkten Einfluss auf die Nutzerzufriedenheit. Streaming mildert die Wahrnehmung, aber nicht die tatsächliche Antwortzeit.

Der indirekte Kostenfaktor: Wenn du Worker hast, die im Batch verarbeiten, und die durchschnittliche Latenz 1 Sekunde pro Aufruf beträgt, brauchst du für 100.000 Aufrufe/Tag genug Parallelität, um Engpässe zu vermeiden. Mehr Parallelität bedeutet mehr Infrastruktur.

Fehlerbehandlung und Retries

LLMs schlagen fehl. Die APIs von OpenAI und Anthropic haben hohe Uptime-SLAs (>99,9 %), aber in der Produktion mit Tausenden täglicher Aufrufe passieren Fehler. Ein robustes System braucht:

• Retry-Logik mit exponential Backoff
• Circuit Breaker, um Fehlerkaskaden zu verhindern
• Fallback auf alternative Modelle, wenn das primäre nicht verfügbar ist

Diese Engineering-Arbeit hat Entwicklungskosten (typischerweise 2-4 Wochen, um es richtig zu machen) und Infrastrukturkosten (wenn man Redundanz über mehrere Anbieter hinweg pflegt).

Kosten fehlgeschlagener Aufrufe

Aufrufe, die einen Fehler, Timeout oder eine ungültige Antwort zurückgeben, verbrauchen ebenfalls Token (teilweise) oder Compute-Zeit beim Self-Hosting. In einem schlecht optimierten System können 5-10 % der Aufrufe “Verschwendung” sein. Bei 10.000 Aufrufen/Tag sind das 500-1.000 Aufrufe/Tag an Nettovertust.

Optimierungsstrategien: Wie man die Rechnung um 40-70 % senkt

Nach der Arbeit an mehreren Produktionssystemen sind dies die Strategien, die wirklich funktionieren:

1. Semantisches Caching (potenzielles Einsparpotenzial: 30-60 %)

Semantisches Caching geht über das traditionelle Exact-Match-Caching von Antworten hinaus. Anstatt nach exakten String-Übereinstimmungen zu suchen, werden Embeddings verwendet, um ähnliche Anfragen zu finden und die Antwort wiederzuverwenden, wenn die Ähnlichkeit einen Schwellenwert übersteigt.

Typische Implementierung:

1. Beim Empfang einer Anfrage das Embedding generieren (Kosten: Bruchteil eines Cents)
2. Im Embedding-Cache suchen, ob es etwas Ähnliches gibt (Kosinus-Ähnlichkeit > 0,92)
3. Bei einem Treffer die gecachte Antwort zurückgeben, ohne den LLM aufzurufen
4. Bei keinem Treffer den LLM aufrufen und das Ergebnis cachen

In Chatbots mit repetitiven Anfragen (Support, FAQs) kann die Trefferrate 40-60 % erreichen. In RAG-Systemen mit vielfältigeren Fragen 15-25 %. Tools wie GPTCache oder eigene Implementierungen auf Redis sind praktikable Optionen.

2. Model Routing (potenzielles Einsparpotenzial: 40-70 %)

Nicht jede Anfrage benötigt dasselbe Modell. Ein Routing-System klassifiziert die Komplexität jeder Anfrage und sendet sie an das geeignete Modell:

• Einfache Anfrage (“Wie sind die Öffnungszeiten?”) → Gemini Flash oder GPT-4o mini
• Mittlere Anfrage (“Erkläre mir die Vertragsbedingungen”) → Claude Haiku oder GPT-4o mini
• Komplexe Anfrage (“Analysiere diese drei Verträge und zeig mir die wesentlichen Unterschiede”) → Claude Sonnet oder GPT-4o

Der Klassifizierer kann ein weiterer kleiner LLM sein (minimale Kosten) oder ein traditioneller Klassifizierer, der mit Beispielen aus deiner Domäne trainiert wurde. In Systemen mit typischer Anfragenverteilung (70 % einfach, 20 % mittel, 10 % komplex) sind die Einsparungen enorm.

3. Prompt-Optimierung (potenzielles Einsparpotenzial: 20-40 %)

Der System-Prompt ist einer der größten Treiber der Token-Inflation. Wir haben Prompts mit 2.000-3.000 Token gesehen, die ohne Qualitätsverlust auf 400-600 Token reduziert werden konnten. Einige Techniken:

• Redundanzen eliminieren: “Du bist ein professioneller und freundlicher Kundensupport-Assistent, der immer höflich und professionell antwortet” → “Support-Assistent. Ton: professionell und direkt.”
• Kompakte Strukturen verwenden: Listen statt Absätze, YAML statt beschreibendem Text
• Statische Informationen ins Context-Caching verschieben (Anthropic und Google bieten reduzierte Preise für gecachte Prompts, die in vielen Aufrufen verwendet werden)

Anthropics Context-Caching berechnet den System-Prompt zu reduzierten Preisen (~$0,30/1M Token vs. $3,00/1M bei Sonnet), wenn er über mehrere aufeinanderfolgende Aufrufe verwendet wird. Für einen 1.000-Token-System-Prompt bei 10.000 Aufrufen/Tag sind die Einsparungen erheblich.

4. Batching und asynchrone Verarbeitung

Für Aufgaben, die keine Echtzeit-Antwort erfordern (Dokumentenverarbeitung, Report-Generierung, Analysen), ermöglicht die Batch-Verarbeitung:

• Die Batch API von OpenAI zu nutzen (50 % Rabatt gegen Latenz von bis zu 24 Stunden)
• Die GPU-Auslastung beim Self-Hosting zu optimieren und Unterbelegung zu vermeiden
• Rate Limits besser zu verwalten ohne zusätzliche Queue-Infrastruktur

Für 500 Dokumente/Tag ohne Bedarf an sofortigem Ergebnis halbiert OpenAIs Batch API die Rechnung.

5. RAG-Kontext-Optimierung

In RAG-Systemen ist entscheidend, wie viel Kontext an den LLM übergeben wird:

• Präzises Retrieval: Die Retrieval-Qualität verbessern, um nur die relevantesten Chunks abzurufen (3 gute Chunks > 10 mittelmäßige)
• Optimiertes Chunking: Kleinere, präzisere Chunks reduzieren Token ohne Qualitätseinbußen
• Reranking: Ein günstiges Reranking-Modell (z. B. Cohere Rerank) verbessert die Chunk-Auswahl, bevor sie an den LLM übergeben werden

Self-hosted vs. API: Wann macht was Sinn?

Die häufigste Frage, die uns gestellt wird: “Wäre es nicht günstiger, das Modell selbst zu hosten?”

Die ehrliche Antwort: Das hängt davon ab, aber für die meisten Unternehmen gewinnt die kommerzielle API bis zu hohen Volumen.

Kosten des Self-Hostings (Llama 3.3 70B als Referenz)

Um Llama 3.3 70B mit produktionstauglicher Performance zu betreiben, braucht man:

• Benötigte GPU: Mindestens 2× A100 80 GB oder Äquivalent für guten Durchsatz
• Kosten auf AWS: p4d.24xlarge ($32/Stunde) oder g5.48xlarge ($16/Stunde)
• Dedizierte Instanz 24/7: $32 × 24 × 30 = ~$23.000/Monat (AWS On-Demand)
• Mit Reserved Instances (1 Jahr): Kann auf ~$11.000-14.000/Monat sinken
• Spot-Alternative: Möglich, aber Instabilität in der Produktion erfordert zusätzliches Management

Günstigere Self-Hosting-Alternativen:

• RunPod oder Lambda Labs: $2-4/Stunde für A100, gegenüber $8-16 auf AWS. Für intermittierende Lasten viel praktikabler.
• Ollama + eigener Server: Für sehr niedrige Volumen oder internen Gebrauch kann sich ein Server mit 2× RTX 4090 (Kosten ~$3.000) in 6-12 Monaten amortisieren, wenn das Volumen es rechtfertigt.

Break-even-Punkt

Der Break-even zwischen API und Self-Hosting (angenommen RunPod bei $3/Stunde für Llama 70B, qualitativ äquivalent zu Claude Haiku):

• RunPod 24/7: ~$2.160/Monat
• Claude-Haiku-Äquivalent: $0,0023/Aufruf × N Aufrufe/Monat

Break-even: 2.160 / 0,0023 ≈ 940.000 Aufrufe/Monat (~31.000 Aufrufe/Tag)

Unterhalb dieses Volumens ist die kommerzielle API günstiger, wenn man die echten Kosten des Self-Hostings berücksichtigt (Infrastruktur, DevOps, Modell-Updates, Monitoring). Darüber beginnt Self-Hosting finanziell sinnvoll zu werden.

Es gibt Fälle, in denen Self-Hosting unabhängig vom Volumen gewinnt:

• Hochsensible Daten, die die eigene Infrastruktur nicht verlassen dürfen (Gesundheitswesen, regulierte Finanzen)
• Ultra-niedrige Latenz, wo Millisekunden zählen und man die GPU nah am Nutzer hat
• Intensives Fine-Tuning, wo man ein auf die eigene Domäne hochspezialisiertes Modell braucht

Die echten Gesamtkosten eines KI-Projekts

Für eine umfassendere Perspektive: Dies sind die typischen Gesamtkostenbereiche (nicht nur Token) für verschiedene Projekttypen:

Basis-Support-Chatbot (1.000 Anfragen/Tag):

• Token: $12-240/Monat je nach Modell
• Infrastruktur (Hosting, Vektordatenbank): $50-100/Monat
• Monitoring: $20-40/Monat
• Gesamt: $80-380/Monat

Abteilungs-RAG-System (500 Nutzer, 10K-Dokumentenbasis):

• Token: $200-800/Monat
• Vektordatenbank (Pinecone o. Ä.): $70-200/Monat
• Zusätzliche Infrastruktur: $100-200/Monat
• Monitoring und Observability: $40-80/Monat
• Gesamt: $410-1.280/Monat

KI-Agent mit Integrationen (200 aktive Nutzer, mehrere Tools):

• Token: $500-2.000/Monat (Agenten verbrauchen mehr Token durch Tool-Aufrufe)
• Infrastruktur: $200-500/Monat
• Erweitertes Monitoring: $80-150/Monat
• Gesamt: $780-2.650/Monat

Diese Bereiche setzen optimierte Architekturen voraus. Ohne Optimierung können die Kosten 2-3× höher sein.

Fazit: KI lohnt sich, wenn sie richtig konzipiert ist

KI in der Produktion ist nicht günstig, wenn sie schlecht gemacht wird, aber auch nicht prohibitiv, wenn sie durchdacht konzipiert wird. Der Unterschied zwischen einer naiven und einer optimierten Implementierung kann beim Kostenfaktor 5-10× betragen.

Die Prinzipien, die ich bei jedem Projekt anwende:

1. Mit dem günstigsten Modell beginnen, das das Problem löst. Nur mit Evidenz auf ein leistungsfähigeres skalieren.
2. Alles vom ersten Tag an messen: Token pro Aufruf, Fehlerrate, Latenz, Kosten pro Nutzer. Ohne Metriken kann man nicht optimieren.
3. Caching von Anfang an implementieren, nicht als spätere Verbesserung. Es ist die wirkungsstärkste Optimierung.
4. Infrastruktur neben den Token budgetieren: Der häufigste Fehler bei anfänglichen Schätzungen.
5. Die Rechnung monatlich prüfen und mit dem tatsächlichen Verbrauch korrelieren. Kostenspitzen zeigen meist Bugs oder unerwartete Nutzung.

Wenn du die Integration von KI in dein Produkt oder deinen Prozess evaluierst und eine ehrliche, auf deinen Anwendungsfall zugeschnittene Schätzung möchtest, machen wir bei Soamee genau das. Du kannst unsere KI-Dienste einsehen oder uns direkt kontaktieren.

Möglicherweise ist auch unser Artikel über den Aufbau eines individuellen KI-Agenten mit LLM für den Kundensupport interessant, wenn du bereits einen klaren Anwendungsfall hast und die Architektur verstehen möchtest.