Warum aktuelle LLM-Kosten den produktiven KI-Einsatz unrentabel machen

von Denis Shokhirev, Enterprise AI Architect aus Erlangen. In meinem DennisCraft AI Studio setze ich KI-Systeme für DACH-B2B-Kunden im Bereich Logistik, Fintech und industrielle Automatisierung produktiv ein – und zwar mit Claude, Supabase, n8n, Doppler und selbst gehostetem Postgres. In den letzten sechs Monaten habe ich 14 produktive KI-Agenten bereitgestellt. Das größte Hindernis: LLM-Kosten, die den Produktivbetrieb schnell unwirtschaftlich machen.

Wo LLM-Kosten die Wirtschaftlichkeit zerstören

Solange ein MVP-Demo auf OpenAI-Testzugang oder Anthropic Free-Tier läuft, scheint alles günstig. Doch im Produktivbetrieb explodieren die Kosten: Bereits einfache Anwendungsfälle wie Dokumentenklassifikation oder Berichtsgenerierung verursachen LLM-Kosten von mehreren tausend Euro pro Monat. Bei einem aktuellen Kundenprojekt (Logistik) verursachte ein Claude 3 Haiku-Agent für Rechnungsabgleiche mit 5.000 Dokumenten/Tag monatliche Inferencing-Kosten von 1.200 € (Daten: Anthropic-Billing, Mai 2024).

Das Problem verstärkt sich: 70 % der LLM-Aufrufe entstehen nicht durch Endnutzer, sondern durch technischen Overhead – Wiederholungen, RAG, Systemprompts, Qualitätskontrollen. Schon eine minimale Sicherheitsprüfung z. B. auf SQL-Injection mit Claude Code erhöht die LLM-Nutzung um mindestens 15 % (eigene Produktionslogs, April–Juni 2024).

Self-Hosting ist selten die Lösung

Die naheliegende Idee: Eigene LLM-Infrastruktur spart Cloud-Kosten. Doch ein selbst gehostetes Llama 3 oder Mistral 7B bringt neue Aufwände. Ein Llama 3-8B-Inference-Aufruf benötigt 0,2–0,4 Sekunden auf einer A100-GPU. Bei 10.000 Anfragen/Tag entstehen GPU-Mietkosten von 500–800 €/Monat – zuzüglich MLOps-Ingenieurstunden (Quelle: LambdaLabs, 2024). Nicht eingerechnet: Pflege, Updates und Qualitätsmonitoring.

Was die LLM-Kosten wirklich antreibt

1. RAG-Muster und redundante Aufrufe

Retrieval Augmented Generation (RAG) sorgt dafür, dass eine Nutzeranfrage oft 3–5 LLM-Calls auslöst: Vektorsuche, Chunk-Ranking, finale Antwort, manchmal Validierung. In meinen Supabase- und n8n-Pipelines vervielfacht sich so ein Request schnell – und verdreifacht die Kosten gegenüber einfachem Inferencing.

2. Validierung und Sicherheitsprüfung

Im Produktivbetrieb müssen Code und Daten geprüft werden. Tools wie semgrep, bandit, gitleaks oder das OWASP-Python-Modul erkennen Schwachstellen in LLM-generiertem Code nicht zuverlässig. Die Folge: Ein zweiter LLM-Call zur Überprüfung. Das kostet Zeit und Geld.

3. Monitoring und Audit

In regulierten Branchen (DSGVO, NIS2) müssen alle LLM-Ein- und Ausgaben in Postgres geloggt, Traceability in n8n umgesetzt werden. Retrospektive Audits (z. B. auf Bias/Toxizität) benötigen weitere LLM-Calls und erhöhen die Kosten zusätzlich.

Wie Sie Kosten senken, ohne Qualität zu verlieren

1. LLM-Call-Volumen reduzieren

Batch-Verarbeitung und Caching von Zwischenergebnissen via Supabase reduziert LLM-Calls um bis zu 30 %. Beispiel: Ergebnis einer Dokumentenanalyse cachen und für mehrere nachgelagerte Agenten wiederverwenden.

def cached_doc_analysis(doc_id, supabase_client, llm):
    cached = supabase_client.fetch("analysis", doc_id)
    if cached:
        return cached
    result = llm.analyze(doc_id)
    supabase_client.store("analysis", doc_id, result)
    return result

2. Prompt- und Kontextgröße begrenzen

Je größer der Kontext, desto teurer. Ich limitiere den Kontext auf 3.000–4.000 Tokens, splitte in Chunks und filtere Relevanz per n8n-Flow vor dem LLM-Call.

3. Kleinste passende Modellvariante wählen

Wo kein Top-Tier-Reasoning nötig ist, setze ich Claude 3 Haiku oder Mistral 7B statt GPT-4o ein. Das spart bis zu 50 % der Kosten bei vergleichbarer Qualität (meine A/B-Tests, Juni 2024).

Kostenvergleich im Überblick

FAQ

Können Sie die LLM-Kosten nicht einfach an Ihre Kunden weitergeben?

DACH-B2B-Kunden erwarten stabile Preise. Schwankende LLM-Kosten fressen die Marge und gefährden die Kundenbeziehung.

Sollte man eigene kleine Modelle trainieren?

Für Standardaufgaben lohnt sich das selten – Aufwand für Training, MLOps und Wartung überwiegt. Pipeline-Optimierung ist meist effizienter.

Ist Open-Source-LLM sinnvoll?

Mit eigener MLOps-Expertise ja, sonst überwiegen DevOps-Risiken. Oft ist ein API-Service wirtschaftlicher.

Wie prognostizieren Sie LLM-Kosten?

Eigenes Usage-Tracking in Supabase, wöchentliche Audits, keine Abhängigkeit von Anbieter-Schätzungen.

Welche Muster verursachen die höchsten Kosten?

RAG, mehrstufige Validierung, Codegenerierung plus Auditing – besonders in Logistik und Fintech.

An welcher Stelle steigen in Ihrem produktiven LLM-Stack die Kosten am stärksten – RAG, Validierung oder Audit? Halten Sie Ihr aktuelles Preisniveau durch? Ich biete einen kostenlosen 30-min Stack-Audit für Gründer, die KI in regulierten DACH-Märkten aufbauen. Kontaktieren Sie mich auf LinkedIn oder schreiben Sie an @ger_dennis_ai.