KI-Agenten für Langzeitaufgaben: Ein komplettes Dev-Team auf 5GB VRAM mit late-cli betreiben

von Denis Shokhirev, Enterprise AI Architect aus Freiburg im Breisgau. Ich betreibe bei DennisCraft AI Studio autonome Multi-Agenten-Systeme im produktiven Einsatz für DACH-B2B-Kunden. Mein Stack: Claude, Supabase, n8n, Doppler, selbst gehostetes Postgres. Auf einem aktuellen Projekt in der Industrieautomation war die Vorgabe: KI-basierte Dev-Pipeline liefern – aber auf Hardware mit nur 5GB VRAM. Showcases funktionieren, doch im regulierten Produktivbetrieb ist das ein echter Engpass.

Das Problem: Langzeitaufgaben mit limitierten Ressourcen

Viele Frameworks zeigen Multi-Agenten-Workflows auf teuren Cloud-GPUs. Im realen Mittelstand (DACH) stehen häufig nur NVIDIA-Karten der Einstiegsklasse (z.B. T400, T1000, V100) zur Verfügung – 4 bis 5GB VRAM für alle Agenten. Bei Aufgaben über 30 Minuten (Codegenerierung, Refactoring, CI/CD) kollabieren Standardlösungen: Out-of-Memory, Hänger, Deadlocks.

Typische Symptome: Hängende Prozesse und orchestrierte Fehler

Im Einsatz beobachte ich: Agenten frieren bei großen Aufgaben ein, n8n-Flows laufen in Deadlocks, Codegenerierung (Claude, GPT-4) bricht bei längeren Dateien ab. Schon 2.000 Zeilen Python können die Pipeline zum Stillstand bringen, wenn das VRAM-Management nicht stimmt.

Marktüberblick – warum late-cli in der Praxis funktioniert

Die meisten Alternativen sind entweder Managed-LLM-APIs mit Token-Limits (Anthropic, OpenAI) oder benötigen >10GB VRAM im Eigenbetrieb. Mit 5GB funktionieren realistisch nur wenige Tools: late-cli (https://github.com/late-labs/late), quantisierte Modelle und gezielte Pipeline-Optimierung. Kein Vendor-Lock-in, keine Blackbox.

Architektur: So betreiben Sie ein Dev-Agenten-Team auf 5GB VRAM

Mein erprobter Stack:

Claude Code (nur API, keine lokale Instanz)
late-cli für Orchestrierung und Tasksteuerung
Supabase/Postgres – Persistenz für Kontext, Aufgaben, Artefakte
n8n – Automatisierung (Trigger, CI/CD, Benachrichtigungen)
Doppler – Verwaltung von Umgebungsvariablen und Secrets

late-cli: Speicherverwaltung und Task-Management

late-cli ist ein Open-Source-CLI für LLM-Agenten mit minimalem RAM/VRAM-Footprint. Die Stärke: Dynamische VRAM-Zuteilung pro Agent und Task, striktes Queuing, automatisches Freigeben des Speichers nach jedem Durchlauf. Es müssen nicht alle Agenten gleichzeitig im Speicher liegen.

# Drei Agenten mit VRAM-Limit starten
late agent run --model=phi-2 --max-vram=4800 --tasks=tasks.yaml

# tasks.yaml:
# - name: "review_code"
#   input: "src/app.py"
# - name: "write_tests"
#   input: "src/app.py"
# - name: "refactor"
#   input: "src/utils.py"

Serienweise statt parallel: Ressourcen sparen

Der Schlüssel: Aufgaben werden sequentiell abgearbeitet, keine gleichzeitige Speicherbelegung. Lange Tasks splitte ich in Chunks (256–512 Tokens). Jeder Agent wird bei Bedarf gestartet, arbeitet ab und gibt VRAM wieder frei. Die Queue liegt in Supabase, n8n überwacht den Status und informiert bei Ausfällen.

Pipeline: So läuft es im Produktivbetrieb

Schritt für Schritt:

Aufgaben (Issues) werden in Supabase gespeichert: Kontext, Code, Anforderungen.
n8n triggert den Agent-Start via late-cli, VRAM ist auf 4,8GB begrenzt.
Agent verarbeitet einen Batch, Ergebnis landet wieder in Supabase.
n8n prüft Status, stößt nächsten Batch/Agent an.
Claude Code API übernimmt Review und kritische Codevorschläge.
Abschluss: CI/CD, Bereitstellung, Sicherheitsprüfung (semgrep, bandit).

import requests

def trigger_agent(task_id, input_path):
    response = requests.post(
        "http://localhost:8000/run",
        json={
            "task_id": task_id,
            "input": open(input_path).read(),
            "max_vram": 4800
        }
    )
    return response.json()

Vergleich: Wie reagieren gängige LLM-Frameworks?

Framework	Min. VRAM	Dynamische Speicherfreigabe	Batch-Steuerung
late-cli	4GB	Ja	Ja
LangChain	8GB+	Nein	Eingeschränkt
OpenLLM	10GB+	Nein	Teilweise

Sicherheit: Automatisch generierter Code unter Kontrolle

Laut Stanford CodeML Paper 2024 (https://arxiv.org/abs/2402.00957) enthalten 38% von LLM generiertem Python-Code Muster, die zu CWE-89-Schwachstellen führen können. Ich habe SQL-Injections und XSS mehrfach in automatisch generiertem Code gefunden, auch nach Review durch Claude.

semgrep – statische Analyse für Python/TypeScript
bandit – Prüfung von Python auf Schwachstellen
gitleaks – Suche nach Geheimnissen im Repository

semgrep --config=auto src/
bandit -r src/
gitleaks detect --source=./repo

FAQ

Können größere Modelle auf 5GB VRAM laufen?

Kommt auf die Quantisierung an. phi-2 (INT4) funktioniert, Llama-3 selbst quantisiert nicht.

Wie bleibt Kontext zwischen Agenten persistent?

Supabase oder Postgres – Kontext wird in Chunks in separater Tabelle gespeichert, Task-ID als Schlüssel.

late-cli vs. LangChain für Low-Resource-Setups?

late-cli gibt Speicher effizient frei, LangChain hält mehr State im Speicher.

Debugging: Was tun bei hängendem Agenten?

n8n-Signale plus Logging in Supabase. Keine Antwort nach 10 Minuten: Auto-Kill und Neustart.

Minimaler Stack für diese Architektur?

late-cli, Supabase/Postgres, n8n. Claude Code API optional für Review.

Bei welchen Schritten Ihrer LLM-Pipeline stocken Agenten im Produktivbetrieb am häufigsten: Datenanreicherung, Codegenerierung oder CI/CD? Geben Sie mir gern Rückmeldung. Ich biete DACH-Teams im regulierten Markt einen kostenfreien 30-Minuten KI-Stack-Audit an. Kontaktieren Sie mich auf LinkedIn oder unter @ger_dennis_ai.