Über mich Portfolio Referenzen Leistungen Blog Kontakt 🎙 Mit KI sprechen
EN DE RU
🎙 Mit KI sprechen
November 21, 2026 · 5 min read

Ihr KI-Agent scheitert an mobiler Benutzeroberfläche: wie Sie iOS und Android über MCP anbinden und reale Abläufe statt Screenshot-Demos ausführen

von Denis Shokhirev, Enterprise AI Architect aus Freiburg im Breisgau Ich bin Denis Shokhirev, Agentic AI Systems Architect in Freiburg im Breisgau, Germany, und ich baue bei DennisCraft AI Studio produktive KI-Systeme für DACH-B2B-Kunden auf Basis von Claude, Supabase, n8n, Doppler und selbst betriebenem Postgres. Das wiederkehrende Problem im Produktivbetrieb ist klar: Der Agent wirkt auf dem Desktop überzeugend, scheitert aber sofort, sobald derselbe Ablauf in einer realen mobilen App mit Be

Denis Shokhirev
Denis Shokhirev
Agentic AI Systems Architect
Telegram LinkedIn

von Denis Shokhirev, Enterprise AI Architect aus Freiburg im Breisgau

Ich bin Denis Shokhirev, Agentic AI Systems Architect in Freiburg im Breisgau, Germany, und ich baue bei DennisCraft AI Studio produktive KI-Systeme für DACH-B2B-Kunden auf Basis von Claude, Supabase, n8n, Doppler und selbst betriebenem Postgres. Das wiederkehrende Problem im Produktivbetrieb ist klar: Der Agent wirkt auf dem Desktop überzeugend, scheitert aber sofort, sobald derselbe Ablauf in einer realen mobilen App mit Berechtigungen, Tastatur, Deep Links und schwer sichtbarem Zustand ausgeführt werden soll.

Screenshot-Demos erzeugen dabei ein gefährliches Missverständnis. Das Modell beschreibt den Bildschirm, vermutet den nächsten Schritt und trifft gelegentlich sogar die richtige Schaltfläche. Das ist aber noch keine verlässliche Ausführung. Wenn Sie mobile Abläufe mit KI-Agenten wirklich betreiben oder prüfen wollen, muss das Gerät als kontrollierte Werkzeugoberfläche in den MCP-Kontext eingebunden werden und nicht als Abfolge von Bildern im Chatfenster.

Warum mobile Oberflächen Agenten schneller scheitern lassen als Web

Im Browser haben Sie meist URL, DOM, Test-Selektoren, Protokolle und ausgereifte Automatisierungswerkzeuge. Auf iOS und Android sieht die Lage anders aus: Accessibility-Bäume, native Komponenten, Systemdialoge, App-Zustände, Overlays, WebViews, Tastaturen und Wechsel zwischen App und Betriebssystem. Ein Modell, das nur Pixel sieht, hat in dieser Umgebung zu wenig belastbare Ankerpunkte.

OWASP verweist im Mobile Application Security Testing Guide und in MASVS seit Jahren darauf, wie viel kritisches Verhalten außerhalb der sichtbaren Oberfläche stattfindet: lokale Speicherung, Inter-App-Kommunikation, Anmeldestatus, Transportwege und Berechtigungen. Für KI-Agenten ist die Folgerung praktisch: Wenn Sie Zustand nicht auslesen und Aktionen nicht über eine begrenzte, stabile Schnittstelle ausführen können, prüfen Sie keinen mobilen Ablauf. Sie raten. Quelle: OWASP MASVS/MASTG, abrufbar unter https://owasp.org.

Was zuerst ausfällt

  • OTP oder Freigaben in einer zweiten App
  • Dialoge für Kamera, Standort, Mitteilungen oder Biometrie
  • Die Bildschirmtastatur verdeckt die primäre Aktion
  • Deep Links öffnen den falschen App-Zustand
  • Netzwechsel führen zu Sitzungsverlust oder Wiederholungen

Was die Anbindung mobiler Geräte über MCP praktisch bedeutet

Ich verwende MCP hier als Muster für Werkzeugschnittstellen. Das Modell erhält einen definierten Satz an Werkzeugen, um Zustand auszulesen und Aktionen auszuführen. Für mobile Apps sind das in der Regel 4 Klassen von Werkzeugen: aktuelle UI-Hierarchie lesen, Screenshot erzeugen, Interaktion ausführen, Protokolle oder Artefakte einsammeln. Appium ist dafür eine brauchbare Ausführungsschicht auf iOS und Android. Davor kann ein schlanker MCP-Server sitzen, der nur die ausdrücklich erlaubten Funktionen bereitstellt.

Entscheidend ist die Begrenzung. Geben Sie dem Agenten keinen direkten Shell-Zugriff auf das Gerät. Geben Sie ihm eine kleine Menge sauber definierter Operationen: Tap über Accessibility-ID, Wischen, Texteingabe, Warten auf Element, Öffnen eines Deep Links, Abruf der UI-Struktur, Screenshot. Damit wechseln Sie von improvisierter Bildauswertung zu zustandsbezogener Ausführung mit Nachvollziehbarkeit.

from appium import webdriver
from appium.options.android import UiAutomator2Options

options = UiAutomator2Options().load_capabilities({
    "platformName": "Android",
    "appium:deviceName": "Android Emulator",
    "appium:automationName": "UiAutomator2",
    "appium:appPackage": "com.example.app",
    "appium:appActivity": ".MainActivity",
    "appium:noReset": True
})

driver = webdriver.Remote("http://127.0.0.1:4723", options=options)
print(driver.page_source[:1000])
driver.quit()

Gerade dieser Punkt ist im Produktivbetrieb entscheidend: Ein Agent braucht nicht nur eine Bildbeschreibung, sondern prüfbaren Zustand.

Eine schlanke Architektur für den produktiven Betrieb

Eine Architektur, die sich bei mir bewährt hat, ist unspektakulär und genau deshalb belastbar: Orchestrierung in n8n oder einem Python-Dienst, Modellaufrufe über das Anthropic SDK, Zustands- und Prüfdaten in Postgres oder Supabase, Geheimnisse in Doppler und die mobile Ausführung über Appium auf Simulatoren, Emulatoren oder realen Geräten. MCP ist dabei nicht das Zentrum, sondern der Vertrag zwischen Modell und Ausführungsumgebung.

SchichtWerkzeugAufgabe
ModellsteuerungAnthropic SDK / Claude CodePlanung, Werkzeugwahl, Fehlerbehandlung
Ablaufsteuerungn8nZeitpläne, Webhooks, Verzweigungen, Meldungen
ZustandsspeicherPostgres / SupabaseLäufe, Schritte, Artefakte, Prüfpfad
GeheimnisseDopplerUmgebungsvariablen, Testkonten, Trennung nach Stufe
Mobile AusführungAppiumUI-Auslesen und Interaktionen auf iOS/Android

Warum Schrittprotokolle wichtiger sind als das Endergebnis

Ein häufiger Fehler besteht darin, nur “bestanden” oder “fehlgeschlagen” zu speichern. Für mobile Agenten reicht das nicht. Sie brauchen ein Protokoll je Schritt: welches Werkzeug aufgerufen wurde, auf welches Ziel, ob ein Element vorhanden war, welcher Screenshot erzeugt wurde, wie die UI-Struktur aussah und welche Ausnahme der Treiber gemeldet hat. Erst damit können Sie unterscheiden, ob das Modell falsch geplant hat, die Oberfläche instabil war oder die Sitzung abgelaufen ist.

type StepLog = {
  run_id: string;
  step: number;
  action: string;
  target?: string;
  status: "ok" | "error";
  screenshot_path?: string;
  error_message?: string;
};

async function saveStep(db, log: StepLog) {
  await db.query(
    `insert into agent_step_logs
     (run_id, step, action, target, status, screenshot_path, error_message)
     values ($1,$2,$3,$4,$5,$6,$7)`,
    [log.run_id, log.step, log.action, log.target, log.status, log.screenshot_path, log.error_message]
  );
}

Unterschiede zwischen iOS und Android im Betrieb

Android bietet meist mehr Freiheit in der Automatisierung und eine größere Gerätevielfalt. Der Preis dafür ist Fragmentierung: Herstelleranpassungen, unterschiedliche DPI-Werte, Betriebssystemversionen und WebView-Verhalten erzeugen zusätzliche Fehlerbilder. iOS ist einheitlicher, verlangt aber strengere Führung bei Berechtigungen, App-Wechseln und systemnahen Abläufen.

Für den DACH-Markt sollten Sie funktionale mobile Automatisierung und produktive Ausführung sauber trennen. Ein Agent, der im Testsystem ein Onboarding durchläuft, darf nicht dieselben Zugänge und Aufbewahrungsregeln haben wie ein System, das reale Benutzeraktionen auslösen kann. Das ist nicht nur saubere Technik, sondern auch mit Blick auf DSGVO, ISO 27001, BSI Grundschutz und den EU AI Act vernünftig. Screenshots, Sitzungsdaten und Protokolle können personenbezogene Daten enthalten und müssen entsprechend behandelt werden.

Prüfpunkte vor dem ersten echten Lauf

  • Stabile Accessibility-Labels oder Content Descriptions vorhanden
  • Der Ablauf ist auf mindestens 3 Geräteprofilen wiederholbar
  • Artefakte haben Aufbewahrungsregeln und Zugriffssteuerung
  • Screenshots werden bei Bedarf um personenbezogene Daten bereinigt
  • Erlaubte Aktionen sind auf Werkzeugebene klar begrenzt

Sicherheitsprüfung und Steuerung schlagen blinde Autonomie

Anthropic empfiehlt in der Dokumentation zu Tool Use und Agentenbau klare Schnittstellen, explizite Aktionen und externe Kontrolle von Seiteneffekten. Genau das passt zu mobilen Abläufen. Ein Agent sollte Zahlungen, Löschvorgänge oder KYC-Schritte nicht “selbstständig interpretieren”, sondern innerhalb klarer Richtlinien und Freigaben arbeiten. Quelle: https://docs.anthropic.com.

Aus meiner Praxis in regulierten europäischen Märkten: Setzen Sie Ablaufgrenzen, kurze Aufbewahrungsfristen für Artefakte, getrennte Geheimnisse für Test und Produktivbetrieb sowie Pflichtfreigaben für sensible Schritte. Sonst werden mobile Screenshots sehr schnell zu einem Schattenarchiv für personenbezogene Daten.

export APPIUM_HOST=http://127.0.0.1:4723
export DEVICE_NAME="iPhone 15"
export RUN_ID=$(date +%s)

python run_mobile_flow.py \
  --run-id "$RUN_ID" \
  --platform ios \
  --start-url "myapp://login" \
  --artifact-dir "./artifacts/$RUN_ID"

FAQ

Reicht Computer Vision ohne Appium aus?

Für Vorführungen gelegentlich ja. Für wiederholbare Abläufe im Produktivbetrieb meistens nicht. Sobald versteckter Zustand, Berechtigungen oder native Elemente eine Rolle spielen, steigt die Fehlerquote deutlich.

Ist MCP für mobile Automatisierung zwingend?

Nein. Sie können das gleiche Muster auch ohne MCP umsetzen. MCP ist jedoch nützlich, wenn Sie Browser-, Datenbank- und Mobilwerkzeuge unter einem einheitlichen Vertrag für den Agenten bündeln wollen.

Sollten Sie mit echten Geräten oder Emulatoren beginnen?

Für frühe Iterationen genügen Emulatoren und Simulatoren. Reale Geräte werden nötig, wenn Push-Mitteilungen, Biometrie, schwankende Netze oder gerätespezifisches Verhalten den Ablauf beeinflussen.

Wie gehen Sie mit instabilen Testschritten um?

Protokollieren Sie UI-Struktur, Zeitverhalten, Screenshots und Treiberfehler an jeder kritischen Stelle. Erst danach entscheiden Sie, ob das Problem im Werkzeug, in der Oberfläche oder im Plan des Modells liegt.

Was ist der kleinste sinnvolle Einstieg?

Ein geschäftskritischer Ablauf, ein Android-Emulator, ein iOS-Simulator, Appium, Postgres und ein schlanker MCP-Adapter. Wenn damit keine Wiederholbarkeit entsteht, hilft mehr Infrastruktur in der Regel nicht.

An welcher Stelle scheitert Ihr mobiler Agent im Produktivbetrieb am häufigsten: beim Auslesen des Zustands, bei Systemberechtigungen, bei der Artefaktverwaltung oder bei der Steuerung erlaubter Aktionen? Genau dort trennen sich in meiner Erfahrung saubere Vorführungen und erprobte Systeme.
I run a free 30-min stack audit for DACH founders building AI in regulated markets. DM me on LinkedIn or write to @ger_dennis_ai.

Für Ihren Betrieb

Solche Agenten baue ich für Betriebe in Südbaden und ganz Deutschland.

Schreiben Sie in zwei Sätzen, was bei Ihnen Zeit frisst – Antwort innerhalb von 24 Stunden.

KI-Agenten entwickeln lassen →
Weiterlesen
Wie Sie im MCP-Chaos nicht untergehen: Mehr als 50 Remote-MCP-Server existieren bereits, aber ohne Auswahl wird Ihr Produktivagent zum Sicherheitsloch
Ein gestohlener Schlüssel brachte 5.000 Entwickler in Gefahr: was der Cursor-Vorfall und eine trojanisierte Claude-Code-Erweiterung für die Sicherheit von KI-IDEs ändern
Ihre Kunden fragen ChatGPT nach einem Handwerksbetrieb. Nennt es Ihr Unternehmen
Montagmorgen in der Arztpraxis: Was ein KI-Telefonassistent übernimmt – und was nicht
Alle Artikel →
Wo das im Betrieb ankommt
KI-Telefonassistent — Anrufe annehmen, wenn niemand kann
KI-Automatisierung für Betriebe in Freiburg und der Ortenau
KI-Agentur in Freiburg — gebaut statt weiterverkauft
KI-Telefonassistent fürs Handwerk — Notfälle erkennen, Aufträge sichern
DSGVO-konforme KI — was das praktisch bedeutet
Bereit für den nächsten Schritt?

Aus einem Ablauf ein System machen, das läuft

Gebaut für den Betriebsalltag, nicht als Demo.

Projekt anfragen → ← Alle Artikel