О себе Портфолио Кейсы Услуги Блог Контакт 🎙 Поговорить с AI
EN DE RU
🎙 Поговорить с AI
November 21, 2026 · 5 min read

AI-агент ломается на мобильном UI: как подключить iOS и Android к MCP и гонять реальные сценарии вместо скриншотных демо

Я — Denis Shokhirev, Agentic AI Systems Architect из Freiburg im Breisgau, Germany, и в DennisCraft AI Studio я собираю production-grade AI-системы для DACH B2B на стеке Claude, Supabase, n8n, Doppler и self-hosted Postgres. В проде один и тот же сбой повторяется чаще, чем многие признают: агент уверенно проходит web-flow на desktop, а потом умирает на мобильном UI, потому что в реальности ему никто не дал доступ к устройству, состоянию приложения и воспроизводимому сценарию. Скриншотные демо с

Denis Shokhirev
Denis Shokhirev
Agentic AI Systems Architect
Telegram LinkedIn

Я — Denis Shokhirev, Agentic AI Systems Architect из Freiburg im Breisgau, Germany, и в DennisCraft AI Studio я собираю production-grade AI-системы для DACH B2B на стеке Claude, Supabase, n8n, Doppler и self-hosted Postgres. В проде один и тот же сбой повторяется чаще, чем многие признают: агент уверенно проходит web-flow на desktop, а потом умирает на мобильном UI, потому что в реальности ему никто не дал доступ к устройству, состоянию приложения и воспроизводимому сценарию.

Скриншотные демо создают ложную уверенность. Агент “видит” картинку, комментирует экран и иногда даже попадает в правильную кнопку. Но как только появляется реальная навигация, системные диалоги iOS, Android permissions, клавиатура, deep link, OTP, нестабильная сеть или смена локали, такой подход рассыпается. Если вы хотите тестировать и запускать agentic workflows для мобильных продуктов всерьез, мобильное устройство должно стать инструментом в MCP-контуре, а не картинкой в презентации.

Почему desktop-агент почти всегда ошибается на мобильном UI

Проблема не в “качестве модели” как таковом. Проблема в том, что mobile UI — это среда с большим количеством скрытого состояния. На desktop у вас обычно есть DOM, предсказуемые селекторы, URL, cookies и инструменты браузерной автоматизации. На телефоне у вас другая модель управления: accessibility tree, жесты, разрешения, native-компоненты, состояние приложения, системные оверлеи и переходы между app/webview/system screens.

OWASP в Mobile Application Security Testing Guide и Mobile Top 10 регулярно указывает на риски, связанные с небезопасным хранением данных, интентами, аутентификацией и локальным состоянием приложения. Для агента это означает простую вещь: если вы не можете читать состояние устройства и исполнять действия в контролируемом канале, вы не тестируете процесс. Вы смотрите на картинку процесса. Источник: OWASP MASVS/MASTG, актуальные материалы проекта доступны на owasp.org.

Что обычно ломается первым

  • OTP и push-подтверждение во втором приложении
  • Системные запросы на доступ к камере, геолокации, уведомлениям
  • Клавиатура, перекрывающая CTA
  • Смена состояния сети: Wi-Fi, LTE, offline retry
  • Локализация и responsive-layout на Android-устройствах с разными DPI

Что значит “подключить мобильный UI к MCP” на практике

MCP здесь полезен не как маркетинговый ярлык, а как pattern: модель получает стандартизированный набор инструментов для чтения состояния и выполнения действий. Для mobile это обычно сводится к 4 типам tools: получить текущую иерархию элементов, сделать скриншот, выполнить действие, прочитать логи/артефакты. В iOS и Android это можно связать через Appium как транспорт автоматизации, а MCP-сервер сделать тонкой прослойкой, которая дает модели безопасный набор операций.

Я не советую давать агенту “сырой shell” на устройство. Нужны ограниченные tools: tap по accessibility id, swipe, input text, wait for element, open deep link, fetch page source, collect screenshot. Тогда модель работает не с магией, а с явными примитивами. Это снижает число случайных действий и делает workflow воспроизводимым.

from appium import webdriver
from appium.options.android import UiAutomator2Options

options = UiAutomator2Options().load_capabilities({
    "platformName": "Android",
    "appium:deviceName": "Android Emulator",
    "appium:automationName": "UiAutomator2",
    "appium:appPackage": "com.example.app",
    "appium:appActivity": ".MainActivity",
    "appium:noReset": True
})

driver = webdriver.Remote("http://127.0.0.1:4723", options=options)
print(driver.page_source[:1000])
driver.quit()

Этот фрагмент не решает задачу сам по себе, но показывает правильный уровень абстракции: агенту нужен не JPEG, а состояние. Дальше MCP-сервер оборачивает такие вызовы в инструменты с логированием, таймаутами и allowlist команд.

Минимальная архитектура для production-grade mobile agent loop

В моих проектах рабочая схема обычно выглядит так: orchestration в n8n или сервисе на Python/TypeScript, модель через Anthropic SDK, состояние сценариев в Postgres или Supabase, секреты в Doppler, а мобильное исполнение через Appium на реальных девайсах или эмуляторах. MCP-сервер здесь не “центр вселенной”, а договор между моделью и средой исполнения.

СлойИнструментЗадача
LLM orchestrationAnthropic SDK / Claude CodeПлан действий, выбор tools, обработка ошибок
Workflown8nЗапуск сценариев, retries, webhooks, уведомления
StatePostgres / SupabaseШаги сценария, артефакты, результаты, аудит
SecretsDopplerТокены, тестовые учетные данные, среды
Mobile automationAppiumiOS/Android действия и чтение UI state

Почему нужен журнал состояний

Главная ошибка — хранить только финальный verdict “успех/провал”. Для мобильного агента этого мало. Сохраняйте каждый шаг: какой tool вызван, какой элемент найден, какой скриншот сделан, какой page source получен, какой exception вернул драйвер. Когда сценарий падает на 17-м шаге из 24, именно это дает вам возможность понять, ошиблась модель, сломался UI или истекла сессия.

type StepLog = {
  run_id: string;
  step: number;
  action: string;
  target?: string;
  status: "ok" | "error";
  screenshot_path?: string;
  error_message?: string;
};

async function saveStep(db, log: StepLog) {
  await db.query(
    `insert into agent_step_logs
     (run_id, step, action, target, status, screenshot_path, error_message)
     values ($1,$2,$3,$4,$5,$6,$7)`,
    [log.run_id, log.step, log.action, log.target, log.status, log.screenshot_path, log.error_message]
  );
}

iOS и Android: где реально разные риски

На Android вы чаще выигрываете в гибкости автоматизации и разнообразии устройств, но платите за фрагментацию. Разные оболочки, DPI, версии ОС и поведение WebView дают больше вариантов отказа. На iOS среда ровнее, но sandbox и системные ограничения строже, а некоторые разрешения и переходы требуют очень аккуратного сценарного контроля.

Если вы делаете B2B-продукт для DACH, я бы не смешивал “functional automation” и “production operations”. Тестовый агент, который проходит onboarding в staging, и агент, который инициирует реальные действия в проде, должны быть разведены по доступам, аккаунтам и журналированию. Это не бюрократия, а способ не уронить клиентский процесс из-за одного неудачного повторного нажатия.

Что проверять до первого реального прогона

  • Есть ли стабильные accessibility labels или content descriptions
  • Можно ли воспроизвести сценарий на 3 устройствах подряд
  • Где хранятся артефакты и кто имеет к ним доступ
  • Есть ли redaction для PII на скриншотах
  • Как ограничены команды агента на уровне MCP tools

Безопасность и контроль доступа важнее “автономности”

Anthropic в документации по tool use и building effective agents постоянно подчеркивает, что модели лучше работают при четких интерфейсах, проверяемых действиях и внешнем контроле состояния. Это хорошо совпадает с мобильной автоматизацией: агент не должен сам “додумывать”, что делать с платежом, KYC или удалением данных. Он должен работать в границах policy, а чувствительные шаги должны требовать подтверждения или отдельного режима исполнения. Документация Anthropic доступна на docs.anthropic.com.

Из практики по regulated рынкам Европы: как только в процессе есть персональные данные, добавляйте redaction pipeline для скриншотов, TTL на артефакты и явное разделение staging/prod-секретов. Не потому что так “красиво”, а потому что иначе мобильные скриншоты превращаются в теневое хранилище PII.

export APPIUM_HOST=http://127.0.0.1:4723
export DEVICE_NAME="iPhone 15"
export RUN_ID=$(date +%s)

python run_mobile_flow.py \
  --run-id "$RUN_ID" \
  --platform ios \
  --start-url "myapp://login" \
  --artifact-dir "./artifacts/$RUN_ID"

FAQ

Можно ли обойтись только computer vision без Appium?

Для демо — да. Для воспроизводимых сценариев в продуктовой среде — редко. Без доступа к структуре UI и управляемым действиям вы быстро упретесь в нестабильность и высокий процент ложных успехов.

MCP обязателен для mobile automation?

Нет. Можно строить и без него. Но MCP удобен как единый контракт между моделью и инструментами, особенно если у вас уже есть desktop, database и workflow tools в одном agent loop.

Нужны ли реальные устройства или хватит эмуляторов?

Для ранней отладки хватит эмуляторов и симуляторов. Для сценариев с push, biometrics, реальной сетью, OEM-особенностями и стабильной оценкой UX нужны реальные устройства.

Что делать с flaky-тестами и нестабильными шагами?

Логировать page source, тайминги и скриншоты на каждом критическом действии. Потом отделять ошибки среды от ошибок планирования модели и переписывать tool layer, а не только prompt.

Как начать без большого бюджета?

Возьмите 1 критичный сценарий, 1 Android emulator, 1 iOS simulator, Appium, Postgres и минимальный MCP adapter. Если за 2 недели вы не можете получить повторяемость, проблема не в масштабе, а в архитектуре сценария.

На каком этапе у вас чаще всего ломается mobile agent loop: доступ к состоянию UI, системные разрешения, хранение артефактов или контроль действий в проде? Мне правда интересно, потому что именно здесь чаще всего расходятся красивые демо и рабочие системы.
I run a free 30-min stack audit for DACH founders building AI in regulated markets. DM me on LinkedIn or write to @ger_dennis_ai.

Для вашего бизнеса

Такие агенты я делаю для бизнеса в Германии и ЕС.

Опишите в двух предложениях, что отнимает у команды время, — отвечу в течение суток.

Разработка ИИ-агентов (страница на немецком) →
Читать дальше
Как не утонуть в хаосе MCP: 50+ remote MCP servers уже есть, но без отбора агент в проде становится дырой в безопасности
Один украденный ключ — и 5000 разработчиков под риском: что инцидент с Cursor и trojanized Claude Code extension меняет в безопасности AI IDE
Ваши клиенты спрашивают ChatGPT, какого мастера выбрать. Вас называют
Практика врача в понедельник утром: что берёт на себя ИИ-ассистент на телефоне, а что нет
Все статьи →
Где это применяется
Услуги — что мы делаем
Поговорить с голосовым агентом
Кейсы
Готовы к следующему шагу?

Превратить процесс в систему, которая работает

Продакшн-качество, а не демо.

Обсудить проект → ← Все статьи