AI-агент ломается на мобильном UI: как подключить iOS и Android к MCP и гонять реальные сценарии вместо скриншотных демо
Я — Denis Shokhirev, Agentic AI Systems Architect из Freiburg im Breisgau, Germany, и в DennisCraft AI Studio я собираю production-grade AI-системы для DACH B2B на стеке Claude, Supabase, n8n, Doppler и self-hosted Postgres. В проде один и тот же сбой повторяется чаще, чем многие признают: агент уверенно проходит web-flow на desktop, а потом умирает на мобильном UI, потому что в реальности ему никто не дал доступ к устройству, состоянию приложения и воспроизводимому сценарию. Скриншотные демо с
Я — Denis Shokhirev, Agentic AI Systems Architect из Freiburg im Breisgau, Germany, и в DennisCraft AI Studio я собираю production-grade AI-системы для DACH B2B на стеке Claude, Supabase, n8n, Doppler и self-hosted Postgres. В проде один и тот же сбой повторяется чаще, чем многие признают: агент уверенно проходит web-flow на desktop, а потом умирает на мобильном UI, потому что в реальности ему никто не дал доступ к устройству, состоянию приложения и воспроизводимому сценарию.
Скриншотные демо создают ложную уверенность. Агент “видит” картинку, комментирует экран и иногда даже попадает в правильную кнопку. Но как только появляется реальная навигация, системные диалоги iOS, Android permissions, клавиатура, deep link, OTP, нестабильная сеть или смена локали, такой подход рассыпается. Если вы хотите тестировать и запускать agentic workflows для мобильных продуктов всерьез, мобильное устройство должно стать инструментом в MCP-контуре, а не картинкой в презентации.
Почему desktop-агент почти всегда ошибается на мобильном UI
Проблема не в “качестве модели” как таковом. Проблема в том, что mobile UI — это среда с большим количеством скрытого состояния. На desktop у вас обычно есть DOM, предсказуемые селекторы, URL, cookies и инструменты браузерной автоматизации. На телефоне у вас другая модель управления: accessibility tree, жесты, разрешения, native-компоненты, состояние приложения, системные оверлеи и переходы между app/webview/system screens.
OWASP в Mobile Application Security Testing Guide и Mobile Top 10 регулярно указывает на риски, связанные с небезопасным хранением данных, интентами, аутентификацией и локальным состоянием приложения. Для агента это означает простую вещь: если вы не можете читать состояние устройства и исполнять действия в контролируемом канале, вы не тестируете процесс. Вы смотрите на картинку процесса. Источник: OWASP MASVS/MASTG, актуальные материалы проекта доступны на owasp.org.
Что обычно ломается первым
- OTP и push-подтверждение во втором приложении
- Системные запросы на доступ к камере, геолокации, уведомлениям
- Клавиатура, перекрывающая CTA
- Смена состояния сети: Wi-Fi, LTE, offline retry
- Локализация и responsive-layout на Android-устройствах с разными DPI
Что значит “подключить мобильный UI к MCP” на практике
MCP здесь полезен не как маркетинговый ярлык, а как pattern: модель получает стандартизированный набор инструментов для чтения состояния и выполнения действий. Для mobile это обычно сводится к 4 типам tools: получить текущую иерархию элементов, сделать скриншот, выполнить действие, прочитать логи/артефакты. В iOS и Android это можно связать через Appium как транспорт автоматизации, а MCP-сервер сделать тонкой прослойкой, которая дает модели безопасный набор операций.
Я не советую давать агенту “сырой shell” на устройство. Нужны ограниченные tools: tap по accessibility id, swipe, input text, wait for element, open deep link, fetch page source, collect screenshot. Тогда модель работает не с магией, а с явными примитивами. Это снижает число случайных действий и делает workflow воспроизводимым.
from appium import webdriver
from appium.options.android import UiAutomator2Options
options = UiAutomator2Options().load_capabilities({
"platformName": "Android",
"appium:deviceName": "Android Emulator",
"appium:automationName": "UiAutomator2",
"appium:appPackage": "com.example.app",
"appium:appActivity": ".MainActivity",
"appium:noReset": True
})
driver = webdriver.Remote("http://127.0.0.1:4723", options=options)
print(driver.page_source[:1000])
driver.quit()Этот фрагмент не решает задачу сам по себе, но показывает правильный уровень абстракции: агенту нужен не JPEG, а состояние. Дальше MCP-сервер оборачивает такие вызовы в инструменты с логированием, таймаутами и allowlist команд.
Минимальная архитектура для production-grade mobile agent loop
В моих проектах рабочая схема обычно выглядит так: orchestration в n8n или сервисе на Python/TypeScript, модель через Anthropic SDK, состояние сценариев в Postgres или Supabase, секреты в Doppler, а мобильное исполнение через Appium на реальных девайсах или эмуляторах. MCP-сервер здесь не “центр вселенной”, а договор между моделью и средой исполнения.
| Слой | Инструмент | Задача |
|---|---|---|
| LLM orchestration | Anthropic SDK / Claude Code | План действий, выбор tools, обработка ошибок |
| Workflow | n8n | Запуск сценариев, retries, webhooks, уведомления |
| State | Postgres / Supabase | Шаги сценария, артефакты, результаты, аудит |
| Secrets | Doppler | Токены, тестовые учетные данные, среды |
| Mobile automation | Appium | iOS/Android действия и чтение UI state |
Почему нужен журнал состояний
Главная ошибка — хранить только финальный verdict “успех/провал”. Для мобильного агента этого мало. Сохраняйте каждый шаг: какой tool вызван, какой элемент найден, какой скриншот сделан, какой page source получен, какой exception вернул драйвер. Когда сценарий падает на 17-м шаге из 24, именно это дает вам возможность понять, ошиблась модель, сломался UI или истекла сессия.
type StepLog = {
run_id: string;
step: number;
action: string;
target?: string;
status: "ok" | "error";
screenshot_path?: string;
error_message?: string;
};
async function saveStep(db, log: StepLog) {
await db.query(
`insert into agent_step_logs
(run_id, step, action, target, status, screenshot_path, error_message)
values ($1,$2,$3,$4,$5,$6,$7)`,
[log.run_id, log.step, log.action, log.target, log.status, log.screenshot_path, log.error_message]
);
}iOS и Android: где реально разные риски
На Android вы чаще выигрываете в гибкости автоматизации и разнообразии устройств, но платите за фрагментацию. Разные оболочки, DPI, версии ОС и поведение WebView дают больше вариантов отказа. На iOS среда ровнее, но sandbox и системные ограничения строже, а некоторые разрешения и переходы требуют очень аккуратного сценарного контроля.
Если вы делаете B2B-продукт для DACH, я бы не смешивал “functional automation” и “production operations”. Тестовый агент, который проходит onboarding в staging, и агент, который инициирует реальные действия в проде, должны быть разведены по доступам, аккаунтам и журналированию. Это не бюрократия, а способ не уронить клиентский процесс из-за одного неудачного повторного нажатия.
Что проверять до первого реального прогона
- Есть ли стабильные accessibility labels или content descriptions
- Можно ли воспроизвести сценарий на 3 устройствах подряд
- Где хранятся артефакты и кто имеет к ним доступ
- Есть ли redaction для PII на скриншотах
- Как ограничены команды агента на уровне MCP tools
Безопасность и контроль доступа важнее “автономности”
Anthropic в документации по tool use и building effective agents постоянно подчеркивает, что модели лучше работают при четких интерфейсах, проверяемых действиях и внешнем контроле состояния. Это хорошо совпадает с мобильной автоматизацией: агент не должен сам “додумывать”, что делать с платежом, KYC или удалением данных. Он должен работать в границах policy, а чувствительные шаги должны требовать подтверждения или отдельного режима исполнения. Документация Anthropic доступна на docs.anthropic.com.
Из практики по regulated рынкам Европы: как только в процессе есть персональные данные, добавляйте redaction pipeline для скриншотов, TTL на артефакты и явное разделение staging/prod-секретов. Не потому что так “красиво”, а потому что иначе мобильные скриншоты превращаются в теневое хранилище PII.
export APPIUM_HOST=http://127.0.0.1:4723
export DEVICE_NAME="iPhone 15"
export RUN_ID=$(date +%s)
python run_mobile_flow.py \
--run-id "$RUN_ID" \
--platform ios \
--start-url "myapp://login" \
--artifact-dir "./artifacts/$RUN_ID"FAQ
Можно ли обойтись только computer vision без Appium?
Для демо — да. Для воспроизводимых сценариев в продуктовой среде — редко. Без доступа к структуре UI и управляемым действиям вы быстро упретесь в нестабильность и высокий процент ложных успехов.
MCP обязателен для mobile automation?
Нет. Можно строить и без него. Но MCP удобен как единый контракт между моделью и инструментами, особенно если у вас уже есть desktop, database и workflow tools в одном agent loop.
Нужны ли реальные устройства или хватит эмуляторов?
Для ранней отладки хватит эмуляторов и симуляторов. Для сценариев с push, biometrics, реальной сетью, OEM-особенностями и стабильной оценкой UX нужны реальные устройства.
Что делать с flaky-тестами и нестабильными шагами?
Логировать page source, тайминги и скриншоты на каждом критическом действии. Потом отделять ошибки среды от ошибок планирования модели и переписывать tool layer, а не только prompt.
Как начать без большого бюджета?
Возьмите 1 критичный сценарий, 1 Android emulator, 1 iOS simulator, Appium, Postgres и минимальный MCP adapter. Если за 2 недели вы не можете получить повторяемость, проблема не в масштабе, а в архитектуре сценария.
На каком этапе у вас чаще всего ломается mobile agent loop: доступ к состоянию UI, системные разрешения, хранение артефактов или контроль действий в проде? Мне правда интересно, потому что именно здесь чаще всего расходятся красивые демо и рабочие системы.
I run a free 30-min stack audit for DACH founders building AI in regulated markets. DM me on LinkedIn or write to @ger_dennis_ai.
Такие агенты я делаю для бизнеса в Германии и ЕС.
Опишите в двух предложениях, что отнимает у команды время, — отвечу в течение суток.
Превратить процесс в систему, которая работает
Продакшн-качество, а не демо.