AI-агенты сжигают контекст и бюджет: как сжать вывод инструментов на 99% без потери смысла
Я Denis Shokhirev, Agentic AI Systems Architect из Freiburg im Breisgau, Germany, и в DennisCraft AI Studio я собираю production-grade AI-системы на Claude, Supabase, n8n, Doppler и self-hosted Postgres для B2B-клиентов в DACH. Самый частый сбой в multi-agent системе у меня сейчас не в reasoning, а в том, что инструмент возвращает 40 000 строк лога, JSON или SQL-результатов, агент послушно кладет это в контекст и начинает сжигать токены, задержку и деньги. Проблема здесь не академическая. В реа
Я Denis Shokhirev, Agentic AI Systems Architect из Freiburg im Breisgau, Germany, и в DennisCraft AI Studio я собираю production-grade AI-системы на Claude, Supabase, n8n, Doppler и self-hosted Postgres для B2B-клиентов в DACH. Самый частый сбой в multi-agent системе у меня сейчас не в reasoning, а в том, что инструмент возвращает 40 000 строк лога, JSON или SQL-результатов, агент послушно кладет это в контекст и начинает сжигать токены, задержку и деньги.
Проблема здесь не академическая. В реальных пайплайнах агент почти никогда не работает только с короткими ответами. Он вызывает Postgres, читает результаты semgrep, bandit или gitleaks, тянет payload из n8n, смотрит API-ответы и пытается “думать” поверх сырого вывода. В этот момент стоимость ответа определяется не моделью, а дисциплиной обращения с tool output. Если ее нет, вы платите за мусор.
Почему tool output ломает экономику агентной системы
У большинства команд есть оптимизация prompt, но нет оптимизации вывода инструментов. Это видно по логам: 1 SQL-запрос вернул 5 МБ JSON, агенту реально нужно 6 строк, а в контекст отправляется все. Тот же паттерн возникает с CI-анализом кода, аудитом зависимостей и журналами выполнения workflow.
Anthropic в документации по tool use рекомендует передавать моделям структурированные и минимально необходимые данные, а не необработанные массивы результатов; это не маркетинг, а операционная необходимость. Источник: Anthropic documentation, tool use, 2024, https://docs.anthropic.com/ . OpenAI Cookbook в примерах работы с длинным контекстом и function calling показывает тот же принцип: сначала извлечь релевантное, потом передавать модели. Источник: OpenAI Cookbook, 2024, https://cookbook.openai.com/ .
Где именно теряется бюджет
| Источник вывода | Типичный объем | Что реально нужно агенту | Что делать |
|---|---|---|---|
| Postgres SELECT * | 1000+ строк | 5–20 записей или агрегаты | LIMIT, projection, server-side summary |
| semgrep / bandit | сотни findings | severity, file, line, CWE, top issues | нормализация и ranking |
| n8n / API logs | десятки КБ | status, error, correlation id | фильтрация по схеме |
| HTML / docs | полные страницы | конкретный фрагмент | парсинг и extraction до LLM |
Я смотрю на это так: модель должна получать не “все, что вернул инструмент”, а “минимальный набор фактов, нужный для следующего решения”. Это не summarization в стиле “перескажи лог”. Это интерфейсный контракт между инструментом и агентом.
Паттерн: не компрессия текста, а компрессия смысла
Лучший результат в production я получаю не от еще одного LLM-вызова для сжатия, а от трех простых слоев перед моделью: фильтрация, нормализация, агрегация. Если сделать их на уровне инструмента или orchestration, контекст падает на порядки.
1. Фильтрация до модели
Если агенту нужен только итог статического анализа по критическим проблемам, незачем скармливать ему все предупреждения. Оставьте severity, путь к файлу, правило и короткий фрагмент. Остальное можно сохранить в Postgres или Supabase для аудита.
import json
def compact_semgrep(raw: dict) -> dict:
results = raw.get("results", [])
top = []
for item in results:
extra = item.get("extra", {})
sev = extra.get("severity", "INFO")
if sev not in {"ERROR", "WARNING"}:
continue
top.append({
"check_id": item.get("check_id"),
"path": item.get("path"),
"line": item.get("start", {}).get("line"),
"severity": sev,
"message": extra.get("message", "")[:180]
})
return {"count": len(top), "findings": top[:20]}Такой объект обычно в 50–200 раз меньше исходного JSON и при этом полезнее для следующего шага агента.
2. Нормализация схемы
Разные инструменты возвращают данные в разных форматах. Агент начинает тратить контекст уже на то, чтобы понять, что такое поле message в одном случае и description в другом. Приведите все к одной схеме: source, severity, object, evidence, next_action. После этого модель принимает решение быстрее и стабильнее.
3. Агрегация вместо сырого списка
Когда Postgres возвращает 10 000 записей, чаще всего агенту нужен не список, а ответ на вопрос: сколько, где аномалия, какие 3 крайних случая, что изменилось по сравнению со вчера. Это лучше посчитать SQL-запросом.
SELECT
status,
count(*) AS total,
max(updated_at) AS last_seen
FROM payments
WHERE updated_at >= now() - interval '24 hours'
GROUP BY status
ORDER BY total DESC;Вместо тысяч строк агент получает 3–8 строк агрегатов. Потеря смысла нулевая, потому что бизнес-вопрос был именно про состояние системы, а не про полный дамп таблицы.
Как внедрить 99% сжатие без потери трассировки
Частое возражение: “Если я сожму вывод, я потеряю аудируемость”. В regulated среде это справедливый риск. Решение простое: разделить operational context и forensic storage. В контекст агента идет компактный объект. Полный сырой вывод сохраняется отдельно с ссылкой, checksum и TTL.
type ToolEnvelope = {
tool: string;
raw_ref: string;
summary: Record<string, unknown>;
checksum: string;
};
export function buildEnvelope(tool: string, rawRef: string, summary: object, checksum: string): ToolEnvelope {
return {
tool,
raw_ref: rawRef,
summary,
checksum
};
}Такой контракт хорошо работает с Supabase или self-hosted Postgres: raw payload хранится в object storage или отдельной таблице, а агент получает только summary. Если позже нужен аудит инцидента, у вас есть полный след.
Что с RAG и retrieval
Тот же принцип работает и там. Не отправляйте в модель 20 найденных кусков документации только потому, что retriever их нашел. Сначала rerank, затем deduplicate, затем вытащите конкретные абзацы, отвечающие на вопрос. RAG без компрессии — это просто более дорогой способ переполнить контекст.
Где компрессия должна жить в стеке
Я не советую делать это внутри prompt как “summarize the previous output”. Это поздно и дорого. Компрессия должна жить там, где рождается вывод: в SQL, в Python-постобработке, в n8n function node, в адаптере Anthropic SDK.
steps:
- tool: postgres
query: "select status, count(*) as total from jobs group by status"
- transform:
keep:
- status
- total
sort_by: total
limit: 10
- model:
input: compact_resultПрактическое правило у меня такое. Если tool output превышает размер вопроса агента больше чем в 10 раз, это кандидат на обязательную компрессию. Если превышение больше чем в 100 раз, это уже не optimization, а баг дизайна.
OWASP в LLM Top 10 обращает внимание на риск избыточного раскрытия данных и передачи чувствительного контента модели без необходимости. Источник: OWASP Top 10 for LLM Applications, 2025, https://genai.owasp.org/ . Сжатие вывода помогает не только с ценой, но и с минимизацией данных.
FAQ
Всегда ли нужна LLM для сжатия tool output?
Нет. В большинстве production-сценариев deterministic compression лучше: SQL-агрегация, фильтрация JSON, regex, schema mapping. LLM имеет смысл только там, где нужен semantic merge из неструктурированных источников.
Не ухудшит ли это качество reasoning?
Обычно нет, если вы сжимаете до вопроса, а не “вообще”. Агенту нужна релевантная информация для следующего решения, а не полный журнал событий.
Как доказать пользу команде?
Измерьте 3 метрики до и после: tokens per tool call, latency per task и success rate на фиксированном наборе задач. Обычно эффект виден в первый же день логирования.
Где хранить полный вывод для аудита?
В self-hosted Postgres, Supabase storage или отдельном журнале событий с ссылкой из summary-объекта. Главное — не тащить этот массив в prompt по умолчанию.
Это актуально только для больших моделей?
Нет. Чем дешевле и меньше модель, тем сильнее она страдает от шумного контекста. Компрессия особенно полезна там, где вы хотите удержать SLA и себестоимость.
Если ваш агент сегодня чаще всего принимает плохие решения после вызова инструментов, на каком шаге у вас теряется больше смысла в prod: SQL, логи workflow, результаты статического анализа или RAG-контекст? Я правда хочу это узнать.
I run a free 30-min stack audit for DACH founders building AI in regulated markets. DM me on LinkedIn or write to @ger_dennis_ai.
Такие агенты я делаю для бизнеса в Германии и ЕС.
Опишите в двух предложениях, что отнимает у команды время, — отвечу в течение суток.
Превратить процесс в систему, которая работает
Продакшн-качество, а не демо.