Локальный агент помнит слишком много: как запускать AutoRAG на рабочих файлах без утечки данных и хаоса в доступах
Я Denis Shokhirev, Agentic AI Systems Architect из Freiburg im Breisgau, Germany, и в DennisCraft AI Studio я запускаю production AI-системы для DACH B2B на стеке Claude, Supabase, n8n, Doppler и self-hosted Postgres. Самый неприятный сбой с локальным AutoRAG обычно выглядит не как взлом, а как “удобство”: агент честно находит нужный файл, подтягивает старый контракт, черновик HR-политики и кусок SQL-миграции, потому что индекс помнит больше, чем должен, а границы доступа в retrieval слое никто
Я Denis Shokhirev, Agentic AI Systems Architect из Freiburg im Breisgau, Germany, и в DennisCraft AI Studio я запускаю production AI-системы для DACH B2B на стеке Claude, Supabase, n8n, Doppler и self-hosted Postgres. Самый неприятный сбой с локальным AutoRAG обычно выглядит не как взлом, а как “удобство”: агент честно находит нужный файл, подтягивает старый контракт, черновик HR-политики и кусок SQL-миграции, потому что индекс помнит больше, чем должен, а границы доступа в retrieval слое никто отдельно не спроектировал.
Когда команды говорят “данные у нас локально, значит безопасно”, я почти всегда вижу одну и ту же ошибку: смешение 3 разных задач в одну корзину. Первая — ingestion файлов. Вторая — индексация и chunking. Третья — авторизация на этапе retrieval. Если их не развести, локальный агент начинает отвечать не из той папки, не для того пользователя и не в том временном контексте. Проблема не в RAG как подходе. Проблема в том, что память агента часто проектируют как кэш удобства, а не как систему доступа.
Где именно AutoRAG ломает границы доступа
На рабочих файлах риск появляется не в момент генерации текста, а раньше — когда вы строите индекс “на всякий случай”. Я видел это на проектах с договорами, SOP-документами и внутренними runbook: разработчик берет общую директорию, прогоняет парсер, кладет embeddings в одну таблицу и считает, что ACL можно проверить потом. Потом уже поздно: векторный поиск возвращает релевантность, а не право на просмотр.
3 типовых сбоя
| Сбой | Что происходит | Последствие |
|---|---|---|
| Глобальный индекс | Все документы всех команд лежат в одном пространстве поиска | Агент подмешивает чужие файлы в ответ |
| Отсутствие TTL | Удаленный или устаревший файл остается в индексе | Модель цитирует уже недействующую политику |
| ACL после retrieval | Фильтр стоит после поиска, а не внутри SQL-запроса | Утечки через логи, reranker или trace |
OWASP в LLM Top 10 2025 отдельно указывает sensitive information disclosure и vector/embedding weaknesses как реальные классы рисков, а не теорию: https://genai.owasp.org/. Для локального агента это особенно актуально, потому что команда расслабляется: “в облако ничего не ушло”. Но если агент внутри компании увидел лишнее и отдал это не тому пользователю, утечка уже произошла, даже без внешнего эксфильтрационного канала.
Правильная модель: индекс как проекция прав, а не как свалка контента
Я использую простой принцип: документ попадает в retrieval только вместе с минимальным набором атрибутов доступа. Не “сначала загрузим, потом как-нибудь проставим теги”, а наоборот — без owner, tenant, classification, source_path, checksum и expires_at документ вообще не индексируется. Если этих полей нет, ingestion должен падать.
Минимальная схема метаданных
Для production AutoRAG на рабочих файлах мне обычно хватает таких полей:
| Поле | Зачем нужно | Пример |
|---|---|---|
| tenant_id | Изоляция клиента или бизнес-юнита | dach_logistics_01 |
| access_group | Группа доступа | finance_ops |
| classification | Чувствительность | internal / confidential |
| source_path | Трассировка origin | /contracts/2026/vendor-a.docx |
| checksum | Дедупликация и отзыв | sha256... |
| expires_at | TTL и отзыв устаревшего контента | 2026-12-31 |
Ключевой момент: retrieval запрос должен фильтровать по этим полям до того, как вернется список кандидатов. Не после. Не в приложении. Не в prompt. В базе.
from anthropic import Anthropic
import psycopg
def search_chunks(user_id, tenant_id, group_name, embedding):
sql = """
select id, content, source_path
from rag_chunks
where tenant_id = %s
and access_group = %s
and expires_at > now()
order by embedding <=> %s::vector
limit 8
"""
with psycopg.connect() as conn:
with conn.cursor() as cur:
cur.execute(sql, (tenant_id, group_name, embedding))
return cur.fetchall()
client = Anthropic()
results = search_chunks("u_17", "dach_logistics_01", "finance_ops", "[0.1,0.2]")
print(results)Что делать с ingestion, чтобы агент не помнил лишнее
AutoRAG часто ломается не на query path, а на ingestion path. Команда добавила watcher на файловую папку, и каждый новый PDF улетает в индекс. Удобно — пока туда не положили экспорт payroll, архив переговоров или временный CSV из ERP. Поэтому ingestion должен быть deny-by-default.
Практические правила
1. Индексируйте только allowlisted директории.
2. Блокируйте файлы по расширениям и паттернам имен: payroll, backup, export, secrets, key.
3. Считайте checksum, чтобы отзыв документа удалял все его chunk.
4. Держите отдельную очередь на reindex и отдельную — на revoke.
5. Не сохраняйте raw prompt и retrieved context целиком в логи, если там рабочие документы.
#!/usr/bin/env bash
set -euo pipefail
FILE="$1"
echo "$FILE" | grep -E '/approved/(policies|contracts|runbooks)/' > /dev/null
echo "$FILE" | grep -Ei '(payroll|backup|secret|key|export)' && exit 1 || true
sha256sum "$FILE" | awk '{print $1}'
python ingest_file.py "$FILE"Для репозиториев и CI я обычно добавляю gitleaks и semgrep. Gitleaks хорошо ловит секреты до индексации, semgrep помогает вытащить опасные участки в коде ingestion/retrieval. Это не заменяет дизайн доступа, но уменьшает шанс, что вы сами занесете токены, DSN или приватные ключи в память агента.
Почему “локально” не значит “под контролем”
Anthropic в документации по tool use и prompt management постоянно подчеркивает важность минимизации контекста и управления тем, что модель реально получает: https://docs.anthropic.com/. На практике это значит простую вещь: модель не должна видеть весь найденный контент только потому, что retrieval смог его достать. Я часто ставлю промежуточный policy layer в n8n или в backend на Python, который режет chunk по classification и по типу задачи.
Разделяйте 3 контура
| Контур | Назначение | Что нельзя смешивать |
|---|---|---|
| Storage | Хранение исходных файлов | Общий доступ для всех агентов |
| Index | Поиск и chunk metadata | Игнорирование ACL и TTL |
| Runtime | Prompt, tools, ответы, traces | Полные логи retrieved документов |
Отдельная боль — “service account на все случаи жизни”. Если ваш агент индексирует файлы от имени технического пользователя с широкими правами, а потом отвечает реальному сотруднику, вы уже потеряли источник истины для авторизации. Агент должен искать не “что есть в системе”, а “что разрешено конкретному субъекту сейчас”. Это особенно важно для regulated рынков, где доступы меняются быстрее, чем сама документация.
steps:
- name: classify_file
run: python classify.py ${FILE}
- name: secret_scan
run: gitleaks detect --no-git --source ${FILE}
- name: metadata_check
run: python validate_metadata.py ${FILE}
- name: index_file
run: python ingest_file.py ${FILE}Что я считаю production-ready AutoRAG для рабочих файлов
Production-ready здесь не про fancy orchestration, а про предсказуемость. Если документ удалили, он перестает находиться. Если сотрудник потерял доступ, retrieval перестает его видеть без ночной переиндексации. Если ответ агента ссылается на файл, я могу показать source_path, checksum и timestamp индексации. И если случился инцидент, я могу быстро отозвать конкретный документ, а не пересобирать всю базу.
На своих внедрениях я использую self-hosted Postgres как точку контроля, Supabase как удобный слой для приложений, n8n для автоматизации ingest/revoke, а Claude — там, где нужен качественный reasoning поверх уже отфильтрованного контекста. Самый полезный сдвиг в мышлении у команды происходит в тот момент, когда они перестают обсуждать “насколько умная модель” и начинают обсуждать “какой документ при каких правах и в какой момент модель вообще может увидеть”.
FAQ
Можно ли держать один общий векторный индекс на всю компанию?
Технически можно, но я не рекомендую это для рабочих файлов. Изоляция по tenant и access group должна быть встроена в схему и в запросы, иначе retrieval быстро превращается в источник скрытых утечек.
Достаточно ли просто не отправлять данные в облако?
Нет. Основной риск часто внутренний: агент возвращает не тот контент не тому пользователю. Локальное хранение снижает один класс рисков, но не решает авторизацию и жизненный цикл индекса.
Нужно ли логировать retrieved chunks для отладки?
Частично, а не целиком. Я обычно логирую id chunk, source_path, checksum и decision trace, но не полный текст документа, если это рабочие материалы или персональные данные.
Как быстро отзывать документ из памяти агента?
По checksum и source_path. Для этого revoke-процесс должен удалять все связанные chunk и инвалидировать кэш, а не ждать полной переиндексации ночью.
Подходит ли n8n для такого контура?
Да, если использовать его как orchestration слой, а не как место хранения секретов и бизнес-логики доступа. Критичные проверки прав и retrieval-фильтры лучше держать в коде и в базе.
На каком этапе ваш LLM pipeline чаще всего ловит проблемы в production — ingestion, retrieval, runtime sandbox или уже human review после ответа агента? Мне правда интересно сравнить это с тем, что я вижу на DACH B2B внедрениях.
I run a free 30-min stack audit for DACH founders building AI in regulated markets. DM me on LinkedIn or write to @ger_dennis_ai.
Такие агенты я делаю для бизнеса в Германии и ЕС.
Опишите в двух предложениях, что отнимает у команды время, — отвечу в течение суток.
Превратить процесс в систему, которая работает
Продакшн-качество, а не демо.