Проблема: нейросеть не знает вашу компанию
Если спросить ChatGPT или GigaChat «какой у нас срок согласования договора», модель либо честно скажет, что не знает, либо уверенно придумает ответ. Второе хуже. Модель обучали на общедоступных текстах. Вашей внутренней документации там нет и быть не должно.
Дообучать модель на своих данных дорого, долго, и это не решает главного: документы меняются каждую неделю, а дообученная модель «застывает» в момент обучения.
Решение: сначала найти, потом ответить
RAG (Retrieval-Augmented Generation, «генерация с поиском») работает в два шага:
- Поиск. Вопрос пользователя превращается в поисковый запрос к вашей базе знаний. Система находит несколько самых подходящих фрагментов: пункт регламента, раздел инструкции, строку из прайса.
- Ответ. Найденные фрагменты передаются модели вместе с вопросом и инструкцией: «отвечай только по этим материалам, укажи источник, если ответа нет — так и скажи».
Модель не «помнит» ваши документы. Она каждый раз читает нужные куски и пересказывает их. Поэтому обновили документ — ассистент сразу отвечает по новой версии.
Как это устроено технически
- Загрузка. Документы (PDF, Word, страницы Confluence, статьи базы знаний, выгрузки из 1С) разбиваются на фрагменты по смыслу.
- Индексация. Каждый фрагмент превращается в вектор — числовое представление смысла. Векторы хранятся в специальной базе.
- Поиск. Вопрос тоже превращается в вектор. Система ищет фрагменты с близким смыслом, даже если слова другие: «отпуск» найдёт и «ежегодный оплачиваемый отдых». Обычно поиск по смыслу комбинируют с поиском по ключевым словам — так точнее находятся артикулы, номера и термины.
- Генерация. Модель получает вопрос и найденные фрагменты, формирует ответ со ссылками.
Где RAG приносит пользу
- Поддержка клиентов. Ответы на типовые вопросы по документации продукта, условиям доставки, гарантии. Сложное — передаётся человеку.
- Внутренний helpdesk. Сотрудники спрашивают про отпуска, командировки, доступы — вместо того чтобы писать в HR и ИТ.
- Продажи. Менеджер быстро находит характеристики товара, условия договора, ответ на возражение.
- Онбординг. Новичок задаёт вопросы ассистенту, а не отвлекает коллег.
- Юристы и закупки. Поиск по массиву договоров: «в каких договорах с поставщиками есть штраф за просрочку».
Подробнее о том, как мы делаем такие решения, — на странице ИИ-ассистент по базе знаний.
Ограничения, о которых стоит знать
- Качество ответов = качество документов. Если в регламентах противоречия или устаревшие версии, ассистент будет их повторять. Часто внедрение RAG — повод навести порядок в базе знаний.
- Таблицы и сканы. Сложные таблицы и сканы без распознавания текста требуют отдельной подготовки.
- Ошибки не исчезают полностью. Модель может неверно пересказать фрагмент. Поэтому нужны ссылки на источник, тестовый набор вопросов и регулярная проверка.
- Права доступа. Бухгалтер и менеджер по продажам не должны видеть одни и те же документы. Разграничение прав закладывается в поиск с самого начала.
Где хранятся данные
Для российских компаний это ключевой вопрос. Варианты:
- Российские облачные модели (GigaChat, YandexGPT) — данные не покидают РФ, оплата по токенам.
- Локальная модель на вашем сервере — данные не покидают ваш контур, но нужен сервер с GPU.
- Векторная база и документы в любом случае хранятся у вас.
Как начать
Не нужно сразу загружать все документы компании. Лучше выбрать один процесс с понятной метрикой — например, вопросы клиентов по доставке — и сделать пилот на одном источнике. За несколько недель станет понятно, насколько хорошо ассистент отвечает именно на ваших данных.