Дообучение и поиск по базе: в чём разница
Многие думают, что нужно «обучить нейросеть на своих данных». Дообучение меняет саму модель, стоит дорого и плохо подходит для фактов: цены меняются, а переобучать модель каждую неделю неразумно. К тому же она всё равно может уверенно выдать неточность.
Практичнее другая схема: документы разбиваются на фрагменты и хранятся в специальной базе. Когда клиент задаёт вопрос, система находит самые подходящие фрагменты и передаёт их модели вместе с вопросом. Модель формулирует ответ только из этого материала. Такой подход называют поиском с генерацией ответа.
Как подготовить и подключить документы
Соберите материалы
Прайс, условия, инструкции, договоры-образцы, описания услуг, ответы менеджеров на частые вопросы. Удалите устаревшее.
Наведите порядок
Один факт — одно место. Противоречия между документами приводят к противоречивым ответам.
Структурируйте
Цены лучше хранить в таблице, а не в картинке. Сканы без распознавания текста ассистент не прочитает.
Загрузите в базу знаний
Документы разбиваются на фрагменты и индексируются. Для каждого сохраняется источник и дата.
Задайте правила ответа
Отвечать только по найденным материалам, указывать источник, при отсутствии данных честно сообщать об этом.
Проверьте на реальных вопросах
Возьмите 30–50 вопросов клиентов и сравните ответы с правильными. Исправьте материалы там, где ответ неверен.
Что делает ответы точнее
- Актуальные документы с датами и версиями
- Короткие и конкретные формулировки вместо рекламных текстов
- Вопросы и ответы, написанные языком клиентов
- Отдельные документы для разных услуг, а не один большой файл
- Явные ограничения: «не даём гарантий», «цена зависит от…»
- Передача диалога человеку, если уверенность ответа низкая
Решите, какие документы нельзя загружать
Договоры с конкретными клиентами, персональные данные и внутренние финансовые отчёты не нужны ассистенту для публичных вопросов. Разделите базу на открытую для клиентов и закрытую для сотрудников, у них будут разные права доступа.
Обновление и поддержка
База знаний живёт вместе с бизнесом. Когда меняется прайс, акция или график работы, соответствующий документ нужно обновить, и ассистент сразу начнёт отвечать по-новому. Это одно из главных преимуществ перед дообучением.
Раз в неделю просматривайте вопросы, на которые ассистент не нашёл ответа. Они показывают, чего не хватает в материалах, и превращаются в новые статьи базы. Через пару месяцев набирается список из 50–100 вопросов, которые закрывают основную часть обращений.
Типичные причины неточных ответов
Если ассистент отвечает неверно, чаще всего виноваты не модель, а материалы. В базе остался старый прайс, два документа противоречат друг другу, нужной информации нет вообще, либо важное спрятано в таблице-картинке. Сначала проверьте найденные фрагменты: часто видно, что система взяла не тот документ.
Второй источник ошибок — слишком общий вопрос клиента. В таком случае ассистент должен уточнить, а не угадывать: «Вас интересует услуга для квартиры или для офиса?». Пропишите такие уточнения в правилах, и точность вырастет без дорогих доработок.