Откуда берутся выдумки
Языковая модель не «знает» факты так, как человек. Она подбирает наиболее вероятное продолжение текста на основе того, что видела при обучении. Если вопрос касается вещей, которых в обучении было мало или которых там не было вообще, например цены вашего салона, модель всё равно продолжит текст так, чтобы он звучал убедительно.
Опаснее всего такие ответы в мелочах: номера телефонов, суммы, сроки, названия документов, ссылки. Звучит гладко, выглядит правдоподобно, а проверить быстро нельзя. Поэтому ключевая задача при внедрении — не «научить модель не врать», а лишить её возможности отвечать без опоры на проверенные данные.
Четыре слоя защиты
- Ответ только по базе знаний
- К каждому вопросу подтягиваются фрагменты ваших документов, и модель отвечает по ним. Если подходящих фрагментов нет, она не фантазирует, а передаёт вопрос человеку.
- Факты из систем, а не из памяти
- Цены, остатки, свободное время и статусы заказов берутся запросом к учёту. Модель только формулирует ответ, но не вспоминает цифры.
- Жёсткие инструкции
- В задании прямо прописано, чего делать нельзя: обещать скидки, давать юридические советы, называть сроки без проверки.
- Проверка на стороне
- Критичные ответы проходят вторую проверку: совпадает ли названная цена с прайсом, есть ли в тексте обещания вне разрешённого списка.
Чек-лист: насколько ваш ассистент защищён
- Он умеет отвечать «я не знаю» и передавать вопрос человеку
- Цены и сроки берутся из прайса или системы, а не из текста инструкции
- Есть набор провокационных вопросов, на которых его проверили до запуска
- Диалоги сохраняются, и кто-то читает их выборочно каждую неделю
- В ответах на сложные темы есть ссылка на источник или оговорка
Как проверяем перед запуском
Список провокаций1 день
Собираем вопросы, на которые ассистент не должен отвечать уверенно: несуществующие акции, чужие товары, юридические просьбы.
Прогон в сотни вопросов1–2 дня
Запускаем ассистента на реальных вопросах клиентов и отмечаем каждый неточный ответ.
Исправление базы2–3 дня
Добавляем недостающие данные, уточняем инструкции и повторяем прогон, пока ошибки не исчезнут.
Честное «не знаю» — признак качества
Если ассистент отвечает на любой вопрос без запинки, это повод насторожиться. Хороший ассистент знает границы и уверенно говорит, когда их достигает.