Простыми словами
Языковая модель не «знает» факты, как справочник. Она предсказывает наиболее вероятное продолжение текста. Если в обучении не хватило данных или вопрос слишком узкий, она заполняет пробел тем, что звучит убедительно.
Для человека такая ошибка опасна именно своей уверенностью: нет сомнений в тоне, нет оговорок.
Как это работает
Риск растёт, когда вопрос касается свежих событий, редких фактов, точных цифр, юридических и медицинских деталей. Чем конкретнее и специфичнее запрос, тем выше вероятность выдумки, если у модели нет доступа к источнику.
Снижают риск несколькими способами: подключают базу знаний компании (RAG), заставляют модель отвечать только по найденным документам, просят указывать источник и говорить «не знаю», проверяют ответы по критичным темам.
Зачем это бизнесу
Для бизнеса ошибка бота — это неверная цена, обещанная скидка или условие договора, которых нет. Клиент воспринимает это как обязательство компании, а репутационные и финансовые последствия ложатся на вас.
Поэтому ИИ-ассистента для клиентов проектируют с ограничениями: он отвечает по утверждённой информации, а сложные вопросы и деньги передаёт человеку.
Что важно учесть
Тестируйте ассистента на «ловушках»: вопросах, ответа на которые в базе нет. Правильная реакция — признать незнание и предложить связаться с менеджером. Такие тесты стоит повторять после каждого обновления базы.
Пример из практики
Ассистент интернет-магазина в Алматы на вопрос о гарантии на конкретную модель придумал срок. После подключения к карточкам товаров и инструкции «если данных нет — передай менеджеру» подобные ответы прекратились.
Частые ошибки
- Запускать ассистента без базы знаний
- Не проверять ответы на вопросы с ценами и условиями
- Разрешать боту давать юридические или медицинские советы
- Не логировать диалоги
- Считать, что новая версия модели исключает ошибки