Как проверить качество ИИ-ассистента до запуска и после

Зачем нужен тестовый набор

Тестовый набор — это список реальных и трудных вопросов с описанием, каким должен быть правильный ответ. Он нужен по двум причинам. До запуска он показывает, где ассистент ошибается. После запуска, когда вы меняете цены, инструкции или модель, набор позволяет убедиться, что ничего не сломалось.

Начните с пятидесяти вопросов, выбранных из переписки за прошлые месяцы. Добавьте вопросы, на которые ассистент отвечать не должен, и провокации. Размер набора растёт со временем: каждая найденная ошибка становится новым тестом.

Что оценивать в ответе

Точность

Совпадают ли цены, сроки, адреса и условия с вашими данными. Это главный критерий.

Полнота

Дан ли ответ на весь вопрос или только на часть, не упущена ли важная оговорка.

Тон и стиль

Звучит ли ответ как ваша компания: вежливо, коротко, без канцелярита.

Действие

Правильно ли ассистент передал клиента менеджеру, создал заявку или записал на время.

Как организовать проверку

1. Сбор вопросов1 день

   Берём реальные сообщения клиентов, убираем личные данные, группируем по темам.

2. Эталонные ответы1–2 дня

   Сотрудники, знающие бизнес, пишут краткое описание правильного ответа для каждого вопроса.

3. Прогон и разметка1 день

   Запускаем вопросы через ассистента, отмечаем «верно», «частично», «неверно» и причину ошибки.

4. Исправление и повторпо кругу

   Правим базу и инструкции, затем прогоняем набор снова и сравниваем результат.