Кто есть кто на рынке
Флагманские облачные модели выпускают несколько компаний: OpenAI (ChatGPT и модели GPT), Anthropic (Claude), Google (Gemini). Их последние версии близки по общему уровню и обходят друг друга в разных тестах: одна лучше пишет код, другая лучше работает с огромными документами, третья дешевле при сопоставимом качестве.
Рядом растут открытые модели — их веса публикуются, и модель можно запустить на своём сервере. Самые известные семейства — Qwen, Llama, DeepSeek, Mistral. Они немного уступают флагманам на сложных задачах, но для многих бизнес-сценариев их качества достаточно, а данные не покидают ваш контур.
В Казахстане есть собственные модели: KazLLM от Института умных систем и ИИ Назарбаев Университета и партнёров и следующее поколение AlemLLM, ориентированное на казахский, русский и смешанные тексты. Их выбирают, когда важно обрабатывать данные внутри страны или когда в текстах много казахской специфики.
Критерии выбора
- Качество на ваших данных
- Не рейтинги в интернете, а результат на 50–100 реальных вопросах ваших клиентов или документах. Это единственный честный тест.
- Цена за объём
- Модели берут деньги за количество обработанного текста. Разница между дорогой и дешёвой моделью может быть в десятки раз.
- Скорость ответа
- Для чата с клиентом важно, чтобы ответ начинался за секунду-две. Для разбора документов ночью скорость не важна.
- Где обрабатываются данные
- Облако за рубежом, облако в Казахстане или свой сервер — зависит от того, какие данные вы передаёте.
- Языки
- Казахский и смешанная речь проверяются отдельно: модели заметно различаются по качеству.
Почему мы часто используем несколько моделей
В одном проекте разные шаги требуют разного. Понять, о чём спрашивает клиент, и выбрать нужный сценарий может быстрая и дешёвая модель. Сложный ответ по договору или анализ звонка — более мощная. Распознавание голоса — специализированная модель. Такая связка выходит дешевле, чем флагман на всё, а качество не страдает.
Мы также проектируем системы так, чтобы модель можно было заменить без переделки всего проекта. Рынок меняется быстро: через полгода может выйти модель, которая лучше и дешевле. Привязываться к одному поставщику навсегда — лишний риск.
Когда стоит выбрать свой сервер
- Медицинские, финансовые или юридические данные клиентов
- Коммерческая тайна: договоры, цены поставщиков, технологии
- Требования заказчика или регулятора к хранению в Казахстане
- Очень большой объём однотипных задач, где своя модель дешевле облака
Чего не стоит делать
Не стоит выбирать модель по новостям или по тому, какой чат-бот нравится лично вам. Модель, которая блестяще пишет стихи, может хуже других следовать строгим инструкциям «отвечай только по прайсу». Для бизнеса важнее предсказуемость, чем креативность.
Не стоит и «дообучать» модель на своих данных в первую очередь. Для большинства задач достаточно хорошей базы знаний и инструкций: модель получает нужные фрагменты в момент ответа. Дообучение имеет смысл в узких случаях — например, для особого стиля текстов или очень специфической терминологии — и требует много данных.
Как мы проводим тест моделей
Мы собираем тестовый набор: 50–100 реальных вопросов ваших клиентов или документов, вместе с правильными ответами, которые дали бы ваши лучшие сотрудники. Добавляем каверзные случаи: вопрос, на который нет ответа в базе, вопрос на казахском, просьбу о скидке, грубое сообщение.
Через этот набор прогоняем несколько моделей с одинаковыми инструкциями и базой знаний. Оцениваем точность, следование правилам, тон, скорость и стоимость. Результат — таблица, по которой выбор становится очевидным, а не делом вкуса.
Тот же набор потом используем при каждом обновлении: новая модель или новая версия инструкций проверяются на нём перед выпуском, чтобы улучшение в одном месте не сломало другое.