Простыми словами
Когда модель выбирает следующее слово, у неё есть список вариантов с вероятностями. При низкой температуре она почти всегда берёт самый вероятный. При высокой чаще выбирает менее очевидные, и текст становится более неожиданным.
Значение обычно задают числом, например от 0 до 1 или до 2, в зависимости от сервиса.
Как это работает
Для бота поддержки, который отвечает по инструкции, нужна температура близкая к нулю: один и тот же вопрос должен приводить к одному ответу, без фантазий. Для генерации названий, идей и рекламных текстов подходит значение выше.
Есть и другие настройки, влияющие на разнообразие, например top-p. Их обычно меняют по одному, иначе сложно понять, что дало эффект.
Зачем это бизнесу
Правильная настройка уменьшает риск ошибок. Чем выше температура, тем больше шанс, что модель отойдёт от фактов. Для ответов с ценами, условиями и сроками творчество не нужно.
С другой стороны, слишком «холодный» ассистент звучит однообразно и роботизированно. Баланс подбирают на примерах реальных диалогов.
Что важно учесть
Некоторые новые модели ограничивают или полностью задают эту настройку сами. Проверяйте документацию выбранной модели и тестируйте результат, а не полагайтесь только на значение параметра.
Пример из практики
Магазин одежды в Усть-Каменогорске использовал одну модель и для консультанта, и для описаний товаров. Для консультанта температуру снизили, для текстов повысили — ответы стали точными, а описания живее.
Частые ошибки
- Ставить высокое значение для ответов по фактам
- Менять сразу несколько настроек
- Не тестировать после смены модели
- Считать, что температура исправит плохой промпт
- Использовать нулевое значение для творческих задач