Простыми словами
Языковая модель не читает слова целиком, а разбивает текст на токены — кусочки из нескольких букв. Для английского один токен — примерно четыре символа, для русского и казахского он короче, поэтому текст на этих языках обходится дороже и занимает больше места в контексте.
Токенами считают и вопрос, и ответ, и инструкции, которые отправляются вместе с ними. Если ассистент каждый раз получает длинную базу знаний и историю диалога, на один ответ уходят тысячи токенов.
Как это работает
Тарифы провайдеров указывают цену за миллион токенов, причём вход и выход оцениваются по-разному: генерация ответа обычно дороже. Более мощные модели стоят заметно дороже лёгких. Итоговая стоимость диалога складывается из длины сообщений, количества шагов и выбранной модели.
Расход можно сократить. Подбирают более дешёвую модель для простых вопросов, сокращают инструкции, передают в запрос только нужные фрагменты базы, применяют кэширование повторяющихся частей и ограничивают длину истории диалога.
Зачем это владельцу бизнеса
Знать о токенах нужно, чтобы заранее посчитать месячный бюджет ИИ. Если вы получаете тысячу диалогов в месяц, стоимость легко оценить, а вот при внезапном росте трафика или атаке ботов расходы могут вырасти. Поэтому ставят лимиты.
Размер контекста тоже ограничен в токенах. Длинные договоры или переписки приходится делить на части или сначала сжимать, иначе модель «забудет» начало.
Пример из практики
Интернет-магазин из Шымкента подключил ассистента и в первый же месяц удивился счёту: в каждый запрос отправлялся весь каталог. После перехода на подбор нескольких релевантных карточек и использования более лёгкой модели для простых вопросов расходы упали в несколько раз без потери качества.
Частые ошибки
- Отправлять в каждый запрос весь документ целиком
- Использовать самую мощную модель для простых задач
- Не ставить лимиты и не получать оповещений о расходах
- Не учитывать, что кириллица занимает больше токенов
- Хранить бесконечную историю диалога