Простыми словами
Модель не помнит прошлое, как человек. При каждом ответе ей заново передают весь доступный контекст. Если разговор или документ превышает окно, самое старое отбрасывается — и ассистент перестаёт «видеть» начало.
Размеры окон выросли: современные модели вмещают сотни страниц. Но больше не всегда лучше: с очень длинным текстом качество внимания к деталям может падать.
Как это работает
Токен — фрагмент слова. Грубо, русское слово занимает один-три токена. В окно входят и ваши инструкции, и данные из базы знаний, и ответ модели. Поэтому при подключении документов выбирают только релевантные фрагменты.
Стоимость запросов к модели обычно зависит от числа токенов, так что длинный контекст стоит дороже.
Зачем это бизнесу
Знание о лимите помогает проектировать ассистентов. Для длинных диалогов используют сжатие истории, а для больших баз — поиск по смыслу, чтобы подавать модели только нужное.
Для бизнеса это ещё и вопрос расходов: передавать целый каталог в каждом запросе дорого и ненужно, лучше найти пять подходящих фрагментов.
Что важно учесть
Проверяйте ассистента на длинных сценариях: клиент вернулся к теме через 30 сообщений. Если бот теряет важные детали, нужно хранить ключевые факты о клиенте отдельно и подставлять их в запрос.
Пример из практики
Ассистент турагентства в Астане терял пожелания клиента по бюджету к концу долгого диалога. Решили выделить блок «сводка клиента», который обновляется после каждого сообщения и всегда попадает в запрос.
Частые ошибки
- Загружать в запрос всё подряд
- Не учитывать стоимость токенов
- Рассчитывать, что модель помнит весь прошлый диалог
- Не тестировать длинные сценарии
- Не хранить важные данные отдельно от переписки