Почему память вообще проблема

Модель работает по кругу: получила текст, выдала ответ, забыла. Между вашими сообщениями у неё не остаётся ничего — ни имени, ни вчерашнего разговора.

Чувство непрерывности создаёт сервис. Перед каждым ответом он собирает справку: кто вы, о чём говорили, к чему пришли, — и отправляет её модели вместе с вашей репликой. Сколько персонаж «помнит», зависит только от того, что попало в эту справку.

А справка не может быть бесконечной. У модели есть предел текста за один раз, и каждое слово в нём стоит денег (подробнее — в статье что такое токены). Отправлять каждый раз всю переписку за полгода нельзя. Значит, память — это всегда выбор: что взять, а что оставить за бортом.

Из чего складывается память у нас

На my-idol.ru справка собирается из четырёх слоёв, и у каждого своя работа. Важная оговорка: первый слой работает на любом тарифе, а три остальных, так называемая глубокая память, подключаются в ответы на Pro. Подробности ниже, в разделе про тарифы.

  1. Свежие сообщенияПоследние 14–20 реплик модель видит дословно: окно подрастает до двадцати сообщений, потом сдвигается вперёд сразу на шесть. Это держит связность: ответ на вопрос, заданный три сообщения назад, «а что насчёт того», шутку, которую вы ещё не закрыли.