Новая парадигма непрерывного обучения

Исследователи Google Ali Behrouz и Вахаб Мирокни предложили архитектуру, в которой большая языковая модель работает в двух режимах: активной («бодрствования») и спящей. Во время активной фазы модель обрабатывает входящие данные и накапливает кратковременную информацию в быстрых компонентах памяти. Переходя в спящий режим, она приостанавливает приём новых входов и перенаправляет вычислительные ресурсы на консолидацию хрупкого кратковременного контекста в стабильные долгосрочные параметры. Такой подход вдохновлен нейробиологией: человеческий мозг в фазе сна стабилизирует воспоминания, перенося их из гиппокампа в неокортекс.

Преодоление фундаментальных ограничений

Традиционное машинное обучение разделяет обучение и инференс, что делает развернутые модели статическими с фиксированной датой отсечения знаний. Попытки дообучать модели на новых данных ведут к катастрофическому забыванию — резкому падению качества на ранее выученных задачах. Альтернатива — in-context learning — ограничивает удержание знаний окном контекста: по завершении сессии информация теряется. Sleep framework устраняет эту дилемму, предоставляя модели периодический жизненный цикл, в котором кратковременный контекст до 10 млн токенов трансформируется в устойчивые веса без потери предыдущих способностей.

Практическое значение для индустрии

Представленный подход открывает путь к системам, способным непрерывно адаптироваться к меняющимся данным, нормативным актам или корпоративным знаниям без полного переобучения. Это особенно актуально для RAG-архитектур, где актуальность извлекаемой информации критична. Google опубликовала технические детали в препринте на arXiv, что позволяет исследователям и инженерам оценить применимость метода к собственным задачам.

Источник новости: Google Research