IT & RAG / Модели LLM & SLM
Google Research представила «sleep framework» для непрерывного обучения LLM без катастрофического забывания
Google Research анонсировала новую парадигму «sleep framework», позволяющую большим языковым моделям непрерывно усваивать знания и избегать катастрофического забывания за счёт чередования активной фазы и офлайн-консолидации памяти.
Сводка
Главное за 15 секунд
- Google Research ввела концепцию «sleep framework» — чередование активной и спящей фаз для LLM, что позволяет моделям непрерывно учиться, консолидировать контекст до 10 млн токенов и избегать катастрофического забывания б
- Google Research анонсировала новую парадигму «sleep framework», позволяющую большим языковым моделям непрерывно усваивать знания и избегать катастрофического забывания за счёт чередования активной фазы и офлайн-консолида
- ## Новая парадигма непрерывного обучения Исследователи Google Ali Behrouz и Вахаб Мирокни предложили архитектуру, в которой большая языковая модель работает в двух режимах: активной («бодрствования») и спящей.
- Во время активной фазы модель обрабатывает входящие данные и накапливает кратковременную информацию в быстрых компонентах памяти.
Новая парадигма непрерывного обучения
Исследователи Google Ali Behrouz и Вахаб Мирокни предложили архитектуру, в которой большая языковая модель работает в двух режимах: активной («бодрствования») и спящей. Во время активной фазы модель обрабатывает входящие данные и накапливает кратковременную информацию в быстрых компонентах памяти. Переходя в спящий режим, она приостанавливает приём новых входов и перенаправляет вычислительные ресурсы на консолидацию хрупкого кратковременного контекста в стабильные долгосрочные параметры. Такой подход вдохновлен нейробиологией: человеческий мозг в фазе сна стабилизирует воспоминания, перенося их из гиппокампа в неокортекс.
Преодоление фундаментальных ограничений
Традиционное машинное обучение разделяет обучение и инференс, что делает развернутые модели статическими с фиксированной датой отсечения знаний. Попытки дообучать модели на новых данных ведут к катастрофическому забыванию — резкому падению качества на ранее выученных задачах. Альтернатива — in-context learning — ограничивает удержание знаний окном контекста: по завершении сессии информация теряется. Sleep framework устраняет эту дилемму, предоставляя модели периодический жизненный цикл, в котором кратковременный контекст до 10 млн токенов трансформируется в устойчивые веса без потери предыдущих способностей.
Практическое значение для индустрии
Представленный подход открывает путь к системам, способным непрерывно адаптироваться к меняющимся данным, нормативным актам или корпоративным знаниям без полного переобучения. Это особенно актуально для RAG-архитектур, где актуальность извлекаемой информации критична. Google опубликовала технические детали в препринте на arXiv, что позволяет исследователям и инженерам оценить применимость метода к собственным задачам.
Источник новости: Google Research
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.