IT & RAG / Модели LLM & SLM
Ученые LMU разработали метод байтификации больших языковых моделей за минимальные затраты
Группа исследователей из LMU и международных коллег представила технику байтификации, которая превращает существующие большие языковые модели в байтовые версии, требуя менее одного процента от обычного объёма обучения и сохраняя их производительность.
Сводка
Главное за 15 секунд
- Исследователи из LMU и партнеров разработали метод байтификации, позволяющий превратить существующие большие языковые модели в байтовые версии за менее чем один процент от обычного объёма обучения, сохранив производитель
- Группа исследователей из LMU и международных коллег представила технику байтификации, которая превращает существующие большие языковые модели в байтовые версии, требуя менее одного процента от обычного объёма обучения и
- ## Суть метода байтификации Группа исследователей из Людвига‑Максимилианского университета Мюнхена (LMU), совместно с коллегами из Allen Institute for AI, Кембриджского университета, Вашингтонского университета и Имперск
- Она позволяет преобразовать существующие большие языковые модели (LLM), работающие на субсловной токенизации, в модели, обрабатывающие текст побайтно — то есть буква за буквой.
Суть метода байтификации
Группа исследователей из Людвига‑Максимилианского университета Мюнхена (LMU), совместно с коллегами из Allen Institute for AI, Кембриджского университета, Вашингтонского университета и Имперского колледжа Лондона, представила технику, получившую название байтификации. Она позволяет преобразовать существующие большие языковые модели (LLM), работающие на субсловной токенизации, в модели, обрабатывающие текст побайтно — то есть буква за буквой. Согласно опубликованному в журнале Nature исследованию, для байтификации достаточно менее одного процента от обычного объёма обучения, необходимого для создания такой модели с нуля. При этом сохраняется основная производительность исходной LLM, а модель приобретает способности к символьному уровню обработки: например, правильно пишет слова задом наперёд или распознаёт отдельные буквы в сложных терминах. Авторы подчеркивают, что такие навыки критически важны при работе с программным кодом, биологическими последовательностями и другими областями, где требуется точное распознавание символов.
Контекст и сравнение с предыдущими подходами
До сих пор попытки создать байтовые языковые модели сталкивались с двумя основными проблемами: высокой стоимостью обучения с нуля и ухудшением производительности на типичных языковых задачах. Предыдущие подходы требовали переобучения на огромных корпусах, что делало их непрактичными для коммерческого использования. В отличие от них, байтификация использует уже обученные параметры LLM и лишь немного корректирует их, чтобы модель начала видеть отдельные байты. Это напоминает метод fine‑tuning, но с гораздо меньшим объёмом данных — менее одного процента от того, что обычно требуется для полного переобучения. В результате сохраняются способности модели к генерации связного текста, одновременно появляется новая granularity обработки, которая ранее была недоступна без значительных ресурсов.
Последствия для отрасли
Полученные байтифицированные модели превзошли все ранее опубликованные байтовые LLM сопоставимого размера, что делает их практичной альтернативой существующим решениям. Исследователи отмечают, что код, обучающие данные и предобученные модели доступны публично, что открывает путь для быстрого внедрения в корпоративные продукты, специализированные сервисы и научные инструменты. Поскольку метод требует минимальных дополнительных затрат на обучение, компании могут адаптировать уже развёрнутые LLM без необходимости полного переобучения, сохраняя при этом инвестиции в инфраструктуру. Это может снизить барьер для внедрения символьного уровня понимания в такие сферы, как автоматическая проверка орфографии, анализ юридических документов и обработка генетических данных. Исследовательская группа планирует дальнейшие работы по масштабированию байтификации до моделей с сотнями миллиардов параметров и изучению её влияния на способность моделей к рассуждению в стиле человека.
Источник новости: Newswise
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.