Дизайн / Мультимодальный ИИ
Google DeepMind представил Genie 4 — мировую модель с генерацией аудио и управлением в реальном времени
Alphabet анонсировала четвёртое поколение генеративной модели Genie, способную создавать интерактивные виртуальные миры с синхронным звуком и реагировать на текстовые команды без полной перегенерации сцены.
Сводка
Главное за 15 секунд
- Google DeepMind выпустила Genie 4 — мировую модель, генерирующую фотореалистичные интерактивные 3D-сцены с синхронным аудио в реальном времени.
- Модель позволяет менять окружение текстовыми командами на лету, удерживает стабильную симуляцию до двух минут и тесно интегрирована с Gemini для планирования сценариев.
- Релиз сопровождается консолидацией рынка мировых моделей: покупки World Labs, Decart и Third Dimension крупными игроками.
- Основные сценарии использования — игровая разработка, интерактивное обучение, робототехника и прототипирование фильмов.
Технологический скачок
Google DeepMind выпустила Genie 4 в статусе research preview. Новая модель генерирует фотореалистичные трёхмерные окружения и, в отличие от предшественников, добавляет звуковое сопровождение: музыку, фоновые шумы и диалоги персонажей, синхронизированные с действием на экране. Пользователь может вводить текстовые промпты прямо во время симуляции — менять погоду, угол камеры, добавлять объекты или персонажей — и модель обновляет сцену в реальном времени, не требуя полной перерисовки. Время непрерывного существования стабильного мира удвоилось до двух минут, физика взаимодействий и анимация людей стали заметно естественнее.
Интеграция с Gemini и перспективы применения
Ключевая архитектурная новизна — тесная связка с крупной языковой моделью Gemini. Последняя выступает в роли «режиссёра»: планирует шаги сценария, проверяет кадры и передаёт инструкции Genie 4 для визуализации. В эксперименте с Gemini Robotics модель Argon разбивала роботские задачи на подшаги, которые Genie 4 тут же проигрывала в симуляции, что открывает путь к предобучению роботов в виртуальности. По словам директора исследований Теджаса Кулкарни, будущее за гибридными мировыми моделями, где языковая модель пишет код и текст, а генеративная — моделирует реальность на разных уровнях абстракции.
Рыночный контекст
Выход Genie 4 происходит на фоне консолидации сектора: AMD поглощает World Labs Фей-Фей Ли, Amazon ведёт переговоры о покупке Decart, а Rivian приобрела Third Dimension для автопилотов. Конкурент Runway уже представил GWM Worlds 2 с аудиогенерацией. Коммерческие сценарии Google охватывают игровую индустрию, интерактивное обучение и робототехнику; тестировщики также отмечают ценность инструмента для сторибординга и прототипирования фильмов. Источник новости: moomoo.com
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.