Main

В России создана первая мультимодальная модель ИИ OmniFusion, способная вести визуальный диалог и отвечать на вопросы по изображениям на русском языке.

Ученые научно-исследовательского Института искусственного интеллекта AIRI разработали решение, которое расширяет возможности традиционных систем обработки естественного языка за счет интеграции визуальных модальностей [7]. Модель OmniFusion уже распознает и описывает картинки, позволяя пользователю узнать рецепт блюда по фотографии ингредиентов, проанализировать карту помещения или получить инструкцию по сборке устройства по фото его частей [7]. Ключевое отличие проекта — открытость: open-source код для обучения доступен публично и может использоваться в коммерческих продуктах, что критически важно для развития локального рынка генеративного ИИ [7].

Архитектура решения построена на базе большой языковой модели (LLM), которая специальным образом обучается анализировать изображения, превращая их в текстовое описание и «понимая» визуальный контекст [7]. В перспективе разработчики планируют добавить поддержку аудио, 3D-моделирования и видеоконтента, что позволит OmniFusion работать с еще более сложными мультимедийными задачами [7].

Источник новости: Forbes.ru

Разработка OmniFusion знаменует переход от узкоспециализированных систем к универсальным инструментам, способным решать задачи в разных доменах — от бытовых вопросов до профессионального анализа технических схем [7]. Открытый доступ к коду стимулирует создание экосистемы вокруг модели, позволяя российским стартапам и компаниям кастомизировать решение под свои специфические потребности без зависимости от закрытых проприетарных моделей западных бигтехов [3]. Это соответствует глобальной тенденции развития open-weight систем, которые дают беспрецедентный контроль и приватность, становясь альтернативой облачным Omni-моделям [5].

OmniFusion демонстрирует, что мультимодальность в российском сегменте уже перешла из стадии теоретических исследований в стадию практического применения, предлагая пользователям инструмент для глубокого понимания контекста через сочетание текста и визуальных данных [1]. Модель способна устранять двусмысленность в принятии решений, анализируя одновременно описания и изображения продуктов, что особенно актуально для ритейла и логистики [2].