Main

В России создана первая мультимодальная модель ИИ для визуального диалога на русском языке.

Ученые научно-исследовательского Института искусственного интеллекта AIRI разработали модель OmniFusion, способную не только распознавать изображения, но и вести с пользователем визуальный диалог, отвечая на вопросы по картинкам [8]. Проект стал первым в стране мультимодальным решением, интегрирующим обработку языка с визуальными модальностями, и уже доступен в формате open-source для коммерческого использования [8].

Ключевые возможности OmniFusion

Модель поддерживает русский язык и позволяет решать практические задачи, ранее недоступные для традиционных текстовых систем. Пользователь может загрузить фотографию ингредиентов и получить рецепт блюда, проанализировать карту помещения или узнать инструкцию по сборке устройства по фото его отдельных частей [8]. OmniFusion распознает и описывает визуальный контент, устраняя двусмысленность при интерпретации сложных сцен [3].

В перспективе разработчики планируют расширить функционал за счет интеграции аудио, 3D- и видеоконтента, что позволит модели работать с более широким спектром данных [8]. Это соответствует глобальному тренду на создание систем, способных одновременно обрабатывать текст, изображения, код и таблицы для формирования полного понимания информации [3].

Технологическое значение и доступность

Открытие кода для обучения делает OmniFusion доступным инструментом для российских разработчиков и компаний, желающих создавать коммерческие продукты на базе мультимодального ИИ [8]. Модель расширяет возможности традиционных систем обработки языка (NLP) за счет добавления дополнительных модальностей, что критически важно для повышения адаптивности ИИ и улучшения качества рассуждений [1].

Разработка OmniFusion знаменует переход от узкоспециализированных систем к универсальным моделям, способным «смотреть» на данные и понимать контекст задачи глубже, чем текстовые аналоги [1]. Источник новости: Forbes.ru.