Что такое Clef-omni

Cloudflare объявила о выпуске Clef-omni, новой модели из семейства Clef, которая принимает на вход четыре типа данных: текст, изображение, аудио и видео. По сравнению с предшественниками, работавшими преимущественно с текстом и отдельными кадрами видео, Clef-omni объединяет эти модальности в единое пространство представлений, что позволяет выполнять более сложные задачи принятия решений без необходимости предварительной модальной трансформации.

Технические улучшения и цены

В рамках того же анонса Cloudflare сообщила о повышении скорости работы базовой модели Clef и о снижении цены на Clef-flash до уровня, делающего её более доступной, чем модель Jev от TypeSafe. Эти изменения были достигнуты за короткий период: команда решила заняться разработкой в пятницу вечером, обучила модель в выходные и выпустила её в четверг, что демонстрирует гибкость внутренних процессов компании.

Контекст отраслевых событий

Новость о Clef-omni появилась в то время, когда другие игроки также анонсировали расширение мультимедийных возможностей своих моделей. Например, в начале недели Google представила EmbeddingGemma 2, открытую эмбеддинговую модель, работающую с текстом, изображением, аудио и видео на смартфоне. Параллельно в обзорах недели отмечались релизы моделей от Anthropic и Mistral, ориентированные на различные модальности, что указывает на общий тренд к универсальным представлениям данных в индустрии ИИ.

Значение для разработчиков и бизнеса

Доступность открытых весов Clef-omni позволяет разработчикам интегрировать мультимедийный анализ в свои приложения на платформе Workers AI без необходимости создавать собственные пайплайны для синхронизации разных типов данных. Снижение стоимости Clef-flash делает привлекательным использование лёгкой версии для задач, требующих быстрого отклика, таких как реальное время обработки видеопотоков или аудиопотоков в сочетании с текстовыми запросами.

Источник новости: Cloudflare Blog