Дизайн / Мультимодальный ИИ
Cloudflare представила мультимодальную модель Clef-omni с поддержкой аудио и видео
Cloudflare анонсировала выпуск Clef-omni — открытой весовой модели, способной обрабатывать текст, изображение, аудио и видео одновременно, а также ускорила и снизила стоимость предыдущих версий Clef и Clef-flash.
Сводка
Главное за 15 секунд
- Cloudflare выпустила Clef-omni — открытую мультимедийную модель, обрабатывающую текст, изображение, аудио и видео, одновременно ускорив Clef и снизив цену на Clef-flash. Анонс совпал с аналогичными шагами Google и других
- Cloudflare анонсировала выпуск Clef-omni — открытой весовой модели, способной обрабатывать текст, изображение, аудио и видео одновременно, а также ускорила и снизила стоимость предыдущих версий Clef и Clef-flash.
- ## Что такое Clef-omni Cloudflare объявила о выпуске Clef-omni, новой модели из семейства Clef, которая принимает на вход четыре типа данных: текст, изображение, аудио и видео.
- По сравнению с предшественниками, работавшими преимущественно с текстом и отдельными кадрами видео, Clef-omni объединяет эти модальности в единое пространство представлений, что позволяет выполнять более сложные задачи п
Что такое Clef-omni
Cloudflare объявила о выпуске Clef-omni, новой модели из семейства Clef, которая принимает на вход четыре типа данных: текст, изображение, аудио и видео. По сравнению с предшественниками, работавшими преимущественно с текстом и отдельными кадрами видео, Clef-omni объединяет эти модальности в единое пространство представлений, что позволяет выполнять более сложные задачи принятия решений без необходимости предварительной модальной трансформации.
Технические улучшения и цены
В рамках того же анонса Cloudflare сообщила о повышении скорости работы базовой модели Clef и о снижении цены на Clef-flash до уровня, делающего её более доступной, чем модель Jev от TypeSafe. Эти изменения были достигнуты за короткий период: команда решила заняться разработкой в пятницу вечером, обучила модель в выходные и выпустила её в четверг, что демонстрирует гибкость внутренних процессов компании.
Контекст отраслевых событий
Новость о Clef-omni появилась в то время, когда другие игроки также анонсировали расширение мультимедийных возможностей своих моделей. Например, в начале недели Google представила EmbeddingGemma 2, открытую эмбеддинговую модель, работающую с текстом, изображением, аудио и видео на смартфоне. Параллельно в обзорах недели отмечались релизы моделей от Anthropic и Mistral, ориентированные на различные модальности, что указывает на общий тренд к универсальным представлениям данных в индустрии ИИ.
Значение для разработчиков и бизнеса
Доступность открытых весов Clef-omni позволяет разработчикам интегрировать мультимедийный анализ в свои приложения на платформе Workers AI без необходимости создавать собственные пайплайны для синхронизации разных типов данных. Снижение стоимости Clef-flash делает привлекательным использование лёгкой версии для задач, требующих быстрого отклика, таких как реальное время обработки видеопотоков или аудиопотоков в сочетании с текстовыми запросами.
Источник новости: Cloudflare Blog
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.