Что такое Clef-omni

Clef-omni относится к семейству решений Cloudflare, которое компания позиционирует как инструмент для точек принятия решений в рабочих потоках, таких как модерация контента, маршрутизация запросов или обнаружение мошенничества. В отличие от генеративных чат‑ботов, модель не производит свободный текст, а возвращает вероятности для заранее заданного набора ответов, что исключает необходимость последующей очистки вывода. Архитектура построена на принципе mixture‑of‑experts: из 30 миллиардов параметров активны только те, которые соответствуют конкретному модальному входу, что позволяет экономить вычислительные ресурсы на краевых узлах.

Как работает модель

При получении запроса Clef-omni принимает одновременно несколько типов данных: обычный текст, структурированный JSON, изображения в форматах JPEG/PNG, аудио в WAV или MP3 и видео в MP4 или WebM. На основе предоставленной схемы допустимых ответов модель выдаёт распределение вероятностей по каждому варианту. Такой подход гарантирует, что вывод всегда остаётся внутри заданного диапазона и не содержит галлюцинаций. Cloudflare подчеркивает, что узкая специализация модели делает её дешевле в эксплуатации — стоимость inference составляет примерно 0,15 доллара за миллион обработанных токенов, что существенно ниже, чем у полноразмерных генеративных моделей сопоставимого размера.

Где может применяться

Благодаря способности воспринимать сразу несколько модальностей, Clef-omni находит применение в сценариях, где требуется быстрая и надёжная классификация. Например, система модерации пользовательского контента может подать на вход видеоклип и получить ответ «нарушает политику» или «не нарушает» с уровнем уверенности. В службе поддержки модель способна направить тикет в одну из заранее определённых категорий, основываясь на тексте заявки и приложенных скриншотах. В финансовом мониторинге Clef-omni может оценить транзакцию на предмет подозрительности, используя одновременно текстовое описание операции и связанные с ней изображения чеков или скриншотов интерфейса. Все эти варианты реализуются без необходимости дополнительного пост‑обработки вывода, что снижает latency и упрощает интеграцию в существующие пайплайны на Workers AI.

Источник новости: shattered.io