IT & RAG / Open Source
IBM, Red Hat и Google выпускают llm-d 1.0 — открытую платформу для промышленного инференса больших моделей
Проект llm-d достиг версии 1.0 и готов к эксплуатации в продакшене: Kubernetes-нативный фреймворк позволяет разворачивать инференс любых моделей на любом железе и в любом облаке, снижая зависимость от проприетарных стеков.
Сводка
Главное за 15 секунд
- IBM, Red Hat и Google выпустили llm-d 1.0 — Kubernetes-нативный фреймворк для распределённого инференса больших языковых моделей.
- Проект готов к промышленной эксплуатации: стабильный API, мультитенантность, обновления без простоев.
- Вендорно-независимая архитектура поддерживает любые модели, ускорители и облака; к контрибьюторам присоединились AMD, Cisco, Hugging Face, Intel, Lambda, Mistral AI.
- Релиз укрепляет тренд на открытые стеки инференса как альтернативу проприетарным экосистемам.
Платформа для «второго дня» эксплуатации
На конференции PyTorch Conference North America контрибьюторы проекта llm-d объявили о выходе версии 1.0. По словам Карлоса Коста, выдающегося инженера IBM Research и сооснователя проекта, релиз означает готовность к «day 2 operations» — то есть к рутинной промышленной эксплуатации с требованиями к стабильности API, мультитенантности и бесшовным обновлениям. До этого фреймворк демонстрировал передовые результаты производительности, но не имел операционной зрелости для критических сервисов.
Вендорно-независимый стек
Инициативу возглавляют Red Hat, IBM и Google; вместе с CoreWeave и NVIDIA они заложили основу проекта год назад. К контрибьюторам присоединились AMD, Cisco, Hugging Face, Intel, Lambda и Mistral AI. Сообщество ставит цель создать альтернативу закрытым экосистемам, позволяя предприятиям запускать пограничный инференс на собственной инфраструктуре без привязки к единственному провайдеру моделей, облака или аппаратной платформы.
Пять ключевых техник в единой системе
В основе llm-d лежат пять подходов: маршрутизация с учётом префикс-кэша, выгрузка KV-кэша между GPU, CPU и хранилищем, оптимизация батчинга, разделение префилл- и декод-фаз, а также широкий экспертный параллелизм для смешанных экспертных моделей. Новизна версии 1.0 не в отдельных идеях, а в их глубокой интеграции и операционной обёртке: стабильный API, приоритезация нагрузки между арендаторами и обновления без простоев.
Контекст открытой гонки за инференс
Релиз происходит на фоне активности других игроков: китайская DeepSeek недавно открыла собственный фреймворк DeepInfer для моделей V4.1-Flash на чипах NVIDIA и Huawei, а NVIDIA совместно с Институтом проектирования белков Вашингтонского университета представила открытую модель RFD4-Proteina. Тем не менее, llm-d 1.0 выделяется фокусом на Kubernetes-нативную эксплуатацию и широкую коалицию вендоров, что делает его кандидатом на роль отраслевого стандарта для самостоятельного развёртывания крупных языковых моделей.
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.