IT & RAG / Модели LLM & SLM
IBM и партнеры выпустили llm-d 1.0 для обслуживания ИИ в продакшене
Открытый проект llm-d версии 1.0 объединил более 500 участников из 25 организаций и демонстрирует снижение стоимости инференса в 11,5 раза по сравнению с проприетарными решениями.
Сводка
Главное за 15 секунд
- IBM и партнеры выпустили llm-d 1.0 — открытый стек для инференса LLM в продакшене под эгидой CNCF.
- В тестах IBM Research стоимость инференса снизилась в 11,5 раза, кэш-префиксы дают 98% попаданий, цена — $0,11 за млн токенов.
- Бенчмарк на GLM 5.2 показал 6,6 млн токенов/мин и поддержку 3000 агентов без вытеснений на обычных GPU NVIDIA.
Открытая инфраструктура для массового инференса
Корпорация IBM вместе с партнерами по проекту llm-d анонсировала выпуск версии 1.0 открытого программного обеспечения, предназначенного для обслуживания больших языковых моделей в производственных условиях. Проект, управляемый Cloud Native Computing Foundation, набрал более 500 контрибьюторов из 25 организаций. Новый релиз добавляет мультитенантный контроль трафика, непрерывность обновлений и маршрутизацию с учётом сессий — функции, критичные для рабочих нагрузок с участием ИИ-агентов.
Экономика обслуживания на открытых моделях
Исследователи IBM Research применили llm-d в связке с открытыми пограничными моделями для задачи квантовой коррекции ошибок. По их данным, стоимость инференса оказалась в 11,5 раза ниже, чем в полностью проприетарной конфигурации. При этом достигнута частота попаданий в кэш префиксов около 98%, что означает повторное использование закешированного входного контекста. Смешанная стоимость обслуживания составила примерно 0,11 доллара за миллион токенов.
Масштабируемость на стандартном железе
В отдельном бенчмарке llm-d использовался для развёртывания модели GLM 5.2 на широко распространённых GPU NVIDIA. Система выдала пиковую производительность более 6,6 миллиона выходных токенов в минуту, обслуживая до 3000 одновременных кодирующих агентов без вытеснений. Результаты подтверждают, что открытый стек способен закрывать потребности продакшн-сред без привязки к специализированному оборудованию.
Обсуждение
Комментарии
Войдите через Google или Telegram, чтобы участвовать в обсуждении.