Открытая инфраструктура для массового инференса

Корпорация IBM вместе с партнерами по проекту llm-d анонсировала выпуск версии 1.0 открытого программного обеспечения, предназначенного для обслуживания больших языковых моделей в производственных условиях. Проект, управляемый Cloud Native Computing Foundation, набрал более 500 контрибьюторов из 25 организаций. Новый релиз добавляет мультитенантный контроль трафика, непрерывность обновлений и маршрутизацию с учётом сессий — функции, критичные для рабочих нагрузок с участием ИИ-агентов.

Экономика обслуживания на открытых моделях

Исследователи IBM Research применили llm-d в связке с открытыми пограничными моделями для задачи квантовой коррекции ошибок. По их данным, стоимость инференса оказалась в 11,5 раза ниже, чем в полностью проприетарной конфигурации. При этом достигнута частота попаданий в кэш префиксов около 98%, что означает повторное использование закешированного входного контекста. Смешанная стоимость обслуживания составила примерно 0,11 доллара за миллион токенов.

Масштабируемость на стандартном железе

В отдельном бенчмарке llm-d использовался для развёртывания модели GLM 5.2 на широко распространённых GPU NVIDIA. Система выдала пиковую производительность более 6,6 миллиона выходных токенов в минуту, обслуживая до 3000 одновременных кодирующих агентов без вытеснений. Результаты подтверждают, что открытый стек способен закрывать потребности продакшн-сред без привязки к специализированному оборудованию.