Проблема совместимости ускорителей

Сегодня NVIDIA GPU доминируют в AI‑data center, но облачные провайдеры и специализированные стартапы активно разрабатывают собственные чипы и акселераторы. Для эффективной работы больших языковых моделей тысячам таких процессоров необходимо обмениваться огромными объёмами данных с низкой задержкой и без сетевых перегрузок. Традиционно используемые scale-up (соединение чипов внутри одной стойки) и scale-out (соединение стоек по всему дата‑центру) реализуются отдельными сетевыми средами, что создаёт сложности при смешивании оборудования разных производителей.

Как работает Token Fabric

Upscale предлагает объединить оба уровня в единой технологии Token Fabric. Платформа обеспечивает быстрые соединения с минимальной задержкой внутри стоек (scale‑up) и одновременно связывает стойки и системы по всему объекту (scale‑out). Такой подход позволяет данным свободно перемещаться между ускорителями любого типа, будь то GPU NVIDIA, пользовательские ASIC или другие акселераторы, без необходимости построения отдельных сетей для каждого класса железа.

Перспективы для data center

По заявлению компании, Token Fabric упрощает управление heterogeneous аппаратным обеспечением, снижает капитальные и операционные расходы на сетевую инфраструктуру и открывает возможность для облачных провайдеров предлагать клиентам более гибкий выбор ИИ‑чипов. Это особенно актуально в условиях растущего спроса на инференс‑нагрузки, где эффективное взаимодействие множества ускорителей становится критическим фактором производительности.

Источник новости: hpcwire.com