Supermicro, IBM и NVIDIA представили платформу хранения KV-кеша
Supermicro, IBM и NVIDIA анонсировали аппаратно-программную платформу для работы с KV-кешем при ИИ-инференсе. В её основе — All-Flash серверы Supermicro Petascale, IBM Storage Scale и NVIDIA Dynamo.
Что произошло
Supermicro совместно с IBM и NVIDIA представила специализированную платформу для работы с KV-кешем, предназначенную для сокращения времени до начала генерации ответа ИИ-моделью. Программный стек включает IBM Storage Scale и NVIDIA Dynamo, применяется сетевая технология NVIDIA Spectrum-X.
Аппаратной основой служат All-Flash серверы хранения Supermicro Petascale в форм-факторе 1U с процессорами AMD EPYC Turin до 96 ядер и поддержкой до 9 Тбайт DDR5-4400 в 24 модулях. Узлы оснащаются 16 фронтальными отсеками E3.S 1T для NVMe-накопителей PCIe 5.0 x4, слотами PCIe 5.0 и разъёмами OCP 3.0. В тесте на модели со 120 млрд параметров и промптом на 130 тыс. токенов время до первого ответа сократилось в 56 раз относительно обычных систем. При росте длины запроса с 30 тыс. до 130 тыс. токенов задержка увеличилась на 0,377 с.
Что это значит для тех, кто работает с серверным оборудованием и носителями и интерфейсами хранения
Платформа предназначена для работы с KV-кешем при ИИ-инференсе. В тесте использовался промпт длиной 130 тыс. токенов. При оценке подобных решений необходимо проверять совместимость серверной платформы с E3.S NVMe PCIe 5.0, доступность требуемой сетевой инфраструктуры NVIDIA Spectrum-X, а также условия поставки и поддержки IBM Storage Scale и NVIDIA Dynamo.
Что делать
- Оценить требования ИИ-нагрузок к длине контекста и времени до первого ответа.
- Проверить возможность установки накопителей E3.S PCIe 5.0 и сетевых адаптеров в выбранных серверных узлах.
- Уточнить состав программного стека, включая IBM Storage Scale и NVIDIA Dynamo, до планирования внедрения.
Пересказ и оценка значения для инфраструктуры — редакция U-SERVER. Технические детали сверяйте с первоисточником.