Для локального AI собирают multi-GPU стенды из доступных ускорителей

Что происходит

В представленных примерах для локального AI собирают стенды из нескольких ускорителей и нестандартной обвязки. В отдельных конфигурациях используются бывшие в употреблении карты, специализированные платы с майнингового рынка, PCIe-коммутаторы и переходники.

Практика охватывает разные подходы. Один из участников Level1Techs подключил четыре Radeon R9700 через PLX-коммутатор; после настройки все GPU стали доступны, но P2P в виртуальных машинах продолжал работать некорректно, а платформа столкнулась с нехваткой BAR-пространства в обсуждении. Другой пользователь строит конфигурацию из четырёх R9700 на AM5, используя M.2-слоты, PCIe-карты и адаптеры, поскольку выделить четыре группы CPU-подключённых линий даже на современной потребительской платформе оказалось сложно в отчёте о bifurcation.

Есть и более радикальные варианты. Для inference используют две б/у RTX 3090 в самодельном шасси с нестандартным охлаждением в примере из r/LocalLLaMA. В другом случае Qwen запускают на пяти бывших майнинговых BC-250: автор объединяет несколько плат по встроенной сети и указывает бюджет менее $800, одновременно отмечая низкую энергоэффективность конструкции в публикации.

Это не единый стандарт архитектуры, а набор самостоятельных экспериментов с разными компонентами и способами их подключения.

Почему сейчас

Низкая цена упоминается в материалах о двух б/у RTX 3090 и пяти бывших майнинговых BC-250. Отдельно автор конфигурации BC-250 сообщает о примерно 71 ГБ доступной видеопамяти и бюджете менее $800. В других примерах показаны подключение двух RTX 3090 через NVLink и объединение BC-250 по встроенной сети.

Внешний фон усиливает интерес к таким экспериментам. CNews сообщает, что спрос на AI-инфраструктуру начинает опережать доступность GPU-серверов в заметке. Прямой связи между этим и самодельными стендами материалы не устанавливают, но интерес к альтернативам готовым системам на таком фоне выглядит ожидаемым.

Данных о влиянии лицензий, окончании поддержки конкретных продуктов или новых релизах ускорителей в представленных материалах нет. Поэтому их нельзя считать подтверждёнными драйверами этой практики.

Оговорки

Все приведённые технические сигналы содержат существенные ограничения. В конфигурации с четырьмя R9700 через PLX возникли проблемы с BAR-пространством, а также с P2P в VM; побочным эффектом автор считает отказ встроенного 10GbE-адаптера. Само обнаружение всех GPU ещё не означает, что конфигурация пригодна для виртуализированной AI-нагрузки.

В описанной AM5-конфигурации основным ограничением стала PCIe-топология: нужное число линий приходится получать через bifurcation, M.2-слоты и адаптеры. В этом случае результат связан с конкретной платой, процессором, версией BIOS и настройками подключённых устройств. Для сравнения: в серверных платформах несколько ускорителей — штатный сценарий, под который производитель рассчитывает слоты, линии PCIe, питание и охлаждение. Это, а не цена карт, — главный аргумент против потребительских сборок для рабочих задач.

Экономия на ускорителях также не отменяет требований к питанию, теплоотводу и механической компоновке. Пример с двумя RTX 3090 использует самодельное шасси и водяное охлаждение, а автор стенда на BC-250 прямо характеризует его как неэффективный по энергопотреблению. Гарантия, сертификация, предсказуемость ремонта и поддержка такого решения из представленных материалов не следуют.

За чем следить

• За поддержкой bifurcation и доступным BAR-пространством в BIOS выбранной платы до покупки GPU и адаптеров.
• За тем, работают ли P2P и нужный режим виртуализации именно в целевой связке GPU, PCIe-коммутатора и гипервизора.
• За фактической потребляемой мощностью, температурой и требованиями к охлаждению при длительном inference.
• За тем, превращается ли спрос на локальный AI в предложения с документированной поддержкой multi-GPU, а не только в отдельные community-сборки.