Тренды

Куда движется каждая область серверной инфраструктуры: обзоры направлений, которые мы дополняем по мере развития событий.

Обзоров: 8Областей: 6
◆ Серверное оборудование и комплектующие

Для локального AI собирают multi-GPU стенды из доступных ускорителей

В отдельных экспериментах для локального AI используют бывшие в употреблении RTX 3090 и бывшие майнинговые платы BC-250. Такие сборки могут потребовать внимания к PCIe, питанию и охлаждению.

PCIeRTX 3090Radeon
Читать полностью
◆ Серверное оборудование и комплектующие

Локальные LLM в homelab на GeForce, Intel Arc и AMD Strix Halo

Материалы показывают запуск локальных LLM на потребительских GPU и APU с подбором квантизации, движка и параметров системы. В отдельных конфигурациях нужна ручная настройка.

Intel ArcOllamahomelab
Читать полностью