Локальные LLM в homelab на GeForce, Intel Arc и AMD Strix Halo

Что происходит

В материалах встречаются описания постоянно работающих домашних ИИ-серверов, а локальные LLM используются для чата в локальной сети, помощи в разработке и обработки документов. В отдельных примерах используются Ollama или llama.cpp, Open WebUI и контейнерное развёртывание. Например, владелец QNAP NAS с GeForce RTX 4060 8 ГБ запускает Open WebUI и Ollama в Container Station, оставляя часть ресурсов GPU для других контейнеров, включая ML-задачи Immich (источник).

При этом выбор ускорителя не ограничивается NVIDIA. Для Intel Arc B580 12 ГБ опубликован пример запуска 27B-модели с тернарной квантизацией и веткой llama.cpp, оптимизированной под XMX-блоки: автор отдельно подчёркивает разницу между движками при одинаковых карте и настройках (источник). На AMD Strix Halo применяют специализированный Halogen Flash Server, Podman и настройку ядра для Qwen3.8-Flash-Next (источник).

Материалы адресованы энтузиастам и разработчикам; среди описанных конфигураций есть игровые GPU и APU с большой унифицированной памятью. В них рассматривается управляемый локальный инференс без обращения к внешнему облаку. Показателен и прикладной пример на RTX 3090: модель Mica 4B через llama.cpp управляла ботом Minecraft с задержкой решения 90–150 мс (источник).

Почему сейчас

CNews сообщает об ограниченной доступности GPU-серверов на фоне роста спроса на ИИ (источник). Само по себе это сообщение не устанавливает связь с переходом компаний или homelab на потребительские GPU.

В отдельных примерах низкобитные квантизации и специализированные под конкретные модель и железо движки дают результаты, отличающиеся от других вариантов запуска. В одном из тестов RTX 5070 с 12 ГБ VRAM специализированный движок для Qwen3.8-Flash-Next показал иной результат, чем прежний запуск через llama.cpp; использовались 2- и 3-битные кванты и 64 ГБ системной памяти (источник). То есть полезный сценарий можно получить не только увеличением VRAM, но и подбором формата модели, контекста и рантайма.

Материалы содержат отдельные оценки стоимости оборудования и обсуждения расходов на облачный API и локальный запуск. Однако они не дают подтверждённых данных о лицензировании, наличии потребительских GPU в России или сопоставимой экономике для конкретной российской конфигурации. Поэтому выводы об экономии на подписках либо влиянии параллельного импорта требуют дополнительных данных.

Оговорки

Ключевые технические примеры представлены публикациями отдельных энтузиастов; в наборе материалов также есть редакционные руководства и новостные публикации. Успешные конфигурации могут отражать survivorship bias: авторы уже выполнили ручную отладку, выбрали совместимую модель и не обязательно описали все неудачные попытки. Их результаты нельзя переносить на другой драйвер, ОС, версию движка или иную длину контекста.

Главное ограничение — память. В ней одновременно должны помещаться веса, KV-кэш контекста и накладные расходы рантайма. Упомянутый пример RTX 5070 для некоторых квантов требует до 47 ГБ суммарно RAM и VRAM, несмотря на 12 ГБ видеопамяти. Поэтому карта с достаточной вычислительной мощностью сама по себе не гарантирует запуск нужной модели или приемлемую интерактивность.

Для обсуждаемой конфигурации Ryzen AI NPU не стоит считать самостоятельной основой для таких сценариев. В обсуждении Ryzen AI производительность локальных LLM отнесена к iGPU, поскольку программная поддержка NPU ещё незрелая (источник). Для Strix Halo имеет смысл рассматривать связку iGPU, унифицированной памяти и конкретного поддерживаемого движка.

За чем следить

• Совместимость новых версий Ollama, llama.cpp и специализированных движков с Intel Arc, AMD iGPU и конкретными квантами моделей.
• Требования выбранной модели к суммарной RAM/VRAM и объём памяти, занимаемый контекстным кэшем при выбранной длине контекста.
• Воспроизводимые замеры на одинаковых моделях и настройках, а не только заявленную скорость генерации.
• Развитие программной поддержки NPU: для конфигураций, подобных обсуждаемому Ryzen AI, инференс стоит планировать по возможностям GPU или iGPU.