Локальные LLM в Docker и Podman: практический стек для homelab

Что происходит

В homelab пользователи разворачивают локальные языковые модели как обычный self-hosted-сервис: runtime модели, веб-интерфейс и иногда соседние сервисы работают в Docker, Docker Compose или Podman. В материалах встречается связка Ollama для запуска модели и Open WebUI как браузерный интерфейс. Такой стек размещают не только на выделенном ПК с видеокартой, но и на NAS, мини-ПК, Raspberry Pi, а также в виртуализированной среде рядом с Proxmox.

Практика видна на разном железе. Например, участник ServeTheHome запускает Ollama и Open WebUI в Container Station на QNAP с RTX 4060 и использует систему как локальный чат-бот, оставляя GPU для других контейнеров, включая Immich ML источник. В другом примере homelab на Proxmox и Docker дополняют мини-ПК, а отдельный игровой ПК планируют оставить для задач локального AI источник. Есть и инструкции по запуску Open WebUI с Ollama на Synology и QNAP через Docker с учётом GPU passthrough источник.

Контейнеризация здесь не отменяет выбора runtime. В источниках есть пример запуска llama.cpp в Docker на Raspberry Pi и примеры Ollama на GPU-системах. На AMD Strix Halo тестируют Halogen в Podman и отдельно подбирают настройки ядра ради производительности источник. В инструкции для NAS локальный сервис доступен в домашней сети, а Ollama предоставляет API и Open WebUI — веб-интерфейс.

Почему сейчас

Один пользовательский отчёт о запуске Qwen в Docker сообщает об отказе от API и использовании квантизации; автор оценивает стоимость обработки миллиона токенов как сопоставимую с предложениями самых дешёвых провайдеров источник. Для части пользователей может быть важен и контроль над данными: чаты и запросы остаются в собственной инфраструктуре, если не включены облачные провайдеры и внешние сетевые функции.

Второй фактор — зрелость привычного для homelab инструментария. Docker Compose используют для запуска стека сервисов и упрощения обновлений, а NAS с контейнерной платформой, Proxmox и GPU passthrough делают LLM ещё одной нагрузкой рядом с хранилищем, медиасервисами или автоматизацией. Появляются готовые инструкции с настройкой Compose, GPU-доступа, обновлений и резервного копирования источник.

Данных о лицензиях, окончании поддержки или доступности компонентов в России в предоставленных материалах нет. Материалы содержат отдельные оценки стоимости оборудования, но не дают оснований связывать цены с распространением этой практики в России. Источники преимущественно описывают личные лаборатории, инструкции и отдельные установки; при этом есть руководство, рассматривающее запуск для команды из 20 человек. Доказательств фактической эксплуатации в enterprise в предоставленных материалах нет.

Оговорки

Источники показывают, что GPU passthrough может заметно ускорить инференс, а квантизованные модели подбирают по доступному объёму VRAM. Если модель не помещается в видеопамять, часть данных может выгружаться в системную RAM источник. Запуск на CPU возможен, в частности на Raspberry Pi.

При выборе конфигурации стоит сопоставить размер модели и вариант квантизации с доступными VRAM и ОЗУ. В источниках приводится пример запуска квантизованных моделей, рассчитанных на объём VRAM; в пользовательском отчёте качество конкретной квантизации оценено как приемлемое. GPU passthrough, драйверы NVIDIA или AMD, настройка runtime и конфигурация контейнеров остаются отдельной инженерной задачей.

Наконец, большая часть свидетельств — how-to и личные отчёты об удачных сборках. Они показывают применимость подхода в описанных случаях, но не показывают долю неудачных установок, стоимость владения или уровень доступности при постоянной эксплуатации.

За чем следить

• За требованиями новых моделей к VRAM, ОЗУ, контексту и доступными вариантами квантизации.
• За совместимостью GPU, драйверов и container runtime, включая NVIDIA Container Toolkit, ROCm и passthrough в Proxmox.
• За возможностями NAS-платформ: поддержкой GPU, контейнеров, местом под файлы моделей и резервное копирование данных Open WebUI.
• За тем, остаётся ли стек домашней практикой или появляются подтверждённые сценарии его эксплуатации в малом бизнесе с требованиями к поддержке и доступности.