RAID и RAID-контроллеры

Hot Spare в RAID: global, dedicated и Copyback

Как назначить резервный диск для аппаратного RAID, выбрать между global и dedicated spare и проверить поведение Copyback после замены.

12 минут
абстрактная иллюстрация резервного диска в RAID
Hot Spare — это заранее назначенный свободный диск, который аппаратный RAID-контроллер может автоматически включить в деградировавший отказоустойчивый массив и запустить Rebuild. Общий Global Hot Spare доступен нескольким совместимым массивам одного контроллера, а Dedicated Hot Spare закреплён за конкретным массивом или группой. После Rebuild возврат данных на постоянный диск замены через Copyback возможен не всегда: это зависит от модели, прошивки и настроек контроллера.

Когда Hot Spare действительно может запустить Rebuild

Автоматическое восстановление начинается, когда контроллер признал физический диск — участник массива отказавшим, массив перешёл в деградированный режим, а заранее назначенный spare доступен и подходит этому массиву. Контроллер заменяет отсутствующего участника резервным диском и восстанавливает на него данные из сохранившихся участников и избыточности.

Ситуации, в которых Hot Spare может или не может помочь

СостояниеЧто произойдёт с Hot Spare
Один участник отказоустойчивого массива отказал, массив остаётся доступенКонтроллер обычно может принять совместимый spare и начать Rebuild, если это разрешено его политикой.
Диск имеет Predictive Failure, но ещё участвует в массивеАвтоматическое замещение зависит от реализации и настроек. Предупреждение само по себе не означает, что spare будет немедленно использован.
RAID 0Не поможет: у RAID 0 нет избыточности, из которой можно восстановить данные отсутствующего диска.
Массив уже Offline или число отказов превысило допустимое для его уровняНе поможет: контроллеру недостаточно исходных данных для Rebuild. Назначение spare не возвращает массив в рабочее состояние.
Подходящий spare занят восстановлением другого массиваВторой массив не сможет использовать этот диск, пока после Copyback или переназначения он снова не получит роль spare либо пока не появится другой совместимый резерв.

Hot Spare не заменяет защиту данных

Резервный диск сокращает время между отказом и началом Rebuild, но не предотвращает второй отказ, не ускоряет сам Rebuild и не гарантирует его успешное завершение. RAID также не защищает от удаления данных, ошибок приложения, вредоносного ПО или отказа контроллера. Для этого нужна отдельная проверенная резервная копия: почему RAID — не резервное копирование.

Global Hot Spare или Dedicated Hot Spare

Тип резерваКому доступенКогда выбиратьОсновное ограничение
Global Hot SpareНескольким совместимым массивам под управлением одного контроллераКогда массивов несколько, их приоритет сопоставим и допустимо использовать общий резервный дискОдин диск может одновременно участвовать только в одном Rebuild.
Dedicated Hot SpareОдному массиву либо определённой группе массивов — в пределах возможностей контроллераКогда критичному массиву нужен выделенный резерв, не конкурирующий с остальными массивами, или когда массивы имеют разный приоритетРезерв не будет автоматически использован для массива вне заданной области, даже если там произошёл отказ.

Для одного массива оба варианта часто дают одинаковый практический результат; dedicated spare проще интерпретировать как резерв именно этого массива. Для нескольких массивов одинаковой важности и малого числа запасных дисков обычно рассматривают global spare. Если один массив обслуживает критичную нагрузку, а другой — второстепенную, для критичного массива разумнее выделить dedicated spare, а общий резерв использовать только для остальных.

Один global spare не равен двум резервным дискам

Один global spare можно сделать доступным нескольким совместимым RAID-массивам, но одновременно он способен восстанавливать только один из них. При почти одновременных отказах порядок выбора определяется конкретным контроллером, состоянием массивов и его политиками; универсального алгоритма приоритета нет. Второй массив может остаться Degraded без свободного spare.

Как проверить диск для Hot Spare

Не назначайте резерв по одному совпадению объёма на наклейке. Контроллер оценивает доступную ёмкость и собственные правила совместимости. Диск большей номинальной ёмкости может использоваться лишь в пределах объёма, требуемого массивом; остаток обычно не становится частью этого массива.

  • Доступная ёмкость. Она должна быть не меньше ёмкости заменяемого участника с точки зрения контроллера. Сравнивайте отображаемый usable size, а не только паспортные TB.
  • Интерфейс и путь подключения. Проверьте совместимость SAS или SATA с конкретным контроллером, backplane и портом. Поддержка смешения SAS и SATA не означает, что любой такой диск допустим в любом массиве.
  • Секторный формат. Сопоставьте 512n, 512e и 4Kn. Смешение форматов может быть запрещено контроллером, массивом или всей цепочкой ввода-вывода.
  • Тип носителя. Возможность смешивать HDD и SSD либо назначать SSD резервом для HDD-массива определяется контроллером и его политикой; не считайте это универсально допустимым.
  • Корзина и топология. Проверьте, что слот дисковой корзины, backplane, экспандер и контроллер видят накопитель штатно. Нельзя считать любой свободный отсек равнозначным без проверки схемы подключения.
  • Поддержка модели и прошивки. Учитывайте список совместимости производителя сервера и контроллера, версию firmware, а для SSD — также требования к прошивке и назначению диска.

Не переносите правила между семействами контроллеров

Терминология, статусы и ограничения различаются у Dell PERC, HPE Smart Array, MegaRAID и Adaptec SmartRAID. Точную пригодность spare, число резервов, правила смешения типов дисков и Copyback нужно сверять с документацией модели и установленной версии прошивки.

Как назначить Hot Spare: безопасная последовательность

Назначение резервного диска на аппаратном RAID-контроллере

Пути в iDRAC, HPE Smart Storage Administrator, StorCLI и интерфейсах других производителей различаются. Последовательность действий остаётся одинаковой: сначала зафиксировать исходное состояние, затем проверить диск, выбрать роль и подтвердить применённую конфигурацию.

  1. 1
    Зафиксируйте конфигурацию до изменений
    Сохраните снимок или экспорт конфигурации контроллера, события и статусы: модель и версию firmware контроллера, состояние каждого logical или virtual drive, RAID-уровень, enclosure:slot, серийный номер, ёмкость и статус всех дисков. Убедитесь, что нет активного Rebuild, миграции, инициализации или неразобранных предупреждений. Если массив уже Degraded, Offline либо диск имеет Failed или Predictive Failure, сначала разберите причину по статье RAID Degraded, Offline или Failed: диагностика отказа дисков.
  2. 2
    Проверьте, что выбранный диск действительно свободен
    В интерфейсе контроллера найдите физический диск по enclosure:slot и серийному номеру. Он не должен быть участником массива, иметь незавершённую фоновую операцию или содержать требуемые данные. Отдельно проверьте Foreign Configuration: чужие RAID-метаданные нельзя автоматически считать ненужными.
  3. 3
    Подтвердите пригодность диска
    Сверьте доступную ёмкость, интерфейс, секторный формат, тип носителя, место в корзине и поддержку контроллером с требованиями целевого массива. Контроллер может сам пометить диск как unavailable, unsupported или unsuitable; такую отметку не следует обходить принудительным назначением без документированного объяснения.
  4. 4
    Выберите тип резерва и область действия
    Выберите global, если резерв должен обслуживать несколько совместимых массивов данного контроллера, либо dedicated, если его нужно закрепить за конкретным массивом или разрешённой группой. Перед подтверждением ещё раз проверьте выбранный физический диск и список массивов: операция применяется к объектам контроллера, а не к абстрактному свободному слоту.
  5. 5
    Примените операцию и дождитесь её завершения
    В части платформ изменение может требовать отдельного Apply, job queue или перезагрузки; в других оно применяется сразу. Не считайте настройку завершённой только потому, что форма закрылась без ошибки: дождитесь завершения задачи либо сообщения контроллера об успешном применении.
  6. 6
    Проверьте конечную роль и отсутствие предупреждений
    Обновите список физических дисков и конфигурацию массивов. Диск должен отображаться именно как global или dedicated hot spare, а при dedicated — быть привязанным к ожидаемому массиву или группе. Проверьте, что целевые logical/virtual drive остаются в штатном состоянии и в журнале нет новых ошибок совместимости, Foreign Configuration или проблем корзины.

Не очищайте неизвестную конфигурацию ради назначения spare

Некоторые операции с диском, включая Clear Foreign Configuration, создание нового массива, инициализацию или принудительное изменение роли, способны изменить RAID-метаданные. Если на накопителе обнаружена Foreign Configuration или происхождение его данных неизвестно, остановитесь и сопоставьте конфигурацию с ожидаемой. Подробный порядок — в статье Foreign Configuration в RAID: когда импортировать, когда очищать и как не потерять массив.

Какие статусы подтверждают назначение и срабатывание spare

Точные слова в интерфейсе зависят от производителя и firmware: например, могут использоваться варианты Ready, Unconfigured Good, Global Hot Spare, Dedicated Hot Spare, Rebuild, Online и Optimal. Важнее не название само по себе, а роль диска и состояние массива в связке.

Момент проверкиЧто должно быть подтверждено
До назначенияМассив в штатном или осознанно проверенном состоянии; выбранный диск свободен, виден контроллеру и не содержит неразобранной Foreign Configuration.
После назначенияДиск имеет роль global hot spare либо dedicated hot spare; dedicated-привязка соответствует нужному массиву или группе; новых предупреждений нет.
После отказа рабочего дискаЦелевой массив отображается как Degraded либо как Rebuild in progress; spare больше не имеет только резервную роль, а используется как участник восстановления.
После успешного RebuildМассив возвращён в нормальное состояние по терминологии контроллера; бывший spare стал активным членом массива, а не свободным резервом.

Если Rebuild не начался, не извлекайте и не переставляйте диски наугад. Причина может быть в несовместимости spare, статусе массива, настройках автоматического восстановления, проблеме подключения или том, что отказ уже превысил допустимый для выбранного RAID-уровня. Последовательность физической замены, контроль прогресса и разбор такого случая приведены в статье Замена диска в RAID и Rebuild: порядок действий и контроль.

Copyback после установки диска замены

После успешного Rebuild hot spare уже не является резервом: он стал рабочим участником массива. Когда затем устанавливают диск на замену отказавшему участнику массива, контроллер может выполнить Copyback — перенести данные с задействованного spare на новый диск и вернуть spare в резервную роль. Это опциональное поведение, а не обязательный этап каждого аппаратного RAID.

Поведение контроллераРоль бывшего spareРоль установленного диска замены
Copyback поддерживается и включёнПосле копирования может снова стать Hot SpareСтановится рабочим участником массива
Copyback не поддерживается или отключёнОстаётся рабочим участником массиваМожет остаться свободным, быть назначен новым spare или получить другую допустимую роль
Новый диск не подходит или не принят контроллеромОстаётся рабочим участником массиваНе участвует в Copyback и не должен назначаться принудительно без выяснения причины

Исходный слот не всегда определяет Copyback

Некоторые реализации связывают поведение Copyback с конкретным местом установки или настройками контроллера, другие используют иной механизм. Нельзя обещать, что данные обязательно вернутся именно в исходный слот или что Copyback запустится автоматически. Не переставляйте накопители между слотами без подтверждённой схемы enclosure:slot: это осложняет диагностику и сопоставление дисков с событиями.

В Linux mdadm поддерживает резервные устройства, обычно назначенные конкретному массиву. Кроме того, mdadm Monitor может перемещать свободный spare между массивами, включёнными в одну spare-group. Это функционально похоже на общий резерв, но не тождественно политикам Global Hot Spare и Dedicated Hot Spare аппаратных контроллеров. Не переносите правила PERC, Smart Array или MegaRAID на mdadm без проверки конкретной конфигурации. Настройка и восстановление программного RAID разобраны отдельно: Как создать и настроить программный RAID в Linux с mdadm и mdadm после сбоя: замена диска, проверка, расширение и сборка программного RAID в Linux.

Термины в статье

4Kn — формат накопителя с логическим и физическим сектором 4096 байт, без эмуляции 512-байтных секторов. Требует поддержки со стороны всего тракта ввода-вывода.
Реализация RAID, в которой специализированный контроллер формирует логические диски и выполняет операции массива. Наличие и защита кэша зависят от модели.
Горячая замена — извлечение и установка поддерживаемого компонента без отключения питания сервера. Непрерывность сервиса требует избыточности и корректной процедуры.
Состояние отказоустойчивого RAID-массива, потерявшего часть избыточности, но сохраняющего доступ, пока сочетание отказов допустимо для его уровня и раскладки.
Дисковая корзина — узел шасси с отсеками для установки нескольких накопителей и организации их подключения к питанию и контроллеру либо HBA.
Логический диск — блочное устройство, которое RAID-контроллер или программная RAID-подсистема предоставляет хосту как отдельный накопитель.
Метаданные RAID — служебные записи на дисках или контроллере, описывающие состав, уровень, состояние и параметры RAID-массива для его распознавания и сборки.
RAID, реализованный ОС или другим программным стеком хоста без отдельного аппаратного RAID-контроллера. Использует вычислительные ресурсы сервера.
Физический диск — отдельный HDD, SSD или иной накопитель, распознанный RAID-контроллером как член массива либо как независимое устройство.
Adaptec SmartRAID — семейство аппаратных RAID-контроллеров Microchip для SAS/SATA, а в новых tri-mode-моделях — также для NVMe-накопителей.
Copyback — операция RAID-контроллера, копирующая данные с задействованного hot spare на диск замены, после чего spare снова становится резервным.
Dedicated Hot Spare — резервный диск RAID-контроллера, закреплённый за конкретным массивом или группой массивов и используемый для rebuild только при отказе их дисков.
Семейство RAID-решений Dell для серверов PowerEdge: аппаратные контроллеры PERC H и программные PERC S. Возможности и совместимость зависят от модели и поколения платформы.
Failed — статус физического накопителя, который RAID-контроллер признал отказавшим и перестал использовать для штатного ввода-вывода в составе массива.
Состояние, при котором RAID-контроллер считает найденную на дисках конфигурацию массива не зарегистрированной или не совпадающей с текущей. Её проверяют и импортируют либо очищают.
Global Hot Spare — резервный диск RAID-контроллера, не закреплённый за одним массивом и доступный для автоматической замены отказавшего диска в любом совместимом массиве.
Заранее подключённый резервный накопитель RAID-системы, автоматически задействуемый для rebuild отказоустойчивого массива при отказе совместимого рабочего диска.
Семейство аппаратных и программных RAID-решений HPE для локальных SAS/SATA-накопителей и, в поддерживаемых tri-mode-конфигурациях, NVMe.
Семейство аппаратных RAID-контроллеров Broadcom, которые объединяют накопители в массивы и предоставляют ОС логические диски, обрабатывая RAID на самом контроллере.
Predictive Failure — диагностический статус накопителя, указывающий на признаки вероятного отказа по SMART или данным контроллера до фактической недоступности диска.
Технология объединения нескольких накопителей в логические блочные устройства для повышения производительности и/или отказоустойчивости в зависимости от RAID-уровня.
Устройство или модуль, который формирует RAID-массивы из накопителей и предоставляет ОС логические диски, управляя размещением данных, отказами и восстановлением избыточности.
RAID-уровень — схема размещения данных и избыточности по накопителям массива, определяющая полезную ёмкость, отказоустойчивость и характеристики ввода-вывода.
Процесс восстановления избыточности массива после замены отказавшего диска: контроллер вычисляет и записывает на новый диск недостающие данные из остальных дисков.
SAS — последовательный интерфейс и набор протоколов SCSI для подключения накопителей, поддерживающий адресацию устройств, экспандеры и обычно двухпортовое подключение дисков.
SATA — последовательный интерфейс подключения HDD, SSD и оптических приводов; в обычной прямой схеме один порт контроллера соединён с одним накопителем.

Вопросы по теме

Все вопросы и ответы

Поможет ли Hot Spare, если отказал диск в RAID 0?

Нет. В RAID 0 нет избыточности, поэтому контроллеру неоткуда восстановить данные отсутствующего диска. Назначенный Hot Spare не вернёт такой массив в рабочее состояние и не запустит полезный Rebuild. Резервный диск работает только для отказоустойчивых RAID-массивов, у которых после отказа сохраняются данные и избыточность для восстановления.

Запустится ли Rebuild, если у диска только Predictive Failure?

Зависит от контроллера и его настроек. Predictive Failure означает предупреждение, но диск может ещё оставаться участником массива. Само по себе такое состояние не гарантирует, что Hot Spare будет немедленно задействован и начнётся автоматическое восстановление. Нужно проверять политику конкретного контроллера и текущий статус массива.

Можно ли поставить диск большего объёма как Hot Spare?

Да, если контроллер считает его совместимым и его доступная ёмкость не меньше ёмкости заменяемого участника массива. Сравнивать нужно usable size, отображаемый контроллером, а не только паспортный объём в TB. Излишек ёмкости более крупного диска обычно не становится частью восстанавливаемого массива.

Что делать, если на диске для Hot Spare найдена Foreign Configuration?

Не очищайте такую конфигурацию автоматически. Foreign Configuration может содержать RAID-метаданные, происхождение которых нужно сначала сопоставить с ожидаемой конфигурацией. Очистка foreign-данных, создание массива, инициализация или принудительная смена роли способны изменить метаданные. Назначать диск резервом следует только после выяснения, что эти данные не нужны.

Может ли один Global Hot Spare восстанавливать два массива одновременно?

Нет. Один Global Hot Spare может быть доступен нескольким совместимым массивам одного контроллера, но одновременно участвует только в одном Rebuild. Если отказы произошли почти одновременно, порядок выбора зависит от модели контроллера, состояния массивов и его политик. Второй массив может остаться в состоянии Degraded без свободного резерва.

Станет ли Hot Spare снова резервным после Rebuild?

Зависит от поддержки и настроек Copyback. После Rebuild Hot Spare становится рабочим участником массива. Если контроллер поддерживает Copyback и функция включена, после установки подходящего диска замены данные могут быть перенесены на него, а бывший spare снова получит резервную роль. Без Copyback он обычно останется рабочим диском массива.