Degraded, Offline, Failed и Predictive Failure нельзя трактовать по одному слову: сначала установите, к какому объекту относится сообщение — физическому диску, логическому диску, массиву или контроллеру. Degraded об ычно означает потерю части избыточности и нередко сохраняет доступ к данным, но не гарантирует его. До извлечения накопителя нужно сопоставить слот с серийным номером или WWN, проверить журнал контроллера и исключить неисправность пути подключения.Аварийная карта статусов RAID
| Статус | Возможный объект | Типичный смысл | Риск | Безопасное первое действие |
|---|---|---|---|---|
| Degraded | Логический/виртуальный диск, массив | Часть избыточности утрачена, но объект может остав аться доступным | Следующий отказ или ошибка чтения могут превысить возможности RAID | Зафиксировать состояние членов массива и определить причину |
| Predictive Failure / PFA | Обычно физический диск | Контроллер или накопитель обнаружил признаки вероятного отказа | Диск может работать нестабильно; избыточность может быть уже снижена | Идентифицировать накопитель по нескольким признакам и подготовить замену |
| Failed | Обычно физический диск; в некоторых интерфейсах — иной объект | Контроллер признал диск отказавшим или исключил его из штатного I/O | Массив может быть деградирован или недоступен | Проверить, не совпадает ли событие с ошибками корзины, кабеля или экспандера |
| Offline | Физический диск либо логический/виртуальный диск | Для диска — исключён из работы; для виртуального диска — недоступен хосту | Возможна недоступность данных или превышение допустимого числа отказов | Остановиться, сохранить конфигурацию и журналы, не менять метаданные |
Сначала определите объект статуса
Один и тот же термин в интерфейсах RAID-контроллера, BMC и ОС может описывать разные объекты. Аппаратные контроллеры Dell PERC, HPE Smart Array и Broadcom/MegaRAID по-разному называют виртуальные диски, физические накопители и их переходы состояний. В программном RAID mdadm источником состояния служат массив /dev/mdX, его члены и журнал ядра; термины контроллеров к нему напрямую не переносятся.
- Контроллер: сообщает о собственном состоянии, подключённых enclosure и обнаруженных устройствах. Его ошибка не доказывает отказ конкретного диска.
- Физический диск: отдельный HDD или SSD. Для него типичны
Failed,Predictive Failure, отсутствие в inventory, ошибки чтения, тайм-ауты и сбросы соединения. - Логический или виртуальный диск: устройство, которое контроллер отдаёт ОС. Термины
DegradedиOfflineчасто относятся именно к нему. См. определение логического диска. - Массив mdadm: Linux показывает состояние массива, например число активных устройств, отсутствующие члены и процесс синхронизации. Буква устройства
/dev/sdXне является устойчивой идентификацией диска.
Почему статус без объекта недостаточен
Offline у виртуального диска означает, что хост не получает блочное устройство. Offline у физического диска может означать исключение накопителя контроллером. Это не команда извлечь диск: сначала нужно выяснить, какой именно объект показан в интерфейсе и почему он получил этот статус.RAID Degraded: когда массив обычно остаётся доступен
Деградированный режим не равен немедленной потере данных: при штатной работе и отсутствии дополнительных повреждений логический диск часто остаётся доступным. Однако запас избыточности данных уже частично или полностью израсходован. На итог влияют уровень RAID, расположение отказов, ошибки чтения на оставшихся дисках, потеря связи с членом массива и политика конкретного контроллера.
Типичное поведение при отказе членов массива
| Схема | Когда доступ обычно сохраняется | Когда virtual/logical drive может стать Offline |
|---|---|---|
| RAID 5 | После отказа одного члена массива | Когда недоступен второй член либо дополнительные ошибки приводят к исключению ещё одного члена или не позволяют восстановить запрошенные данные; точное поведение зависит от контроллера |
| RAID 6 | После отказа до двух членов массива | Когда недоступен третий член или дополнительные ошибки не позволяют восстановить данные; точное поведение зависит от контроллера |
| RAID 10 | Пока в каждой зеркальной группе остаётся хотя бы одна доступная копия | Когда одна зеркальная группа потеряла все копии. В распространённой схеме с двухдисковыми зеркальным и группами два отказа в разных группах могут быть допустимы, а два отказа в одной группе — нет |
RAID 5: потеря двух дисков
Degraded, не извлекайте другой диск «для проверки», не переставляйте диски местами и не запускайте операции, меняющие конфигурацию. Если virtual disk уже Offline, переходите к материалу «Восстановление RAID», а не к процедуре обычной замены.Predictive Failure: предупреждение, а не приговор
Predictive Failure или PFA обычно относится к накопителю и означает, что контроллер либо сам диск заметил признаки вероятной неисправности. Источником могут быть диагностические данные S.M.A.R.T., журналы ошибок, события протокола SATA или SAS. Набор учитываемых признаков зависит от модели HDD/SSD, прошивки и контроллера: не существует одного универсального SMART-атрибута, который одинаково доказывает отказ всех дисков.
Такой статус не доказывает полную неработоспособность: диск может продолжать отвечать, а предупреждение может появиться задолго до фактического отказа. Но при появлении статуса Predictive Failure нужно оценить текущую избыточность, повторяемость ошибок и наличие событий по пу ти подключения. После подтверждения неисправности именно накопителя планируют контролируемую замену.
Что собрать до любых изменений
Фиксация состояния RAID
Собирайте данные только командами просмотра. Сохраните вывод с датой, пока состав дисков и статусы не изменились.
- 1
- 2Снимите inventory физических дисковДля каждого члена массива сохраните enclosure ID и slot, модель, серийный номер, WWN при наличии, интерфейс, состояние и роль в массиве. Для SATA и SAS это важнее имени
/dev/sdX, которое может измениться после перезагрузки или повторного обнаружения устройства. - 3Сохраните журнал контроллера и системный журналИщите время первых событий и последовательность:
drive removed/inserted,link error,PHY reset,timeout, ошибки чтения, потерю связи с enclosure. Формулировки зависят от производителя, но серия событий на нескольких дисках часто важнее единичного статуса. - 4Проверьте путь подключенияСопоставьте проблемные слоты с одной дисковой корзиной, кабелем, портом контроллера или SAS-экспандером. Уточните, не было ли работ с питанием, кабелями, обновлением прошивки или перезагрузкой непосредственно перед инцидентом.
- 5Оцените S.M.A.R.T. только как дополнительный источникЕсли контроллер и схема подключения позволяют получить данные, сохраните доступный SMART-отчёт. Отсутствие SMART через аппаратный RAID не опровергает отказ, а предупреждение SMART само по себе не объясняет одновременное исчезновение нескольких дисков.
Команды просмотра для аппаратного RAID
Синтаксис зависит от версии утилиты, модели контроллера и ОС. Перед запуском сверяйте справку именно своей версии. Приведённые команды предназначены для чтения состояния; они не должны менять конфигурацию RAID.
storcli /c0 show allstorcli /c0 /eall /sall show allssacli ctrl all show config detailjournalctl -k -bПроверка программного RAID mdadm
В mdadm нет виртуального диска аппаратного контроллера: массив представлен устройством /dev/mdX, а ОС обычно видит его физические члены напрямую. Degraded здесь чаще проявляется как уменьшенное число активных устройств, отсутствующие члены или состояние массива в /proc/mdstat.
cat /proc/mdstatmdadm --detail /dev/md0lsblk -o NAME,SERIAL,WWN,MODEL,SIZE,TYPE,MOUNTPOINTSСимптомы: диск отказал или проблема в корзине и подключении
Проблема
Один physical disk имеет статус Failed или Predictive Failure
Возможные причины
- Деградация или отказ HDD/SSD
- Локальная проблема слота, контактов или линии подключения
- Реже — ошибка контроллера при интерпретации телеметрии
Решение
Сверьте enclosure/slot, модель, серийный номер или WWN, статус в inventory и временную линию событий. Ошибки носителя, внутренняя диагностика диска и повторяющийся PFA в сочетании с отсутствием ошибок общего пути поддерживают версию отказа накопителя. Стабильная привязка только к одному слоту этого не доказывает: link error, PHY reset, timeout и исчезновение устройства могут быть вызваны слотом или подключением. Если данных недостаточно или статус меняется после повторного обнаружения, не считайте диск подтверждённо неисправным; диагностику слота и пути выполняйте по сервисной процедуре. После подтверждения накопителя переходите к материалу «Замена диска в RAID и Rebuild».
Проблема
Одновременно пропали несколько дисков
Возможные причины
- Неисправность корзины, backplane, кабеля или SAS-экспандера
- Проблема питания корзины
- Ошибка порта RAID-контроллера, контроллера или его прошивки
- Реже — действительно независимый одновременный отказ нескольких накопителей
Решение
Сохраните конфигурацию и журналы, сопоставьте все затронутые слоты с доменами подключения и ограничьте прикладную запись, если это возможно для сервиса. Не извлекайте диски по одному наугад: это способно превратить временно потерянные пути в фактическую потерю членов массива. Диагностику корзины, кабелей, питания и контроллера передайте инженеру с доступом к схеме подключения и журналам.
Проблема
Virtual disk Offline или RAID 5 деградирован после второго сбоя
Возможные причины
- Превышен допустимый уровень отказа RAID
- Дополнительная ошибка чтения или потеря связи с дисками
- Неудачная последовательность событий при ранее существовавшей деградации
Решение
Не выполняйте принудительный Online, очистку конфигурации, ручной запуск rebuild, импорт/очистку foreign configuration и перестановку дисков. Снимите диагностические данные и используйте отдельную процедуру «Восстановление RAID».
Что нельзя делать при нестабильных статусах
/dev/sdX или миганию индикатора без подтверждения его назначения. Не меняйте диски местами, не очищайте RAID-конфигурацию, не переводите объекты принудительно Online и не запускайте rebuild до фиксации конфигурации. Особенно рискованны эти действия, когда несколько дисков исчезли одновременно или затронуты слоты одной корзины.Можно ли извлекать диск Predictive Failure или Offline
Извлечение допустимо только после подтверждения нужного физического накопителя и поддержки горячей замены сервером, корзиной и контроллером. После извлечения число недоступных членов не должно превышать возможности RAID-уровня; отдельно проверьте, нет ли других нестабильных дисков и уже идущего rebuild. Для активного диска со статусом Predictive Failure соблюдайте предписанный производителем порядок подготовки к замене: некоторым контроллерам требу ется сначала штатно вывести диск из работы. Для Offline сначала установите, относится ли статус к физическому или логическому диску и не вызван ли он общей проблемой подключения.
- Сверьте enclosure и slot из интерфейса контроллера с физической маркировкой корзины.
- Сверьте модель и серийный номер либо WWN с inventory и, если возможно, с данными на наклейке диска.
- Проверьте журнал: нет ли одновременных ошибок у соседних слотов, одного кабеля, expander или питания.
- Используйте Locate/UID LED только после того, как убедились в его назначении для конкретного контроллера и слота. Индикатор подтверждает выбранный контроллером слот, но не заменяет сверку серийного номера.
- Убедитесь, что это не
Offlineвиртуального диска и что массив не находится в сценарии восстановления.
Почему нельзя ориентироваться на устройство ОС
/dev/sdX назначаются ядром при обнаружении устройств и могут измениться после перезагрузки, сброса линка или повторного сканирования. За аппаратным RAID ОС нередко видит только логический том, а не отдельные члены массива. Надёжная привязка — enclosure/slot вместе с серийным номером или WWN и журналом контроллера.Что можно сделать самостоятельно, а когда остановиться
| Ситуация | Допустимые действия | Когда нужна передача диагностики |
|---|---|---|
| Один диск Predictive Failure, массив доступен, других ошибок пути нет | Собрать inventory и журналы, подтвердить диск по нескольким признакам, подготовить штатную замену | Серийный номер не удаётся сопоставить, статус нестабилен или предупреждения есть у нескольких дисков |
| Один physical disk Failed, logical drive Degraded | Зафиксировать состояние и убедиться, что отказ локален для одного накопителя; затем следовать процедуре замены | Есть link/reset/timeout на соседних дисках или неясно, к какому объекту относится Failed |
| RAID 10: потеря диска | Определить зеркальную группу и убедиться, что её вторая копия доступна; подтвердить физический диск | Недоступны оба члена одной зеркальной группы либо топология зеркал неясна |
| RAID 6: отказ дисков | При одном или двух подтверждённых независимых отказах — фиксировать данные и действовать строго по процедуре контроллера | Отказов больше двух, статусы изменяются или есть признаки общей проблемы корзины/пути |
| Virtual disk Offline, RAID 5 потерял два диска, несколько дисков исчезли одновременно | Только сбор данных, сохранение журналов и ограничение записи при возможности | Требуется процедура восстановления и диагностика инфраструктуры; не выполнять обычную замену |
Пос ле того как неисправный накопитель подтверждён, используйте пошаговый материал «Замена диска в RAID и Rebuild: порядок действий и контроль». Он охватывает выбор замены, горячую замену, запуск и контроль rebuild; не подменяйте эту процедуру случайными командами из интерфейса контроллера.
Термины в статье
- Аппаратный RAID
- Реализация RAID, в которой специализированный контроллер формирует логические диски и выполняет операции массива. Наличие и защита кэша зависят от модели.
- Горячая замена
- Горячая замена — извлечение и установка поддерживаемого компонента без отключения питания сервера. Непрерывность сервиса требует избыточности и корректной процедуры.
- Деградированный режим
- Состояние отказоустойчивого RAID-массива, потерявшего часть избыточности, но сохраняющего доступ, пока сочетание отказов допустимо для его уровня и раскладки.
- Дисковая корзина
- Дисковая корзина — узел шасси с отсеками для установки нескольких накопителей и организации их подключения к питанию и контроллеру либо HBA.
- Логический диск
- Логический диск — блочное устройство, которое RAID-контроллер или программная RAID-подсистема предоставляет хосту как отдельный накопитель.
- Программный RAID
- RAID, реализованный ОС или другим программным стеком хоста без отдельного аппаратного RAID-контроллера. Использует вычислительные ресурсы сервера.
- Физический диск
- Физический диск — отдельный HDD, SSD или иной накопитель, распознанный RAID-контроллером как член массива либо как независимое устройство.
- Dell PERC
- Семейство RAID-решений Dell для серверов PowerEdge: аппаратные контроллеры PERC H и программные PERC S. Возможности и совместимость зависят от модели и поколения платформы.
- Failed
- Failed — статус физического накопителя, который RAID-контроллер признал отказавшим и перестал использовать для штатного ввода-вывода в составе массива.
- Hot Spare
- Заранее подключённый резервный накопитель RAID-системы, автоматически задействуемый для rebuild отказоустойчивого массива при отказе совместимого рабочего диска.
- HPE Smart Array
- Семейство аппаратных и программных RAID-решений HPE для локальных SAS/SATA-накопителей и, в поддерживаемых tri-mode-конфигурациях, NVMe.
- MegaRAID
- Семейство аппаратных RAID-контроллеров Broadcom, которые объединяют накопители в массивы и предоставляют ОС логические диски, обрабатывая RAID на самом контроллере.
- Offline
- Offline — зависящий от реализации статус накопителя или виртуального диска RAID: первый исключён контроллером из работы, второй недоступен хосту.
- PFA
- PFA — анализ предвестников отказа оборудования по диагностическим данным. Он формирует предупреждение, чтобы заменить компонент до фактической неисправности.
- Predictive Failure
- Predictive Failure — диагностический статус накопителя, указывающий на признаки вероятного отказа по SMART или данным контроллера до фактической недоступности диска.
- RAID 10
- Комбинированный уровень: чередование (RAID 0) поверх зеркальных пар (RAID 1). Сочетает высокую скорость и отказоустойчивость, отдавая под избыточность половину ёмкости.
- RAID 5
- RAID 5 — уровень RAID с чередованием данных и распределённой чётностью, выдерживающий отказ одного диска. Требует минимум трёх дисков.
- RAID 6
- Уровень RAID с чередованием данных и двойной распределённой чётностью. Выдерживает отказ любых двух дисков; минимум четыре диска.
- RAID-контроллер
- Устройство или модуль, который формирует RAID-массивы из накопителей и предоставляет ОС логические диски, управляя размещением данных, отказами и восстановлением избыточности.
- RAID-уровень
- RAID-уровень — схема размещения данных и избыточности по накопителям массива, определяющая полезную ёмкость, отказоустойчивость и характеристики ввода-вывода.
- Rebuild
- Процесс восстановления избыточности массива после замены отказавшего диска: контроллер вычисляет и записывает на новый диск недостающие данные из остальных дисков.
- S.M.A.R.T.
- S.M.A.R.T. — технология самодиагностики накопителей, собирающая показатели состояния и ошибок. Она помогает выявлять признаки деградации диска до отказа.
- SAS
- SAS — последовательный интерфейс и набор протоколов SCSI для подключения накопителей, поддерживающий адресацию устройств, экспандеры и обычно двухпортовое подключение дисков.
- SAS-экспандер
- Устройство коммутации SAS, расширяющее число подключаемых накопителей относительно числа портов контроллера. Передаёт SAS-трафик между инициаторами и целевыми устройствами.
- SATA
- SATA — последовательный интерфейс подключения HDD, SSD и оптических приводов; в обычной прямой схеме один порт контроллера соединён с одним накопителем.