Backblaze, которая оказывает услуги облачного хранения и резервного копирования данных, опубликовала очередной отчёт по статистике отказов жёстких дисков различных моделей. Следуя мировому тренду, компания решила выяснить, способен ли искусственный интеллект помочь снизить число сбоев.

Источник изображения: MH Rhee / pixabay.com

На конец второго календарного квартала 2024 года в работе у Backblaze числились 284 876 жёстких дисков. Компания исключила из выборки модели, которые эксплуатируются в количестве до 100 единиц, и те, что за квартал не накопили в сумме 10 000 суток работы. В отчёт попали 284 386 единиц, составленные 29 моделями. Учитывая, какой популярностью в разных отраслях сегодня пользуются технологии ИИ, у Backblaze возник вопрос, можно ли использовать их для прогнозирования отказов жёстких дисков. Для этого потребуется обучить большую языковую модель на статистике компании и проверить гипотезу, способен ли ИИ просчитать вероятность отказа определённого накопителя с течением времени — и пока нет ясности, сможет статистика по одной модели применяться к другой, ведь их профили отказа могут различаться радикально.

Здесь и далее источник изображений: backblaze.com

В последнем отчёте выяснилось, что среднегодовая частота отказов (AFR) за II квартал составила 1,71 %, что ниже 2,28 %, зарегистрированных за аналогичный период прошлого года, но выше 1,41 % в I квартале 2024 года. Наибольшее беспокойство вызвала модель HGST ёмкостью 12 Тбайт (HUH721212ALN604), чей AFR за отчётный период подскочил до 7,17 %, из-за чего данный показатель за весь срок службы увеличился с 0,99 % до 1,57 %. Примечательно также, что две модели — Seagate на 14 Тбайт ST14000NM000J и на 16 Тбайт ST16000NM002J — за квартал не показали ни одного отказа. Но в эксплуатации Backblaze значится относительно небольшое число этих дисков.

Самая старая модель в работе — Seagate ёмкостью 4 Тбайт (ST4000DM000), и данные с этих накопителей компания в ближайший квартал или два намеревается перенести на более новые и более вместительные диски. А наиболее долго эксплуатируемым экземпляром оказался диск HGST ёмкостью 4 Тбайт (HMS5C4040ALE640), который на конец второго квартала проработал 9 лет 11 месяцев и 23 дня — сейчас хранилище, в котором установлен этот диск, находится в процессе миграции.

Цель сбора и обработки этих статистических данных — сформировать профиль отказов каждого диска с течением времени, пояснили в Backblaze, что поможет в разработке стратегий замены и миграции. Проиллюстрировать это призваны три предложенные компанией диаграммы, составленные на основе статистики сбоев по моделям, экземпляры которых суммарно наработали в компании от 1 млн суток. На первой диаграмме представлены показатели AFR для 14 моделей, средний возраст которых составляет 60 месяцев и менее, на второй — для моделей со средним возрастом более 60 месяцев. Такое разделение выбрано, поскольку 60 месяцев — типичный гарантийный срок для жёстких дисков корпоративного класса.

Диски, попавшие в I квадрант на первой диаграмме, характеризуются как работающие хорошо с AFR менее 1,5 %; во II квадранте — работающие приемлемо с AFR выше 1,5 %; модели в IV квадранте относительно новые, и их профиль отказов лишь начинает формироваться. В III квадранте накопителей не оказалось. На второй диаграмме I квадрант, как и прежде, представляет качественные модели; квадранты II и III — «диски, о которых нам следует беспокоиться»; а в IV квадранте оказалась лишь одна модель, которая поводов для беспокойства не даёт.

Чтобы показать динамику отказов, была составлена третья диаграмма. Она показывает частоту отказов за весь срок службы по девяти моделям старше 60 месяцев — для наглядности отсчёт ведётся с 24 месяцев. Распределение идёт преимущественно в I и II квадранты, причём пять из девяти моделей по состоянию на II квартал 2024 года оказались в I квадранте. Модели, чьи линии почти вертикальны (красная, коричневая и фиолетовая), демонстрируют стабильную частоту отказов в стечением времени. Модели синей и серой линий по мере старения увеличивают частоту отказов — синяя, в частности (Seagate ST800DM002) пролегает в пределах нормы, поскольку за первые 60 месяцев её AFR держался около 1 %. Три модели, достигшие III квадранта, имеют схожие профили — их кривые по мере роста частота отказов всё сильнее изгибаются вправо. Наконец, чёрная линия — диск Seagate ёмкостью 4 Тбайт, который «активно мигрирует» и заменяется другими.

Backblaze, предлагающая услуги облачного хранения данных, опубликовала статистику по отказам твердотельных накопителей за I и II кварталы 2023 года. В компании предупредили, что пока выборка недостаточно репрезентативна, чтобы действительно отражать какие-либо статистические тенденции.

Интенсивность отказов. Источник изображений: backblaze.com

Свой арсенал накопителей Backblaze начала пополнять SSD лишь в IV квартале 2018 года. К концу 2021 года их было 2200, годом позже — 2558, а по состоянию на 30 июня 2023 года на серверах были установлены 3144 SSD. «В этой среде диски делают намного больше, чем просто загружают серверы хранилищ. Они также хранят файлы журналов и временные файлы сервера хранилища. В зависимости от активности сервера загрузочный диск каждый день читает, записывает и удаляет файлы», — пояснили в Backblaze.

Достоверность статистических данных растёт с каждым днём, поскольку сокращается влияние выпадающих значений. И это важно учитывать, поскольку среднегодовая частота отказов (AFR) в 829,55 % для модели Seagate SSDSCKKB240GZR на 240 Гбайт может показаться чрезвычайно устрашающей — в реальности же у Backblaze на начало года было всего два экземпляра этого накопителя, один из которых вышел из строя вскоре после установки. Другие модели продолжают работать в полном составе, а значит, их AFR имеет значение 0 %, что тоже ни о чём не говорит. Репрезентативной была бы статистика, основанная на выборке из минимум 100 SSD за 10 тыс. дней работы, говорят в компании. Однако можно заметить, что годовой процент отказов SSD находится на уровне около 1 %, тогда как для HDD данный показатель составляет более 2 %.

Тем не менее, Backblaze опубликовала свой отчёт, и, пожалуй, наиболее полезным здесь является график интенсивности отказов, который, пусть и отдалённо, но напоминает традиционную форму «кривой ванны» — модели, демонстрирующий вероятность отказов технологий и продуктов. Данная кривая показывает, сколько единиц продукта может выйти из строя в течение определенного срока службы. Совпадение, по оценке автора доклада, составляет 70 %, что удивительно при столь скудных исходных данных. Получается, что SSD стремятся по отказам к теоретическим показателям.

Бизнес хранения данных постепенно переходит с HDD на SSD, однако во многих случаях HDD пока по-прежнему остаются оптимальным решением. Поэтому трудно переоценить статистику отказов HDD от компании Backblaze, отслеживающей 245 757 жёстких дисков и твердотельных накопителей в своих ЦОД по всему миру. Из этого числа 4 460 являются загрузочными дисками, среди которых 3144 SSD и 1316 HDD.

Источник изображения: unsplash.com

В конце 2 квартала 2023 года компания Backblaze наблюдала за 241 297 HDD, используемыми для хранения данных в её ЦОД. Из этого количества были исключены 357 накопителей, так как часть из них использовалась для тестирования, а некоторые модели были представлены в единичных экземплярах. В таблице приведена годовая частота отказов (AFR — annualized failure rate) для оставшихся 240 940 дисков, объединённых в 31 группу по моделям, за второй квартал 2023 года.

Источник изображения: Backblaze

Шесть моделей накопителей во втором квартале 2023 года отработали без сбоев, но три из них представлены в недостаточных количествах для статистической достоверности.

Самым старым рабочим накопителем данных в парке Backblaze стал Seagate ST4000DM000 ёмкостью 4 Тбайт, отработавший без сбоев 105,2 месяца (8,8 года), но победителем в номинации «Самый старый действующий диск» стал загрузочный диск WDC WD5000BPKT ёмкостью 500 Гбайт со сроком службы 122 месяца (10,2 года).

AFR во 2 квартале 2023 года вырос до 2,28 % по сравнению с 1,54 % в 1 квартале. Конечно, квартальные показатели AFR могут колебаться, но также они могут отражать тенденции, требующих дальнейшего изучения. Рост AFR был ожидаем, так как возраст накопителей продолжает увеличиваться. Специалисты Backblaze проанализировали частоту отказов в зависимости от срока службы и размера накопителя.

Backblaze предоставили статистику для дисков старше 5 лет, которые они относят к категории «старый». 5-летний возраст предопределил отсутствие на графике дисков ёмкостью 12, 14 и 16 Тбайт, оставив данные по ежеквартальному AFR за последние три года для каждой группы старых дисков, моделей ёмкостью 4, 6, 8 и 10 Тбайт. Эксперты отметили, что самые старые диски ёмкостью 4 и 6 Тбайт показали себя хорошо, а вот диски ёмкостью 8 и 10 Тбайт требуют особого внимания.

Backblaze также опубликовала сводные показатели AFR за весь жизненный цикл накопителей. В таблицу попал период с 20 апреля 2013 года по 30 июня 2023 года, то есть более 10 лет. Годовая частота отказов на конец этого периода составила 1,45 %, что на 0,05 процентных пункта больше, чем тот же показатель кварталом ранее.

В «группу риска», которая больше всего увеличивает показатель AFR, попали диски ёмкостью 8 и 10 Тбайт, что отображает диаграмма ниже.

Недавно компания Secure Data Recovery, занимающаяся восстановлением данных, сообщила, что чаще всего жёсткие диски выходят из строя накануне своего трёхлетия. Тогда объём выборки составил 2007 накопителей. Теперь же подоспела статистика компании Backblaze, предлагающей услуги облачного хранения данных, с выборкой в 17 155 неисправных HDD — их средний срок службы до отказа оказался всего 2 года и 6 месяцев.

Источник изображения: Michael Schwarzenberger / pixabay.com

Backblaze получила такой показатель, изучив все вышедшие из строя жёсткие диски и часы работы для каждого экземпляра: в статистику вошли дата отказа каждого диска, его модель, серийный номер, тип сбоя, а также значение по S.M.A.R.T. В выборку вошли 17 155 экземпляров 72 моделей — из неё исключили вышедшие из строя загрузочные диски, диски без атрибутов S.M.A.R.T. и диски с записью данных за пределами допустимого объёма. Исключить также пришлось накопители, которые больше не используются в ЦОД компании: 25 моделей и 3379 вышедших из строя экземпляров — для них, кстати, средний срок наработки перед отказом оказался 2 года и 7 месяцев, то есть немного выше. В Backblaze заявили, что полученные результаты в целом согласуются с информацией Secure Data Recovery.

Средний возраст жёстких дисков до выхода из строя

Антирекордсменом в таблице оказалась модель Seagate ST12000NM0007 на 12 Тбайт, показавшая 2032 отказа при среднем возрасте 1 год и 6 месяцев — она частично уступила модели Seagate ST400DM000 на 4 Тбайт с 5249 отказами, но со средним сроком службы в 3 года и 3 месяца. Глядя на таблицу с сортировкой по объёму накопителя может показаться, что чем он меньше, тем модель надёжнее, но это «статистическая ловушка»: компания вывела из обращения модели ёмкостью 1, 1,5, 2, 3 и 5 Тбайт, а более ёмкие модели продолжают работать — то есть их средний срок службы со временем будет расти.

Показатели отказов жёстких дисков за I квартал 2023 года

Backblaze также представила традиционный квартальный отчёт. Компания предложила статистику по 236 893 накопителям 30 моделей почти за 10 лет, исключив накопители, которые только проходят тестирование, а также модели, представленные менее чем 60 экземплярами в её серверах. Среднегодовая частота отказов (AFR) продолжила рост и достигла 1,4 %. Самый низкий AFR в 0,28 % показала 16-Тбайт модель Western Digital WUH721816ALE6L4 с выборкой в 14 098 единиц. Самый высокий AFR в 2,57 % и, вместе с тем, 2,2 млн дней наработки показал 4-Тбайт Seagate ST4000DM000. В ходе предыдущего отчёта в феврале Backblaze пояснила, что при более высокой частоте отказов диски Seagate предлагаются по более скромным ценникам, что обеспечивает их рентабельность.

Компания Backblaze, предлагающая услуги облачного хранилища и хранения резервных копий, опубликовала доклад об отказах в работе используемых ею жёстких дисков за весь 2022 год. Сегодня многие потребители перешли на SSD, но HDD пока остаются оптимальным решением для долгосрочного хранения данных, и статистика Backblaze показывает, какие модели являются самыми надёжными.

Источник изображения: Patrick Lindenberg / unsplash.com

По состоянию на декабрь 2022 года в серверах Backblaze числились 235 608 жёстких дисков, из которых 4299 — загрузочные, а 231 309 — накопители с данными. Отчёт касается только последних, хотя и из их числа пришлось исключить 388 экземпляров, которые либо относились к тестовым моделям, либо представляли для модели выборку в менее чем 60 единиц. Итого для анализа остался 230 921 жёсткий диск, что можно считать отличной выборкой.

«Звездой» Backblaze стала модель Seagate Exos 8 Тбайт (ST8000NM000A), которая за 2022 год не показала ни единого сбоя, но есть нюанс: в эксплуатации компании числятся всего 79 единиц данной модели, тогда как некоторые другие представлены десятками тысяч. Кроме того, данные HDD использовались преимущественно в качестве подменных для других вышедших из строя 8-Тбайт накопителей.

Показатели отказов жёстких дисков за последние три года

Среднегодовая частота отказов (AFR) за последние три года выросла: в 2020 году она была 0,93 %, в 2021 — 1,10 %, а в 2022 — 1,37 %. В Backblaze это связали с возрастом дисков — по мере старения накопители предсказуемо более подвержены сбоям. При этом AFR за весь срок службы HDD наоборот слегка уменьшился — с 1,4 % в 2021-м до 1,39 % в 2022 году.

Показатели отказов жёстких дисков за 2022 год

Самые высокие показатели AFR в прошлом году пришлись на модели HGST Ultrastar He8 8 Тбайт (HUH728080ALE604) и Seagate Exos X14 14 Тбайт (ST14000NM0138) — 5,27 % и 5,70 % соответственно. Почти половина, а именно 44,5 % всех отказов дисков в 2022 году пришлись на модели ёмкостью 4, 6, 8 и 10 Тбайт — они выходят из строя чаще, потому что работают дольше, хотя на них пришлись всего 28,7 % рабочих дней.

Сравнение годовой частоты отказов по размеру накопителя

Корреляция между возрастом диска и вероятностью отказа подтверждается статистикой: у накопителей ёмкостью 4 Тбайт со средним возрастом 81,1 месяца процент отказов составляет 1,70 %, а у моделей на 8 Тбайт со сроком службы 67,8 месяцев —1,36 %. Для сравнения, диски объёмом 16 Тбайт с возрастом 13,3 месяца демонстрируют лишь 0,86 % отказов.

Сравнение годовой частоты отказов по производителю с I кв. 2020 по IV кв. 2022 гг.

Из всех производителей наибольшее число отказов показали решения Seagate, а наименьшее — Western Digital. Seagate обычно дешевле, и при абсолютной частоте отказов они всё равно остаются для Backblaze рентабельными. В целом же большее число отказов у Seagate связано в том числе с тем, что это более старые HDD, нежели решения WD.