エンタープライズ用の中古 HDD を安く購入して、なぜそれが危険なのかを痛いほど学びました

中古のエンタープライズ ストレージを購入することは、価格を考えれば完全に理にかなっているものの 1 つですが、実際にハードウェアをマシンに組み込むとさらに複雑になります。もともと少額の費用がかかるエンタープライズ用 HDD が、驚くほど低額で中古市場に流通することがあります。ホームラボでは、ストレージ容量は常に便利であり、予算が無制限であることはほとんどないため、これらの価格を無視することは困難です。

最近、中古の 2 TB Seagate 3.5 インチ SAS ハード ドライブを 8 台と、HGST Ultrastar DC SN200 を 1 台、安く提供している販売者を見つけて購入しました。販売者は、SAS ドライブは予備部品であり、機能テスト以外にはほとんど使用されていなかったと主張しました。ホームラボにとって、それはまさにチャンスを掴む価値のある取引のように思えた。

2 台のドライブのセクター フォーマットが標準ではありませんでした

ドライブは以前はハードウェア RAID で使用されていました

ドライブのうち 2 台は、以前はハードウェア RAID システムの一部であったようです。これらは、従来の HBA が期待する 512 バイトのセクターではなく、520 バイトまたは 528 バイトのセクターを使用して、非標準のセクター サイズでフォーマットされていました。これは、一部のエンタープライズ ストレージ システムでは一般的です。追加のバイトは、ストレージ システムがオペレーティング システムに従来の論理セクタ サイズを提示する一方で、RAID コントローラによってメタデータまたはチェックサム情報に使用できます。

この構成は、ドライブを HBA に直接接続したときに問題になりました。これらは、元々構成されていたストレージ環境では動作していましたが、私が構築していた直接接続されたソフトウェア管理のセットアップでは正しく動作しませんでした。

解決策は、ドライブを標準のセクター サイズに戻す低レベル フォーマットでした。私が使用した sg_formatの一部です。 sg3_utils パッケージを削除して再フォーマットを実行します。

このプロセスは、通常のファイルシステム形式よりもはるかに遅くなります。ドライブに応じて、低レベルのフォーマットには 1 TB あたり約 2.5 ～ 3 時間かかります。大規模なエンタープライズ ディスクの場合、最初は単純な互換性の問題のように見えた問題が、午後全体の待ち時間に変わる可能性があります。フォーマットが完了すると、ドライブは HBA 経由で通常どおり使用できるようになります。

特定の SN200 ドライブは異なる体験でした

電源投入時間が短くて使いにくい

私は中古のフラッシュ ストレージを購入することには常に慎重であり、Western Digital の Ultrastar SN200 シリーズの経験はそれをほとんど変えることはありませんでした。私が購入した特定の SN200 ドライブは、U.2 NVMe デバイスでした。販売者は、フラッシュ ストレージの電源が入ってから 12 日も経っていないと主張しました。最初はそれが素晴らしいように思えましたが、私はそれを Debian で使用してみました。デバイスを正しく認識できませんでしたが、 smartctl それと通信できた。このドライブは、カスタマイズされたファームウェアを使用して、シスコが再ブランド化したデバイスとして認識されました。

ドライブを動作させることは、電源投入時の図が示すよりもかなり複雑になりました。最終的には、デバイスを使用可能な状態にする前に、ファームウェア、ベンダー固有のツール、さまざまなオペレーティング システム、ドライバーの問題に対処する必要がありました。

それでも問題は完全には解決されませんでした。その後のテスト中に、複数回の再起動後にドライブが診断モードに戻り、デバイス上のデータが使用できなくなる可能性があります。そのため、計画していたキャッシュ ワークロードには適さなくなりました。

販売者はドライブを返金不可としてリストしていましたが、問題を説明した後、返品を受け入れることに同意しました。私は、その経験を SN200 ドライブが本質的に悪いという証拠とは考えません。私が購入した特定のドライブには問題がありましたが、中古のエンタープライズ NVMe デバイスについて、通電時間の数値から判断できるものがいかに少ないかがわかりました。

実際のコストはテストです

安価なドライブは信頼を得るまでに時間がかかる

中古のエンタープライズ ストレージの購入から得られる最大の教訓は、パッケージが到着した時点で購入が終了するわけではないということです。

テストはコストの一部です。HDD の場合、SMART 情報を検査し、ファームウェアを検証し、ディスク全体の書き込みと読み取りを実行し、温度を監視し、持続的なワークロードでの遅延を確認したいと考えています。複数のドライブを購入する場合は、アレイに配置する前に個別にテストしたいと考えています。

大規模な ZFS プールでは、このことがさらに重要になります。ディスクに障害が発生すると、交換と再同期が必要になります。再同期に時間がかかると、残りのドライブに継続的な負荷がかかります。これらのドライブも古い場合、1 つの障害によって、まさに間違ったタイミングで別の弱いディスクが露出する可能性があります。

ZFS は、チェックサム、冗長性、スクラブ、ストレージの問題に対する優れた可視性を提供しますが、これらの機能のいずれも、疑わしいハードウェアの信頼性を高めるものではありません。冗長性により、障害から回復する余地が得られます。そうした失敗の可能性がなくなるわけではありません。ドライブの高価さや信頼性に関係なく、バックアップは依然として必要です。

中古のエンタープライズ HDD は買う価値があると今でも思っています

私の経験では、中古のエンタープライズ HDD の購入をやめるには説得力がありませんでした。実際、私が購入したバッチは、広範なテストの結果、かなり良いものであることが判明しました。ハードウェア RAID で使用された 2 台を除くドライブは、電源投入時間が短く、記録された書き込みアクティビティがほとんどなく、繰り返しのテストでも重大な異常はありませんでした。

SN200 のエクスペリエンスはそれほど快適なものではありませんでしたが、これは私が中古のエンタープライズ NVMe を中古の HDD とは異なるものとして扱う理由も示しました。ドライブの使用記録はほとんどなく、正常性統計からは明らかではないファームウェア、互換性、または動作上の問題が依然として存在する場合があります。それが中古のエンタープライズ ストレージの本当のリスクです。単にドライブを割引価格で購入しているわけではありません。歴史が不明なハードウェアを購入し、それが自分のシステムに適しているかどうかを確認する責任を負うことになります。