壊れたハードドライブに対する Google の賭けがストレージを永久に変えた

本格的なストレージには本格的なハードウェアの購入が必要だった時代がありました。より高価なドライブ、より高価なサーバー、より高価なストレージ アレイはすべて、同じこと、つまり信頼性を約束します。

Google はその問題を別の見方で見ました。すべてのハード ドライブを貴重なものにしようとするのではなく、ドライブが故障することを前提としたシステムを構築しました。その考え方は、ハード ドライブ業界を、私たちが現在住んでいるデータセンター ファーストの世界に向けて推進するのに役立ちました。

Google には完璧なハードドライブは必要ありませんでした

安全に失敗するには何千もの安価な製品が必要でした

通常の PC ビルダーにとって、ハードドライブの故障は大きな災害です。 Google にとって、初期の頃でさえ、失敗は単なる数学であり、恐怖ではなく期待するものでした。何千ものディスクにまたがってストレージを実行すると、どれだけお金をかけても、そのうちのいくつかは必ず使用できなくなります。

しかし、Google の答えは、超高価なストレージ システムをいくつか購入し、それらが壊れないことを祈るというものではありませんでした。安価なドライブを詰め込んだコモディティ マシンのクラスタを使用し、重要なものが存在する唯一の場所が単一のディスク、サーバー、ラックにならないように、データをクラスタ全体に分散させました。 1 つのドライブに障害が発生した場合でも、システムは他の場所からデータを取得し、不足しているものを再構築できます。このようなアプローチだからこそ、私たち全員も 3-2-1 バックアップ ルールに従う必要があります。

これらはすべてプレミアムエンタープライズドライブではありませんでした。 Google の初期のストレージ アプローチは、安価な汎用ハードウェアに依存しており、その多くは従来のストレージ標準による消費者向けグレードでした。

ただし、これが Google のアプローチをこれまでとは大きく変えた理由です。 Google は、すべての HDD をストレージの最終的なものである必要があるかのように扱うのではなく、本当に特別で基本的に最高である必要があるかのように扱うのではなく、安価な汎用ハードウェアを中心に構築し、ソフトウェアに実際の責任を負わせました。レプリケーション、監視、自動リカバリは、1 つのドライブが永久に信頼できるかのように振る舞うことよりも重要でした。

これが業界の再編に貢献した部分です。 Google は、安価なドライブが企業向けオプションより密かに優れていることを証明しませんでした。十分な規模で、最もスマートなストレージ システムとは、通常のドライブが故障することを予期し、それでも動作し続けるストレージ システムであることが証明されました。

失敗も設計の一部になった

ドライブは停止する可能性がありますが、システムは停止することはありません

ドライブに障害が発生すること (ドライブの健全性が 100% であっても障害が発生する可能性があること) を受け入れると、ストレージの見え方が大きく変わります。

デッド ディスクは驚くべきことではなくなり、メンテナンスのようなものになります。問題を検出し、ワークロードを移動し、不足しているコピーを再構築し、必要に応じてハードウェアを交換します。単純なことのように聞こえますが、これは、ドライブの障害を、青天の霹靂に一度だけ起こるべきことのように扱うことから大きく変わりました。

これは、業界が別の方法でハードドライブに配慮し始めなければならなかった点でもあります。ドライブがスペック シート上で適切に表示されたり、1 台のデスクトップ PC に搭載されたりするだけではもはや十分ではありません。巨大なフリートの一部として予測どおりに動作し、他のドライブに囲まれ、常に監視され、何か問題が発生した場合には正常に回復することが期待されていました。

その時点で、信頼性はもはや 1 台のドライブがどれだけ長く存続できるかということではなく、何千ものドライブがデータを持ち歩かずにどれだけうまく機能するかということになりました。

Google は「データセンター ディスク」問題の発生に貢献しました

1 つのドライブが注目の的ではなくなった

Google が大容量ストレージを汎用ハードウェアで実行できることを証明してから数年後、Google はさらに具体的なこと、つまりハード ドライブは最初からデータ センターを念頭に置いて設計されるべきだと主張し始めました。

2016年の論文でGoogleの研究者らは、ディスクは1台のマシン内にある単独のドライブとしてではなく、巨大なコレクションの中で使用されることが増えており、これによって「優れた」ドライブ設計の意味さえ変わったと述べた。最近では、私たちの多くが自宅に小さなデータセンターを持っているため、これはさらに真実に近づいています。

それはまさに Google らしい問題の見方でした。もちろん、ドライブは信頼性が高い必要がありますが、Google は何千ものドライブが一緒にどのように動作するかにも関心を持っていました。これは、電力使用量、容量、予測可能なパフォーマンス、回復動作、セキュリティ、およびフリート全体をいかに効率的に管理できるかを意味します。その規模では、個々の HDD のパフォーマンスはそれほど重要ではなくなり、単一の HDD が製品全体ではなくなりました。ストレージシステムはそうでした。

Google が始めたことはクラウドで終わった

あなたの PC は HDD 世界の中心ではなくなりました

クラウド ストレージが普及するにつれて、その変化はさらに明白になりました。

ハード ドライブは、ほとんどの人が自分の PC 内で注目するものではなくなり、インターネット自体の隠された部分の 1 つになりました。すべての写真のバックアップ、同期フォルダー、アーカイブされたビデオ、ビジネス データベース、トレーニング データの巨大なプールはどこかに存在する必要があり、その「どこか」の多くは依然としてハード ドライブで構成されています。

SSD はブート ドライブ、ゲーム用 PC、その他高速性を必要とするあらゆるものに取って代わられている可能性があります。正直なところ、ほとんどすべての最新の PC には何らかの SSD が搭載されています。しかし、主な目的が低コストで大量のデータを保存することである場合、HDD は依然として意味があります。

それが、クラウドがハードドライブを破壊しなかった理由です。これにより、Google が定義した役割、つまり、バックアップ戦略や NAS などのより大きなものの一部として機能する場合に最も重要となる、安価で高密度で非常に交換可能なストレージの役割をさらに推し進めることができました。

---

教訓は安いドライブを購入することだけではありません

ここでの間違った結論は、誰もが入手可能な最も安価なドライブを購入すべきだということです。それは真実ではありません。

ドライブははるかに大規模なシステムの一部にすぎないため、Google は安価なハードウェアを使用することで確実に問題を回避できるでしょう。ここでコピーする価値があるのはそこです。ファイルを永久に安全に保つために、単一の安価な HDD に依存しないでください。紛失しないように複数の場所に保管し、緑豊かな牧草地に行く場合は紛失したドライブを交換してください。