私の NAS は、最もよく使用するファイルを処理するには十分な速度がなかったので、より良い解決策を思いつきました

最近、Intel N100 マザーボードを中心に NAS を再構築しました。ファイルを保存するために DAS と別の NAS も持っています。いくつかのストレージ オプションがあるにもかかわらず、ネットワーク経由で最も頻繁に使用するファイルにアクセスするのは、思ったほど高速ではないことがわかりました。すべてをアップグレードしたり、既存のストレージ ハードウェアを交換したりする代わりに、ファイルを別の方法で整理する方法を検討し始めました。

私の NAS には十分なストレージがありましたが、ワークフローには十分な速度がありませんでした

ネットワーク ストレージはアクティブな作業に常に最適であるとは限りません

私の N100 NAS には、ファイルを保存するための十分なスペースがあります。 DAS と 2 台目の NAS を併用すると、ラップトップや PC にすべてを保存しなくても、大規模なデータのコレクションを整理できる十分な柔軟性が得られます。ただし、私のワークロードには、ドキュメントやバックアップのためのストレージ容量以上のものが必要です。私は定期的に大規模な仮想マシン、データセット、メディア ファイルを扱っています。これらのワークロードには、大量のデータ、繰り返しの読み取りと書き込み、および 1 日を通して必要なファイルへの頻繁なアクセスが含まれます。

VM は実行中、継続的に仮想ディスク イメージの読み取りと書き込みを行うため、大規模なデータセットを操作する場合は、大量のデータに繰り返しアクセスする必要があります。メディア編集も同様に要求が厳しくなる可能性があり、特にスムーズな再生、タイムラインのスクラブ、レンダリングのために一貫したストレージ パフォーマンスが必要となる高ビットレートの HDR フッテージを扱う場合は同様です。 NAS から HDR 映像を直接編集するのは面倒な作業であり、基礎となるストレージがワークロードの要求に対応できない場合は、ほとんど不可能な場合もあります。

私の NAS には十分な容量がありますが、だからといって自動的に実行に最適な場所になるわけではありません 毎 VM を使用するか、アクティブに使用されているすべてのデータセットを保持します。私はまず、ファイル アクセスの遅さの原因がネットワークにあるのかどうかを判断しようとしました。いくつかのことをテストし、ネットワーク設定を実験しましたが、問題を解決するには十分な改善ではありませんでした。ネットワークのボトルネックはまだ存在しており、将来的には再検討するかもしれませんが、ストレージのパフォーマンスがワークロードにとってより大きな制限であることに気付きました。

オール SSD NAS への移行は、最終的には試してみたいと思っていますが、ストレージの価格が現状では、既存のセットアップをオール フラッシュ システムに置き換えることを現時点で正当化するのは困難です。代わりに、最も頻繁にアクセスするファイルをローカル SSD ストレージに保存し、集中ストレージとアーカイブに NAS を使用することで、既に所有しているハードウェアを有効に活用することにしました。

よく使うファイルをローカル SSD に保存しています

ローカルで作業するとネットワークのオーバーヘッドが削減されます

ローカル SSD ストレージにより、PC は 1 日を通して使用するファイルに高速にアクセスできるため、アクティブなプロジェクトや頻繁にアクセスするデータの実用的な場所になります。すべてのアーカイブ ファイルに、可能な限り低い遅延ですぐにアクセスできるようにする必要はありません。アクティブに作業しているファイルにはその応答性が必要です。

アクティブなプロジェクトを NAS 共有から直接開くのではなく、PC の SSD に作業コピーを保存します。アプリケーションはこれらのファイルにローカルでアクセスできるため、共有フォルダーを介したデータの読み取りおよび書き込みに伴うネットワークの往復を回避できます。これは、同じファイルに繰り返しアクセスするワークロードに特に役立ちます。たとえば、開発プロジェクトには、数千のソース ファイル、構成ファイル、サポート アセットが含まれる場合があります。アプリケーションはこれらのファイルを頻繁に検査する必要があるため、ネットワーク経由でファイルにアクセスするオーバーヘッドが蓄積する可能性があります。

大きなファイルを繰り返し開いたり、変更したり、処理したりする必要がある場合にも、ローカル ストレージの恩恵を受けることができます。 PC に直接接続された SSD は、遅いネットワーク接続によって制限されるハードドライブ NAS よりも高いスループットを実現できます。実際の改善は、SSD、NAS 構成、ネットワーク、およびワークロードによって異なります。私はアクティブ ファイルに使用できる 1 TB Samsung 990 EVO SSD をすでに持っています。

完了したプロジェクトを NAS にアーカイブします

シンプルなフォルダー構造によりワークフローが整理されます

私はアクティブなプロジェクトを PC の SSD 上の専用ディレクトリに保存し、作業ファイル、研究資料、サポート アセットをプロジェクトごとにグループ化しています。 NAS アーカイブを最新の状態に保つために、ローカルで作業を続けながら、rsync を使用して新しいファイルと変更されたファイルをネットワーク ストレージに定期的にコピーします。

Rsync は、前回の実行以降に変更されたファイルのみを転送するため、毎回プロジェクト全体をコピーするよりも効率的に同期を繰り返すことができます。作業セッションの後に手動で実行することも、定期的に実行するようにスケジュールすることもでき、ファイルを回復したり、別のデバイスからファイルにアクセスしたりする必要がある場合に、作業内容の更新されたコピーが NAS に確実に保存されるようにします。

プロジェクトが終了したら、ローカルの作業コピーを削除する前に、最新のファイルが NAS に同期されていることを確認し、アーカイブされたコピーにアクセスできることを確認します。アーカイブされたプロジェクトを年とプロジェクト名ごとに整理しているので、再訪する必要があるときに古い作品を簡単に見つけることができます。数週間または数か月間アクティブなままのプロジェクトは、頻繁にアクセスする必要がなくなるまで SSD 上に保存できます。

ストレージ設定全体をアップグレードする必要はありません

私のセットアップの主なアイデアは、既存のストレージをより効果的に使用することです。私の NAS と DAS は容量と柔軟性を提供し、ローカル SSD は頻繁にアクセスされるファイルに高速な作業環境を提供します。 NAS は依然として私のセットアップの重要な部分ですが、もはやあらゆるタスクを実行する場所ではありません。アクティブなファイルをローカル SSD に保持し、それらをネットワーク ストレージにアーカイブすることで、パフォーマンス、容量、コストの実質的なバランスが得られます。