SSDキャッシング

高負荷の環境においても、ストレージシステムでキャッシュを使用し、パフォーマンスを改善したり、バランス調整をする方法は複数存在します。 しかし、データベースのキャッシュにRAMを使う方法やSSDを利用する方法では、メディア業界で使われるような通常より大きなファイルが検知されないリスクが発生します。 また、マザーボードのRAMスロットが限られているため、メモリにキャッシュするのは、SSDよりも高価で拡張性に欠けるといえます。その意味では、大容量ファイルを扱うというメディア業界の特徴上、SSDキャッシュを使用する方法が、より経済的に容量とパフォーマンスを提供できます。


より一般的なキャッシングの方法の1つは、「オンデマンド」方式です。 これは、最も頻繁にアクセスされるファイルによってキャッシュがフィルされるプロセスであり、使用頻度の少ないデータはキャッシュからプッシュアウトされます。 この方法の問題点は、通常、正確にキャッシュ内に何があるのかわからず、プロセスの制御が十分になされていません。 ストレージのメーカーでは、「キャッシュが大きくなればなるほど、より良い」と言われており、それ自体は間違ってはいませんが、ストレージサーバの価格に跳ね返るため、高いコストがかかることになります。

弊社では独自の「DDP」方法を開発しました。 従来のオンデマンド方式に加えて、「固定」方式を導入しています。 固定キャッシュにより、オペレーターはDDP内のフォルダまたはフォルダボリュームを選択し、キャッシュされるファイルの場所を指定します。 次に、HDDからのデータはDDPキャッシュの内部的にコピーされ、削除されるまでそこに留まります。 これにより、オペレーターは、キャッシュを完全に制御し、どのファイルをいつキャッシュするかを決めることができます。
たとえば、DPX非圧縮シーケンスなどの非常に高い転送レートのビデオを再生する必要がある場合、あるいはレンダリングおよびトランスコードプロセスを大量に処理する必要がある場合、最終的なパフォーマンスのためにキャッシュを固定することができます。 こういった作業は、一般的なHDDであれば検索時間に多くの時間がかかりますが、SSDドライブは検索時間を必要としないため、接続されているクライアント数やレンダリングまたはトランスコードするファイルの数に関係なく、極めて効率的です。


DDPの固定キャッシュ処理は、DDP上で完全に自動化することもできます。 たとえば、タスクが完了してキャッシュに格納されると、データをHDDにコピーする内部アプリケーションを開始できます。

DDPの固定キャッシュは永続的です。 停電時やDDPをリブートした場合でも常にそこに保存されていることが保証されています。 業界のユーザワークフローでは、多くのトランスコーディングやバックグラウンドプロセスを伴うファイルベースの取り込みがますます増えています。キャッシュ制御が可能であること、何がキャッシュされているか認識できるということによって、、DDPクライアントがこの革新的なテクノロジーを享受できることを可能にしています。

DDPのキャッシュ方法のもう1つの利点は、利用可能なSSDドライブ・グループ内で異なるアルゴリズムをパティション化できることです。 固定とオンデマンドの方法に加えて、DDPではSSDドライブ・グループの一部をプライマリストレージとして固定することもできます

ロードバランシング

ストレージの構成方法によっては、追加スピンドルをしたからといって必ずしも全てのボリュームパフォーマンスが向上するとは限りません。 DDPでは、ボリュームは、ストレージ全体で負荷分散されています。たとえば、16ディスクのシステムの場合、、
ディスク数１６のRAID６においてはドライブヘッドがすべて一緒にファイルを探すようになっており、またRAID５なら、異種ファイルとディレクトリパスを持つ２つの別個のRAID５ボリュームとなりますが、DDPでは、２つの８ディスクのRAID5/6を総じてどんなボリュームでも負荷分散が可能です。このようにして、SAN上に作成された全てのボリュームは、全ディスク内で均等な負荷を得ることができるのです。


ロードバランシングは、ファイルの書き込みと読み取りを行われたRAID、つまりデータロケーション（DL）を変更します。例えば、24フレームの画像シーケンスでは、奇数番号のフレームはデータ位置01に格納され、偶数番号のフレームはデータ位置02に格納されるため、ファイルの検索と再生のレイテンシーは減少します。 .MXF・MOV・.etcファイルのバッチを使用すると、その度にファイルはDL01とDL02という形式で書き込み・読取りされます。ファイルのバランスは、ストレージの下層レベルで発生し、ユーザにもクリアにわかります。ユーザには、この全てが単一のボリュームとして表示され、選択したフォルダ階層に全ファイルが格納されるように見えます

ロードバランシング機能によって、ユーザが追加するディスクやRAIDグループが多いほどストレージが高速化されます。

DDP OS V4とV5においては、メタデータはデータから完全に分離されます。レプリケーションが可能な小さなフットプリントですが、データ自体はDDP上に残ります。データの負荷分散が行われていない場合は、「フォルダボリューム」（他の2つのDDPにアドレス指定）を使用可能です。ロードバランシングのみの場合、破損したものが修理または交換されるまで、他の2つのDDPのファイルを使用できます。

次世代V5では、メタデータを保持する1つのマスターDDPが同一ネットワーク上の複数のDDPを制御することにより、並行的なデータストリーミング（およびI / O）を可能にします。ネットワークに接続された全てのデスクトップに対し、マスターDDPはデータの書き込みまたは読み取り先を通知します。

DDPを早急に追加することで、容量と帯域幅が増加、ロードバランシング・SSDキャッシング・ミラーリングが可能になります。DDPのWeb GUI上で変更することなしに、あらゆるDDPを拡張することができます。