プロジェクト

HPCクラスタにおけるデータステージング

大規模な計算能力を求める現代の科学研究において必要不可欠な計算基盤であるスーパーコンピュータの多くは、より大規模な計算能力を研究者に提供するために、HPC (High-Performance Computing) クラスタと呼ばれる大量の計算機をネットワークで相互に接続したシステムを採用しています。 こうしたHPCクラスタでは、共有ファイルシステム上で行っていたデータの読み書きをより高速に行えるように、高速なストレージを計算機に組み込むことがよくあります。 この構成では、計算開始時に入力データを共有ファイルシステムから計算機に移動させ、計算終了時に出力データを計算機から共有ファイルシステムに移動させるデータステージングという機能が必要になります。 計測技術の発展や機械学習の流行に伴いデータの重要性が増している現在、このデータステージングは今後より重要なものとなります。

研究課題

データステージングは、HPCクラスタで扱う入出力データを移動させるために、計算機間を接続するネットワーク上に大規模なトラフィックを発生させます。 このネットワークには、複数計算機上に分散するプロセス間の通信が発生させるトラフィックも流れるため、これら2種類のトラフィックの相互干渉による問題が懸念されます。 例えば、データステージングのバースト的なトラフィックによるプロセス間通信の遅延の増大や、2種類のトラフィックによる帯域幅の取り合いによる通信時間の増加などがあげられます。 我々は、こうした相互干渉による問題を、Software-Defined Networkingを活用することで回避できるのではないかという考えのもと研究しています。