ユーズケース

10GbEネットワークは2011年を迎え、普及期入ったと言える。今後はSFP+を使用したLAN設計が通常のarchitectureになると思われる。ネットワークストレージに於いてボトルネックとなるのは一般ユーザーでは主にGbEを1本だけ使った部分であり、稀に802.11adを使用したバンド幅を拡張するシステムを導入するユーザーもいるが実際には効果が出ていないのではないかと思う。最近ではネットワークスイッチに10GbEを装備した廉価版のスイッチが各社から発売されて価格も手の届かない物ではなくなってきている。ラボではこの10GbEを使用したネットワークストレージを安定して共有ファイルエリアを供給できる安価な製品を出荷する目的の検証作業を続けている。
最近の課題はボトルネック部がネットワーク以外に移動し従来のスキルでは対応が出来なくなってきているという事だ。
別項でも取り上げているが、10GbEと6Gbpsのディスクはセットで採用する事が重要だと認識している。

10GbE
10GbE: 高速インターコネクトIP & IP over IB & Cat7

並列 or Gridコンピューティングのバッチシステムには OpenPBS (torque), Condor, SGE, PBS Pro, LSF, NQSなどが使用とされており、インターコネクトの重要性は日々高まっています。計算機が大量にのCPU coreを必要な場合はCPUスケジューラが優秀であれば問題ないですがメモリ共有を多用するJobではインターコネクトのバンド幅とレイテンシが重要となるようです。

ラボではネットワークストレージ用途に10GbEのネットワークをCX4、SFP+で接続する用途が多くこのインターコネクトを実データを元にレポートしています。

※以下、今後検証予定のインターフェース群。
　　　NFS/RDMAは実用に耐えられずリストから除外しています。

  • Category7　ネットワークケーブル:
  • InfiniBAND DDR x4, QDR
  • 10GbE SFP+
  • bonding mode4 (GbE x 8, x 16)
  • Infiniband IB over IP（10GbE）
  • 10GbE CX4 Bonding環境のファイルシステム