InfiniBand

出典: フリー百科事典『ウィキペディア(Wikipedia)』
移動先: 案内検索
InfiniBand スイッチのポート

InfiniBand(インフィニバンド)とは、非常に高いRAS(信頼性・可用性・保守性)を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。システム間インターコネクト機構としては、RAS機能の他、他機構に比較して、低レイテンシである点も特徴である。

概要[編集]

構成ごとの理論スループット
  SDR DDR QDR FDR EDR HDR NDR
1X 2 Gbit/s 4 Gbit/s 8 Gbit/s 14 Gbit/s 25 Gbit/s 50 Gbit/s 100 Gbit/s?
4X 8 Gbit/s 16 Gbit/s 32 Gbit/s 56 Gbit/s 100 Gbit/s 200 Gbit/s 400 Gbit/s?
12X 24 Gbit/s 48 Gbit/s 96 Gbit/s 168 Gbit/s 300 Gbit/s 600 Gbit/s 1200 Gbit/s?

InfiniBandは、ファイバーチャネルPCI Express, Serial ATA等の最近のインターコネクトと同様、ポイント・ツー・ポイントの双方向シリアル接続である。複数のプロセッサとHDD等の高速外部デバイス間の接続に利用される。複数の転送レートをサポートする他、PCI Expressのように複数のチャネルを束ねて利用することで高速な帯域を実現することができる。

転送レート[編集]

Single Data Rate (SDR)のInfiniBand レーン一本は最大2.5Gbps双方向の転送速度を持つ。Double Data Rate (DDR)およびQuad Data Rate (QDR)は、1レーンあたりそれぞれ 5Gbps, 10Gbps双方向の転送速度を実現する。エンコーディングの変更されたFourteen Data Rate (FDR)は、1レーンあたり14.0625Gbps双方向の転送速度を実現する。

SDR,DDR,QDRには8b/10b変換が用いられ、8bitのデータが10bit化され転送されるため、実効転送レートは上記の値の80%となる。よって実効転送レートはそれぞれ 2Gbps, 4Gbps, 8Gbpsとなる。一方、FDRには64b/66b変換が用いられ、64bitのデータが66bit化され転送されるため、実効転送レートは上記の値の約97%となる。よって実効転送レートは 13.6Gbpsとなる。

InfiniBandの接続を4本(4X)もしくは12本(12X)束ねて高い転送速度を実現することができる。12X においてFDRでデータ転送を行った場合、168.75Gbps(raw)あるいは163.64Gbps(データ転送)となる。2011年10月現在、FDRに対応した製品が入手可能である。12Xは主に、コンピュータ・クラスタースーパーコンピュータのノード間接続やネットワークスイッチ間接続に用いられる。

また,InfiniBand Trade Associationによるロードマップでは今後,2013年までにFDRのさらに約1.9倍の性能となるEnhanced Data Rate (EDR)が登場する予定であり,その後さらにHigh Data Rate (HDR)、Next Data Rate (NDR)が提供される計画がある[1]

レイテンシ[編集]

レイテンシはSDR スイッチでは200ナノ秒, DDRスイッチでは140ナノ秒, QDRスイッチでは100ナノ秒程度である。エンド・ツー・エンドでは、Mellanox社のHCA(Host Channel Adapter)である ConnectX を用いた場合のMPIレイテンシで1.07 マイクロ秒、Qlogic社の InfiniPath HTX を用いた1.29マイクロ秒、Mellanox社 InfiniHost IIIでは2.6マイクロ秒が観測されている。現在市場には多様な InfiniBand 用HCAがあり、製品によって特性は異なっている。

InfiniBand は RDMA (Remote Direct Memory Access) をサポートしており、CPU オーバヘッドを低く抑えることが可能である。RDMA 命令のレイテンシは、1マイクロ秒以下である(Mellanox 社 ConnectX の場合)。参考までに、DDR3 SDRAM のメモリレイテンシは0.1マイクロ秒程度である。

ネットワーク構成[編集]

InfiniBandではEthernetのような階層型ネットワークと異なり、スイッチ型ファブリック接続を採用している。

多くのメインフレームのチャネル・モデルのように、すべての転送はChannel Adapter間で行われる。各プロセッサノードはHost Channel Adapter (HCA) を持ち、各外部デバイスはTarget Channel Adapter (TCA)を持つ。これらのChannel Adapterはまたセキュリティ情報、QoS情報のやり取りが可能である。

メッセージ[編集]

InfiniBandではデータは、ひとつあたり最大4KBの複数のパケットにより構成されたメッセージのやり取りにより転送される。下記のメッセージ転送がサポートされる

経緯[編集]

1998年後半、基幹業務に使用される各種サーバは、ムーアの法則に従い、ほぼ18カ月に2倍のペースで高速化されてきていた。しかし、サーバ内のバスアーキテクチャは機械・電気的制限により、その進化に追い付けず、コンピュータシステム性能向上のボトルネックとなっていた。

そこで、インテルを中心にスイッチ型ファブリックインターコネクトテクノロジをベースとした新しいI/OアーキテクチャとしてNGIO(Next Generation I/O)が提唱され、規格定義を開始した。一方、タンデムコンピューターズ社のServerNetの流れを汲むCompaq (HPに吸収合併)、HP社、IBM社の3社はNGIOに対抗すべく、全く同様の技術をサポートしたFIO(Future I/O)の提唱を行い、2つの陣営に別れて次世代バス規格の主導権を争い始めた。

ところが、1999年IDF Spring 1999において、NGIOの情報が公開された際、FIOの仕様の一部が取り込まれており、最終的には両陣営が歩み寄り、SIO(System I/O)として統合されることとなった。

その後、1999年10月にInfiniBandに改称された。

2000年10月には、複数のベンダから構成された業界団体「InfiniBand Trade Association」により、規格書が提出され、統一的な規格として成立した。現時点の規格は、InfiniBand Architecture Specification Release 1.2.1。

当初本規格のリーダ的存在だったインテルが撤退を表明し、動向が注目されたが、その後HPC分野を中心に広く利用されるようになっている。

現状[編集]

多くの計算機ノードを接続して構成されるHPC 業界では、InfiniBandのシェアは高い。2015年11月現在、TOP500ではもっとも使われている接続方法となっている(Mellanox調べ)[2]

各ベンダのブレード系サーバやグリッド系サーバの接続でオプションとして用意されている[3]

日本での使用例としては、ヒューレット・パッカードのサーバを使用してNECが構築した東京工業大学のPCクラスタTSUBAME2.0や、京都大学筑波大学T2Kオープンスパコンが挙げられる[4]

ストレージでは、NetAppピュア・ストレージEMCといったメーカーの製品でホストI/Oのオプションとして用意されている。

2011年6月、国際スーパーコンピューティング会議会場において、FDR対応のスイッチおよびホストチャネルアダプタのデモが行われた[5]

ロードマップ[編集]

2014年現在、EDRは2014年後半、HDRは2017年、NDRは2020年以降に登場すると思われる。

脚注[編集]

  1. ^ InfiniBand Roadmap: IBTA - InfiniBand Trade Association
  2. ^ Interconnect Your FutureEnabling the Best Datacenter Return on Investment (PDF)”. Mellanox Technologies (2015年11月). 2015年11月23日閲覧。
  3. ^ 日本電気Express 5800(MellanoxのOEM)、富士通PRIMEQUEST(MellanoxのOEM)、レノボBladeCenter(MellanoxのOEM)、デル(MellanoxのOEM)、ヒューレット・パッカード(MellanoxのOEM)など
  4. ^ 同じT2Kでも東京大学のシステムはInfiniBandではなく、Myrinetを採用している
  5. ^ “Mellanox Demos Souped-Up Version of InfiniBand”. cio.com. (2011年6月20日). http://www.cio.com/article/684732/Mellanox_Demos_Souped_Up_Version_of_Infiniband 2011年10月5日閲覧。 

関連項目[編集]