InfiniBand

InfiniBand スイッチのポート

InfiniBand(インフィニバンド)とは、非常に高いRAS（信頼性・可用性・保守性)を持つ基幹系・HPC系のサーバ/クラスター用高速I/Oバスアーキテクチャ及びインターコネクトのこと。システム間インターコネクト機構としては、RAS機能の他、他機構に比較して、低レイテンシである点も特徴である。

概要

構成ごとの理論スループット

	SDR	DDR	QDR	FDR	EDR	HDR	NDR
1X	2 Gbit/s	4 Gbit/s	8 Gbit/s	14 Gbit/s	26 Gbit/s	125 Gbit/s	750 Gbit/s
4X	8 Gbit/s	16 Gbit/s	32 Gbit/s	56 Gbit/s	104 Gbit/s	500 Gbit/s	3000 Gbit/s
12X	24 Gbit/s	48 Gbit/s	96 Gbit/s	168 Gbit/s	312 Gbit/s	1500 Gbit/s	9000 Gbit/s

InfiniBandは、ファイバーチャネル、PCI Express, Serial ATA等の最近のインターコネクトと同様、ポイント・ツー・ポイントの双方向シリアル接続である。複数のプロセッサとHDD等の高速外部デバイス間の接続に利用される。複数の転送レートをサポートする他、PCI Expressのように複数のチャネルを束ねて利用することで高速な帯域を実現することができる。

転送レート

Single Data Rate (SDR)のInfiniBand レーン一本は最大2.5Gbps双方向の転送速度を持つ。Double Data Rate (DDR)およびQuad Data Rate (QDR)は、1レーンあたりそれぞれ 5Gbps, 10Gbps双方向の転送速度を実現する。エンコーディングの変更されたFourteen Data Rate (FDR)は、1レーンあたり14.0625Gbps双方向の転送速度を実現する。

SDR，DDR，QDRには8b/10b変換が用いられ、8bitのデータが10bit化され転送されるため、実効転送レートは上記の値の80%となる。よって実効転送レートはそれぞれ 2Gbps, 4Gbps, 8Gbpsとなる。一方、FDRには64b/66b変換が用いられ、64bitのデータが66bit化され転送されるため、実効転送レートは上記の値の約97%となる。よって実効転送レートは 13.6Gbpsとなる。

InfiniBandの接続を4本(4X)もしくは12本(12X)束ねて高い転送速度を実現することができる。12X においてFDRでデータ転送を行った場合、168.75Gbps(raw)あるいは163.64Gbps(データ転送）となる。2011年10月現在、FDRに対応した製品が入手可能である。12Xは主に、コンピュータ・クラスターやスーパーコンピューターのノード間接続やネットワークスイッチ間接続に用いられる。

また，InfiniBand Trade Associationによるロードマップでは今後，2013年までにFDRのさらに約1.9倍の性能となるEnhanced Data Rate (EDR)が登場する予定であり，その後さらにHigh Data Rate (HDR)、Next Data Rate (NDR)が提供される計画がある。

レイテンシ

レイテンシはSDR スイッチでは200ナノ秒, DDRスイッチでは140ナノ秒, QDRスイッチでは100ナノ秒程度である。エンド・ツー・エンドでは、Mellanox社のHCA（Host Channel Adapter)である ConnectX を用いた場合のMPIレイテンシで1.07 マイクロ秒、Qlogic社の InfiniPath HTX を用いた1.29マイクロ秒、Mellanox社 InfiniHost IIIでは2.6マイクロ秒が観測されている。現在市場には多様な InfiniBand 用HCAがあり、製品によって特性は異なっている。

InfiniBand は RDMA (Remote Direct Memory Access) をサポートしており、CPU オーバヘッドを低く抑えることが可能である。RDMA 命令のレイテンシは、1マイクロ秒以下である(Mellanox 社 ConnectX の場合)。参考までに、DDR3 SDRAM のメモリレイテンシは0.1マイクロ秒程度である。

ネットワーク構成

InfiniBandではEthernetのような階層型ネットワークと異なり、スイッチ型ファブリック接続を採用している。

多くのメインフレームのチャネル・モデルのように、すべての転送はChannel Adapter間で行われる。各プロセッサノードはHost Channel Adapter (HCA) を持ち、各外部デバイスはTarget Channel Adapter (TCA)を持つ。これらのChannel Adapterはまたセキュリティ情報、QoS情報のやり取りが可能である。

メッセージ

InfiniBandではデータは、ひとつあたり最大4KBの複数のパケットにより構成されたメッセージのやり取りにより転送される。下記のメッセージ転送がサポートされる

• 遠隔ノード上のメモリに対する DMA転送 によるREAD, WRITE。（RDMA）
• チャネル転送
• トランザクション命令（差し戻し可能）
• マルチキャスト
• 不可分操作

経緯

1998年後半、基幹業務に使用される各種サーバは、ムーアの法則に従い、ほぼ18カ月に2倍のペースで高速化されてきていた。しかし、サーバ内のバスアーキテクチャは機械・電気的制限により、その進化に追い付けず、コンピュータシステム性能向上のボトルネックとなっていた。

そこで、インテルを中心にスイッチ型ファブリックインターコネクトテクノロジをベースとした新しいI/OアーキテクチャとしてNGIO(Next Generation I/O)が提唱され、規格定義を開始した。一方、タンデムコンピューターズ社のServerNetの流れを汲むCompaq (HPに吸収合併)、HP社、IBM社の3社はNGIOに対抗すべく、全く同様の技術をサポートしたFIO(Future I/O)の提唱を行い、2つの陣営に別れて次世代バス規格の主導権を争い始めた。

ところが、1999年のIDF Spring 1999において、NGIOの情報が公開された際、FIOの仕様の一部が取り込まれており、最終的には両陣営が歩み寄り、SIO(System I/O)として統合されることとなった。

その後、1999年10月にInfiniBandに改称された。

2000年10月には、複数のベンダから構成された業界団体「InfiniBand Trade Association」により、規格書が提出され、統一的な規格として成立した。現時点の規格は、InfiniBand Architecture Specification Release 1.2.1。

当初本規格のリーダ的存在だったインテルが撤退を表明し、動向が注目されたが、その後HPC分野を中心に広く利用されるようになっている。

現状

多くの計算機ノードを接続して構成されるHPC 業界では、InfiniBandのシェアは高い。2011年11月に発表されたTOP500では，上位500位のうち41.8%のシステムが InfiniBand を採用しており、イーサネット の44.8%（ギガビット・イーサネット42.0%、10ギガビット・イーサネット2.8%）に次いで2位である。また、上位100位に限れば2009年11月のリストでは63システムがInfiniBandを採用している。 日本では、ヒューレット・パッカードのサーバを使用してNECが構築した東京工業大学のPCクラスタTSUBAME2.0や、京都大学や筑波大学のT2Kオープンスパコンで使用されている。なお，同じT2Kでも東京大学のシステムはInfiniBandではなく、Myrinetを採用している。

その他多くのベンダのブレード系サーバやグリッド系サーバの接続に標準的に使用されている。例えば、日立製作所(BladeSymphony)/NEC(シグマグリッド)/富士通(PrimeQuest)/IBM(BladeCenter)/DELLなどの基幹業務用サーバやIAサーバを用いたHPC(スーパーコンピュータ)としての構成を取る際、接続・搭載可能な機器が用意されており、IBMなどの一部ベンダではブレードサーバのフレームに収納されて提供されている。

ストレージでは、NetApp、アイシロンなどNASのインターコネクトとして用いられていて、例えばさくらのクラウドなどでは、Sun ZFS Storage Appliance を IP over InfiniBand で接続している。

2011年6月にはFDR対応のスイッチおよびHCAが国際スーパーコンピューティング会議で発表された。

関連項目

• 並列化
• 並列コンピューティング
• グリッド・コンピューティング
• SCore