タイトルでほぼほぼ出オチですが、先日、NVIDIAからCUDA Toolkit 11.4と共にリリースされた新機能GPUDirect Storage 1.0のドキュメントを読んでいると、面白い記述を見つけた。 曰く、MOFEDドライバ5.3以降と、Mellanox Connect-X4/5の組み合わせで、NFS-over-RDMAとGPUDirect Storageを組み合わせ、リモートのNFS区画からローカルのGPUへと直接のデータ転送を行う事ができるようになる、と。 14.10. NFS Support with GPUDirect Storage This section provides information about NFS support with GDS. 14.10.2. Install GPUDirect Storage Support for the NFS Cli
お使いのブラウザーは対応していません。 お使いのウェブブラウザーはこのウェブサイトでは対応していません。いくつかの機能が正常に動作しない可能性がございます。アップグレートいただくか下記のブラウザーのどれかをインストールください。よろしくおねがいします。 世界最大級のスーパーコンピューターやデータセンターを加速するネットワーク技術が今年トップクラスの合併を生み、AI の進化に拍車をかける 高速ネットワークを実現する優れたアイデアでありながらも人目につかなかったリモート ダイレクト メモリ アクセス (RDMA) が、世界最速のスーパーコンピューターのジェット燃料へと上り詰めるまでには、2 つの偶然の出会いがありました。 それらの幸運の始まりは、RDMA ベースのネットワークである InfiniBand に社運をかけていたイスラエル拠点のスタートアップに訪れた運命的な縁でした。後に、そのスター
KubernetesクラスタにおけるGPU-NIC割り当ての改善によるRDMAの高速化 - Preferred Networks Research & Development
本投稿はPFN2022 夏季国内インターンシップに参加された松岡航さんによる寄稿です。 はじめに PFN2022年度夏季インターンシップに参加した法政大学情報科学部ディジタルメディア学科3年の松岡航です。大学では学内のサーバ管理をしています。ネットワークやコンテナ技術に興味があり、今回Cluster ServicesチームというPFNの機械学習基盤を開発・運用するチームのインターンシップに参加しました。 背景 良い深層学習モデルを実現するには、モデルの構造や適切な学習率などを変更した多くの試行を行うことが重要です。1回の学習を高速に完了させることで、効率よくこの探索を行うことができます。高速化の方法の1つとして、複数のプロセスを使って学習することで学習を高速化する分散深層学習という手法があります。例えばデータ並列な分散深層学習では、複数のプロセスにデータを分散させて処理することで、一度に多
NSDI '23 - https://www.usenix.org/conference/nsdi23/presentation/bai - https://www.microsoft.com/en-us/research/publication/empowering-azure-storage-with-rdma/
Mellanoxドライバのインストール事前に、RDMAに対応した Mellanox ドライバである OFED をインストールしておく必要があります。 ドライバは公式サイトからダウンロードできます。 # tar -xzvf MLNX_OFED_LINUX-5.6-2.0.9.0-ubuntu22.04-x86_64.tgz # cd MLNX_OFED_LINUX-5.6-2.0.9.0-ubuntu22.04-x86_64 # ./mlnxofedinstall --with-nvmf # /etc/init.d/openibd restart インストール完了後、念のために initramfs を更新しておきます。 しなかった場合、この後に行うカーネルモジュールの読み込みでエラーになる場合があります。 # update-initramfs -u # reboot RoCEv2サポートの確
DBサーバー専用機「Oracle Exadata X8M」、不揮発性メモリーとRDMAで2.5倍に高速化 | IT Leaders
IT Leaders トップ ＞ テクノロジー一覧 ＞ データベース ＞ 新製品・サービス ＞ DBサーバー専用機「Oracle Exadata X8M」、不揮発性メモリーとRDMAで2.5倍に高速化 データベース データベース記事一覧へ [新製品・サービス] DBサーバー専用機「Oracle Exadata X8M」、不揮発性メモリーとRDMAで2.5倍に高速化 2019年9月18日(水)日川 佳三（IT Leaders編集部） リスト 米オラクル（Oracle）は2019年9月16日（米国現地時間）、データベースサーバー専用システムの新版「Oracle Exadata Database Machine X8M」を発表した。新版では、NVDIMMの採用などによって性能を高めた。ピーク性能は、既存機種「Exadata X8」の2.5倍となる1秒あたり1600万回のSQL読み取りI/Oをうた
1. はじめに 2. 準備 インストール 動作確認 3. ライブラリ libibverbs librdmacm 4. プログラミング例 基本編 簡略編 上級編 5. おわりに 執筆者 : 小田 逸郎 1. はじめに 筆者が最初にInfiniBandやRDMAに触れたのは、もう20年近く昔の話になります。 それから、ブレークすることもなく、さりとて死に絶えることもなく、ひっそりと 生き続けてきました。最近また、ちょくちょく耳にするようになった気がします。 InfiniBand大手のMellanoxをNVIDIAが買収したというような話題もありました。 この20年程の間に、RDMAを使用する環境も手軽に用意できるようになりました。 なんと、普通のLinuxディストリビューションで普通に使えてしまいます。 とは言え、実際にRDMAで通信するプログラムを書こうとすると、まだ あまり情報がない気がし
コラム - グーグルのクラウドを支えるテクノロジー | 第130回 RDMA技術を活用した分散キャッシュシステム「CliqueMap」（パート1）｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第130回 RDMA技術を活用した分散キャッシュシステム「CliqueMap」（パート1） (中井悦司) 2022年6月 はじめに 今回からは、2021年に公開された論文「CliqueMap: Productionizing an RMA-Based Distributed Caching System」を元にして、Google社内で使用されているインメモリ分散キャッシュシステム「CliqueMap」のアーキテクチャーを紹介します。CliqueMapでは、ネットワーク経由でサーバーのメモリーにアクセスする「RDMA（リモート・ダイレクトメモリアクセス）」の技術を利用することで、一般的な分散キャッシュシステムよりも高い性能を実現しています。今回は
RDMA とは何ですか?
周知のように、インターネット データの爆発的な増加は、データ センターの処理能力に大きな課題をもたらしました。 コンピューティング、ストレージ、ネットワークは、データセンターの発展を促進する XNUMX つの原動力です。 CPU、GPU、FPGA の発達により、演算能力は大幅に向上しました。 ストレージ ソリッド ステート ドライブ (SSD) の導入により、データ アクセスの待ち時間が大幅に短縮されました。 しかし、ネットワークの開発は明らかに遅れており、伝送遅延が大きく、徐々にデータセンターのパフォーマンスのボトルネックになっています。 データセンターでは、トラフィックの 70% が East-West トラフィック (サーバー間のトラフィック) です。 このトラフィックは、通常、データ センターでの高性能分散並列コンピューティング中にデータ フローを処理し、TCP/IP ネットワーク
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPUDirect SQL on NFS-over-RDMAを試す - KaiGaiの俺メモ
【InfiniBandの現在】RDMAでパケットを高速転送する「SDP」、これをiSCSIで実現する「iSER」【ネット新技術】
【InfiniBandの現在】HBAとMPIとの組み合わせで、低レイテンシーを安価に実現した「RDMA」【ネット新技術】
RDMA はいかにして高速ネットワークを加速するようになったのか | NVIDIA
#51 “Empowering Azure Storage with RDMA”
NVMeとConnectX-4で始めるNVMe over RDMA (RoCEv2)入門
RDMAプログラミング入門 - VA Linux エンジニアブログ