Nvidia は、データセンターの GPU を SSD に接続することでデータ転送を高速化したいと考えています 

今週、Microsoft は Windows PC 向けの DirectStorage を発表しました。この API は、読み込み時間の短縮とより詳細なグラフィックスを約束するため、ゲーム開発者はグラフィックス データを SSD から GPU に直接ロードするアプリケーションを作成できます。現在、Nvidia と IBM が同様の SSD/GPU テクノロジーを開発していますが、それらはデータセンターで大規模なデータセットを処理することを目的としています。

Big Accelerator Memory (BaM) は、DirectStorage のようなコンソール ゲームや PC ゲームに焦点を当てるのではなく、機械学習トレーニング、分析、ハイ パフォーマンス コンピューティングなどの GPU を多用するアプリケーションの大量のデータにデータ センターが高速アクセスできるように設計されています。今週The Registerが発見した研究論文に 。Nvidia、IBM、および米国のいくつかの大学の研究者による「BaM: きめ細かな高帯域幅、GPU 主導のストレージ アクセスを提供するケース」( PDF ) と題された論文は、次世代アプリケーションを実行するためのより効率的な方法を提供しています。巨大な処理能力とメモリ帯域幅を備えたデータセンター。

BaM は、システム設計者がオープンソース化を計画しているという点でも DirectStorage とは異なります。

この論文では、CPU 駆動のストレージ データ アクセスは、「事前定義された規則的で高密度な」データ アクセス パターンによる高密度ニューラル ネットワーク トレーニングなどの「古典的な」GPU アプリケーションには適しているものの、多大な「オーバーヘッド」が発生すると述べています。CPU と GPU の同期や I/O トラフィックの増幅。」このため、グラフとデータの分析、レコメンダー システム、グラフ ニューラル ネットワーク、その他の「きめ細かいデータ依存のアクセス パターン」を使用する次世代アプリケーションにはあまり適していない、と著者らは書いています。

DirectStorage と同様に、BaM は NVMe SSD と連携して動作します。この文書によると、BaM は「GPU スレッドがコンピュータによって決定された少量のデータをオンデマンドで読み書きできるようにすることで、I/O トラフィックの増大を軽減する」と述べています。

具体的には、BaM は、ソフトウェア制御のキャッシュである GPU のオンボード メモリと、GPU のソフトウェア スレッド ライブラリを使用します。スレッドは SSD からデータを受信し、カスタム Linux カーネル ドライバーを使用してデータを移動します。研究者らは、40GB Nvidia A100 PCIe GPU、それぞれ 64 コアを備えた 2 つの AMD EPYC 7702 プロセッサ、および 1TB の DDR4-3200 メモリを備えたプロトタイプ システムをテストしました。システムは Ubuntu 20.04 LTS を実行しています。

著者らは、「コンシューマグレード」の SSD であっても、「はるかに高価な DRAM のみのソリューションと競合できる」アプリケーション パフォーマンスで BaM をサポートできると述べています。