Nvidia möchte die Datenübertragung beschleunigen, indem es Rechenzentrums-GPUs mit SSDs verbindet 

Diese Woche hat Microsoft DirectStorage für Windows-PCs eingeführt. Die API verspricht schnellere Ladezeiten und detailliertere Grafiken und ermöglicht Spieleentwicklern die Erstellung von Anwendungen, die Grafikdaten von einer SSD direkt auf die GPU laden. Jetzt haben Nvidia und IBM eine ähnliche SSD/GPU-Technologie entwickelt, die jedoch auf den Umgang mit riesigen Datenmengen in Rechenzentren abzielt.

Anstatt sich auf Konsolen- oder PC-Spiele wie DirectStorage zu konzentrieren, ist Big Accelerator Memory (BaM) darauf ausgelegt, Rechenzentren schnellen Zugriff auf riesige Datenmengen in GPU-intensiven Anwendungen wie maschinellem Lernen, Analysen und Hochleistungsrechnen zu ermöglichen. zu einem Forschungsbericht, den The Register diese Woche entdeckt hat. Das Papier mit dem Titel „BaM: The Case for Provide Fine-Grained, High-Bandwidth, GPU-Driven Storage Access“ ( PDF ) von Forschern bei Nvidia, IBM und mehreren US-Universitäten bietet eine effizientere Möglichkeit, Anwendungen der nächsten Generation auszuführen Rechenzentren mit enormer Rechenleistung und Speicherbandbreite.

BaM unterscheidet sich von DirectStorage auch dadurch, dass die Systemarchitekten planen, es Open Source zu machen.

In dem Papier heißt es, dass der CPU-gesteuerte Speicherdatenzugriff zwar für „klassische“ GPU-Anwendungen wie das Training dichter neuronaler Netze mit „vordefinierten, regelmäßigen, dichten“ Datenzugriffsmustern geeignet sei, aber zu viel „Overhead“ mit sich bringe. zur CPU-GPU-Synchronisierung und/oder Verstärkung des E/A-Verkehrs.“ Dies macht es weniger geeignet für Anwendungen der nächsten Generation, die Diagramm- und Datenanalysen, Empfehlungssysteme, grafische neuronale Netze und andere „feinkörnige datenabhängige Zugriffsmuster“ verwenden, schreiben die Autoren.

Wie DirectStorage funktioniert BaM mit einer NVMe-SSD. Laut dem Dokument reduziert BaM „die Verstärkung des E/A-Verkehrs, indem es GPU-Threads ermöglicht, kleine Mengen computergesteuerter Daten bei Bedarf zu lesen oder zu schreiben.“

Konkret nutzt BaM den Onboard-Speicher der GPU, bei dem es sich um einen softwaregesteuerten Cache handelt, sowie die Software-Thread-Bibliothek der GPU. Threads empfangen Daten von der SSD und verschieben sie mithilfe eines benutzerdefinierten Linux-Kernel-Treibers. Die Forscher testeten ein Prototypsystem mit einer 40 GB großen Nvidia A100 PCIe-GPU, zwei AMD EPYC 7702-Prozessoren mit jeweils 64 Kernen und 1 TB DDR4-3200-Speicher. Auf dem System läuft Ubuntu 20.04 LTS.

Die Autoren stellten fest, dass selbst eine „Consumer-Grade“-SSD BaM mit einer Anwendungsleistung unterstützen kann, die „mit einer viel teureren reinen DRAM-Lösung konkurriert“.