Nvidia wil datatransfers versnellen door datacenter-gpu’s aan ssd’s te koppelen 

Deze week introduceerde Microsoft DirectStorage voor Windows-pc’s. De API belooft snellere laadtijden en meer gedetailleerde graphics, waardoor game-ontwikkelaars applicaties kunnen maken die grafische gegevens van een SSD rechtstreeks naar de GPU laden. Nu hebben Nvidia en IBM een vergelijkbare SSD/GPU-technologie ontwikkeld, maar ze zijn gericht op het omgaan met enorme datasets in datacenters.

In plaats van zich te concentreren op console- of pc-games zoals DirectStorage, is Big Accelerator Memory (BaM) ontworpen om datacenters snel toegang te geven tot enorme hoeveelheden gegevens in GPU-intensieve toepassingen zoals machine learning-training, analyse en high-performance computing. naar een onderzoeksartikel dat deze week door The Register is ontdekt . Paper getiteld “BaM: The case for offering fine-grained, high-bandwidth, GPU-driven storage access”( PDF ), onderzoekers van Nvidia, IBM en verschillende Amerikaanse universiteiten, biedt een efficiëntere manier om applicaties van de volgende generatie in datacenters met enorme verwerkingskracht en geheugenbandbreedte.

BaM verschilt ook van DirectStorage doordat de systeemarchitecten van plan zijn het open source te maken.

De paper stelt dat hoewel CPU-gestuurde toegang tot opslaggegevens geschikt is voor “klassieke” GPU-toepassingen zoals training van dichte neurale netwerken met “vooraf gedefinieerde, regelmatige, dichte” datatoegangspatronen, het te veel “overhead” met zich meebrengt. tot CPU-GPU-synchronisatie en/of versterking van I/O-verkeer.” Dit maakt het minder geschikt voor toepassingen van de volgende generatie die gebruik maken van grafiek- en data-analyse, aanbevelingssystemen, grafiek neurale netwerken en andere “fijnmazige data-afhankelijke toegangspatronen”, schrijven de auteurs.

Net als DirectStorage werkt BaM samen met een NVMe SSD. Volgens het document vermindert BaM de I/O-verkeersversterking door GPU-threads in staat te stellen kleine hoeveelheden door de computer bepaalde gegevens op verzoek te lezen of te schrijven.

BaM gebruikt met name het ingebouwde geheugen van de GPU, een softwaregestuurde cache, evenals de softwarethreadbibliotheek van de GPU. Threads ontvangen gegevens van de SSD en verplaatsen deze met behulp van een aangepaste Linux-kerneldriver. De onderzoekers testten een prototypesysteem met een 40 GB Nvidia A100 PCIe GPU, twee AMD EPYC 7702-processors met elk 64 cores en 1 TB DDR4-3200-geheugen. Het systeem draait op Ubuntu 20.04 LTS.

De auteurs merkten op dat zelfs een SSD van “consumentenkwaliteit” BaM kan ondersteunen met applicatieprestaties die “concurrerend zijn met een veel duurdere oplossing met alleen DRAM”.