Nvidia vuole accelerare i trasferimenti di dati collegando le GPU del data center agli SSD 

Questa settimana, Microsoft ha introdotto DirectStorage per PC Windows. L’API promette tempi di caricamento più rapidi e grafica più dettagliata, consentendo agli sviluppatori di giochi di creare applicazioni che caricano i dati grafici da un SSD direttamente alla GPU. Ora Nvidia e IBM hanno creato una tecnologia SSD/GPU simile, ma mirano a gestire enormi set di dati nei data center.

Piuttosto che concentrarsi su console o giochi per PC come DirectStorage, Big Accelerator Memory (BaM) è progettato per fornire ai data center un rapido accesso a enormi quantità di dati in applicazioni ad alta intensità di GPU come formazione di machine learning, analisi e calcolo ad alte prestazioni. a un documento di ricerca scoperto da The Register questa settimana. Il documento intitolato “BaM: The case for provide-grained, high-bandwidth, GPU-driven storage access” ( PDF ), ricercatori di Nvidia, IBM e diverse università statunitensi, offre un modo più efficiente per eseguire applicazioni di nuova generazione in data center con potenza di elaborazione e larghezza di banda di memoria enormi.

BaM differisce anche da DirectStorage in quanto gli architetti del sistema intendono renderlo open source.

Il documento afferma che mentre l’accesso ai dati di archiviazione basato sulla CPU è adatto per applicazioni GPU “classiche” come l’addestramento di reti neurali dense con modelli di accesso ai dati “predefiniti, regolari, densi”, comporta un “overhead” eccessivo. alla sincronizzazione CPU-GPU e/o all’amplificazione del traffico I/O.” Ciò lo rende meno adatto per le applicazioni di nuova generazione che utilizzano grafici e analisi dei dati, sistemi di raccomandazione, reti neurali a grafo e altri “modelli di accesso dipendenti dai dati a grana fine”, scrivono gli autori.

Come DirectStorage, BaM funziona insieme a un SSD NVMe. Secondo il documento, BaM “riduce l’amplificazione del traffico I/O consentendo ai thread della GPU di leggere o scrivere su richiesta piccole quantità di dati determinati dal computer”.

Nello specifico, BaM utilizza la memoria integrata della GPU, che è una cache controllata da software, nonché la libreria di thread del software della GPU. I thread ricevono i dati dall’SSD e li spostano utilizzando un driver del kernel Linux personalizzato. I ricercatori hanno testato un sistema prototipo con una GPU PCIe Nvidia A100 da 40 GB, due processori AMD EPYC 7702 con 64 core ciascuno e 1 TB di memoria DDR4-3200. Il sistema esegue Ubuntu 20.04 LTS.

Gli autori hanno notato che anche un SSD “consumer-grade” può supportare BaM con prestazioni dell’applicazione che sono “competitive con una soluzione solo DRAM molto più costosa”.