Nvidia quiere acelerar las transferencias de datos conectando las GPU del centro de datos a las SSD 

Esta semana, Microsoft presentó DirectStorage para PC con Windows. La API promete tiempos de carga más rápidos y gráficos más detallados, lo que permite a los desarrolladores de juegos crear aplicaciones que carguen datos gráficos desde un SSD directamente a la GPU. Ahora, Nvidia e IBM han creado una tecnología SSD/GPU similar, pero están destinadas a manejar conjuntos de datos masivos en centros de datos.

En lugar de centrarse en juegos de consola o PC como DirectStorage, Big Accelerator Memory (BaM) está diseñado para brindar a los centros de datos un acceso rápido a cantidades masivas de datos en aplicaciones intensivas en GPU, como capacitación de aprendizaje automático, análisis y computación de alto rendimiento. a un trabajo de investigación descubierto por The Register esta semana. El documento titulado «BaM: El caso para proporcionar acceso de almacenamiento controlado por GPU, de gran ancho de banda y de grano fino» ( PDF ), investigadores de Nvidia, IBM y varias universidades de EE. UU., ofrece una forma más eficiente de ejecutar aplicaciones de próxima generación en centros de datos con gran poder de procesamiento y ancho de banda de memoria.

BaM también difiere de DirectStorage en que los arquitectos del sistema planean hacerlo de código abierto.

El documento establece que, si bien el acceso a datos de almacenamiento impulsado por CPU es adecuado para aplicaciones de GPU «clásicas», como el entrenamiento de redes neuronales densas con patrones de acceso a datos «predefinidos, regulares y densos», incurre en demasiada «sobrecarga». a la sincronización CPU-GPU y/o amplificación del tráfico de E/S”. Esto lo hace menos adecuado para las aplicaciones de próxima generación que utilizan gráficos y análisis de datos, sistemas de recomendación, redes neuronales gráficas y otros «patrones de acceso dependientes de datos de grano fino», escriben los autores.

Al igual que DirectStorage, BaM funciona junto con un SSD NVMe. Según el documento, BaM «reduce la amplificación del tráfico de E/S al permitir que los subprocesos de GPU lean o escriban pequeñas cantidades de datos determinados por computadora bajo demanda».

Específicamente, BaM usa la memoria integrada de la GPU, que es un caché controlado por software, así como la biblioteca de subprocesos de software de la GPU. Los subprocesos reciben datos del SSD y los mueven utilizando un controlador de kernel de Linux personalizado. Los investigadores probaron un sistema prototipo con una GPU Nvidia A100 PCIe de 40 GB, dos procesadores AMD EPYC 7702 con 64 núcleos cada uno y 1 TB de memoria DDR4-3200. El sistema ejecuta Ubuntu 20.04 LTS.

Los autores señalaron que incluso un SSD de «grado de consumidor» puede admitir BaM con un rendimiento de aplicación que es «competitivo con una solución DRAM mucho más costosa».