ztevenreal
Ahora que la industria de la IA tiene GPU excepcionalmente de stop rendimiento con memoria de stop orondo de lado (HBM), uno de los cuellos de botella que enfrentan los sistemas de entrenamiento e inferencias de IA es el rendimiento de almacenamiento. Con ese fin, NVIDIA está trabajando con socios para construir SSD que pueden alcanzar el rendimiento de recitación aleatoria de 100 millones de operaciones de entrada/salida por segundo (IOPS) en cargas de trabajo de pedrusco pequeño, según Wallace C. Kuo, quien habló con el hardware de Tom en una entrevista monopolio.
“En este momento, están apuntando a 100 millones de IOP, lo cual es enorme”, dijo Kuo a Hardware de Tom.
Los aceleradores de IA modernos, como el B200 de NVIDIA, cuentan con el orondo de lado de memoria HBM3E de cerca de de 8 TB/s, lo que supera significativamente las capacidades de los subsistemas de almacenamiento modernos tanto en el rendimiento militar como en la latencia. Los SSD modernos PCIe 5.0 x4 en cerca de de 14.5 GB/sy entregan 2 – 3 millones de IOPs para lecturas aleatorias 4K y 512B. Aunque los bloques 4K son más adecuados para el orondo de lado, los modelos de IA generalmente realizan pequeñas recuperaciones aleatorias, lo que hace que los bloques 512B sean mejor para sus patrones sensibles a la latencia. Sin secuestro, aumentar el número de operaciones de E/S por segundo por 33 veces es difícil, dadas las limitaciones de los controladores SSD y la memoria NAND.
De hecho, Kioxia ya está trabajando en un ‘AI SSD’ basado en su memoria XL-Flash diseñada para pasar los 10 millones de 512k IOP. Actualmente, la compañía planea divulgar esta pelotón durante la segunda parte del próximo año, posiblemente para coincidir con el despliegue de la plataforma Orilla Rubin de Nvidia. Para aparecer a 100 millones de IOP, uno podría usar múltiples ‘AI SSD’.
Sin secuestro, el dirigente de SMI cree que obtener 100 millones de IOP en un solo impulso con NAND convencional con un costo prudente y consumo de energía será extremadamente difícil, por lo que podría ser necesario un nuevo tipo de memoria.
“Creo que están buscando un cambio en los medios”, dijo Kuo. “Optane was supposed to be the ideal solution, but it is gone now. Kioxia is trying to bring XL-NAND and improve its performance. SanDisk is trying to introduce High Bandwidth Flash (HBF), but honestly, I don’t really believe in it. Right now, everyone is promoting their own technology, but the industry really needs something fundamentally new. Otherwise, it will be very hard to achieve 100 million IOPS and still be cost-effective.”
Actualmente, muchas compañías, incluidas Micron y Sandisk, están desarrollando nuevos tipos de memoria no volátil. Sin secuestro, cuando estos nuevos tipos de memoria serán comercialmente viables, es poco de lo que incluso la habitante del movimiento de silicio no está seguro.
Seguir Hardware de Tom en Google News Para obtener nuestras noticiario, descomposición y revisiones actualizadas en sus feeds. Asegúrese de hacer clic en el mando Forzar.
