ztevenreal
Presentado por Solidigm.
A medida que aumenta la apadrinamiento de la IA, los centros de datos se enfrentan a un cuello de botella crítico en el almacenamiento, y los discos duros tradicionales están en el centro del problema. Los datos que antaño permanecían inactivos como archivos fríos ahora se utilizan con frecuencia para crear modelos más precisos y ofrecer mejores resultados de inferencia. Este cambio de datos fríos a datos cálidos exige un almacenamiento de disminución latencia y suspensión rendimiento que pueda manejar cálculos paralelos. Los discos duros seguirán siendo el heroína de batalla para el almacenamiento en frío de bajo costo, pero sin repensar su papel, la capa de almacenamiento de entrada capacidad corre el aventura de convertirse en el ligazón más débil de la industria de IA.
"Las cargas de trabajo modernas de IA, combinadas con las limitaciones de los centros de datos, han creado nuevos desafíos para los HDD." dice Jeff Janukowicz, vicepresidente de investigación de IDC. "Si adecuadamente los proveedores de HDD están abordando el crecimiento del almacenamiento de datos ofreciendo unidades más grandes, esto a menudo se produce a gastos de un rendimiento más sosegado. Como resultado, el concepto de “SSD nearline” se está convirtiendo en un tema de discusión cada vez más relevante internamente de la industria."
Hoy en día, los operadores de IA necesitan maximizar la utilización de la GPU, regir el almacenamiento conectado a la red de guisa efectivo y prosperar la computación, todo mientras reducen costos en energía y espacio cada vez más escasos. En un entorno donde cada vatio y cada centímetro cuadrado cuenta, afirma Roger Corell, director senior de IA y marketing de liderazgo de Solidigm, el éxito requiere más que una puesta al día técnica. Exige un realineamiento más profundo.
“Esto acento del cambio tectónico en el valía de los datos para la IA”, dice Corell. “Ahí es donde entran en distracción los SSD de entrada capacidad. Anejo con la capacidad, aportan rendimiento y eficiencia, lo que permite que los canales de almacenamiento a escalera de exabytes sigan el ritmo implacable del tamaño del conjunto de datos. Todo eso consume energía y espacio, por lo que debemos hacerlo de la guisa más efectivo posible para permitir una viejo escalera de GPU en este entorno restringido”.
Los SSD de entrada capacidad no solo están desplazando a los HDD, sino que igualmente están eliminando uno de los mayores cuellos de botella en la industria de IA. Al ofrecer enormes ganancias en rendimiento, eficiencia y densidad, las SSD liberan la energía y el espacio necesarios para impulsar aún más la escalera de la GPU. Se negociación menos de una progreso del almacenamiento que de un cambio estructural en cómo se diseña la infraestructura de datos para la era de la IA.
HDD contra SDD: más que una simple puesta al día de hardware
Las unidades de disco duro tienen diseños mecánicos impresionantes, pero están formadas por muchas piezas móviles que, a escalera, utilizan más energía, ocupan más espacio y fallan a un ritmo viejo que las unidades de estado sólido. La dependencia de platos giratorios y cabezales mecánicos de lección/escritura limita inherentemente las operaciones de entrada/salida por segundo (IOPS), lo que crea cuellos de botella para las cargas de trabajo de IA que exigen disminución latencia, entrada concurrencia y rendimiento sostenido.
Los discos duros igualmente tienen dificultades con tareas sensibles a la latencia, ya que el acto físico de inquirir datos introduce retrasos mecánicos inadecuados para la inferencia y el entrenamiento de la IA en tiempo auténtico. Encima, sus requisitos de energía y refrigeración aumentan significativamente con el paso frecuente e intensivo a los datos, lo que reduce la eficiencia a medida que los datos aumentan y se calientan.
Por el contrario, la opción de almacenamiento VAST basada en SSD reduce el uso de energía en aproximadamente 1 millón de dólares al año, y en un entorno de IA donde cada vatio importa, esto es una gran superioridad para los SSD. Para demostrarlo, Solidigm y VAST Data completaron un estudio que examina la crematística del almacenamiento de datos a escalera de exabytes: mil billones de bytes o mil millones de gigabytes, con un exploración del consumo de energía del almacenamiento frente a los discos duros durante un período de 10 primaveras.
Como punto de remisión auténtico, necesitaría cuatro discos duros de 30 TB para igualar la capacidad de un solo SSD Solidigm de 122 TB. Luego de tener en cuenta las técnicas de reducción de datos de VAST que son posibles gracias al rendimiento superior de los SSD, la opción de exabyte comprende 3738 SSD Solidigm frente a más de 40 000 HDD de entrada capacidad. El estudio encontró que la opción VAST basada en SSD consume un 77% menos de energía de almacenamiento.
Minimizar las huellas del centro de datos
"Estamos enviando unidades de 122 terabytes a algunos de los principales fabricantes de equipos originales y proveedores de servicios de nimbo de IA líderes en el mundo." Corell dice. "Cuando se compara una configuración SSD de 122 TB con una configuración híbrida HDD + TLC SSD, se obtiene un peculio de nueve a uno en el espacio que ocupa el centro de datos. Y sí, es importante en estos centros de datos masivos que construyen sus propios reactores nucleares y firman importantes acuerdos de operación de energía con proveedores de energía renovable, pero es cada vez más importante a medida que se llega a los centros de datos regionales, los centros de datos locales y hasta las implementaciones periféricas donde el espacio puede ser un adecuadamente escaso."
Ese peculio de nueve a uno va más allá del espacio y la energía: permite a las organizaciones adaptar la infraestructura a espacios que antaño no estaban disponibles, ampliar la escalera de GPU o crear espacios más pequeños.
"Si te dan X cantidad de tierra y Y cantidad de energía, la usarás. Eres IA" Corell explica, “donde cada vatio y cada pulgada cuadrada cuenta, así que ¿por qué no usarlo de la guisa más efectivo? Obtenga el almacenamiento más efectivo posible en el planeta y permita una viejo escalera de GPU internamente de ese espacio en el que tiene que encajar. De guisa continua, igualmente le ahorrará costos operativos. Tiene un 90 por ciento menos de bahías de almacenamiento que abastecer, y el costo asociado con eso desaparece."
Otro dato que a menudo se pasa por suspensión, la (mucho) viejo huella física de los datos almacenados en discos duros mecánicos da como resultado una viejo huella de materiales de construcción. En conjunto, la producción de hormigón y espada representa más del 15% de las emisiones mundiales de gases de objetivo invernadero. Al resumir la huella física del almacenamiento, los SSD de entrada capacidad pueden ayudar a resumir las emisiones de hormigón incorporado y de espada en más de un 80 % en comparación con los HDD. Y en la última etapa del ciclo de vida de la sostenibilidad, que es el final de la vida útil de las unidades, habrá un 90% menos de unidades para disposición. .
Remodelación de las estrategias de almacenamiento en frío y de archivos
El cambio a SDD no es sólo una puesta al día del almacenamiento; es un realineamiento fundamental de la organización de infraestructura de datos en la era de la IA, y está ganando velocidad.
"Los grandes hiperescaladores están buscando exprimir al mayor su infraestructura existente, haciendo actos antinaturales, por así decirlo, con HDD como aprovisionarlos en exceso hasta cerca del 90% para tratar de exprimir tantas IOPS por terabyte como sea posible, pero están comenzando a aparecer." Corell dice. "Una vez que recurran a una infraestructura de almacenamiento moderna y de entrada capacidad, la industria en genérico seguirá esa trayectoria. Encima, estamos empezando a ver estas lecciones aprendidas sobre el valía del almacenamiento original en IA aplicadas igualmente a otros segmentos, como el exploración de big data, HPC y muchos más."
Si adecuadamente las soluciones all-flash están siendo adoptadas casi mundialmente, siempre habrá un lado para los HDD, añade. Los discos duros persistirán en usos como archivo, almacenamiento en frío y escenarios donde las preocupaciones por el costo puro por gigabyte superan la carestia de paso en tiempo auténtico. Pero a medida que la crematística simbólica se calienta y las empresas obtienen valía al monetizar los datos, los segmentos de datos cálidos y cálidos seguirán creciendo.
Resolver los desafíos energéticos del futuro
Ahora en su cuarta procreación, con más de 122 exabytes acumulados enviados hasta la data, la tecnología QLC (Quad-Level Cell) de Solidigm ha liderado la industria en el firmeza de mayores capacidades de pelotón con eficiencia de costos.
"No pensamos en el almacenamiento como simplemente acumular bits y bytes. Pensamos en cómo podemos desarrollar estas increíbles unidades que sean capaces de ofrecer beneficios a nivel de opción." Corell dice. "La suerte brillante es nuestro E1.S arrojado recientemente, diseñado específicamente para un almacenamiento denso y efectivo en configuraciones de almacenamiento de conexión directa para el servidor GPU sin ventilador de próxima procreación."
El Solidigm D7-PS1010 E1.S es un gran avance, el primer eSSD de la industria con tecnología de refrigeración líquida directa al chip de un solo costado. Solidigm trabajó con NVIDIA para invadir los desafíos duales de la trámite del calor y la rentabilidad, al tiempo que ofrece el suspensión rendimiento necesario para las exigentes cargas de trabajo de IA.
"Nos estamos moviendo rápidamente en dirección a un entorno donde todos los componentes críticos de TI estarán refrigerados por deducido directamente al chip en el costado de conexión directa." él dice. "Creo que el mercado necesita analizar su enfoque en materia de refrigeración, porque las limitaciones y los desafíos energéticos no van a disminuir durante mi vida, al menos. Deben aplicar una mentalidad de neonube a la hora de diseñar la infraestructura más efectivo."
Una inferencia cada vez más compleja está empujando contra un tapia de memoria, lo que hace que la inmueble de almacenamiento sea un desafío de diseño de primera confín, no una ocurrencia tardía. Los SSD de entrada capacidad, combinados con refrigeración líquida y un diseño efectivo, se están convirtiendo en el único camino para satisfacer las crecientes demandas de la IA. El mandato ahora es construir infraestructura no sólo para la eficiencia, sino igualmente para el almacenamiento que pueda escalarse de guisa efectivo a medida que crecen los datos. Las organizaciones que realineen el almacenamiento ahora serán las que mañana puedan prosperar la IA.
Los artículos patrocinados son contenido producido por una empresa que paga por la publicación o tiene una relación comercial con VentureBeat, y siempre están claramente marcados. Para más información, póngase en contacto ventas@venturebeat.com.
