Superando el Cuello de Botella del Almacenamiento en IA y Acelerando la Inferencia en el Borde
Autor: VB Staff
Fecha: 7 de julio de 2025
¿Quieres obtener información más inteligente en tu bandeja de entrada? Suscríbete a nuestros boletines semanales para recibir solo lo que importa a los líderes de IA, datos y seguridad empresarial. Suscríbete ahora
A medida que las aplicaciones de IA se integran cada vez más en las operaciones empresariales, desde la mejora de la atención al paciente a través de imágenes médicas avanzadas hasta el impulso de modelos complejos de detección de fraudes y ayuda a la conservación de la vida silvestre, a menudo surge un cuello de botella crítico: el almacenamiento de datos.
Durante el evento Transform 2025 de VentureBeat, Greg Matson, jefe de productos y marketing de Solidigm, y Roger Cummings, CEO de PEAK:AIO, dialogaron con Michael Stewart, socio gerente de M12, sobre cómo las innovaciones en la tecnología de almacenamiento permiten casos de uso de IA empresarial en el sector salud.
El marco MONAI es un avance en la imagenología médica, construyéndola de manera más rápida, segura y eficiente. Los avances en tecnología de almacenamiento son los que permiten a los investigadores construir sobre este marco, iterar e innovar rápidamente. PEAK:AIO se asociaron con Solidigm para integrar un almacenamiento de alta capacidad, eficiente en energía y rendimiento que permitió a MONAI almacenar más de dos millones de tomografías computarizadas de cuerpo completo en un solo nodo dentro de su entorno de TI.
“A medida que la infraestructura de IA empresarial evoluciona rápidamente, el hardware de almacenamiento necesita ser cada vez más adaptado a casos de uso específicos, dependiendo de en qué etapa se encuentre en la cadena de datos de IA,” comentó Matson. “El tipo de caso de uso del que hablamos con MONAI, un caso de uso en el borde, así como la alimentación de un clúster de entrenamiento, se beneficia mucho de soluciones de almacenamiento de estado sólido de muy alta capacidad; sin embargo, la inferencia y el entrenamiento del modelo requieren algo diferente. Se necesita un rendimiento muy alto, con un elevado número de I/O por segundo desde la SSD.”
Mejorando la inferencia de IA en el borde
Para un rendimiento óptimo en el borde, es crítico escalar el almacenamiento a un solo nodo, para acercar la inferencia a los datos. Y es clave eliminar los cuellos de botella de memoria. Esto se puede lograr convirtiendo la memoria en parte de la infraestructura de IA, para escalarla junto con los datos y metadatos. La proximidad de los datos al cálculo aumenta drásticamente el tiempo para obtener información.
“Se ven todos los enormes despliegues, los grandes centros de datos de campo verde para IA, utilizando diseños de hardware muy específicos para poder llevar los datos lo más cerca posible de las GPU,” añadió Matson. “Han estado construyendo sus centros de datos con almacenamiento de estado sólido de alta capacidad, para ofrecer almacenamiento a nivel de petabytes, muy accesible a altas velocidades, a las GPU. Ahora, esa misma tecnología se está replicando en un microcosmos en el borde y en la empresa.”
Se vuelve crítico para los compradores de sistemas de IA asegurarse de que están obteniendo el máximo rendimiento de su sistema operando todo en estado sólido, lo que les permite manejar enormes cantidades de datos y habilitar un procesamiento increíble en un sistema pequeño en el borde.
El futuro del hardware de IA
“Es imperativo que proporcionemos soluciones que sean abiertas, escalables y a la velocidad de la memoria, utilizando algunas de las tecnologías más avanzadas disponibles para lograrlo,” expresó Cummings. “Ese es nuestro objetivo como empresa, proporcionar esa apertura, velocidad y escala que las organizaciones necesitan. Creo que también veremos que las economías se ajusten a eso.”
Para el pipeline general de datos de entrenamiento e inferencia, así como en la misma inferencia, las necesidades de hardware seguirán aumentando, ya sea una SSD de muy alta velocidad o una solución de muy alta capacidad que sea eficiente en energía.
“Diría que se moverá aún más hacia una muy alta capacidad, ya sea una SSD de un petabyte en un par de años que funcione con muy bajo consumo de energía y que pueda reemplazar cuatro veces tantos discos duros, o un producto de alto rendimiento que esté casi a la velocidad de la memoria,” concluyó Matson. “Verás que los grandes proveedores de GPU están mirando cómo definir la próxima arquitectura de almacenamiento para que pueda ayudar a complementar, muy de cerca, el HBM en el sistema. Lo que solía ser una SSD de propósito general en la computación en la nube ahora se está bifurcando en capacidad y rendimiento. Continuaremos desarrollando esto en ambas direcciones durante los próximos cinco o diez años.”
¡No olvides suscribirte a nuestro boletín para obtener contenido más especializado!
Comments ()