Los investigadores del BSC participan en el proyecto europeo ADMIRE que creará un sistema europeo de almacenamiento adaptativo, que incluye simulaciones de computación de alto rendimiento (HPC, en sus siglas en inglés), bioinformática e inteligencia artificial con el objetivo de optimizar aplicaciones con un uso masivo de datos.
ADMIRE creará una pila de software de entrada y salida que ajuste de forma automática los requisitos de almacenamiento y cálculo a través de una coordinación inteligente, la maleabilidad del cálculo y la entrada y salida, y la planificación de los recursos de almacenamiento en todos los niveles de la jerarquía de almacenamiento. El proyecto está coordinado por la Universidad Carlos III de Madrid (UC3M) y financiado por la Empresa Común Europea de Computación de Alto Rendimiento (EuroHPC JU) y los estados miembros.
En este proyecto, los investigadores de BSC de Storage Systems for Extreme Computing y Distributed Object Management desarrollarán un entorno de software para mejorar la orquestación entre los principales componentes y aplicaciones del sistema.
“Nuestros expertos llevan ya algún tiempo investigando sobre cómo mejorar la entrada y salida intensiva en los supercomputadores y, lo que es más importante, cómo integrarla con la toma de decisiones del planificador de trabajos HPC para poder mejorar el control de los recursos en este tipo de máquinas. En ADMIRE ampliaremos tres de nuestros softwares para permitir una mejor entrada y salida en aplicaciones con un uso intensivo de datos: GekkoFS, dataClay y NORNS”, afirma Alberto Miranda, investigador principal del BSC en el proyecto ADMIRE.
GekkoFS permite crear un sistema de archivos bajo demanda para las aplicaciones de computación de altas prestaciones que utiliza el almacenamiento local de cada nodo para el aprovisionamiento de entrada y salida. Desarrollado en colaboración con la universidad Johannes-Gutenberg de Mainz (Alemania), el GekkoFS ha demostrado resultados excelentes de rendimiento en la clasificación IO500.
dataClay es un sistema de almacenamiento de datos distribuido que permite a las aplicaciones almacenar y acceder a objetos en el mismo formato que tienen en memoria, lo que les permite ejecutar métodos de objetos dentro del almacenamiento de datos. Por último, NORNS es un servicio de infraestructura que proporciona APIs a las aplicaciones para simplificar el movimiento de datos asíncrono entre los diferentes niveles de almacenamiento.
“Al integrar estos tres componentes con los servicios de ADMIRE, nuestro objetivo es limitar, tanto como sea posible, la entrada y salida de las aplicaciones al almacenamiento local del nodo. Esta encapsulación de la entrada/salida, junto con una estricta definición y cumplimiento de restricciones de calidad de servicio (QoS en sus siglas en inglés), nos permitirá controlar con precisión cuándo y cómo una aplicación accede al sistema de almacenamiento compartido de largo plazo del clúster”, agrega Alberto Miranda.
“Otros componentes del entorno de ADMIRE proporcionarán análisis actualizados que nos permitirán producir soluciones de planificación de la entrada/salida de forma precisa, cuyo objetivo será reducir la competencia entre aplicaciones. Esto debería mejorar bastante el rendimiento de la aplicación.”
Vista general de ADMIRE
Gracias a la integración de los componentes BSC en el entorno ADMIRE, el consorcio ADMIRE tiene como objetivo producir un entorno de almacenamiento por software que permita que las aplicaciones de seis pilares aprovechen mejor el almacenamiento en los supercomputadores, que cada vez es más complejo. Las aplicaciones son las siguientes: pronóstico meteorológico, dinámica molecular, simulaciones de turbulencias, mapeo de cobertura a escala planetaria, imágenes cerebrales de alta resolución y gestión e indexación de catálogos de software.
Sobre el proyecto ADMIRE
ADMIRE (Adaptive multi-tier intelligent data manager for Exascale) es un proyecto financiado con fondos europeos con un presupuesto de 7,9 millones de euros que se inició el 1 de abril de 2021 y tendrá una duración de tres años. Coordinado por UC3M (España), el proyecto agrupa a un consorcio multidisciplinar: BSC (España), JGU (Alemania), TUDA (Alemania), MPG (Alemania), FZJ (Alemania), DDN (Francia), Paratools (Francia), INRIA (Francia), CINI (Italia), CINECA (Italia), E4 (Italia), PSNC (Polonia) y KTH (Suecia).
El proyecto ADMIRE ha recibido financiación de la Empresa Común Europea de Computación de Alto Rendimiento (EuroHPC JU) en virtud del acuerdo de subvención núm. 956748. La EuroHPC JU recibe apoyo del programa de investigación e innovación Horizonte 2020 de la Unión Europea, así como de España, Alemania, Francia, Italia, Polonia y Suecia.