El proyecto ADMIRE, financiado por la Unión Europea y recién terminado, ofrece soluciones innovadoras de almacenamiento adaptativo, diseñadas específicamente para aplicaciones que manejan grandes volúmenes de datos en preparación para la computación a exaescala
Investigadores del Barcelona Supercomputing Center-Centro Nacional de Supercomputación (BSC-CNS) han aportado su software y su experiencia en computación de alto rendimiento (HPC, por sus siglas en inglés) al proyecto Adaptive Multi-tier Intelligent Data Manager for Exascale (ADMIRE). El proyecto, recién terminado, se propuso optimizar la gestión y el acceso a datos masivos, con casos de uso que incluyen desde la predicción meteorológica o las simulaciones de turbulencias, hasta el mapeo de cobertura a escala planetaria o las imágenes cerebrales de alta resolución.
Sus herramientas de alta calidad y código abierto permiten una optimización avanzada de entrada/salida (I/O) para infraestructuras HPC de gran escala, respaldando diversas disciplinas científicas y contribuyendo al desarrollo de sistemas europeos de exaescala. Los avances del proyecto están alineados con los objetivos de EuroHPC, que buscan proporcionar infraestructuras de supercomputación y datos de clase mundial.
Los investigadores del BSC has desempeñado un papel clave en el éxito del proyecto ADMIRE, mediante el desarrollo de un entorno de software que mejora la orquestación entre los componentes principales y las aplicaciones del sistema. Para lograr esto, el BSC ha ampliado y perfeccionado tres de sus proyectos de software ya existentes: GekkoFS (desarrollado en colaboración con la Johannes-Gutenberg University of Mainz), dataClay y SCORD.
“Al integrar estos tres componentes con los servicios de ADMIRE, logramos reducir la dependencia de las aplicaciones en el sistema de almacenamiento compartido, disminuyendo los cuellos de botella en la entrada y salida de datos (I/O) y asegurando un control más preciso sobre los recursos del sistema. Además, aumentamos la usabilidad de los sistemas de archivos ad hoc, como GekkoFS, para los usuarios de HPC”, explica Ramon Nou, investigador principal del proyecto en el BSC.
El proyecto ADMIRE ha logrado optimizar exitosamente la planificación de recursos. Sus análisis permiten reducir las interferencias entre aplicaciones, dando lugar a soluciones de planificación más eficientes y a mejoras significativas en el rendimiento. Por ejemplo, se ha aumentado el rendimiento de las aplicaciones en los casos de uso de Deep Learning del 50% al 95%. De manera similar, en otros casos de uso, como en modelos ambientales como Wacomm++, se ha alcanzado una mejora del 75% en el rendimiento en comparación con versiones que dependían de un sistema de archivos paralelo.
Sobre el proyecto ADMIRE
ADMIRE (Adaptive Multi-tier Intelligent Data Manager for Exascale) es un proyecto financiado por la Unión Europea con un presupuesto de 7,9 millones de euros. Comenzó el 1 de abril de 2021 y finalizó el 30 de junio de 2024, tras una extensión de seis meses. Coordinado por la Universidad Carlos III de Madrid (UC3M, España), el proyecto reúne un consorcio multidisciplinario compuesto por: BSC (España), JGU (Alemania), TUDA (Alemania), MPG (Alemania), FZJ (Alemania), DDN (Francia), Paratools (Francia), INRIA (Francia), CINI (Italia), CINECA (Italia), E4 (Italia), PSNC (Polonia) y KTH (Suecia).
El proyecto ADMIRE ha recibido financiación de la European High-Performance Computing Joint Undertaking (JU) bajo el acuerdo de subvención n.º 956748. La JU cuenta con el apoyo del programa de investigación e innovación Horizon 2020 de la Unión Europea, así como de España, Alemania, Francia, Italia, Polonia y Suecia.