Els investigadors del Barcelona Supercomputing Center-Centro Nacional de Supercomputación (BSC) participen en el projecte europeu ADMIRE que crearà un sistema europeu d'emmagatzematge adaptatiu, que inclou simulacions de computació d'alt rendiment (HPC, en les seves sigles en anglès), bioinformàtica i intel·ligència artificial amb l'objectiu d'optimitzar aplicacions amb un ús massiu de dades.
ADMIRE crearà una pila de programari d'entrada i sortida que ajust de forma automàtica els requisits d'emmagatzematge i càlcul a través d'una coordinació intel·ligent, la mal·leabilitat de el càlcul i l'entrada i sortida, i la planificació dels recursos d'emmagatzematge en tots els nivells de la jerarquia d'emmagatzematge. El projecte està coordinat per la Universitat Carlos III de Madrid (UC3M) i finançat per l'Empresa Comuna Europea de Computació d'Alt Rendiment (EuroHPC JU) i els estats membres.
En aquest projecte, els investigadors dels equips de recerca de Storage Systems for Extreme Computing i Distributed Object Management desenvoluparan un entorn de programari per millorar l'orquestració entre els principals components i aplicacions de sistema.
"Els nostres experts ja fa algun temps que estan investigant sobre com millorar l'entrada i sortida intensiva en els supercomputadors i, el que és més important, com integrar-la amb la presa de decisions del planificador de treballs HPC per poder millorar el control dels recursos en aquest tipus de màquines. En ADMIRE ampliarem tres dels nostres programaris per permetre una millor entrada i sortida en aplicacions amb un ús intensiu de dades: GekkoFS, dataClay i Norns”, afirma Alberto Miranda, investigador principal de l'BSC en el projecte ADMIRE.
GekkoFS permet crear un sistema d'arxius sota demanda per a les aplicacions de computació d'altes prestacions que utilitza l'emmagatzematge local de cada node per a l'aprovisionament d'entrada i sortida. Desenvolupat en col·laboració amb la universitat Johannes-Gutenberg de Mainz (Alemanya), el GekkoFS ha demostrat resultats excel·lents de rendiment en la classificació IO500.
dataClay és un sistema d'emmagatzematge de dades distribuït que permet a les aplicacions emmagatzemar i accedir a objectes en el mateix format que tenen en memòria, el que els permet executar mètodes d'objectes dins de l'emmagatzematge de dades. Finalment, Norns és un servei d'infraestructura que proporciona APIs a les aplicacions per simplificar el moviment de dades asíncron entre els diferents nivells d'emmagatzematge.
"A l'integrar aquests tres components amb els serveis d'ADMIRE, el nostre objectiu és limitar, tant com sigui possible, l'entrada i sortida de les aplicacions a la botiga local de el node. Aquesta encapsulació de l'entrada / sortida, juntament amb una estricta definició i compliment de restriccions de qualitat de servei (QoS, en les seves sigles en anglès), ens permetrà controlar amb precisió quan i com una aplicació accedeix a sistema d'emmagatzematge compartit de llarg termini de l' clúster", afegeix Alberto Miranda.
"Altres components de l'entorn d'ADMIRE proporcionaran anàlisi actualitzats que ens permetran produir solucions de planificació de l'entrada / sortida de forma precisa, l'objectiu serà reduir la competència entre aplicacions. Això hauria de millorar bastant el rendiment de l'aplicació."
Vista general del projecte ADMIRE
Gràcies a la integració dels components del BSC en l'entorn ADMIRE, el consorci ADMIRE té com a objectiu produir un entorn d'emmagatzematge per programari que permeti que les aplicacions de sis pilars aprofitin millor l'emmagatzematge en els supercomputadors, que cada vegada és més complex. Les aplicacions són les següents: pronòstic meteorològic, dinàmica molecular, simulacions de turbulències, mapatge de cobertura a escala planetària, imatges cerebrals d'alta resolució i gestió i indexació de catàlegs de programari.
Sobre el projecte ADMIRE
ADMIRE (Adaptive multi-tier intelligent data manager for Exascale) és un projecte finançat amb fons europeus amb un pressupost de 7,9 milions d'euros que es va iniciar l'1 d'abril de 2021 i tindrà una durada de tres anys. Coordinat per UC3M (Espanya), el projecte agrupa un consorci multidisciplinari: BSC (Espanya), JGU (Alemanya), Tuda (Alemanya), MPG (Alemanya), FZJ (Alemanya), DDN (França), Paratools (França), INRIA (França), CINI (Itàlia), CINECA (Itàlia), E4 (Itàlia), PSNC (Polònia) i KTH (Suècia).
El projecte ADMIRE ha rebut finançament de l'Empresa Comuna Europea de Computació d'Alt Rendiment (EuroHPC JU) en virtut de l'acord de subvenció núm. 956748. La EuroHPC JU rep suport del programa de recerca i innovació Horitzó 2020 de la Unió Europea, així com d'Espanya, Alemanya, França, Itàlia, Polònia i Suècia.