Aquesta versió inclou un nou mòdul Autoparallel que permet la paral·lelització automàtica de bucles, una extensió del support per Jupyter notebooks per permetre l’execució en supercomputadors, una nova sintaxi semblant a Spark basada en l’estructura de dades Distributed Data Set (DDS).
El Barcelona Supercomputing Center ofereix a la comunitat HPC un conjunt d'eines que ajuden els desenvolupadors a programar i executar les seves aplicacions de forma eficient en infraestructures computacionals distribuïdes
Esteu convidats a assistir a una demostració PyCOMPSs en directe a l'estand del BSC #2038
El grup Workflows and Distributed Computing del Barcelona Supercomputing Center-Centro Nacional de Supercomputación (BSC) està orgullós d'anunciar el llançament de la versió 2.4 (nom en clau Elderflower), de l'entorn de programació COMPSs.
Aquesta versió de COMPSs, disponible a partir d'avui, actualitza el resultat del treball de l'equip en els darrers anys en la provisió d'un conjunt d'eines que ajuden els desenvolupadors a programar i executar les seves aplicacions de forma eficient en infraestructures computacionals distribuïdes, com ara clústers, núvols i clústers gestionats amb contenidors. COMPSs és un model de programació basat en tasques capaç de millorar notablement el rendiment d'aplicacions a gran escala mitjançant la paral·lelització de manera automàtica de la seva execució.
COMPSs ha estat disponible en els últims anys pels usuaris del supercomputador MareNostrum i a la Red Española de Supercomputación (RES) i ha estat emprat en diversos projectes de recerca com ara OPTIMIS, VENUS-C, EUBrazil OpenBio, EUBrazil CloudConnect, EUBra-BIGSEA, transPLANT, EGI i ASCETIC. En aquests projectes s'ha fet servir COMPSs per desenvolupar casos d'ús proporcionats per diferents comunitats de diverses disciplines com la biomedicina, l'enginyeria, la biodiversitat, la química, l'astrofísica i ciències de la terra. Actualment també està en extensió i en ús en aplicacions en els projectes TANGO, NEXTGenIO, MUG, mf2C, CLASS, ExaQUte, LANDSUPPORT, el BioExcel CoE i l'EXPERTISE ETN, així com en un contracte de recerca amb FUJITSU.
Aquesta nova versió inclou un nou mòdul Autoparallel que permet la creació automàtica de tasques en bucles tancats imbricats. Aquesta nova funcionalitat permet parallelitzar bucles amb un sol decorador Python i allibera al programador de crear les tasques manualment a partir del codi original. A més, per evitar tasques de gra fi, Autoparallel també inclou una funcionalitat opcional que incrementa la granularitat de les tasques creant de manera automàtic blocs de dades. Aquesta contribució serà presentada al workshop PyHPC 2018 al SC18, el dia 12 de Novembre a les 10.30, sala D220.
El suport pels notebooks de Jupyter ha estat estès per permetre l’execució d’aplicacions en supercomputadors. Aquesta extensió es basa en l’execució del servidor de Jupyter en una reserva de nodes del supercomputador. Les aplicacions es poden iniciar des del client de Jupyter, i seran enviades a executar als nodes del supercomputador, instanciant el runtime de COMPSs i executant l’aplicació en paral·lel.
La versió 2.4 ofereix una nova interfície per aplicacions en Python damunt de l’estructura de dades Distributed Data Set (DDS). DDS emula els RDDs de Spark i proveeix a PyCOMPSs amb una nova sintaxi que permet l’execució de codis a l’estil de Spark damunt del runtime de COMPSs.
Altres funcionalitats noves rellevants: suport per noves arquitectures, tals com Power9 i ARM ThunderX, el suport a C per multi-arquitectures i el suport a cross-compiling.
A més, la versió 2.4 de COMPSs ve dotada amb altres funcionalitats menors, extensions i resolució d’errors.
PyCOMPSs/COMPSs tindrà presència al SC18 amb presentacions i demostracions. Més concretament, demostracions en directe sobre l'ús de PyCOMPSs amb el entorn Jupyter-notebook es realitzarà a l'estand del BSC núm. 2038, el dimarts 13 a les 16.40 hores, el dimecres 14 a les 14.00 i el dijous 15 a les 11.20.
COMPSs ha tingut al voltant de 1000 descàrregues durant l'any passat i és utilitzat per uns 20 grups en aplicacions reals. Recentment, COMPSs ha atret l'interès d'àrees com el reconeixement d'imatges, la genòmica i la biodiversitat, on s'han realitzat cursos específics i accions de divulgació.
Els paquets i la llista completa de funcions estan disponibles a la pàgina de descàrregues. En aquesta pàgina també es pot trobar una maquina virtual que permet provar les funcionalitats de COMPSs a través d'un tutorial pas a pas que guia a l'usuari en el desenvolupament i execució d’un conjunt d'aplicacions d'exemple.
A més del software, hi ha un conjunt de guies d'usuari i administrador, i articles publicats a conferències i revistes rellevants.
Per més informació, visiteu la nostre pàgina web: http://www.bsc.es/compss