Esta versión incluye un nuevo módulo Autoparallel que permite la paralelización automática de bucles, una extensión del apoyo para Jupyter notebooks para permitir la ejecución en supercomputadores, una nueva sintaxis similar a Spark basada en la estructura de datos Distributed Data Set ( DDS).
El Barcelona Supercomputing Center ofrece a la comunidad HPC un conjunto de herramientas que ayudan a los desarrolladores a programar y ejecutar sus aplicaciones de forma eficiente en infraestructuras computacionales distribuidas
Estáis invitados a asistir a una demostración PyCOMPSs en directo en el stand del BSC # 2038
El grupo Workflows and Distributed Computing del Barcelona Supercomputing Center-Centro Nacional de Supercomputación (BSC) está orgulloso de anunciar el lanzamiento de la versión 2.4 (nombre en clave Elderflower), del entorno de programación COMPSs.
Esta versión de COMPSs, disponible a partir de hoy, actualiza el resultado del trabajo del equipo en los últimos años en la provisión de un conjunto de herramientas que ayudan a los desarrolladores a programar y ejecutar sus aplicaciones de forma eficiente en infraestructuras computacionales distribuidas, como clústers, nubes y clústeres gestionados con contenedores. COMPSs es un modelo de programación basado en tareas capaz de mejorar notablemente el rendimiento de aplicaciones a gran escala mediante la paralelización de manera automática de su ejecución.
COMPSs ha estado disponible en los últimos años por los usuarios del supercomputador MareNostrum y en la Red Española de Supercomputación (RES) y ha sido usado en varios proyectos de investigación como óptima, VENUS-C, EUBrazil OpenBio, EUBrazil CloudConnect, EUBra-BIGSEA, Transplant, EGI y ASCETIC. En estos proyectos se ha utilizado COMPSs para desarrollar casos de uso proporcionados por diferentes comunidades de diversas disciplinas como la biomedicina, la ingeniería, la biodiversidad, la química, la astrofísica y ciencias de la tierra. Actualmente también está en extensión y en uso en aplicaciones en los proyectos TANGO, NEXTGenIO, MUG, mf2C, CLASS, ExaQUte, LANDSUPPORT, el BioExcel CoE y el EXPERTISE ETN, así como en un contrato de investigación con FUJITSU.
Esta nueva versión incluye un nuevo módulo Autoparallel que permite la creación automática de tareas en bucles cerrados imbricados. Esta nueva funcionalidad permite paralelizar bucles con un solo decorador Python y libera al programador de crear las tareas manualmente a partir del código original. Además, para evitar tareas de grano fino, Autoparallel también incluye una funcionalidad opcional que incrementa la granularidad de las tareas creando de manera automático bloques de datos. Esta contribución será presentada al workshop PyHPC 2018 en el SC18, el día 12 de noviembre a las 10.30, sala D220.
El soporte para los notebooks de Jupyter ha sido extendido para permitir la ejecución de aplicaciones en supercomputadores. Esta extensión se basa en la ejecución del servidor de Jupyter en una reserva de nodos del supercomputador. Las aplicaciones se pueden iniciar desde el cliente de Jupyter, y serán enviadas a ejecutar a los nodos del supercomputador, instanciando el runtime de COMPSs y ejecutando la aplicación en paralelo.
La versión 2.4 ofrece una nueva interfaz para aplicaciones en Python encima de la estructura de datos Distributed Data Set (DDS). DDS emula los RDDs de Spark y provee a PyCOMPSs con una nueva sintaxis que permite la ejecución de códigos al estilo de Spark encima del runtime de COMPSs.
Otras funcionalidades nuevas relevantes: soporte para nuevas arquitecturas, tales como Power9 y ARM ThunderX, el apoyo a C para multi-arquitecturas y el apoyo a cross-compiling.
Además, la versión 2.4 de COMPSs viene dotada con otras funcionalidades menores, extensiones y resolución de errores.
PyCOMPSs / COMPSs tendrá presencia en el SC18 con presentaciones y demostraciones. Más concretamente, demostraciones en directo sobre el uso de PyCOMPSs con el entorno Jupyter-notebook se realizará en el stand del BSC núm. 2038, el martes 13 a las 16.40 horas, el miércoles 14 a las 14.00 y el jueves 15 a las 11.20.
COMPSs ha tenido alrededor de 1000 descargas durante el año pasado y es utilizado por unos 20 grupos en aplicaciones reales. Recientemente, COMPSs ha atraído el interés de áreas como el reconocimiento de imágenes, la genómica y la biodiversidad, donde se han realizado cursos específicos y acciones de divulgación.
Los paquetes y la lista completa de funciones están disponibles en la página de descargas. En esta página también se puede encontrar una máquina virtual que permite probar las funcionalidades de COMPSs a través de un tutorial paso a paso que guía al usuario en el desarrollo y ejecución de un conjunto de aplicaciones de ejemplo.
Además del software, hay un conjunto de guías de usuario y administrador, y artículos publicados en conferencias y revistas relevantes.
Para más información, visite nuestra página web: http://www.bsc.es/compss