Información Técnica

Arquitectura del sistema MareNostrum IV (2017) 

MareNostrum es un superordenador basado en procesadores Intel Xeon Platinum, racks de cómputo Lenovo SD530, sistema operativo Linux y una red de interconexión Intel Omni-Path.

A continuación se muestran las características del sistema del clúster de propósito general:

  • Rendimiento pico de 11.15 Petaflops
  • 384.75 TB de memoria principal
  • 3,456 nodos:
    • 2x Intel Xeon Platinum 8160 24C a 2.1 GHz
    • 216 nodos con 12x8 GB DDR4-2667 DIMMS (8GB/core)
    • 3240 nodos con 12x32 GB DDR4-2667 DIMMS (2GB/core)
  • Redes de interconexión:
    • 100Gb Intel Omni-Path Full-Fat Tree
    • 10Gb Ethernet
  • Sistema Operativo:  SUSE Linux Enterprise Server 12 SP2

Documentación de usuario MareNostrum IV

Racks de cómputo

MareNostrum IV tiene 48 racks dedicados a cálculos. Estos racks tienen un total de 165,888 Intel Xeon Platinum cores con una  frecuencia de 2.1 GHz y 384.75 TB de memoria total.

En total, cada rack tiene 3,456 cores y 6,912 GB de memoria.

El rendimiento pico por rack es de 226.80 Tflops, y el pico de consumo energético son 33.7 kW.

Cada cómputo de rack Lenovo SD530 está compuesto por:

  • 72 Nodos de cómputo Lenovo Stark
  • 2 Switches Lenovo G8272
  • 3 Edge Switch Intel OPA 48 port
  • 4 PDUs de 32A

Nodo de cómputo

Los nodos de cómputos están basado en la última generación de la tecnología Intel Xeon Platinum, y ofrecen alto rendimiento, flexibilidad y eficiencia energética. A continuación se muestra la descripción de un nodo:

Rack Intel Omni-Path

Los 3,456 nodos de cómputo están interconectados a través de una red de alta velocidad: Intel Omni-Path (OPA). Los diferentes nodos están conectados vía cables de fibra óptica y switches Intel Omni-Path Director Class.

Seis racks en MareNostrum están dedicados a elementos de la red, los cuales permiten la conexión entre los diferentes nodos gracias a la red OPA.

Las principales características de un switch Omni-Path Director Class son:

  • Hasta 786 x 100GbE puertos en 20U (+1U Shelf)
  • 12 x hot swap PSUs (N+N)
  • Hot swap fan modules
  • 2 x Management modules
  • 8 x Double spine modules (non-blocking)
  • Hasta 24 x 32 port leaf modules (19 occupied – 608 ports)
  • Cada leaf module contiene 2 ASICs
  • Consumo energético de 9.4kW