Informació Tècnica

Arquitectura del sistema MareNostrum4 (2017) 

El MareNostrum és un superordinador basat en processadors Intel Xeon Platinum, racks de còmput Lenovo SD530, sistema operatiu Linux i una xarxa d'interconnexió Intel Omni-Path.

A contiunació es mostren les característiques del sistema del clúster de propòsit general:

  • Rendiment pic d'11.15 Petaflops
  • 384.75 TB de memòria principal
  • 3,456 nodes:
    • 2x Intel Xeon Platinum 8160 24C at 2.1 GHz
    • 216 nodes amb 12x32 GB DDR4-2667 DIMMS (8GB/core)
    • 3240 nodes amb 12x8 GB DDR4-2667 DIMMS (2GB/core)
  • Xarxes d'interconnexió:
    • 100Gb Intel Omni-Path Full-Fat Tree
    • 10Gb Ethernet
  • Sistema Operatiu:  SUSE Linux Enterprise Server 12 SP2

Documentació d'usuari MareNostrum IV

A continuació es mostra la utilització de la màquina de propòsit general, en format de gràfica. Els nuclis totals, en repòs i assignats es mostren en vermell, groc i verd respectivament.
 

Racks de còmput

El MareNostrum IV té 48 racks dedicats a càlculs. Aquests racks tenen un total de 165,888 Intel Xeon Platinum cores amb una freqüència de 2.1 GHz i 384.75 TB de memòria total.

En total, cada rack té 3,456 cores i 6,912 GB de memòria.

El rendiment pic per rack és de 226.80 Tflops, i el màxim de consum energètic són 33.7 kW.

Cada còmput de rack Lenovo SD530 està format per:

  • 72 nodes de còmput Lenovo Stark
  • 2 Lenovo G8272 Switches
  • 3 Intel OPA 48 port edge switch
  • 4 32A 3 phase switched and monitored PDUs

Node de còmput

Els nodes de còmput estan basats en l'última generació de la tecnologia Intel Xeon Platinum, i ofereixen alt rendiment, flexibilitat i eficiència energètica. A continuació es mostra la descripció d'un node.

Rack Intel Omni-Path

Els 3,456 nodes de còmput estan interconnectats a través d'una xarxa d'alta velocitat: Intel Omni-Path (OPA). Els diferents nodes estan connectats via cables de fibra òptica i switches Intel Omni-Path Director Class.

Sis reacks al MareNostrum estan dedicats a elements de la xarxa, els quals permeten la connexió entre els diferents nodes gràcies a la xarxa OPA.

Les principals característiques d'un switch Omni-Path Director Class són:

  • Fins a 786 x 100GbE ports a 20U (+1U Shelf)
  • 12 x hot swap PSUs (N+N)
  • Hot swap fan modules
  • 2 x Management modules
  • 8 x Double spine modules (non-blocking)
  • Fins a 24 x 32 port leaf modules (19 occupied – 608 ports)
  • Cada leaf module conté 2 ASICs
  • Consum energètic de 9.4kW

 

Arquitectura de MN4 CTE-POWER

MN4 CTE-POWER és un clúster basat en processadors IBM Power9, amb un sistema operatiu Linux i una xarxa d'interconnexió Infiniband. La seva principal característica és la disponibilitat de 4 GPUs per a cada node, fent-lo un clúster ideal per a aplicacions accelerades per GPU.

La seva configuració és la següent:

  • 2 nodes de login i 52 nodes de còmput, cada un d'ells amb les següents característiques:
    • 2 x IBM Power9 8335-GTH @ 2.4GHz (3.0GHz en turbo, 20 nuclis i 4 fils/nucli, un total de 160 fils per node)
    • 512GB de memòria principal distribuïda en 16 dimms x 32GB @ 2666MHz
    • 2 x SSD 1.9TB d'emmagatzemament local
    • 2 x 3.2TB NVME
    • 4 x GPU NVIDIA V100 (Volta) amb 16GB HBM2.
    • Single Port Mellanox EDR
    • GPFS amb un enllaç de fibra 10 GBit

El sistema operatiu és Red Hat Enterprise Linux Server 7.5 (Maipo).