Informació Tècnica

Arquitectura del sistema MareNostrum IV (2017) 

El MareNostrum és un superordinador basat en processadors Intel Xeon Platinum, racks de còmput Lenovo SD530, sistema operatiu Linux i una xarxa d'interconnexió Intel Omni-Path.

A contiunació es mostren les característiques del sistema del clúster de propòsit general:

  • Rendiment pic d'11.15 Petaflops
  • 384.75 TB de memòria principal
  • 3,456 nodes:
    • 2x Intel Xeon Platinum 8160 24C at 2.1 GHz
    • 216 nodes amb 12x32 GB DDR4-2667 DIMMS (8GB/core)
    • 3240 nodes amb 12x8 GB DDR4-2667 DIMMS (2GB/core)
  • Xarxes d'interconnexió:
    • 100Gb Intel Omni-Path Full-Fat Tree
    • 10Gb Ethernet
  • Sistema Operatiu:  SUSE Linux Enterprise Server 12 SP2

Documentació d'usuari MareNostrum IV

Racks de còmput

El MareNostrum IV té 48 racks dedicats a càlculs. Aquests racks tenen un total de 165,888 Intel Xeon Platinum cores amb una freqüència de 2.1 GHz i 384.75 TB de memòria total.

En total, cada rack té 3,456 cores i 6,912 GB de memòria.

El rendiment pic per rack és de 226.80 Tflops, i el màxim de consum energètic són 33.7 kW.

Cada còmput de rack Lenovo SD530 està format per:

  • 72 nodes de còmput Lenovo Stark
  • 2 Lenovo G8272 Switches
  • 3 Intel OPA 48 port edge switch
  • 4 32A 3 phase switched and monitored PDUs

Node de còmput

Els nodes de còmput estan basats en l'última generació de la tecnologia Intel Xeon Platinum, i ofereixen alt rendiment, flexibilitat i eficiència energètica. A continuació es mostra la descripció d'un node.

Rack Intel Omni-Path

Els 3,456 nodes de còmput estan interconnectats a través d'una xarxa d'alta velocitat: Intel Omni-Path (OPA). Els diferents nodes estan connectats via cables de fibra òptica i switches Intel Omni-Path Director Class.

Sis reacks al MareNostrum estan dedicats a elements de la xarxa, els quals permeten la connexió entre els diferents nodes gràcies a la xarxa OPA.

Les principals característiques d'un switch Omni-Path Director Class són:

  • Fins a 786 x 100GbE ports a 20U (+1U Shelf)
  • 12 x hot swap PSUs (N+N)
  • Hot swap fan modules
  • 2 x Management modules
  • 8 x Double spine modules (non-blocking)
  • Fins a 24 x 32 port leaf modules (19 occupied – 608 ports)
  • Cada leaf module conté 2 ASICs
  • Consum energètic de 9.4kW