Z wizytą w Centrum Informatycznym Świerk - inauguracja superkomputera

Na światowej liście najwydajniejszych superkomputerów TOP500 od dłuższego czasu nie ma znaczących zmian na pierwszych miejscach. Jak już wiemy, niedługo to się zmieni, podobnie jak w naszym krajowym zestawieniu najszybszych maszyn. Dotychczas najsilniejszy był krakowski ZEUS, teraz pałeczkę najwydajniejszej maszyny w Polsce po zainstalowaniu kompletnej instalacji przejmie superkomputer z Centrum Informatycznego w Świerku (CIŚ). Co prawda długo nie pozostanie on liderem, gdyż już powstają petaskalowe instalacje na Politechnice Gdańskiej, a także następca ZEUS-a o nazwie Prometheus, który osiągnie docelową wydajność 1,7 PFlopsa. Jako pierwszy z nowej generacji polskich superkomputerów, ruszył, zgodnie z przewidywaniami, system w Świerku.

Podwarszawski komputer jest interesujący ze względu na dedykację. Będzie zajmował się przede wszystkim obliczeniami związanymi z energetyką jądrową. W odległości kilkuset metrów od centrum komputerowego, które jest kolebką polskich centrów obliczeniowych, znajduje się reaktor Maria wykorzystywany do celów naukowych. W nim produkuje się także na skalę przemysłową radioizotopy, które sprzedawane są w całej Europie, a także w USA.

Budynek, w którym znajduje się superkomputer, nietrudno odnaleźć na terenie ośrodka w Świerku. Zdobi go elegancki mural.

Od lewej, prof. Wojciech Wiśliczki, pani minister Nauki i Szkolnictwa Wyższego, prof. Lena Kolarska-Bobińska, prof. Wrochna, ambasador Francji Pierre Buhler oraz wicedyrektor generalny francuskiego Komisariatu ds. Energii Atomowej (CEA) Hervé Bernard

Poniżej film prezentujący powstawanie superkomputera. Z dalszej części tekstu dowiecie się szczegółów o superkomputerze, historii ośrodka obliczeniowego i zastosowanej technologii chłodzenia.

Kiedyś superkomputery były bardzo rozbudowanymi konstrukcjami zajmującymi wiele pomieszczeń i wymagającymi do zasilania małych elektrowni. Dzięki postępowi w miniaturyzacji, poprawie energooszczędności i rozwojowi technologii chłodzenia ciepłą wodą (o temperaturze dochodzącej do 40 stopni, około 80% wydajniejszego niż systemy łączące systemy bazujące na obiegu powietrza chłodzonego wodą lodową), udaje się budować konstrukcje, które, choć duże w porównaniu z biurkowym pecetem, są bardzo zwarte i zajmują niewielką powierzchnię. W przypadku superkomputera w CIŚ serwerownia ma powierzchnię 137 metrów kwadratowych i 220 metrów kwadratowych zaplecza technicznego.

Szafy obliczeniowe

Wszystko połączone jest 5 kilometrami instalacji sieciowej

Różnice pomiędzy chłodzeniem tradycyjnym i zastosowanym w Świerku ilustrują dwie poniższe ilustracje. Na trzeciej widać schemat pokazujący jak kanały wodne rozmieszczone są w kasecie z procesorami. Ze względów technicznych obejrzenie na żywo wnętrza superkomputera, który został już zainstalowany, nie jest proste.

Inaugurację komputera połączoną z konferencją przeprowadzono właśnie we wspomnianej serwerowni, by zwrócić uwagę na kompaktowość konstrukcji i zalety systemu chłodzenia. Obecna była na niej minister Nauki i Szkolnictwa Wyższego, prof. Lena Kolarska-Bobińska, a także ambasador Francji, Pierre Buhler oraz wicedyrektor generalny francuskiego Komisariatu ds. Energii Atomowej (CEA), Hervé Bernard. Nie zabrakło również prof. Romana Żelaznego, który jest jednym z ojców polskich superkomputerów. W 1973 roku w Świerku utworzone zostało Środowiskowe Centrum Obliczeniowe (ŚCO) „Cyfronet”. W tamtej epoce na przeszkodzie stały nie tylko kwestie finansowe, ale przede wszystkim polityczne, dlatego tym bardziej należy doceniać historię Cyfronetu. W roku 1975 zakupiono maszynę CYBER-73 (stosowaną ówcześnie również w CERN), która przetrwała aż do roku 1991. Wtedy zastąpiono ją komputerem Convex 120, a rok później zainstalowano Convex C3210, który pracował do końca 1999 roku. Zastąpiono go niewielkim klastrem Beowulf (serwery Compaq połączone siecią Ethernet 1 GB). Najnowsze dziecko CIŚ to superwydajna maszyna, która w docelowej konfiguracji osiągnie 500 TFlopsów (do dostarczenia i zainstalowania pozostało jeszcze 30% sprzętu).

Kilka detali, serwery

Wspomnieliśmy, że pomieszczenie z superkomputerem nie jest bardzo duże. Same szafy zajmują jeszcze mniej miejsca. Jest ich 20, a każda z nich waży 2 tony. Łącznie udostępnią one ponad 20000 rdzeni obliczeniowych, które będą wspomagane przez 130 TB pamięci RAM i 3200 TB przestrzeni dyskowej. Całość została umieszczona w 1000 serwerów kasetowych - każdy z nich ma wydajność obliczeniową porównywalną ze 120 biurowymi laptopami.

ENTER wciśnięty... obliczenia rozpoczęte. Z mikrofonem prof. Wiślicki, który kieruje projektem CIŚ

Mieliśmy okazję uczestniczyć w inauguracji obliczeń superkomputera, które rozpoczęło symboliczne wciśnięcie klawisza ENTER przez panią minister. Pomimo tego, iż system chłodzony jest ciepłą wodą, tłoczoną w tempie nawet 80 litrów/s w dwóch niezależnych obiegach chłodniczych (łącznie 30000 litrów cieczy), to i tak w pomieszczeniu panuje spory hałas. Hałas, który dla osoby przyzwyczajonej do pracy w pomieszczeniach z dziesiątkami komputerów, wcale nie będzie zbyt uciążliwy. To zasługa dobrego wyciszenia szaf. Zdaliśmy sobie z tego sprawę, gdy zajrzeliśmy do jednej z nich (testowa aplikacja w smartfonie wskazywała około 71 dB - nie jest to jednak w pełni miarodajny wynik).

Główny obieg chłodzenia wykonany został przez firmę Honeywell we współpracy z Bull Polska - dostawcą serwerów bullx (DLC) chłodzonych ciepłą wodą.

Każda ze wspomnianych szaf obliczeniowych połączona jest z blokiem chłodzącym. Cały wodny system jest w stanie odprowadzić 600 kW mocy cieplnej, a jednocześnie pobiera jedynie 12-20 kW. O niezawodność działania superkomputera, w którym każda szafa pobiera około 45-50 kW (to nie tylko procesory, ale również pamięci masowe i infrastruktura sieciowa), dba agregat prądotwórczy o mocy 1250 kVA oraz UPSy 1200 kVA.

Na poniższych zdjęciach możecie sobie wyobrazić skalę urządzenia od przodu oraz pozorny bałagan jaki panuje od tyłu. Podłoga w serwerowni wytrzyma nacisk 1,5 tony na metr kwadratowy.

Dlaczego superkomputer zainstalowano w CIŚ? Jak już wspomnieliśmy, ma on wspomóc rozwój polskiej energetyki jądrowej. Jest on także jednym z niezbędnych elementów, które pozwolą wykonywać niezależne testy bezpieczeństwa instalacji energetycznych, których elementem są reaktory jądrowe, analizy zagrożeń chemicznych, a także zajmie się optymalizacją procesu dystrybucji energii. Mowiąc inaczej, ośrodek w Świerku będzie niezależnym rzeczoznawcą w dziedzinie energetyki jądrowej. A jeśli w Polsce mają powstać elektrownie atomowe, taka jednostka badawcza będzie nieodzowna. Z mocy obliczeniowej będą mogli oczywiście skorzystać również fizycy i astrofizycy, którzy zajmują się badaniem oddziaływań fundamentalnych.

Zdjęcie pamiątkowe przestawicieli firmy BULL Polska  z ambasadorem Francji oraz dyrektorem Francuskiej Komisji Energii Atomowej (trzeci od lewej), by kiedyś powspominać jakie wielkie były kiedyś te nasze komputery. Na zdjęciu kolejno od lewej: Tomasz Józefiak (specjalista HPC), Jean-Marc Denis (menedżer biznesowy w BULL), Laurent Turpin, Krzysztof Łukaszuk (CEO Bull Polska i AMG.net), Pierre Buhler, Pascal Barbolosi (wiceprezes działu Extreme Computing), Michał Wigurski (dyrektor działu sprzedaży), Henryk Mucha (dyrektor ds. rozwoju biznesu) i Tomasz Szałański (dyrektor działu usług dla infrastruktury IT).

CIŚ, jak podkreślił dyrektor NCBJ (Narodowe Centrum Badań Jądrowych), prof. Grzegorz Wrochna, inwestuje nie tylko w sprzęt, ale i doświadczenie pracowników, którzy już pracują w Świerku, a także będą w przyszłości pracować przy obsłudze superkomputera i innych instalacji.

Podsumowanie kosztów budowy. Dotyczy całego CIŚ, a sam superkomputer to jedynie część projektu.

Źródło: CIŚ, inf. własna, fot. Karol Żebruń