Obsah
je wiki, čo znamená, že veľa článkov napísalo niekoľko autorov. Na vytvorení tohto článku sa na jeho vydaní a jeho zlepšovaní v priebehu času podieľalo 18 anonymných osôb.Potrebujete stroj, ktorý musí robiť stovky miliárd výpočtov s pohyblivou rádovou čiarkou za sekundu? Potrebujete príbeh, ktorý by vysvetlil, ako váš superpočítač v pivnici vyhodil do vzduchu istič? Vybudovanie klastra (alebo klastra) vysokovýkonných počítačov je výzvou, ktorú môže každý expert prekonať cez víkend s príslušným rozpočtom. Z technického hľadiska je moderný superpočítač s viacerými procesormi sieťou počítačov pracujúcich paralelne na riešení problému. Pomocou jednoduchých krokov na pripojenie zariadenia a inštaláciu potrebného softvéru môžete mať tiež superpočítač.
stupňa
-
Určite potrebné vybavenie a zdroje. Budete potrebovať hlavový uzol, najmenej dvanásť ďalších identických uzlov, ethernetový prepínač, napájaciu jednotku a poličku. Určite svoje potreby pre elektrinu, chladenie a priestor. Musíte sa tiež rozhodnúť, ktorú adresu IP chcete použiť pre svoje súkromné siete, názvy uzlov, softvér, ktorý chcete nainštalovať, a technológiu, ktorú chcete pre počítačové funkcie (k tomu sa vrátime neskôr).- Aj keď vás hardvér bude stáť draho, všetok softvér uvedený v tomto článku je bezplatný a väčšina z nich je bez práv.
- Ak chcete získať predstavu o tom, ako rýchlo sa superpočítač dokáže dostať, môžete použiť tento nástroj: http://hpl-calculator.sourceforge.net/.
-
Nainštalujte uzly. Budete musieť zostaviť uzly alebo získať vopred zmontované servery.- Vyberte si serverový podvozok s dostatkom miesta, vhodným chladiacim systémom a optimalizáciou energie.
- Môžete tiež použiť tucet starých serverov, ktorých suma presiahne výkon jednotlivých jednotiek a ušetríte veľa peňazí. Všetky procesory, sieťové adaptéry a základné dosky musia byť zhodné, aby celý systém fungoval hladko. Samozrejme by ste nemali zabudnúť RAM a úložný priestor pre každý z uzlov, ako aj aspoň jednu diskovú jednotku pre hlavu.
-
Nainštalujte servery na poličku. Ak nie je vážená horná časť police, začnite od spodnej časti. Budete tiež potrebovať priateľa, ktorý vám pomôže, servery môžu byť ťažké a bude ťažké ich viesť na koľajniciach police. -
Nainštalujte prepínač Ethernet na vrchnú časť šasi. Nájdite si chvíľku na jeho konfiguráciu. Povoľte veľkosť rámca jumbo 9000 bajtov, nastavte adresy IP na statické adresy, ktoré ste vybrali v prvom kroku, a zakážte nepotrebné protokoly, ako je napríklad SMTP snooping. -
Nainštalujte aktuálnu jednotku. V závislosti od toho, koľko aktuálnych uzlov budú potrebovať, budete pravdepodobne potrebovať 220 voltovú jednotku. -
Nakonfigurujte hardvér. Akonáhle budete mať všetko nainštalované, môžete začať konfigurovať hardvér. Linux je predvolený operačný systém pre klastre HPC, a to nielen preto, že je najlepším prostredím pre vedecké výpočty, ale aj preto, že je úplne zadarmo nainštalovať na stovky alebo tisíce uzlov. Predstavte si cenu, ktorú zaplatíte, ak ste museli nainštalovať Windows na každom z týchto uzlov.- Začnite inštaláciou najnovšieho firmvéru BIOS a firmvéru základnej dosky, ktorý by mal byť rovnaký pre všetky základné dosky.
- Nainštalujte si preferovanú distribúciu systému Linux na každý z uzlov a distribúciu s grafickým rozhraním na hlavnom uzle. Často sa používajú CentOS, OpenSuse, Scientific Linux, RedHat alebo SLES.
- V tomto článku dôrazne odporúčame Rocks Cluster. Okrem inštalácie všetkých nástrojov potrebných na správne fungovanie zoskupení používa spoločnosť Rocks vynikajúcu metódu na rýchlu „distribúciu“ mnohých inštancií do uzlov pomocou postupu PXE boot a postupu rýchleho spustenia systému Red Tea Tree.
-
Nainštalujte softvér. Nainštalujte rozhranie na prenos, správu zdrojov a ďalšie potrebné knižnice. Ak ste v predchádzajúcom kroku neinštalovali skaly, budete musieť manuálne nakonfigurovať všetok softvér potrebný na aktiváciu mechanizmov paralelného výpočtu.- Najprv budete potrebovať systém správy bash, napríklad Torque Resource Manager, ktorý vám umožní rozdeliť a distribuovať rôzne úlohy medzi viaceré počítače.
- Krútiaci moment Krútiaci moment s Maui Cluster Scheduler na dokončenie konfigurácie.
- Ďalej budete musieť nainštalovať rozhranie odosielateľa, ktoré je potrebné pre procesy na rôznych počítačoch na zdieľanie rovnakých údajov. Nainštalujte OpenMP, je veľmi jednoduché použitie.
- Nezabudnite na multithreading knižnice a kompilátory na vytvorenie paralelných výpočtových programov. Rocks je opäť najlepším riešením.
-
Pripojte uzly k sieti. Hlavný uzol posiela úlohy, ktoré sa majú vykonať, do ostatných výpočtových uzlov, ktoré vrátia výsledky pri vzájomnom odosielaní správ. Čím rýchlejšie to ide, tým lepšie.- Na prepojenie všetkých týchto uzlov do klastra použite súkromnú sieť Ethernet.
- Hlavný uzol môže tiež pôsobiť ako server NFS, PXE, DHCP, TFTP a NTP v sieti, ktorú vytvárate.
- Túto sieť musíte oddeliť od verejných sietí, aby ste sa uistili, že pakety, ktoré si servery vymieňajú, neinterferujú s paketmi vymieňanými po zvyšku siete.
-
Otestujte klaster. Poslednou vecou, ktorú musíte urobiť pred uvoľnením všetkej sily vášho superpočítača, je otestovať jeho výkon. Test výkonnosti vysokovýkonného Lynpacku (HPL) je populárnou voľbou na meranie výpočtovej rýchlosti počítačového klastra. Budete ho musieť skompilovať zo svojho zdroja so všetkými optimalizáciami, ktoré ponúka váš kompilátor podľa zvolenej architektúry.- Samozrejme, musíte ho skompilovať zo zdroja, ktorý vám poskytne najviac možností na optimalizáciu vašej platformy. Napríklad, ak používate procesory AMD, skompilujte ich s Open64 výberom rýchlej optimalizačnej úrovne.
- Porovnajte výsledky na stránke TOP500.org a zistite, či váš superpočítač dokáže konkurovať 500 najvýkonnejším superpočítačom na svete!
- Ak chcete dosiahnuť skutočne vysoké rýchlosti v sieti, prečítajte si informácie o rozhraniach InfiniBand. Pripravte sa však na rozbitie prasiatka.
- IPMI vám môže uľahčiť správu vo veľkom meradle tým, že vám prináša KVM-over-IP, samostatný energetický cyklus a ďalšie.
- Použite Ganglia na sledovanie výpočtového zaťaženia v uzloch.
- Uistite sa, že vaša infraštruktúra môže podporovať zaťaženie.