Firmy sa na nás často obracajú s požiadavkou, či je možné vyrobiť server AI server podobný ChatGPT, ktorý by mohli používať bez obavy, že ich firemné dáta budú zneužité.

My vytvárame takéto servery umelej inteligencie pre rôzne použitie a s rôznym výkonom a určením a preto sme sa rozhodli odhaliť pár tajomstiev pri vytváraní dedikovaných AI serverov.

7 tajomstiev hardvéru pre AI servery:

1. Pocesor

AI servery musia mať pomerne silný procesorový výkon, odporúča sa minimálne 64 jadier a vysoká vnútorná taktovacia frekvencia procesorov. Najvhodnejšie sú INTEL Xeon procesory alebo AMD EPYC procesory. Pri potrebe vyššieho výkonu dedikovaného AI servera je vhodné použiť základnú dosku (Motherboard) ktorá umožňuje inštalovať 2 procesory. Najnovšie technológie však dodávajú procesory aj s viac ako 128 jadrami, takže pokiaľ nie je problém cena AI servera, navrhujeme zakúpenie EPYC procesora z rady 9005, ktorý môže mať až 192 jadier (cores), má modernú vnútornú architektúru a vysokú Boost frekvenciu.

2. Motherboard (základná doska)

Základná doska musí mať socket pre umiestnenie jedného alebo viacerých serverových procesorov a takisto dostatočný počet socketov pre operačnú pamäť RAM.

Takisto je dôležité, aby doska mala väčšší počet plných (16x) PCI slotov, ktoré budete potrebovať na grafické karty.

3. RAM – Operačná pamäť

Na dobré fungovanie AI servera je potrebná operačná pamäť aspoň 256GB a to buď DDR4 alebo DDR5. Ideálne je vhodné škálovať operačnú pamäť až na 1 TB a viac. To znamená, že základná doska musí mať dostatočné množstvo slotov pre vloženie pamäťových modulov.

4. Grafické karty

Väčšina potrebného výkonu dedikovaného servera sa spracúva na grafickej karte. Najväčšie AI servery majú viac ako 1TB grafickej pamäte. U nás najznámejšie grafické karty pre AI servery sú NVIDIA TESLA A100 alebo H100. Majú operačnú pamäť 40GB alebo 80GB. Operačná pamäť sa nazýva VRAM (čiže video RAM), najnovšia je dokonca DDR6.

Nakoľko tieto karty sú pomerne drahé, dajú sa nahradiť kvalitnými hráčskymi kartami s operačnou pamäťou aspoň 24GB. Každý dedikovaný AI server má preto viac kariet, čiže materská doska musí mať dostatočný počet PCI slotov. Aby sa dalo umiestniť viac kariet do jedného servera, používajú sa špeciálne nadstavce na prenesenie PCI slotov ďalej od dosky.

5. Napájací zdroj

Základná doska s jedným procesorom má zvyčajne spotrebu okolo 300W a takisto každá grafická karta má spotrebu okolo 300W. Ak máte server s dvomi kartami, tak celková spotreba bude okolo 1.000W. Je vhodné, ak bude napájací zdroj predimenzovaný, napríklad 1.400W, alebo sa odporúča použiť viac zdrojov a samostatne napájať základnú dosku a samostatne grafické karty.

6. Odvod tepla

Od počiatku vytvárania je potrebné počítať s odvodom tepla. Ako som písal v predchádzajúcom odstavci, ak má server pre umelú inteligenciu spotrebu okolo 1000W, tak sa všetka táto energia premení na teplo. Predstavte si, že máte permanentne zapnutú varnú kanvicu. Za niekoľko hodín bude miestnosť, kde budete AI počítač prevádzkovať s bude neznesiteľne zvyšovať teplota, čo je problémom hlavne v lete. Väčšie servery používajú vodné chladenie, ktoré je oveľa účinnejšie a umožňujú umiestniť chladič do exteriéru

7. Hlučnosť AI serverov

Celý výkon servera pre umelú inteligenciu je potrebné odviesť zo servera do okolitého prostredia. Pokiaľ máte nainštalované vodné chladenie, tak tento problém neexistuje, ale pri vzduchovom chladení je potrebné cez server preháňať kubíky vzduchu každú minútu, čo vyžaduje silné ventilátory, ktoré môžu byť veľmi hlučné. Problém hluku je ešte výraznejší, ak sa AI server inštaluje do klasického Rack-ového šasi 2U alebo 4U. V takomto prípade je vzduch nasávaný v prednej časti a vyfukovaný v zadnej časti. V serveri je veľké množstvo malých vysokoobrátkových ventilátorov, ktoré vydávajú hluk ďaleko za hranicou hygienických noriem.

Toto je 7 oblastí, ktoré musíte vyriešiť pri vytváraní vlastného dedikovaného AI servera. Pokiaľ si netrúfate vytvoriť vlastný AI server, kľudne sa obráťte na nás a radi vám s výstavbou servera pre umelú inteligenciu pomôžeme.