AI strežniki — kako izbrati pravo konfiguracijo

Strežnik za umetno inteligenco ni ena sama kategorija. Zahteve za treniranje velikega jezikovnega modela so povsem drugačne od zahtev za inferenco v produkciji, čeprav oba primera uporabe pogosto poimenujemo enako.

Napačna izbira pomeni bodisi plačilo za zmogljivost, ki je ne boste uporabili, bodisi sistem, ki bo v šestih mesecih premajhen.

Treniranje ali inferenca — prva odločitev

Preden pogledate katerokoli specifikacijo, si odgovorite na to vprašanje. Odgovor določi vse ostalo.

Treniranje zahteva čim več pomnilnika GPU in čim hitrejšo povezavo med grafičnimi procesorji. Model, ki se ne prilega v pomnilnik, se mora deliti med več GPU-jev, kar pomeni, da postane hitrost medsebojne povezave ozko grlo. Tu se splača vlagati v manj, a močnejših GPU-jev z veliko pomnilnika.

Inferenca je drugačna zgodba. Model je fiksen in pogosto manjši, zahteva pa nizko zakasnitev in veliko vzporednih zahtev. Tu je pogosto bolj smiselno več cenejših GPU-jev kot en vrhunski — za enak proračun dobite več prepustnosti.

Kaj dejansko določa ceno

• Pomnilnik GPU (VRAM) — največji dejavnik cene in največja omejitev pri treniranju. Model, ki ne gre v pomnilnik kartice, na njej ne bo tekel brez kompromisov — in razlike med razredi kartic so tu velike.
• Število GPU-jev na strežnik — od 2 do 8+. Več GPU-jev pomeni večje ohišje, močnejše napajanje in zahtevnejše hlajenje.
• Medsebojna povezava — NVLink proti standardnemu PCIe. Pri treniranju na več GPU-jih razlika, ki jo boste opazili; pri inferenci pogosto ni pomembna.
• Hlajenje — zračno ali tekočinsko. Sodobni GPU strežniki pri polni obremenitvi proizvedejo toliko toplote, da zračno hlajenje v obstoječi strežniški sobi morda ne bo zadostovalo.
• CPU in RAM — nista glavni dejavnik, a premalo zmogljiv CPU lahko postane ozko grlo pri pripravi podatkov.

Pogosta napaka — prekupovanje

Najdražja kartica ni vedno prava kartica. Za marsikatero industrijsko rabo — optični pregled, napovedno vzdrževanje, optimizacija procesov, manjši modeli v inferenci — zadostujejo profesionalne delovne kartice, ne pa platforme najvišjega razreda za treniranje velikih modelov.

Razlika v ceni med tema razredoma je velikostni red. Preden se odločite za vrhunsko konfiguracijo, se splača izmeriti, kaj vaša delovna obremenitev dejansko zahteva.

Kaj je sploh dobavljivo

Trenutna generacija pospeševalnikov najvišjega razreda ni na voljo kot samostojne PCIe kartice — dobite jih le kot del namenskih platform. To pomeni, da izbira ni le „katera kartica“, ampak „katera platforma“, kar spremeni tako ceno kot dobavni rok.

Pri sistemih tega razreda so dobavni roki pogosto daljši od pričakovanj. Če imate rok, ga je vredno preveriti pred izbiro konfiguracije, ne po njej.

Pogosta napaka — načrtovanje samo za danes

Najpogostejša napaka pri prvem nakupu je konfiguracija, ki natanko ustreza trenutnemu modelu. Modeli rastejo, ekipe rastejo, primeri uporabe se širijo. Vprašanje ni „kaj potrebujem zdaj“, ampak „kaj bom potreboval v 18 mesecih in ali lahko ta sistem takrat nadgradim“.

Omejitve prostora določijo, kaj je sploh izvedljivo

Najpogostejši razlog, da načrtovana konfiguracija ne pride v produkcijo, ni izbira kartice — ampak napajanje in hlajenje. Sodobni GPU sistemi imajo bistveno višjo gostoto moči od klasičnih strežnikov, kar pomeni, da obstoječa strežniška soba pogosto postavi mejo pred proračunom.

Zato je smiselno najprej ugotoviti, kaj obstoječa infrastruktura zmore, in šele nato izbirati opremo. Pogosto se izkaže, da je znotraj obstoječih omejitev mogoče postaviti povsem uporaben sistem — brez predelave prostora, ki bi lahko stala več kot strojna oprema sama.

Kje se splača posvetovati

Če še niste prepričani, ali potrebujete sistem za treniranje ali za inferenco — ali koliko pomnilnika dejansko zahteva vaš primer uporabe — je to točka, kjer se posvet izplača. Napaka pri tej odločitvi je desettisoče evrov, ne stotine.