Koliko stane GPU strežnik?

To je prvo vprašanje, ki si ga vsi zastavijo. Pošten odgovor je, da fiksne cene ni — in to ni izmikanje, ampak dejansko stanje trga.

Bolj koristno vprašanje je: iz česa je cena sestavljena in kje se proračuni najpogosteje podrejo? Če razumete strukturo stroškov, boste znali oceniti vsako ponudbo, ki jo dobite — tudi tisto, ki je ne dobite od mene.

Zakaj fiksne cene ni?

Povpraševanje po grafičnih procesorjih presega ponudbo, zato cene in dobavni roki nihajo iz četrtletja v četrtletje. Vsaka objavljena cena bi bila v nekaj mesecih napačna — in napačna cena je slabša od nobene. Ceno preverim za konkretno konfiguracijo ob povpraševanju.

To ne velja le za grafične procesorje, ampak za celotno dobavno verigo — tudi za pomnilnik in diske. Praktične posledice:

• Ponudba, stara nekaj mesecev, ni več zanesljiva podlaga za proračun.
• Dobavni roki se spreminjajo in so lahko bistveno daljši, kot pričakujete.
• Isti sistem lahko v dveh četrtletjih stane opazno različno.

Zato je vsak cenik, ki ga najdete na spletu, v najboljšem primeru posnetek preteklega stanja. Če imate rok za projekt, ga načrtujte z rezervo — tako pri ceni kot pri dobavi.

Kaj dejansko določa ceno?

Največji dejavnik je pomnilnik GPU, sledijo število grafičnih kartic, hitrost medsebojne povezave in zahteve hlajenja. Pogosto podcenjena postavka sta sistemski pomnilnik in diski — strežniški moduli RDIMM in enterprise NVMe so pri teh konfiguracijah draga postavka, ne podrobnost, ki bi jo bilo mogoče dodati na koncu iz ostanka proračuna.

Pomnilnik GPU (VRAM) — največji dejavnik

Najpomembnejša postavka in hkrati največja omejitev. Model, ki potrebuje več pomnilnika, kot ga ima kartica, na njej ne bo tekel brez kompromisov. Razlika med razredi kartic ni le v ceni — je razlika med tem, ali vaš primer uporabe sploh deluje ali ne.

Število grafičnih kartic

Konfiguracije se gibljejo od enega do osmih in več GPU-jev. Vsak dodaten GPU pomeni tudi večje ohišje, močnejše napajanje in zahtevnejše hlajenje — cena ne narašča linearno.

Medsebojna povezava med GPU-ji

Hitra povezava (NVLink) proti standardnemu PCIe. Pri treniranju modelov na več GPU-jih je to razlika, ki jo boste izmerili; pri inferenci pogosto ni pomembna. Plačati zanjo, če je ne potrebujete, je pogosta napaka.

Hlajenje

Zračno hlajenje ima mejo. Pri višjih konfiguracijah je tekočinsko hlajenje pogosto nujno, ne opcijsko — in to ni le postavka na ponudbi, ampak poseg v prostor.

Sistemski pomnilnik in diski

Postavka, ki jo proračuni najpogosteje podcenijo. GPU strežnik potrebuje veliko sistemskega pomnilnika — pogosto sorazmerno s skupnim pomnilnikom grafičnih kartic — cene strežniških modulov pa poganja ista dobavna veriga kot pri grafičnih procesorjih. Enako velja za enterprise NVMe diske z visoko vzdržljivostjo, ki so bistveno dražji od potrošniških.

Poleg cene sta oba tudi pogosto ozko grlo: premalo pomnilnika ali počasni diski pomenijo, da grafični procesorji čakajo na podatke. Varčevanje tukaj se izniči v zmogljivosti, ki ste jo plačali pri karticah. CPU je pri GPU obremenitvah redkeje glavni strošek, a velja isto pravilo — premalo zmogljiv procesor ustavi pripravo podatkov.

Katerih stroškov ni v ponudbi?

Elektrika, prilagoditev prostora za hlajenje, poraba energije skozi življenjsko dobo, raven podpore in licence za programsko opremo. Tu se proračuni podrejo najpogosteje, ker nobene od teh postavk ni na ceniku strežnika — pojavijo se šele, ko je oprema že naročena.

• Električna infrastruktura. Zmogljiv GPU strežnik pri polni obremenitvi porabi toliko, da obstoječa napeljava morda ne zadostuje. Nadgradnja nastane pred prihodom strežnika, ne po njem.
• Prilagoditev prostora za hlajenje. Če konfiguracija zahteva tekočinsko hlajenje, je to infrastrukturni projekt.
• Poraba energije skozi življenjsko dobo. Pri sistemu, ki teče stalno, strošek elektrike v treh do petih letih ni obrobna postavka.
• Podpora in garancija. Razlika med osnovno garancijo in podporo z zamenjavo naslednji delovni dan na lokaciji je pri produkcijskem sistemu bistvena.
• Programska oprema. Virtualizacija, orkestracija, morebitne licence za GPU virtualizacijo.

Ti dve številki sta najpogostejši vzrok za nenačrtovan strošek. Povprečna polica zmore okoli 9 kW, sodoben 8-GPU sistem pa do 14,5 kW — predelava prostora tako zlahka preseže ceno strojne opreme. Prav zato je smiselno najprej preveriti, kaj obstoječa infrastruktura zmore.

Kateri razred konfiguracije potrebujem?

Vstopni razred (1–2 GPU) pokrije razvoj, prototipiranje in inferenco z nizko obremenitvijo ter stoji v obstoječi sobi. Srednji (4 GPU) je najpogostejši prvi resen nakup, a tu se začnejo vprašanja napajanja in hlajenja. Visoki (8+ GPU) zahteva namensko platformo in praviloma več načrtovanja infrastrukture kot strežnika samega.

Kaj v posameznem razredu dejansko dobite:

Vstopni (1–2 GPU). Razvoj, prototipiranje, manjši modeli, inferenca z nizko obremenitvijo. Standardno ohišje, zračno hlajenje, stoji lahko v obstoječi strežniški sobi brez prilagoditev.

Srednji (4 GPU). Najpogostejši razred za prvi resen nakup v podjetju. Treniranje manjših in srednjih modelov, produkcijska inferenca za več uporabnikov. Tu se začnejo resna vprašanja napajanja in hlajenja.

Visoki (8+ GPU). Treniranje velikih modelov, inferenca v velikem obsegu, gruče. Namenska platforma s hitro medsebojno povezavo in pogosto zahtevo po tekočinskem hlajenju. Pri tem razredu infrastruktura okoli strežnika zahteva več načrtovanja kot strežnik sam.

Kaj pa dobavni rok?

Roki nihajo enako kot cene, zato jih na strani ne navajam. Preverim jih za konkretno konfiguracijo ob povpraševanju — in kadar je rok kritičen, poiščem pot, ki ga skrajša: drugo konfiguracijo, drugega dobavitelja ali drugačno razporeditev istih komponent.

V praksi je to pogosto tisto, kar odloči o projektu. Sistem, ki pride tri mesece prej in doseže 90 % želene zmogljivosti, je skoraj vedno boljša odločitev od popolnega sistema, ki zamudi rok.

Vprašanja, ki jih zastavite vsakemu ponudniku

Ponudbe za GPU strežnike je težko primerjati, ker vsaka vsebuje nekaj drugega. Teh sedem vprašanj jih naredi primerljive — zastavite jih vsem ponudnikom, tudi meni. Ponudnik, ki na katero od njih nima jasnega odgovora, vam ne bo v pomoč takrat, ko bo šlo kaj narobe.

1. Kolikšna je konična poraba celotnega sistema, ne le kartic?Številka, ki jo potrebujete za načrtovanje napajanja, vključuje CPU, diske in ventilatorje.
2. Kakšne so zahteve za hlajenje pri polni obremenitvi?In pri kakšni vstopni temperaturi veljajo navedene zmogljivosti.
3. Je v ceni tudi montaža in zagon?Pri sistemih tega razreda to ni samoumevno.
4. Kakšen je odzivni čas podpore in kje so nadomestni deli?Razlika med naslednjim delovnim dnem na lokaciji in pošiljanjem v servis je pri produkcijskem sistemu bistvena.
5. Kakšen je dobavni rok in kaj se zgodi, če se podaljša?Vprašajte, ali obstaja alternativna konfiguracija, ki je dobavljiva prej. Pogosto obstaja, a je nihče ne ponudi, dokler ne vprašate.
6. Katere licence so potrebne in koliko stanejo letno?Virtualizacija GPU in orkestracija znata biti občutna letna postavka.
7. Kaj je pot nadgradnje čez dve leti?Koliko prostih rež, napajalne rezerve in hladilne kapacitete ostane po prvi postavitvi.

Je najem v oblaku cenejši od nakupa?

Pri občasni obremenitvi je najem pogosto cenejši in vedno hitrejši za začetek. Lasten sistem se izplača pri stalni, predvidljivi obremenitvi ali kadar podatki zaradi zaupnosti ne smejo zapustiti vaše infrastrukture. To je izračun, ki ga je vredno narediti pred nakupom, ne po njem.

Preden zahtevate ponudbo

Trije podatki, ki bodo vsako ponudbo naredili primerljivo in uporabno:

1. Treniranje ali inferenca? Zahteve so povsem drugačne.
2. Koliko pomnilnika zahteva vaš največji model? To določi razred kartice.
3. Je obremenitev stalna ali občasna? Pri občasni je najem v oblaku lahko cenejši od nakupa.

Če na katero od teh vprašanj še ni jasnega odgovora, je to točka, kjer se posvet izplača — napaka pri tej odločitvi je bistveno dražja od časa, ki ga porabite za pogovor.