Wie een GPU-server naar een datacenter wil brengen, begint meestal met tellen: een rack heeft 42 units, de server is 4U, dus daar passen er tien in. Zo werkt het niet, en het verschil zit niet in de units maar in stroom en warmte. Wat je over A- en B-feeds en je werkelijke verbruik moet weten geldt hier onverkort, alleen zijn de getallen een orde groter. Dit artikel rekent het voor en eindigt met wat je vooraf moet aanleveren om een offerte te krijgen die klopt.
Units zijn niet de grens
Een gewone server trekt in de praktijk een paar honderd watt. Een rack vol daarvan haalt de aansluitwaarde zelden. Bij GPU-servers draait dat om. Een moderne GPU trekt 350 tot 700 W per kaart, datacenterkaarten tot ongeveer 1000 W, en een server met acht zware kaarten zit met CPU's, geheugen en voedingen al snel rond de 10 kW. Twee van zulke servers trekken meer dan een heel rack webservers.
In de industrie zijn racks van 40 tot 120 kW inmiddels gangbaar, maar die worden met vloeistof gekoeld en staan in zalen die daarvoor zijn gebouwd. In een reguliere colocatiezaal is de grens wat de feeds leveren en wat de koeling afvoert. De lege units eronder zijn geen verspilling; ze zijn de afstand die je nodig hebt.
Rekenvoorbeeld: 3-fase 32 A per feed
Een zware racktoevoer in colocatie is 3-fase 32 A per feed. Op 230 V per fase is dat 3 × 32 × 230 ≈ 22 kW. Dat klinkt als veel, totdat je redundantie meerekent.
Bij volledige A+B-redundantie moet elke feed in zijn eentje je hele belasting kunnen dragen, want dat is wat er gebeurt als de andere wegvalt. Je bruikbare budget is dus 22 kW, niet 44. Daar past in:
- Twee servers van ongeveer 10 kW — samen 20 kW, met een paar kilowatt over voor switches, opslag en out-of-band.
- Of meer servers met minder kaarten — vier servers met elk vier kaarten komen op hetzelfde vermogen uit, maar verdelen de warmte beter over het rack.
Twee andere valkuilen uit het A/B-artikel wegen hier zwaarder. Het typeplaatje van een GPU-server geeft het maximum van de voedingen, vaak ruim boven wat de machine ooit trekt; meet dus, of reken met het vermogen van de kaarten plus een opslag voor de rest. En onder inference-belasting zijn de pieken scherper dan bij een webserver: een batch die start trekt binnen een seconde het volle vermogen. De zekering achter je aansluitwaarde beweegt niet mee.
Warmte is vermogen
Elke watt die je rack intrekt, komt er als warmte weer uit. Een rack van 22 kW is een kachel van 22 kW, en die warmte moet de koeling van de zaal afvoeren. Dat is naast stroom de echte grens, en hij is lastiger te zien omdat er geen zekering op zit; je merkt het aan temperatuurwaarschuwingen en kaarten die terugschakelen.
Wat in de praktijk telt:
- Luchtstroom van voor naar achter — de koude gang levert lucht aan de voorkant, de warme gang voert af aan de achterkant. Een server die aan de zijkant ademt, past niet in dat patroon.
- Afdekpanelen in lege units — zonder panelen trekt de server zijn eigen warme uitlaat weer naar binnen.
- Verdeling over het rack — twee kachels van 10 kW direct boven elkaar maken een hete plek; ruimte ertussen helpt.
- Diepte en gewicht — GPU-servers zijn dieper en veel zwaarder dan gangbare servers. Niet elk rack en niet elke vloer is daarop berekend.
Of je met lucht toekomt, hangt af van het vermogen per rack en van de zaal. Dat verschilt per locatie, en daarom hoort de vraag naar koeling in het gesprek vooraf en niet bij de levering.
Wat je vooraf aanlevert
Een offerte voor GPU-colocatie is zo goed als de informatie waarop hij is gebaseerd. Lever per server aan:
- Vermogen — typeplaatje én het verwachte werkelijke verbruik onder belasting. Draait de machine al ergens, lees dan een week af.
- Voedingen — aantal, vermogen en stekkertype, zodat de PDU's de juiste aansluitingen hebben.
- Afmetingen — hoogte in units, diepte, gewicht, en of er rails bij zitten.
- Luchtstroom — van voor naar achter of anders.
- Netwerk — aantal en snelheid van de poorten, en of je out-of-band apart wilt ontsluiten.
- Belastingpatroon — continu, kantooruren of pieken. Dat bepaalt mede hoe je aansluitwaarde en verbruik zich tot elkaar verhouden.
- Groei — wat er over een jaar bijkomt. Een aansluitwaarde verhogen is geen kwestie van een extra kabel.
Met die lijst kunnen we zeggen welke feed past, hoeveel servers er in één rack kunnen en waar de koeling de grens trekt.
GPU-colocatie bij Xyphen IT
Wij bieden GPU-colocatie in BIT-2C in Ede, tot 96 A per rack, bijvoorbeeld als 3-fase 32 A per feed, altijd met A- en B-feed op gescheiden PDU's. Het is dezelfde zaal en hetzelfde netwerk als onze BIT-colocatie, dus je sluit aan op onze EVPN-fabric met een privé-VRF of cross-connect naar je overige apparatuur. Wil je geen eigen kaarten beheren, dan is AI-inference als dienst het alternatief; een combinatie, eigen opslag in colocatie met inference op onze kaarten, komt in de praktijk het vaakst voor. Hoe de stroom wordt afgerekend staat op de pagina over colocatie.
Heb je de lijst hierboven bij de hand? Vraag een voorstel aan of neem contact op, dan rekenen we het door.