GPU-colocatie begint bij de stroom.
Je eigen GPU-servers in ons rack bij BIT in Ede, met tot 96 A per rack over een A- en B-feed, en het verbruik per PDU-outlet zichtbaar in je dashboard. We rekenen vooraf met je uit wat er past, en zetten er een cross-connect of privé-VRF naar onze gedeelde inference naast.
Een GPU-server past niet in elk rack.
De misvatting is dat een GPU-server een gewone server is met een zwaardere voeding. Eén kast kan evenveel trekken als een half rack klassieke servers, en wat erin gaat moet er als warmte ook weer uit. Rackeenheden heb je meestal genoeg; ampères en koeling niet.
Daarom beginnen we bij de stroom en niet bij de ruimte. Hoeveel trekt de server bij volle belasting, wat gebeurt er als een feed wegvalt, en hoeveel past er dan nog in hetzelfde rack. Die som maken we vooraf, met je eigen hardware als uitgangspunt, zodat je niet na de levering ontdekt dat de tweede server moet wachten.
GPU-colocatie past als je:
- Eigen GPU-servers hebt of koopt en ze niet op kantoor wilt laten staan
- Een model wilt draaien dat groter is dan ons gedeelde aanbod, op hardware die je zelf beheert
- Basislast op eigen kaarten wilt en piek via onze gedeelde inference, over dezelfde API
- Je vectordatabase en applicatie naast het model wilt, in hetzelfde gebouw
Rack, stroom, netwerk, meting.
Rekenen voordat het rack vol is.
Vier dingen die het verschil maken tussen een GPU-rack dat werkt en een rack dat de tweede server niet aankan.
- Tot 96 A
- Per rack, verdeeld over feeds
Tot 96 A per rack, bijvoorbeeld 3-fase 32 A per feed. Hoeveel daarvan bruikbaar is, hangt af van hoe je redundantie wilt: bij volledige A+B-redundantie reken je met wat één feed alleen kan dragen.
- A en B
- Twee feeds, twee PDU's
Elke server met twee voedingen hangt op beide feeds. Valt er een weg, dan draait alles door op de andere. Voor een server met één voeding bespreken we vooraf wat uitval van die feed betekent.
- Per outlet
- Gemeten, in het dashboard
Het verbruik per PDU-outlet staat in het klantdashboard, in kWh per maand. Je ziet welke server wat trekt en of de verdeling over de feeds nog klopt.
- Vooraf
- De som vóór de levering
Stuur ons de specificaties van je servers, dan rekenen we uit wat er per rack past bij volle belasting en bij uitval van een feed. Dat getal staat in het voorstel, niet in een mail na de installatie.
Van specificatie tot stroom.
- SpecificatiesWelke servers, hoeveel voedingen, wat trekken ze bij volle belasting. Met die cijfers rekenen we per rack uit wat er past.
- VoorstelRack, feeds, netwerk en de koppeling naar inference als je die wilt, met een heldere opbouw van de kosten, inclusief hoe de stroom wordt afgerekend.
- PlaatsingJe plaatst zelf of wij doen het met je mee. PDU's, feeds en cross-connects zijn gepatcht voordat je servers komen.
- In gebruikVerbruik per outlet in het dashboard, toegang voor je mensen als het nodig is, en een engineer die je belt als er iets aan de stroom verandert.
Een colocatiepartij die ook het netwerk doet.
- Rackspace in alle BIT-datacenters in Ede, met ons eigen netwerk erbij
- Cross-connects en privé-VRF's op onze EVPN-VXLAN-fabric, naar inference of naar je andere locaties
- Stroom wordt gemeten per outlet, niet geschat per rack
- Eén aanspreekpunt voor rack, stroom, netwerk en inference
De partij die vooraf uitrekent wat past en achteraf laat zien wat het verbruikte.
Veelgestelde vragen over GPU-colocatie
Hoeveel GPU-servers passen er in een rack?
Dat hangt af van wat ze trekken en hoe je redundantie wilt. Tot 96 A per rack is de bovengrens; bij volledige A+B-redundantie reken je met wat één feed draagt. Stuur ons de specificaties, dan krijg je het getal voor jouw servers.
Kan ik mijn colocatie koppelen aan jullie gedeelde inference?
Ja, met een cross-connect in hetzelfde datacenter of een privé-VRF op ons netwerk. Zo draai je basislast op je eigen kaarten en piek op onze gedeelde capaciteit, over dezelfde API. Het verkeer tussen beide gaat niet over het internet.
Wat zie ik van mijn stroomverbruik?
Per PDU-outlet het verbruik in kWh per maand, in het klantdashboard. Wil je het ook voor een CO2-rapportage gebruiken, dan leveren we op aanvraag een maandrapport met het aandeel van het datacenter en de emissiefactoren erbij.
Hoe zit het met koeling?
BIT koelt de hal; de grens voor jouw rack is de stroom die erin gaat, want die komt er als warmte weer uit. Daarom rekenen we in ampères. Bijzonder dichte opstellingen bespreken we vooraf met BIT.
Kan ik hier een model draaien dat niet in jullie gedeelde aanbod zit?
Ja. Op je eigen hardware draai je wat je wilt, ook modellen die groter zijn dan ons gedeelde aanbod. Wil je dat niet zelf beheren, dan kan hetzelfde model vaak op dedicated kaarten bij ons, als het past.
Weten wat er in jouw rack past?
Stuur ons de specificaties van je servers. Je krijgt een berekening van stroom en plaatsing en een voorstel met rack, feeds en netwerk.