AI-inferentie op bare metal: waarom slimme teams cloud-GPU’s achter zich laten in 2026

Toen cloudproviders voor het eerst GPU-instances aanboden, was de propositie helder: dure hardware huren per uur, kapitaaluitgaven vermijden, op- en afschalen naar behoefte. Voor trainingsruns die dagen of weken duren en dan stoppen, werkt dat model. Voor inferentie-workloads die 24/7 draaien, is het een van de duurste beslissingen die een AI-team kan nemen.

De GPU-cloudmarkt in 2026 onthult een prijskloof die moeilijk te rechtvaardigen is. Een enkele H100 GPU-instance bij een grote hyperscaler kost circa €11–12 per uur. Gespecialiseerde GPU-cloudproviders bieden dezelfde hardware aan voor €2–3 per uur — een verschil van 4–6x voor identiek silicium. En bare metal GPU-servers, waarbij je de fysieke machine huurt, drukken de kosten nog verder omlaag.

De vraag die elk AI-team zou moeten stellen is niet “welke cloudprovider heeft de beste GPU-prijzen?” maar “moeten we voor deze workload überhaupt cloud-GPU’s gebruiken?”

Wanneer je een cloud-GPU-instance huurt, krijg je niet de volledige hardware. Een virtualisatielaag — de hypervisor — zit tussen je code en de fysieke GPU. Deze laag bestaat zodat de cloudprovider hardware over meerdere klanten kan verdelen.

De kosten van die abstractie zijn reëel. Benchmarks laten consequent zien dat gevirtualiseerde GPU-omgevingen 10–15% van de ruwe prestaties verliezen vergeleken met bare metal. Voor AI-modellen die PCIe Gen 5-datatransfers maximaal benutten om GPU’s te voeden, is de hypervisor een meetbaar knelpunt.

Op bare metal krijg je:

• Volledige NVLink-bandbreedte voor multi-GPU-communicatie — cruciaal voor inferentie van grote modellen
• 3,35 TB/s geheugenbandbreedte zonder virtualisatie-overhead
• Nul hypervisor-overhead op CPU-GPU-datapaden
• Directe hardwaretoegang voor aangepaste CUDA-kernels, driverversies en low-level optimalisaties

 

Laten we de rekensom maken voor een veelvoorkomende configuratie — een 4-GPU H100-setup die continu inferentie draait.

Hyperscaler cloud (on-demand): Bij circa €11–12 per GPU per uur kost een 4-GPU instance ruwweg €44–48 per uur. Dat is €32.000–35.000 per maand, of circa €384.000–420.000 per jaar. Voeg egress-kosten (20–40% extra voor data-intensieve AI-workloads), opslagpremiums en monitoringkosten toe, en de werkelijke jaarlijkse uitgaven komen ruim boven de €450.000.

Gespecialiseerde GPU-cloud: Bij €2–3 per GPU per uur kost dezelfde configuratie €8–12 per uur — circa €5.800–8.700 per maand. Een flinke verbetering, maar nog steeds op verbruiksbasis met variabele kosten.

Bare metal GPU-server: Een dedicated bare metal server met vergelijkbare GPU-hardware kost een vast maandbedrag. Geen facturering per uur. Geen egress-kosten op onbeperkte bandbreedte. Geen hypervisor-belasting op prestaties. Het break-evenpunt ten opzichte van cloud-GPU-prijzen wordt doorgaans binnen 4–8 weken bereikt. Daarna vertegenwoordigt elke maand pure besparing.

 

Dit is geen algehele aanbeveling tegen cloud-GPU’s. Zoals bij de meeste infrastructuurbeslissingen hangt de juiste keuze af van je workloadpatroon.

Cloud-GPU’s zijn de juiste keuze wanneer:

• Je trainingsruns uitvoert die dagen of weken duren en dan volledig stoppen
• Je GPU-behoeften daadwerkelijk onvoorspelbaar zijn — burst-workloads met lange periodes van inactiviteit
• Je aan het prototypen bent en je langetermijn computebehoeften nog niet kent
• Je toegang nodig hebt tot de nieuwste hardware (H200, B100) voordat deze beschikbaar is in dedicated hosting

 

Bare metal GPU’s zijn de juiste keuze wanneer:

• Je inferentie-workloads draait die 24/7 of bijna continu actief zijn
• Je GPU-bezetting consistent boven de 40–50% ligt
• Je maximale prestaties nodig hebt zonder virtualisatie-overhead
• Je voorspelbare maandelijkse kosten wilt in plaats van variabele facturering
• Dataprivacy-vereisten het de voorkeur geven om AI-verwerking op dedicated, single-tenant hardware te houden

Er is een parallelle trend die het vermelden waard is. De self-hostingcommunity heeft lokale AI-inferentie met opmerkelijk enthousiasme omarmd. Tools zoals Ollama maken het draaien van grote taalmodellen op eigen hardware triviaal eenvoudig. Gecombineerd met interfaces zoals Open WebUI bouwen teams privé-AI-assistenten die precies nul API-kosten met zich meebrengen na de initiële hardware-investering.

Voor organisaties die bezorgd zijn over dataprivacy — vertrouwelijke documenten, code of klantgegevens naar externe AI-API’s sturen — lost inferentie op dedicated hardware het probleem volledig op. Het model draait op jouw server. De data verlaat nooit je infrastructuur.

Niet alle GPU-servers zijn gelijk. Als je bare metal GPU-hosting evalueert voor AI-inferentie, let dan op:

GPU-generatie en geheugen. Voor inferentie is VRAM vaak het knelpunt. Een model dat volledig in GPU-geheugen past, draait dramatisch sneller dan een model dat moet swappen naar systeemgeheugen. Controleer of de GPU voldoende VRAM heeft voor je doelmodellen. Voor grote taalmodellen in 2026 is 80 GB per GPU (H100) de baseline voor productie-inferentie van modellen met 70B+ parameters.

Inter-GPU-connectiviteit. Als je multi-GPU-inferentie draait (tensor parallelism over GPU’s), is NVLink-bandbreedte enorm belangrijk. Cloud-VM’s beperken of virtualiseren soms NVLink-toegang. Bare metal geeft je de volledige interconnect.

Bandbreedte. AI-inferentie-API’s bedienen verzoeken over het netwerk. Bij high-throughput inferentie-endpoints is netwerkbandbreedte belangrijk. Zoek naar onbeperkte 1 Gbps of 10 Gbps connectiviteit zodat netwerkkosten niet meeschalen met gebruik.

Opslagprestaties. Modellaadtijden hangen af van opslagsnelheid. NVMe-schijven zijn het minimum voor productie-inferentie. Grote modellen (100+ GB) hebben snelle sequentiële leessnelheden nodig.

Prijstransparantie. Het hele punt van de overstap naar bare metal is kostenvoorspelbaarheid. Zoek naar vast maandtarief inclusief bandbreedte, stroom en standaard support. Als de prijspagina een rekenmachine vereist, los je het verkeerde probleem op.

Datalocatie en privacy. Voor Europese organisaties die persoonsgegevens verwerken via AI-modellen, is het belangrijk waar de hardware staat en wie er juridisch toegang toe heeft. Europese infrastructuur onder EU-jurisdictie vermijdt de juridische complexiteit van de CLOUD Act en vereenvoudigt AVG-compliance.

Het GPU-uurtarief is zelden het volledige plaatje. Cloud-GPU-kosten komen met vermenigvuldigers die makkelijk over het hoofd te zien zijn:

• Egress-kosten: AI-inferentie-API’s ontvangen verzoeken en sturen antwoorden. Voor vision-modellen of multimodale modellen met grote outputs voegen datatransferkosten 20–40% toe aan de basisrekening.
• Opslagkosten: Modelgewichten moeten ergens opgeslagen worden. High-performance cloudopslag wordt apart gefactureerd, en grote modellen (50–200 GB per model) lopen snel op bij meerdere modelversies.
• Inactieve kosten: GPU-instances zijn duur, ook wanneer ze niets doen. Als je inferentieverkeer rustige periodes heeft maar je geen cold-start latency kunt veroorloven, betaal je de volle prijs voor een inactieve GPU.
• Monitoring en observability: Cloud monitoring-diensten voor GPU-metrics, logging en alerting worden apart gefactureerd en schalen met het volume data dat je opneemt.

 

Op een bare metal GPU-server met vast tarief en onbeperkte bandbreedte verdwijnen deze kosten of zijn ze opgenomen in het vaste maandbedrag. Het verschil in totale eigendomskosten is vaak groter dan het GPU-uurtarief alleen doet vermoeden.

Worldstream exploiteert een eigen datacenter in Nederland en biedt GPU-capabele dedicated servers met vast maandtarief en onbeperkte bandbreedte. Voor teams die doorlopende AI-inferentie-workloads draaien, betekent dit voorspelbare kosten op single-tenant hardware met volledige GPU-prestaties — geen hypervisor-belasting, geen egress-kosten, geen factureringsverrassingen.

De infrastructuur valt onder EU-jurisdictie, wat belangrijk is voor organisaties die gevoelige data verwerken via AI-modellen. Geen CLOUD Act-blootstelling. Geen data die Europese grenzen verlaat. Dezelfde databeschermingsstandaarden die gelden voor je productiedatabases gelden ook voor je AI-inferentiestack.

Of je nu een klantgerichte inferentie-API draait, een interne AI-assistent met Ollama, of een privé-automatiseringspipeline met n8n — de economie wijst dezelfde richting op: als de GPU continu draait, verdient bare metal zichzelf terug in weken, niet maanden.

Cloud-GPU-prijzen zijn ontworpen voor een wereld waarin GPU-workloads burst-achtig en onvoorspelbaar waren. AI-inferentie in 2026 is het tegenovergestelde — doorlopend, stabiel en altijd aan. Deze workloads draaien op verbruiksgebaseerde cloudprijzen is als de taximeter laten lopen terwijl je slaapt. Bare metal GPU-servers bieden 40–85% lagere kosten, meer dan 30% betere prestaties en de voorspelbaarheid waarmee je met vertrouwen kunt budgetteren. Het break-evenpunt wordt gemeten in weken. De besparingen groeien van daaruit.