Een glimp van de toekomst: lokale AI

Ik was zaterdag bij Erik de Bruijn van Stekker, en ik heb het gevoel dat ik daar een glimp van de toekomst heb gezien. Ik zag een computer die zó gaaf was dat ik er gewoon een selfie mee MOEST maken.

Ik ben altijd een beetje sceptisch geweest over het lokaal draaien van AI-modellen. Een jaar geleden heb wel eens geprobeerd. Het was traag, omslachtig en de output was eerlijk gezegd vooral onzin. Leuk om mee te spelen, maar niet iets waar je serieus op wilt bouwen.

Dat beeld klopt niet meer, weet ik sinds afgelopen zaterdag.

De open source-modellen van nu zijn echt van een andere orde. Ik heb samen met Erik de modellen GPT-oss en Whisper van OpenAI lokaal gedraaid, en de resultaten waren bizar goed.

De snelheid was misschien nog wel het meest indrukwekkend. Erik stelde een vraag vanuit zijn laptop aan het model. Ik hoorde de voeding van de server zachtjes knisperen, de fans schoten even omhoog, en binnen 500 milliseconden stond het antwoord er al. Dit is echt veel sneller dan ChatGPT of Claude Code. Het voelde echt futuristisch. Zeker als je naast een machine staat met twee NVIDIA RTX 6000-kaarten erin, en je beseft dat dit allemaal lokaal gebeurt. Ik hoorde de rekenkracht letterlijk aan het werk. Ik ben gewend dat je tussendoor een koffie kunt halen terwijl een agent draait, maar misschien is dat straks niet meer nodig.

Lokaal modellen draaien heeft natuurlijk ook duidelijke nadelen. Het is duur. De hardware is lastig te krijgen. Het is geen plug-and-play. Maar de voordelen zijn er ook echt. Je bent de enige gebruiker. Je data blijft lokaal en dus veilig. En je hebt geen internet nodig. En daarbij: de performance is bizar.

Ik merk dat ik mijn eerdere aannames hierover moet herzien. Wat eerst voelde als hobbyistisch en inefficiënt, begint nu serieus productierijp te worden. Ik denk dat WBSO.ai hier ook echt van kan profiteren. Als we bepaalde features via een lokaal model kunnen draaien, dan hebben we echt iets echt wat mooie voordelen te pakken.

Self-hosted AI ligt ineens weer op tafel, wat mij betreft. En bedankt voor de inspiratie, Erik!