Hoe Nederlandse universiteiten open modellen trainen
De strategische afhankelijkheid van gesloten, buitenlandse cloudleveranciers brengt aanzienlijke risico's met zich mee op het gebied van digitale soevereiniteit, datalekken, intellectueel eigendom en culturele representatie. Waar commerciële hyperscalers biljoenen tokens door gigantische infrastructuren pompen met gesloten black-box-modellen als resultaat, opereren Nederlandse kennisinstellingen zoals de Universiteit van Amsterdam, TU Delft, Universiteit Utrecht, Radboud Universiteit, TNO en het NWO binnen een fundamenteel ander kader. Zij bundelen publieke rekenkracht, academische datasets en open science-principes om controleerbare en transparante modellen te trainen die voor iedereen vrij te inspecteren en in te zetten zijn.
In dit artikel kijken we naar de concrete methodologieën, compute-infrastructuren, datastromen, architectuurkeuzes en evaluatiesuites die Nederlandse onderzoekers hanteren bij het bouwen van open-source taalmodellen. Deze initiatieven vormen de technische ruggengraat voor een onafhankelijk open-source ecosysteem in de Lage Landen, een ontwikkeling die nauw aansluit bij de observaties in de Nederlandse AI-scene augustus 2026 waarin technologische soevereiniteit en lokale inferentie centraal staan.
De rekencapaciteit: Nationale supercomputers en EuroHPC-clusters
Een modern LLM trainen vanaf nul (pre-training) of diepgaand aanpassen via continuous pre-training vereist duizenden GPU-uren die een individuele universiteitsfaculteit niet met eigen afdelingsservers kan leveren. De spil in de Nederlandse onderzoekscompute is SURF, de coöperatieve vereniging voor ICT in het Nederlandse onderwijs en onderzoek. Via het nationale supercomputersysteem Snellius, fysiek gesitueerd in het Amsterdam Science Park, krijgen onderzoeksteams toegang tot honderden GPU-nodes voorzien van NVIDIA A100- en H100-versnellers.
Wanneer projecten opschalen naar modelformaten van 30 tot 70 miljard parameters, schiet zelfs een nationaal cluster qua continue capaciteit tekort. Nederlandse consortia wijken daarom structureel uit naar Europese EuroHPC-supercomputers, zoals de LUMI-faciliteit in Finland (gebaseerd op AMD Instinct MI250X-accelerators) of het Leonardo-cluster in Italië. Het effectief verdelen van een trainingsloop over honderden nodes vereist verfijnde parallelisatiestrategieën. Onderzoekers combineren Tensor Parallelism (TP), Pipeline Parallelism (PP) en Data Parallelism via frameworks zoals Megatron-LM en DeepSpeed ZeRO-3.
Bij multi-node setups over InfiniBand-netwerken (vaak 400 Gbps tot 800 Gbps non-blocking fabrics) vormt communicatieoverhead het grootste risico op rekenverlies. Wanneer een node hapert of dataverkeer vastloopt op inter-node synchronisaties (zoals all-reduce operaties voor gradiënten), vallen dure accelerators direct terug naar idle-cycli. Om dit op te vangen, implementeren engineeringteams asynchrone distributed checkpointing op parallelle NVMe-opslagsystemen (Lustre of GPFS), zodat het trainen binnen enkele minuten na een hardwarefout naadloos kan hervatten.
Dataverzameling en curatie: Schoon Nederlands versus webruis
De grootste bottleneck voor het trainen van een taalspecifiek model is niet rekenkracht, maar datakwaliteit. Het Nederlandse taalgebied vertegenwoordigt op het publieke internet slechts een fractie van het volume dat voor het Engels beschikbaar is. Bij ongefilterde webdumps zoals Common Crawl bestaat een groot percentage van de Nederlandse teksten uit geautomatiseerde vertalingen, casino-spam, SEO-opvulling, machine-gegenereerde e-commerce catalogi en fragmentarische webpagina's. Wanneer zulke data ongecorrigeerd in een pre-training corpus belandt, leidt dit tot syntactische vervuiling en hallucinaties in het uiteindelijke model.
Academische teams hanteren daarom meerlaagse curatiepijplijnen. Primaire bronnen omvatten het Delpher-archief van de Koninklijke Bibliotheek (historische en moderne kranten en boeken), openbare parlementaire verslagen van de Tweede Kamer der Staten-Generaal, open-access publicaties uit Nederlandse academische repositories (zoals NARCIS), gecureerde nieuwsarchieven en gecontroleerde Wikipedia-dumps.
De verwerking verloopt via strikte filteringstappen:
- Taaldetectie en kwaliteitsheuristieken: FastText-classificatiemodellen filteren niet-Nederlandse passages en dialectale mengvormen weg. Documenten met een te lage verhouding tussen unieke woorden en totale tekstlengte (low lexical diversity) of een overdaad aan leestekens worden direct verworpen.
- Deduplicatie op documentschaal: MinHash Locality Sensitive Hashing (LSH) identificeert en verwijdert duplicaten en bijna-duplicaten over biljoenen tokens, wat overfitting op herhaalde boilerplate-teksten voorkomt.
- Perplexity-filtering: Een klein, robuust taalmodel (vaak getraind op uitsluitend hoogwaardige boeken en wetsteksten) berekent de cross-entropy loss van kandidaat-teksten. Teksten met een extreem hoge perplexity (onlogische zinsbouw) of extreem lage perplexity (repetitieve tekstreeksen) worden uitgesloten.
Tokenization en vocabulaire-optimalisatie voor het Nederlands
Standaard tokenizers van modellen zoals Llama, Mistral of GPT zijn hevig geoptimaliseerd voor het Engels. In dergelijke tokenizers ontbreken veel voorkomende Nederlandse stamwoorden en samenstellingen, waardoor woorden uiteenvallen in inefficiënte sub-tokens of individuele bytes. Een samengesteld zelfstandig naamwoord zoals "aansprakelijkheidsverzekering" kan in een generieke Engelstalige tokenizer worden opgeknipt in 7 tot 9 tokens, terwijl een taalspecifiek vocabulaire dit in 2 of 3 tokens representeert.
Deze sub-token versplintering heeft directe technische gevolgen: het effectieve contextvenster van het model wordt drastisch verkleind, de inferentiekosten per woord schieten omhoog, en het model moet extra rekencapaciteit aanwenden om interne associaties tussen losse lettergrepen te leggen. Nederlandse onderzoeksgroepen kiezen daarom voor twee methodologische oplossingen:
- Volledig nieuwe tokenizers trainen: Met SentencePiece (BPE of Unigram) wordt een vocabulaire opgebouwd van 64.000 tot 128.000 tokens dat specifiek is afgestemd op de morfologische structuur van het Nederlands, inclusief veelvoorkomende voorvoegsels en samengestelde woorden.
- Tokenizer surgery en vocabulary expansion: Het bestaande vocabulaire van een internationaal basismodel wordt uitgebreid met 10.000 tot 30.000 Nederlandse subwords. De bijbehorende nieuwe embeddings in de input- en outputlagen worden geïnitialiseerd via cross-linguale correlatiematrices en vervolgens gedurende een initiële trainingsfase ingebed.
Het onderstaande Python-fragment toont hoe een geoptimaliseerde SentencePiece Byte-Pair Encoding tokenizer wordt getraind op een gecureerd Nederlands corpus, inclusief expliciete context-tokens voor gestructureerde dataverwerking:
import sentencepiece as spm
spm.SentencePieceTrainer.train(
input='corpora/gecureerd_nederlands_corpus.txt',
model_prefix='nl_bpe_tokenizer_64k',
vocab_size=64000,
character_coverage=0.9998,
model_type='bpe',
max_sentence_length=16384,
split_digits=True,
byte_fallback=True,
pad_id=0,
unk_id=1,
bos_id=2,
eos_id=3,
user_defined_symbols=[
'[SYSTEM]', '[USER]', '[ASSISTANT]',
'[BRON_START]', '[BRON_EIND]', '[FEIT]'
]
)Pre-training from scratch versus continuous pre-training
Het trainen van een funderingsmodel vanaf nul (from scratch) biedt maximale vrijheid over de data-architectuur en licentiestatus, maar vergt astronomische budgetten. Om die reden kiezen universiteiten vaak voor een strategische balans tussen volledige nieuwbouw en continuous pre-training op bestaande open architecturen. Projecten zoals GEITje en GPT-NL laten zien hoe beide benaderingen hun eigen technische voor- en nadelen kennen.
Bij continuous pre-training vormt catastrophic forgetting het grootste risico: wanneer een bestaand model (bijvoorbeeld Mistral of Llama) uitsluitend gevoed wordt met Nederlandse teksten, overschrijven de nieuwe gradiënten eerdere neurale verbindingen. Het gevolg is dat het model weliswaar vloeiender Nederlands leert, maar ernstig inboet op complexe redeneervaardigheden, formele logica en codeerfunctionaliteit. Om dit degradatie-effect te voorkomen, maken onderzoekers gebruik van een replay buffer: het Nederlandse trainingscorpus wordt gemengd met 30% tot 50% hoogwaardige Engelstalige code- en wiskundedata (zoals StarCoder- en OpenWebMath-subsets).
Wie de bredere internationale beweging rondom gewichten en opensource-licenties wil volgen, vindt een uitgebreid kader in het overzicht over open-weight modellen uit internationale bronnen, waarin de distributiemechanismen van open gewichten wereldwijd worden geanalyseerd.
| Strategie | Compute-investering | Taalbeheersing NL | Redeneercapaciteit | Risico op degradatie |
|---|---|---|---|---|
| Scratch Pre-training | Extreem hoog (>100k GPU-uren) | Diep, authentiek, geen bias | Volledig afhankelijk van compute | Geen (geen eerdere kennis) |
| Continuous Pre-training | Gemiddeld (5k - 25k GPU-uren) | Uitstekend op idiomatisch niveau | Behoudt basis mits replay mix | Matig tot hoog (catastrophic forgetting) |
| Supervised Fine-Tuning (SFT) | Laag (100 - 1.5k GPU-uren) | Oppervlakkig / stilistisch | Gelijk aan onderliggend basismodel | Laag (beperkte gewichtsaanpassing) |
Instruction tuning en alignment: De Nederlandse context vatten
Een basismodel dat miljarden tokens heeft verwerkt is een krachtige patroonvoorspeller, maar nog geen behulpzame assistent. Het genereert tekstaanvullingen, maar begrijpt geen instructies of dialogen. De stap van ruw basismodel naar een instructievolgend model verloopt via Supervised Fine-Tuning (SFT) en Preference Alignment. In het verleden vertaalden onderzoekers Amerikaanse instructiesets (zoals Stanford Alpaca of ShareGPT) machinaal met vertaalmodellen, maar dit introduceerde zogeheten 'translationese': houterig Nederlands, Amerikaanse culturele aannames en onjuiste juridische concepten.
Nederlandse academici richten zich tegenwoordig op lokaal gecureerde instructiedatasets. Deze sets bevatten concrete taken uit de Nederlandse praktijk: het samenvatten van gemeentelijke beleidsnota's, het extraheren van juridische entiteiten uit rechtbankverslagen, en het beantwoorden van vragen over het Nederlandse belasting- en zorgstelsel. Hierbij wordt nadrukkelijk gestuurd op het verschil tussen formele aanspreekvormen (de 'u'-vorm) en informele interacties ('je'), wat in Engelstalige bronmodellen niet direct causaal verankerd zit.
Voor de alignment-fase wordt Direct Preference Optimization (DPO) of KTO (Kahneman-Tversky Optimization) verkozen boven traditionele RLHF met reward-modellen. DPO optimaliseert de beleidsparameters direct op paren van geprefereerde en afgewezen antwoorden. Hierdoor kunnen onderzoeksteams ongewenste biases, hallucinerende patronen en onveilige uitspraken gericht onderdrukken zonder dat er een instabiel secundair neuraal netwerk getraind hoeft te worden.
Juridische en ethische kaders: AVG, AI Act en PII-scrubbing
Waar commerciële entiteiten soms data scrapen onder het mom van fair use en achteraf schikkingen treffen, opereren publieke universiteiten binnen strikte ethische en juridische kaders. Onderzoeksprojecten moeten volledig voldoen aan de Algemene Verordening Gegevensbescherming (AVG) en de Europese AI Act. Dit betekent dat trainingsdata traceerbaar moet zijn en dat persoonsgegevens grondig moeten worden verwijderd voordat weights worden geoptimaliseerd.
Het anonimiseringsproces omvat geautomatiseerde pipelines met Named Entity Recognition (NER) modellen, aangevuld met deterministische regex-filters voor Burgerservicenummers (BSN), IBAN-rekeningnummers, telefoonnummers, e-mailadressen en postcode-huisnummercombinaties. Daarnaast vereist de AI Act dat trainingscorpora worden gedocumenteerd via gestandaardiseerde Data Sheets for Datasets en Model Cards, waarin expliciet wordt gerapporteerd over de herkomst van bronnen, auteursrechtenafspraken en potentiële demografische onevenwichtigheden in de data.
Evaluatiemethodiek: Waarom Engelstalige benchmarks tekortschieten
Het meten van modelkwaliteit vormt een van de meest hardnekkige uitdagingen in het Nederlandse LLM-onderzoek. Standaard benchmarks zoals MMLU (Massive Multitask Language Understanding), GSM8K (wiskundig redeneren) en HumanEval (code) zijn ontwikkeld voor de Engelse taal en de Amerikaanse context. Automatisch vertaalde versies van deze benchmarks introduceren structurele fouten: rekenopgaven verliezen hun semantische consistentie door vertaalfouten, en vragen over wetgeving of maatschappelijke ordening slaan de plank mis omdat ze refereren aan Amerikaanse staatsinstellingen.
Om prestaties werkelijk betrouwbaar te valideren, hebben Nederlandse universiteiten specifieke evaluatielijnen opgezet. Deze meten niet alleen grammaticale correctheid en woordenschat, maar testen modellen ook op gestandaardiseerde begrijpend-leestaken, Nederlandse wet- en regelgeving, en cultureel-historische kennis. Om te begrijpen hoe deze testopstellingen worden gestructureerd en welke methodologische valkuilen optreden bij geautomatiseerde beoordeling, biedt het overzicht over benchmarks voor Nederlandstalige modeloutput diepgaande technische achtergronden over objectieve evaluatiesuites.
Praktische implementatie: Modellen draaien in een lokale omgeving
Het academische doel van open AI-onderzoek is pas bereikt wanneer de getrainde gewichten daadwerkelijk ingezet kunnen worden in de maatschappij. De getrainde modellen worden gepubliceerd onder open licenties (zoals Apache 2.0 of MIT) op platforms zoals Hugging Face. Hierdoor kunnen overheidsinstanties, softwareontwikkelaars en zorginstellingen de gewichten downloaden en draaien op hun eigen servers, zonder afhankelijkheid van externe API-infrastructuur.
Omdat universiteitsmodellen variëren van compacte 7B/8B-modellen tot zwaardere 70B-varianten, speelt kwantisatie een cruciale rol bij de adoptie. Door de oorspronkelijke FP16- of BF16-gewichten met behulp van technieken zoals GGUF (voor CPU/Metal-inferentie) of AWQ/EXL2 (voor GPU-inferentie) te reduceren naar 4-bit of 8-bit precisie, draaien deze modellen soepel op gangbare werkstations en lokale servers. Deze verschuiving naar lokale autonomie werd al vroeg zichtbaar in de signalen uit de Nederlandse AI-scene in juli 2026.
Wie direct aan de slag wil met het hosten van academische gewichten op eigen hardware, vindt een concrete handleiding in het artikel over Nederlandse en Europese open modellen lokaal draaien, waarin runtime-optimalisaties en geheugenvereisten gedetailleerd worden uitgewerkt.
Conclusie: De balans tussen autonomie, kosten en slagkracht
Het trainen van open taalmodellen aan Nederlandse universiteiten toont aan dat technologische onafhankelijkheid haalbaar is, mits er scherpe keuzes worden gemaakt. Kennisinstellingen kunnen qua brute rekenkracht en budget niet wedijveren met commerciële giganten die honderden miljoenen in individuele trainingsruns investeren. Door zich echter te focussen op superieure datakwaliteit, taalspecifieke tokenization, methodologische transparantie en strikte ethische normen, leveren Nederlandse onderzoekers modellen af die voor het lokale taalgebied van onschatbare waarde zijn.
De combinatie van nationale rekeninfrastructuur bij SURF, Europese samenwerking via EuroHPC en een open-source distributiestrategie zorgt ervoor dat het Nederlandse taalgebied niet degradeert tot een louter consumerende markt voor buitenlandse black-box systemen, maar een zelfstandige, onderzoekende en soevereine positie binnen het wereldwijde AI-landschap behoudt.
