Voor indie developers die hun eigen AI-agents en workflows draaien, is de keuze tussen cloud-API's en lokale Large Language Models (LLM's) een constante afweging tussen kosten, privacy en latency. Velen hebben in het verleden lokale modellen tijdelijk geparkeerd omdat de prestaties op consumentenhardware, zoals een oudere Mac of een bescheiden thuisserver, simpelweg niet voldeden voor productie-achtige taken. De beloofde snelheid bleef achter en de integratie met complexe agent-workflows verliep stroef.
In juli 2026 zien we echter een aantal signalen die dwingen tot een heroverweging. Dankzij diepe integratie van Apple's MLX-framework in Ollama en de introductie van native agent-functies, is het lokale LLM-landschap drastisch veranderd. Is het tijd om je lokale gateway (zoals LiteLLM) weer aan te slingeren?
De MLX-revolutie in Ollama: Apple Silicon krijgt vleugels
Het belangrijkste signaal van dit kwartaal is de transitie van Ollama's inference-engine naar MLX op Apple Silicon, die werd ingezet vanaf versie 0.19. MLX, het open-source machine learning framework van Apple zelf, is specifiek ontworpen om het gedeelde geheugen (unified memory) en de GPU-architectuur van Apple-chips optimaal te benutten.
Volgens recente benchmarks op Will It Run AI levert deze overstap spectaculaire prestatiewinsten op. Op een M1 Max met 64GB geheugen steeg de decodeersnelheid van een schamele 3,19 tokens per seconde naar maar liefst 23,39 tokens per seconde—een versnelling van bijna zeven keer. Daarnaast zorgt de MLX-engine voor 15% tot 30% meer throughput en verbruikt het ongeveer 10% minder geheugen in vergelijking met de oude engine. Zelfs op de nieuwste M5 Max-chips zien we een prefill-verbetering van 57% en een decode-winst van 93%.
Waarom dit relevant is: Als je voorheen lokale inferentie had afgeschreven omdat je ontwikkelmachine te traag was om bruikbare antwoorden te genereren binnen je workflows, dan is dit het moment om je setup opnieuw te testen. Een decodeersnelheid van ruim 20 tokens per seconde is snel genoeg voor interactieve toepassingen en real-time agent-beslissingen. Je kunt hiermee aanzienlijk besparen op API-kosten door routinetaken lokaal af te handelen.
Ollama v0.32.x: Agent-modus en cruciale bugfixes
Ollama ontwikkelt zich snel door en heeft in juli 2026 de v0.32.x-lijn uitgebracht. De release-informatie op releases.sh toont aan dat Ollama transformeert van een simpele model-runner naar een volwaardig runtime-platform voor agents.
Vanaf versie 0.32.0 is er een interactieve agent-modus ingebouwd die direct ondersteuning biedt voor chat, code-generatie, websearch en taakdelegatie. Bovendien lost de recente v0.32.2 (16 juli) een hardnekkig probleem op: een geheugenlek in de MLX model-cache die ervoor zorgde dat systemen na verloop van tijd vastliepen. Ook de tool-calling capaciteiten van Gemma 4 zijn in deze release aanzienlijk verbeterd. De meest recente stabiele versie is inmiddels v0.32.3 (23 juli).
Waarom dit relevant is: De toevoeging van een native agent-modus betekent dat je minder externe 'lijmcode' nodig hebt om complexe interacties op te zetten. Als je bijvoorbeeld een lokale LLM-gateway gebruikt om je modellen te ontsluiten naar je n8n-workflows, zorgt de verbeterde tool-calling in Gemma 4 ervoor dat je agents betrouwbaarder gestructureerde JSON kunnen genereren en externe API's kunnen aanroepen. De fix voor het cache-lek is daarnaast essentieel voor homelabs die 24/7 in de lucht moeten blijven zonder handmatige herstarts.
Bandbreedte is de bottleneck: M1 versus M5
Hoewel de software-optimalisaties indrukwekkend zijn, herinnert de hardware-realiteit ons eraan dat LLM-inferentie fundamenteel beperkt wordt door geheugenbandbreedte. De LLMCheck benchmark-index laat zien hoe groot de kloof is tussen verschillende generaties Apple Silicon.
Een standaard M1-chip heeft een bandbreedte van ongeveer 100 GB/s, terwijl een M4 Max maar liefst 546 GB/s haalt. Dit betekent dat grotere modellen op oudere chips structureel traag zullen blijven, ongeacht hoe efficiënt de software is. De benchmarks tonen aan dat op oudere hardware (M1/M2) met name kleine Mixture of Experts (MoE) en compacte modellen, zoals Gemma 4 E2B en Phi-4 Mini, de enige categorieën zijn die soepel en comfortabel draaien.
Dit wordt ondersteund door onderzoek van Apple Machine Learning Research naar LLM's met MLX op de M5 GPU. Apple legt hierin uit hoe MLX de specifieke 'neural accelerators' in de nieuwste M5-architectuur aanspreekt. De winst zit hierbij voornamelijk in de prefill-fase (het verwerken van de prompt). Dit bevestigt dat de grootste architectonische sprongen voorbehouden zijn aan de nieuwste hardware.
Waarom dit relevant is: Dit signaal helpt je om realistische verwachtingen te scheppen en voorkomt dat je onnodig investeert in dure hardware-upgrades puur voor lokale inferentie. Als je op een oudere Mac werkt, moet je niet proberen om zware 70B-modellen te draaien. Richt je in plaats daarvan op sterk geoptimaliseerde, kleinere modellen die specifiek ontworpen zijn voor efficiëntie.
De beste lokale modellen voor 16GB Macs
Voor veel indie developers is een Mac met 16GB gedeeld geheugen de standaard werkplek. Een gids op Atomic Chat vat de huidige community-consensus samen voor deze specifieke hardwareklasse in 2026:
- Qwen 3.5 9B (Q4_K_M quantisatie, ~6,6 GB): De absolute allrounder voor algemene taken en code-assistentie. Hij past comfortabel in het geheugen en laat genoeg ruimte over voor het besturingssysteem en andere applicaties.
- Mistral Small 3 7B: Uitstekend geschikt wanneer throughput (tokens per seconde) belangrijker is dan maximale intelligentie.
- Gemma 4 E4B: Een zeer lichte en snelle kandidaat voor eenvoudige classificatie- en extractietaken.
Waarom dit relevant is: Het selecteren van het juiste model voorkomt dat je systeem gaat 'swappen' naar de SSD, wat de prestaties dramatisch verlaagt en de levensduur van je schijf verkort. Door deze shortlist te gebruiken, kun je direct aan de slag met modellen die bewezen stabiel draaien op een 16GB-machine.
Wat kun je hiermee?
De ontwikkelingen in juli 2026 laten zien dat lokale LLM's volwassen worden. De prestatiewinsten door MLX en de functionele uitbreidingen in Ollama maken het een serieus alternatief voor veel alledaagse ontwikkeltaken. Concrete stappen die je nu kunt nemen:
- Update je stack: Breng je lokale Ollama-installatie naar v0.32.3 om te profiteren van de MLX-optimalisaties en de opgeloste cache-leaks.
- Optimaliseer je model-routing: Richt je lokale gateway zo in dat eenvoudige taken (zoals tekstclassificatie of eerste-lijns code-generatie) naar een lokaal model zoals Qwen 3.5 9B of Gemma 4 E2B worden gestuurd. Gebruik alleen cloud-API's voor complexe redeneertaken. Zie voor meer informatie over slimme routering onze gids over model-routing.
- Voer een hardware-nulmeting uit: Test de decodeersnelheid van je huidige Apple Silicon machine met de nieuwe MLX-engine. Bepaal op basis daarvan of je lokale setup snel genoeg is voor je n8n-workflows, of dat je voorlopig nog afhankelijk blijft van externe API's.