# Shadow A/B: vier beslismodellen naast elkaar (log, dag 1) llmnet.nl · radar · log # Shadow A/B: vier beslismodellen naast elkaar (log, dag 1) Vier beslismodellen krijgen elke dag dezelfde 15 poortvragen, alleen tekst, alleen meelezen. Dag 1: 120 antwoorden, 0 fouten. Wie is het snelst, en wie kiest hetzelfde als Jev? Door Ivo Donker · 13 november 2026 — meting en tekst: College (AI, Grok Bot) Sinds 13 november 2026 draaien vier beslismodellen naast elkaar op dezelfde 15 poortvragen: Jev, Decider Flash, Clef Flash en Gemini Decision 1. Op dag 1 gaven alle vier 120 antwoorden zonder één fout. Jev was het snelst (mediaan 91 ms), Gemini Decision 1 het traagst (336 ms), maar Gemini koos het vaakst dezelfde route als Jev (12 van 15). Dit is een log, geen eindoordeel: de test loopt tot en met 20 november. Achtergrond over het nieuwste model in de test staat in ons artikel over [Gemini Decision 1 en de Gemini Decisions API](https://radar.llmnet.nl/gemini-decision-1). ## Opzet - Shadow, alleen tekst. De modellen beslissen niets. Hun uitkomsten worden alleen gelogd; de bestaande routering werkt zoals altijd. - 15 vaste taken uit een eigen dagelijkse workflow: een ochtenddigest van AI-nieuws, orkestratie, lokaal scriptwerk en beperkt onderzoek. Elke dag dezelfde lijst, zodat dagen vergelijkbaar blijven. - Twee vragen per taak. Een noul-vraag (ja/nee): is deze taak een externe modelcall waard? En een choice-vraag: wat is de goedkoopste veilige route, uit vijf opties (overslaan, lichte cloud-run, lokaal, wachtrij, beperkt onderzoek). - Jev is de referentie-arm. "Gelijk aan Jev" betekent: dezelfde keuze, of bij noul dezelfde kant van 0,5. Dat zegt iets over overeenstemming, niet over wie gelijk heeft. ## De vier armen De vier armen Arm | Aanbieder en route | jev | TypeSafe System One API, jev-1.14.0 | decider-flash | Perplexity Decider Flash v1.3 via OpenRouter (gratis variant) | clef-flash | Cloudflare Workers AI, @cf/cloudflare/clef-flash | gemini-decision-1 | Gemini API, Decisions-endpoint | ## Dag 1: snelheid en overeenstemming 15 taken × 2 vragen × 4 armen = 120 antwoorden, 0 fouten. Latency is per request gemeten vanaf één testmachine, inclusief netwerk. Dag 1: snelheid en overeenstemming Arm | Mediaan | Gemiddeld (min–max) | Choice gelijk aan Jev | Noul gelijk aan Jev | jev | 91 ms | 98 ms (75–140) | — | — | decider-flash | 140 ms | 141 ms (113–199) | 10/15 | 14/15 | clef-flash | 235 ms | 289 ms (173–664) | 7/15 | 14/15 | gemini-decision-1 | 336 ms | 316 ms (230–373) | 12/15 | 12/15 | ### Onderling Onderling Paar | Choice gelijk | Noul gelijk | Gem. verschil noul-kans | gemini-decision-1 vs jev | 12/15 | 12/15 | 0,086 | decider-flash vs jev | 10/15 | 14/15 | 0,117 | clef-flash vs jev | 7/15 | 14/15 | 0,144 | clef-flash vs decider-flash | 8/15 | 15/15 | 0,111 | decider-flash vs gemini-decision-1 | 8/15 | 11/15 | 0,133 | clef-flash vs gemini-decision-1 | 5/15 | 11/15 | 0,209 | ### Welke route kiezen ze? Welke route kiezen ze? Arm | Lichte cloud-run | Lokaal | Overslaan | Beperkt onderzoek | jev | 10 | 2 | 3 | 0 | gemini-decision-1 | 11 | 2 | 1 | 1 | decider-flash | 6 | 6 | 3 | 0 | clef-flash | 2 | 9 | 4 | 0 | Het patroon: Jev en Gemini Decision 1 sturen het meeste naar een lichte cloud-run, Clef Flash houdt het liever lokaal, Decider Flash zit ertussenin. Op de ja/nee-vraag zijn ze het veel vaker eens dan op de routekeuze. Geen enkele arm koos op dag 1 de wachtrij. ## Locate: spans terugvinden in de tekst Een aparte test vraagt Decider Flash (via het extractions-endpoint van OpenRouter) om in 20 vaste radar-items de genoemde namen aan te wijzen, met begin- en eindpositie in de tekst. Locate: spans terugvinden in de tekst Meting | Dag 1 | Items | 20/20 zonder fout | Spans | 33 | Offsets die exact kloppen met de brontekst | 33/33 | Latency | mediaan 191 ms (170–225) | ## Wat dit wel en niet zegt - Eén dag, 15 taken. Te weinig om een model te kiezen. - Overeenstemming met Jev is geen juistheid. Er zijn nog geen handmatig gelabelde antwoorden. - Latency hangt af van waar je meet en van de tier: Decider Flash draait hier op een gratis variant. - Alleen tekst. Beeld, audio en pdf zitten niet in deze test. De test draait dagelijks door tot en met 20 november 2026. Daarna werken we deze pagina bij met het weekoverzicht. Gemeten en geschreven met AI (College, Grok Bot). Ruwe cijfers uit de daglogs van 13 november 2026. ## Bronnen - llmnet radar, "Gemini Decisions API: Google's beslismodel Gemini Decision 1": [radar.llmnet.nl](https://radar.llmnet.nl/gemini-decision-1) - TypeSafe-documentatie, System One (Jev): [docs.typesafe.ai](https://docs.typesafe.ai/concepts/system-one) - Cloudflare, "Introducing Clef: our open-source decision models": [blog.cloudflare.com](https://blog.cloudflare.com/clef-decision-models/) - Google, "Gemini Decisions API: Fast, calibrated multimodal decisions": [blog.google](https://blog.google/innovation-and-ai/technology/developers-tools/gemini-decisions-api/) - OpenRouter, Perplexity Decider Flash: [openrouter.ai](https://openrouter.ai/perplexity) Verder op llmnet: [Gemini Decision 1](https://radar.llmnet.nl/gemini-decision-1) · [LiteLLM-proxy: load balancing en fallback](https://radar.llmnet.nl/litellm-proxy-tracker-load-balancing-en-fallback-gedrag) · [Model-API-prijswijzigingen](https://radar.llmnet.nl/model-api-prijswijzigingen-wie-verlaagde-wat) llmnet.nl — kennisnetwerk over AI en LLM's. Cijfers uit de daglogs van 13 november 2026. Achtergrond: [Gemini Decision 1](https://radar.llmnet.nl/gemini-decision-1).