Wat er speelt

Een maand vol beslismodellen

Op 15 september bracht TypeSafe Jev uit, voorlopig in beperkte vorm. Twee weken later draaide het model al bij 35 procent van de betalende teams op het AI-platform van Vercel, dat spreekt van de snelste adoptie die een model ooit in zijn eerste twee weken heeft doorgemaakt. Daarna volgden de ontwikkelingen elkaar in hoog tempo op. Binnen vier weken verschenen er zo'n twintig vergelijkbare modellen, onder meer van Cloudflare, Perplexity en Liquid AI. OpenAI kondigde op 29 september de Decisions API aan, die sinds 6 oktober in publieke bèta staat, en Microsoft bracht op 9 oktober Decision-1 uit. Ook Snowflake en Databricks bouwen de techniek in, al zijn die versies nog niet algemeen beschikbaar.

Een taalmodel schrijft, een beslismodel kiest

Het verschil zit in wat er terugkomt. Een taalmodel antwoordt met tekst, of dat nu een samenvatting, een antwoord of een voorstel is. Een beslismodel krijgt een vraag voorgelegd waarvan de mogelijke antwoorden vooraf vastliggen, kiest daar één uit en hangt er een kans aan: een getal tussen 0 en 1. Meer komt er niet terug.

Het werkt als een meerkeuzeformulier. De vraag kan een keuze uit een lijst zijn ("welke discipline?"), een score op een schaal ("hoe urgent, van 1 tot 5?") of de kans dat iets klopt ("is dit een spoedmelding?"). Een toelichting op de keuze komt er niet bij, en rekenen kan het model evenmin, zodat het advies luidt om bedragen, datums en drempelwaarden vooraf in gewone software uit te rekenen.

Waarom dan alle ophef? Prijs en snelheid. Een miljoen classificaties van 500 tokens kost bij Jev rond de $21 en bij OpenAI rond de $50, en OpenAI noemt de Decisions API ongeveer tien keer sneller dan het gewone taalmodel. Databedrijf MotherDuck liet Jev 100.000 nieuwsartikelen indelen, wat 40 seconden en 50 cent kostte bij 89 procent juiste antwoorden. Een taalmodel van OpenAI deed er 32 minuten over, kostte $37,58 en kwam uit op 88 procent.

Wat de cijfers niet vertellen

Bijna alle cijfers komen van de leveranciers zelf of van bedrijven die het product net hebben ingebouwd, en de vergelijkingen spreken elkaar bovendien tegen. Op een test met bankvragen scoort het model van Cloudflare duidelijk beter dan Jev, terwijl het bij wetenschappelijke vragen precies andersom uitvalt. Dat Jev het snelst werd omarmd, zegt evenmin iets over hoe goed het classificeert.

Dan de bewering dat een beslismodel niet kan hallucineren. Die klopt voor zover het geen tekst kan verzinnen, want het antwoord is altijd een van de opties; een verkeerde optie kiezen kan het wel degelijk. De kans die het model opgeeft, heet gekalibreerd: over veel antwoorden heen zou een 0,8 in ongeveer 80 procent van de gevallen juist moeten zijn. Of dat ook opgaat voor de eigen meldingen, zal een bedrijf zelf moeten toetsen. Onderzoekers van HiddenLayer lieten daarnaast zien dat Jev zich laat misleiden door verborgen instructies in de tekst die het leest. Onder de motorkap is een beslismodel gewoon een taalmodel, en een vaste antwoordvorm biedt daartegen geen bescherming.

Tot slot de praktische kant voor een Europees bedrijf: Jev is gesloten software die in de Verenigde Staten draait, terwijl OpenAI voor de Decisions API wel gegevensopslag binnen de EU aanbiedt.

Wat het betekent voor de technische service

Zo gaat het nu

Waar servicebedrijven nu AI op hun meldingen loslaten, doet in de opzetten die Captain Workflow tegenkomt meestal één taalmodel alles tegelijk: het leest de klantmail, bepaalt de categorie, schat de urgentie in, haalt adres en foutcode eruit en schrijft een samenvatting voor de planner. Dat werkt, alleen leunen al die stappen op hetzelfde model, en het eigenlijke oordeel ("spoed of niet?") ligt begraven in een lap tekst.

Vaste vragen, grote aantallen

Een beslismodel komt tot zijn recht bij een vraag die steeds terugkeert en waarvan de antwoorden vastliggen. Daaraan is in een servicebedrijf geen gebrek:

• Is deze storingsmelding een spoedmelding? Ja of nee, met een kans.
• Welke discipline hoort erbij: cv en gas, koeling, elektra of sanitair?
• Is deze werkbon compleet: handtekening, materiaal en uren ingevuld?
• Valt deze factuurregel binnen het onderhoudscontract, of is het meerwerk?

Neem de mail "ketel boven doet niks meer, knippert F28 of zo, we zijn vanaf 3 uur thuis, oma woont bij ons". Een taalmodel maakt daar een nette samenvatting van. Een beslismodel beantwoordt alleen de vraag of het spoed is, en komt bijvoorbeeld uit op: ja, 0,92.

De kans is het eigenlijke nieuws

Voor een COO is dat getal interessanter dan de prijs, want met een kans bij elk antwoord wordt twijfel meetbaar. Een bedrijf kan afspreken dat alles boven 0,9 automatisch als spoedmelding de planning in gaat en dat alles daaronder bij de planner belandt. Die drempel is een bedrijfskeuze, net als de lijst met mogelijke antwoorden, en wie bepaalt welke disciplines er in de keuzelijst staan, bepaalt daarmee ook hoe de planning eruitziet. Een keuzelijst is beleid dat zich voordoet als instelling. Die keuze hoort dan ook bij operations te liggen.

Waar het niet past

Een beslismodel schrijft geen werkbontekst, maakt geen samenvatting voor de monteur, rekent geen uren maal tarief uit en stelt geen rooster op. Harde regels, zoals toewijzen op postcodegebied en certificaat, horen thuis in gewone software, die goedkoper en sneller is en elke keer hetzelfde doet. Bedrijven die er al mee werken, adviseren drie lagen: wat een vaste regel kan beslissen, gaat naar een regel; veel gelijksoortige, vage oordelen gaan naar een beslismodel; alleen wat werkelijk lastig is, gaat naar een groot taalmodel.

Een nuchtere rekensom

De prijsverschillen klinken spectaculair, maar de schaal van een servicebedrijf is bescheiden. Neem een indicatief voorbeeld, met als aannames 300 meldingen per dag en 500 tokens per melding: dat komt neer op ruim 100.000 meldingen per jaar. Het beoordelen daarvan kost met Jev ongeveer $2 per jaar en met een klein taalmodel van OpenAI ongeveer $8. Bij zulke aantallen is de prijs geen argument. Wat een beslismodel wel oplevert, is een vast antwoord met een kans dat zonder verdere interpretatie in de planning past.

Waar de schaal wel groot is, is het archief. Vijf jaar aan werkbonnen en storingsmeldingen in één keer indelen naar storingsoorzaak, discipline of terugkerende klacht kost met een beslismodel een paar dollar, en afgaand op de test van MotherDuck waarschijnlijk enkele minuten.

Hype, bruikbaar en wanneer

De hype zit in de grote woorden. "Hallucineert nooit" klopt alleen voor zover het om verzonnen tekst gaat, en snelheidsclaims als "35 keer sneller" of adoptiecijfers zeggen niets over de kwaliteit op de meldingen van een Nederlands installatiebedrijf. Daarbij zijn de producten nog maar weken oud: Jev is een beperkte uitgave en de API van OpenAI een bèta.

Bruikbaar is het nu vooral voor eenmalig werk op historische data, waar geen dagelijkse planning van afhangt en waar de uitkomsten met een steekproef te controleren zijn. Voor de dagelijkse stroom meldingen is het verstandig te wachten tot planningssoftware de techniek inbouwt en duidelijk is waar de gegevens worden verwerkt.

Wie toch wil beginnen, kan de belofte in drie stappen toetsen:

1. Laat een paar honderd eigen meldingen beoordelen en leg de uitkomst naast het oordeel van de planner. Klopt een 0,9 werkelijk negen van de tien keer?
2. Ga na waar het model draait en of er een verwerkersovereenkomst is die past bij klantgegevens.
3. Leg vast wie de antwoordopties en de drempel beheert, en zorg dat dat iemand uit de operatie is.