Een model dat jouw werk kent

Ik heb een classificatiemodel gebouwd dat op foto’s moest zien of iets goed of afgekeurd was, en dat project heeft me vooral geleerd waar dit soort werk in de praktijk op stukloopt. Die lessen zijn waardevoller dan de lijst met technieken eronder, dus die staan hier.

Het model dat het beste scoorde, was het slechtste model. De training koos automatisch het exemplaar met de laagste fout, en dat bleek een model dat simpelweg alles goedkeurde. Op papier prachtig, in de praktijk vangt het niets. Sindsdien kijk ik nooit meer naar één getal, maar altijd naar wat er misgaat en wat dat kost.

De meting was eerst een illusie. Foto’s uit dezelfde partij zaten zowel in de oefenset als in de toets, en dan meet je hoe goed het model onthoudt in plaats van hoe goed het herkent. Dat is de meest gemaakte fout in dit vak en hij is van buiten niet te zien: de cijfers zien er juist te mooi uit.

En er is bijna altijd een knop die geen hertraining kost. Waar je de grens legt tussen goed en afgekeurd, bepaalt of je meer fouten vangt of minder goede producten weggooit. Dat is een bedrijfskeuze en geen technische, en het is precies het gesprek dat ik met je wil voeren voordat er iets gebouwd wordt.

De eerste vraag is altijd of het met een paar voorbeelden kan. Bij beeldherkenning en voorspellen: nee. Reken op honderden voorbeelden per categorie, en dat geldt net zo hard voor de categorie die je juist wilt vangen. Twintig foto’s van een defect is te weinig om een model te leren wat een defect ís, hoe goed de rest van je data ook is.

Wat je verder nodig hebt is iemand die kan zeggen wat goed en wat fout is. Een model leert van dat oordeel, dus als twee collega’s het oneens zijn over dezelfde foto, is dat een probleem dat vóór de training opgelost moet worden. Dat kost tijd van jouw kant, en dat staat vooraf in de offerte in plaats van halverwege.

Bij een optimalisatiemodel ligt het precies andersom. Dat leert niet van voorbeelden maar van regels, dus de vraag is niet hoeveel data je hebt maar of iemand kan opschrijven waar een goede planning aan moet voldoen. Dat klinkt makkelijker en is het meestal niet: de helft van die regels zit in het hoofd van degene die het nu doet, en komt er pas uit als het model iets voorstelt wat duidelijk niet kan.

En dit is onderzoek, geen bouwopdracht. Bij een website weet ik van tevoren dat hij er komt en gaat het alleen nog over hoe. Hier is “het kan niet goed genoeg” een geldige uitkomst waar je vooraf voor tekent. Daarom is de scan er, daarom is de beeldherkenning een proefproject, en daarom hoor je van mij een bereik en nooit een percentage voordat ik je data gezien heb.

Je gegevens gaan naar een server die ik zelf beheer, in Nederland. Dat is geen marketingzin maar het verschil met vrijwel elke partij in dit segment: die sturen jouw documenten en foto’s naar een dienst in de Verenigde Staten en noemen dat maatwerk.

Er komt geen externe AI-dienst aan te pas. De drie modellen hierboven train ik zelf op jouw materiaal en ze draaien daarna op diezelfde server. Zou er in jouw geval toch iets van buiten nodig zijn, dan hoor je dat vóórdat het gebeurt, staat het met naam en vestiging in de privacyverklaring en in het verwerkersregister, en sluiten we een verwerkersovereenkomst.

Wat je aanlevert om mee te trainen blijft van jou. Ik gebruik het niet voor andere klanten en niet om iets algemeens mee te verbeteren, en na afloop krijg je het terug of wordt het verwijderd. Dat staat in de opdracht en niet alleen op deze pagina.

Geen camera’s ophangen aan een productielijn. Zodra er belichting, hardware en een koppeling met de besturing bij komt kijken, praat je over een investering van tienduizenden euro’s en over onderhoud ter plaatse. Dat is werk voor een partij met monteurs, en ik zeg je liever meteen dat ik dat niet ben.

Geen beslissingen over mensen. Medische inschattingen, kredietwaardigheid, het voorselecteren van sollicitanten: die toepassingen vallen deels in de hoog-risicocategorie van de AI-verordening, met verplichtingen die een eenmanszaak niet kan dragen en met gevolgen die je niet wilt uitleggen als het misgaat.

Geen chatbots en geen taalmodellen. Dat is de drukste hoek van de markt en de makkelijkste om binnen te stappen: een sleutel bij een Amerikaanse aanbieder, een paar documenten erin en je hebt een product. Alleen train je dan geen model maar bouw je een schil om dat van iemand anders, en dan is alles hierboven over waar je data blijft niet meer heel te houden. Vandaar drie modellen die ik zelf train, en verder niets.

En geen nauwkeurigheid beloven voordat ik je data gezien heb. Wie je vooraf een percentage geeft, verkoopt je een gok met het gezag van een getal.