Waarditindepraktijkovergaat
Keuren wat er binnenkomt of uitgaat
Een partij komt binnen en iemand kijkt of er iets tussen zit dat eruit moet. Dat werk is traag, het wordt aan het eind van de dag anders gedaan dan aan het begin, en twee mensen doen het net verschillend.
Tellen wat te veel is om te tellen
Hoeveel exemplaren staan er op deze foto, hoeveel zitten er in deze bak. Een mens telt dat één keer nauwkeurig en de tiende keer niet meer.
Sorteren op categorie
Retouren, afval, onderdelen: het gaat niet om goed of fout maar om welke van de zes bakken. Dat is een ander probleem dan keuren, en meestal een makkelijker.
Controleren of iets er is
Zit het etiket erop, staat de dop er recht op, ontbreekt er een onderdeel. Vaak het beste startpunt, omdat de vraag scherp is en de fout goed te zien.
Watjemoetaanleveren,enwaaromdatdemoeilijkstestapis
Honderden beelden per categorie. Niet honderden in totaal: honderden per categorie, en dat geldt net zo hard voor de categorie die je juist wilt vangen. Twintig foto's van een defect is te weinig om een model te leren wat een defect ís, hoe goed de rest van je materiaal ook is.
Iemand moet zeggen wat goed en wat fout is. Dat is niet iets wat ik voor je kan doen: het model leert jouw oordeel, en dat oordeel zit bij jou in huis. Zijn twee collega's het oneens over dezelfde foto, dan is dat geen detail maar een probleem dat vóór de training opgelost moet worden. Meestal blijkt daar dat de norm zelf nooit is opgeschreven.
En de omstandigheden moeten lijken op wat er straks gebeurt. Beeld dat met de telefoon bij het raam is gemaakt, leert een model iets over daglicht. Draait het straks onder tl-licht op een andere hoogte, dan is dat een ander probleem dan waarop het geoefend heeft.
Hoejeweetofhetwerkt,ingewonetaal
Eén getal zegt hier niets, en dat is geen bescheidenheid maar de kern. Twee getallen zeggen wel iets. Het eerste: van de honderd stuks die het model afkeurt, hoeveel zijn er echt fout? Het tweede: van de honderd stuks die écht fout zijn, hoeveel vangt het model? Die twee gaan tegen elkaar in.
Daar zit een knop tussen die geen hertraining kost. Waar je de grens legt, bepaalt of je meer fouten vangt of minder goed product weggooit. Dat is een bedrijfskeuze, geen technische: wat kost een gemiste fout jou, en wat kost een onterecht afgekeurd stuk? Met die twee bedragen is de grens uit te rekenen. Zonder die bedragen is het een gok, en dan is de standaardinstelling van de software net zo goed als wat dan ook.
Gemeten wordt op beeld dat apart is gehouden en dat het model nooit heeft gezien, en dat apart houden gebeurt op partij en niet op foto. Waarom dat uitmaakt staat hieronder.
Tweedingendieikzelffouthebgedaan
Het model dat het beste scoorde, was het slechtste model. De training koos automatisch het exemplaar met de laagste fout, en dat bleek een model dat simpelweg alles goedkeurde. Als negen van de tien stuks goed zijn, heeft “alles is goed” negentig procent gelijk. Op papier prachtig, in de praktijk vangt het niets. Sindsdien kijk ik nooit meer naar één getal.
De meting was eerst een illusie. Foto's uit dezelfde partij zaten zowel in de oefenset als in de toets. Het model herkende de partij en niet het defect, en scoorde daardoor prachtig op materiaal dat het in feite al kende. Dit is de meest gemaakte fout in dit vak en hij is van buiten niet te zien: de cijfers zien er niet fout uit, ze zien er te mooi uit.
Beide fouten kosten je niets als je ze vóór de oplevering vindt, en alles als je ze erna vindt. Daarom is dit een proefproject met een meting aan het eind, en niet een bouwopdracht met een oplevering.
Wathetkost
Eén ja-of-nee-oordeel op beeld uit één vaste opstelling: dezelfde afstand, hetzelfde licht, dezelfde achtergrond.
Tot vijf categorieën, of beeld dat per bron of per seizoen verschilt. Dan moet het model leren wat er niet toe doet, en dat kost meer voorbeelden en meer rondes.
Veel categorieën, meerdere modellen naast elkaar, of uitzonderingen die je stuk voor stuk moet vangen omdat ze zelden voorkomen maar duur zijn.
Alle bedragen zijn exclusief btw.
Wanneerjehiernietaanmoetbeginnen
Als er camera's, belichting en een koppeling met een besturing bij komen kijken, is dit niet het goede adres. Dan praat je over een investering van tienduizenden euro's en over onderhoud ter plaatse, en dat is werk voor een partij met monteurs. Wat ik doe stopt bij beeld dat je aanlevert en een uitkomst die je terugkrijgt.
En niet op mensen. Beeld waarop je personen wilt herkennen met het doel ze te identificeren is biometrie in de zin van de AVG, en die opdrachten neem ik niet aan.
Zoek je iets anders?
Vragendiehierbijhoren
- Ik heb duizenden foto's, maar ze zijn niet beoordeeld. Telt dat?
- Dat is een goed begin en nog geen dataset. Een model leert van het oordeel, niet van het beeld; zonder oordeel is het materiaal om te oefenen er wel, maar het antwoord niet. Het beoordelen kan meestal steekproefsgewijs beginnen, zodat je na een paar honderd al weet of het de moeite is.
- Hoe nauwkeurig wordt het?
- Dat weet ik niet voordat ik je beeld gezien heb, en wie het wel zegt verkoopt je een gok met het gezag van een getal. Wat ik wél kan: na de eerste ronde op jouw materiaal een eerlijk bereik geven, en dan besluit je of je doorgaat.
- Kan het model draaien zonder internet?
- Ja. Het model is een bestand; het kan op een machine bij jou draaien in plaats van via een koppeling. Dat is een keuze die je vooraf maakt, want het bepaalt hoe het model wordt ingepakt.
- Wat als mijn product verandert?
- Dan zakt het model weg, en dat gebeurt zonder foutmelding. Een model dat een nieuwe verpakking nog nooit gezien heeft, weet niet dat het iets niet weet. Daarvoor is het beheerabonnement: elke maand opnieuw meten op verse beelden, en hertrainen zodra het wegzakt.