ObsIdentify (NIA) is het beeldherkenningsprogramma dat gebruikt wordt door waarneming.nl om foto's van planten en dieren te identificeren. Het resultaat is één of meer soortnamen gerangschikt volgens een percentage van 0% tot 100%. Alles boven de 90% wordt als 'zeker' gerekend en automatisch goed gekeurd. Als er twee soorten op de foto staan, kiest ObsIdentify doorgaans degene met de hoogste waarschijnlijkheid. Vaak is dat de soort die in het midden van het beeld staat. De waarnemer kan van die keuze afwijken, maar kan altijd maar één soort invullen. Uiteindelijk keurt een moderator de identificatie goed. De keuze van de soort heeft gevolgen...
|
|
Foto1. ObsIdentify: 'Boomkikker 19%' [originele
foto Nick Janssen] In waarneming.nl goedgekeurd als: Groene Kikker onbekend |
|
| Foto 2. ObsIdentify: 'Baars 75%' |
|
| Foto 3. ObsIdentify: 'Rietvoorn 65%' |
|
| Foto 4. ObsIdentify: 'Rietvoorn 51%' |
|
|
Foto 5. ObsIdentify: 'Driedoornige stekelbaars
63%' ObsIdentify ziet spoken! |
Hierboven zie je vijf maal dezelfde foto van Blauwe reiger met een kikker. Ik heb steeds iets meer van de foto afgesneden totdat de kikker niet meer zichtbaar is en de reiger alleen overblijft. Het resultaat is verbluffend! Zelfs bij de laatste foto waarin alleen de kop van de reiger nog te zien is, blijft ObsIdentify het prooidier zien! (Driedoornige stekelbaars). De Blauwe reiger komt niet eens voor in het lijstje van mogelijke soorten! Waar haalt hij die informatie vandaan? Ik had verwacht dat de Blauwe reiger in deze reeks foto's oplopende zekerheden zou krijgen. Fout. Vooral de laatste foto is verbazingwekkend omdat het ook nog eens een goede scherpe foto is. Niets mee aan de hand. ObsIdentify heeft letterlijk duizenden foto's van Blauwe reigers gezien en leren herkennen. Inclusief heel veel slechte foto's (zie hieronder) [1]. ObsIdentify zou Foto 5 met hoge zekerheid moeten kunnen herkennen!
Mijn verklaring is dat de handmatige identificatie door de moderator bepalend is voor wat ObsIdentify leert herkennen. Voor iedereen is het duidelijk dat er een Blauwe reiger op de foto staat. Zelfs een leek zal hem niet met een andere soort verwarren. Dat is dus minder interessant. Als je moet kiezen tussen 'Blauwe reiger' en 'kikker' dan kiezen waarnemers en moderators voor de kikker. Daarmee zeggen ze in feite: op deze foto staat een kikker. Wat mensen interessant vinden is het prooidier. Een snoek? Rietvoorn? Wezel? Woelrat? Groene kikker? Aal? Het probleem is: je kunt maar één soort invoeren. Dus je moet kiezen [2]. En dan wordt er meestal gekozen voor het prooidier. En die keuze beïnvloedt ObsIdentify zo sterk dat ze de hele reiger niet meer ziet! En dat is een direct gevolg van het feit dat je maar 1 soort kunt invoeren. In feite wordt ObsIdentify afgeleerd een Blauwe reiger te herkennen!
|
|
Goedgekeurd in waarneming als:
Snoek (Chris Boer) ObsIdentify: Adder 75%! géén Blauwe reiger. |
Zoals bovenstaande foto laat zien, wordt Blauwe Reiger met snoek in de snavel in waarneming geregistreerd als 'Snoek'. ObsIdentify zegt: Adder 75% In ieder geval géén Blauwe reiger.
|
|
Goedgekeurd: Snoek
(Rita Scholing / Nico Graafland) ObsIdentify: Snoek 100%. Dus géén fuut. |
|
|
Goedgekeurd:
Baars
100% (Leon Goudriaan) ObsIdentify: Baars 100%! Dus géén Grote zilverreiger. |
|
|
Goedgekeurd:
Karper
(foto Jolanda Timmer) ObsIdentify: Blauwe reiger 58% |
Bovenstaande foto van Blauwe reiger met Karper is een uitzondering op de regel: ObsIdentify herkent Blauwe Reiger. Maar de moderator van waarneming.nl maakt er 'Karper' van. Dit soort 'uitzonderingen' kunnen misschien verklaard worden door het wisselend beleid van moderatoren: de een zal 'Blauwe reiger' invoeren, de ander het prooidier.
|
|
Goedgekeurd:
Europese Mol (Cas van de Giessen) ObsIdentify: Rode Amerikaanse rivierkreeft 57%! Dus géén Ooievaar. |
Ik zie echt geen Rode Amerikaanse rivierkreeft. Misschien de rode kleur? Ooievaar wordt niet herkend!
|
|
Goedgekeurd:
Europese Mol
(Mario Vermeer) ObsIdentify: Woelrat 62%. géén Blauwe reiger. |
Blauwe reiger wordt over 't hoofd gezien! Wordt ook niet genoemd als alternatieve soort met lager percentage.
Conclusie
Als je dit soort resultaten ziet, is het geen wonder dat ObsIdentify op het verkeerde been wordt gezet. Van menselijke overwegingen wat interessant is in een foto weet ObsIdentify helemaal niets af. Het is tenslotte een 'blind' AI algoritme, het 'ziet' alleen maar pixels. De software leert, wat mensen hem laten leren. De keuze van de soortnaam (predator/prooi) is in hoge mate bepalend voor wat ObsIdentify in de training leert. Bij de veelvuldige keuze voor prooidier heeft dit ongewenste gevolgen. Het correct herkennen (vooral van de kop van) een Blauwe Reiger wordt nadelig beïnvloed door de foto te labelen met de naam van de prooi. Dit blijkt uit de lage percentages van de volgende twee perfecte haarscherpe foto's:
|
| ObsIdentify: Blauwe Reiger 90% (©Herman Vermeulen) |
|
| ObsIdentify: Blauwe reiger 86% (©Maurice Meertens) |
Deze twee duidelijke en scherpe foto's van de Blauwe reiger hadden uiteraard 100% moeten zijn! ObsIdentify is technisch gezien zonder meer in staat om een dergelijke foto van de Blauwe reiger te herkennen, als ze goed getraind wordt [3]. Precies in dit soort close-up foto's komt vaak een prooidier voor. Door 'vervuiling' met prooidieren daalt het percentage significant. Dit is des te opmerkelijker omdat verbazingwekkend 'slechte' foto's van Blauwe reigers hogere percentages kunnen halen:
|
|
ObsIdentify: Blauwe reiger 92% (Willy Ramaekers) (goedgekeurd met automatische validatie!) |
Hier boven een voorbeeld van een 'moeilijke' foto. Deze foto van een Blauwe reiger in de mist wordt met hoge zekerheid (92%) herkend! Ongelofelijk! Dit soort moeilijke foto's komen vaak voor in waarneming. Wat een contrast met de slechtere herkenning van goede scherpe foto's (hierboven)! Mijn verklaring voor 'moeilijke' foto's: de moderator wil de waarnemer niet teleurstellen en in plaats van '(nog) niet te beoordelen' keurt hij 'Blauwe reiger' goed. Eerlijk is eerlijk.
Ik heb hier nog meer foto's verzameld waar een foto van een Blauwe reiger met prooi niet herkend wordt als 'Blauwe reiger'. Maar er zijn ook uitzonderingen. Die zijn er altijd bij ObsIdentify!
Phantom Braking
Phantom braking ('spook remmen') is het verschijnsel dat het Forward Collision Avoiding System of "Advanced Driver Assistance System" in (moderne) auto's keihard op de rem gaat staan omdat het meent onmiddellijk gevaar voor een botsing te zien. Maar er is helemaal niets te zien! Het systeem ziet spoken! Beren op de weg! Wat is de overeenkomst met ObsIdentify? Geautomatiseerde systemen die dingen zien die er niet zijn! Als zoiets op de snelweg gebeurt kunnen er levensgevaarlijke situaties ontstaan. En dat is ook gebeurd. Als je weet hoe dom AI is, zou ik als fabrikant nooit een auto met zo'n systeem de weg op durven sturen. Als ObsIdentify fouten maakt vallen er geen doden ... maar als een auto met 100km/u opeens voluit op de rem gaat staan tijdens in inhaalmaneuver op de snelweg...
Bronnen phantom breaking
- Kassa: Phantom Braking: de nachtmerrie van zelfremmende auto’s.
- wikipedia: Freinage fantôme (nog niet in het Engels of Nederlands!)
- Youtube: De nachtmerrie van zelfremmende auto’s: het vervolg. Kassa. 10 nov 26
Noten
- Ik ga ervan uit dat het toevoegen van handmatig goedgekeurde foto's aan de trainings set van ObsIdentify een geautomatiseerd proces is zonder tussenkomst van de mens.
- Ondertussen is er een dataveld 'Gerelateerde soort' ingevoerd waar het prooidier ingevuld kan worden. De foto krijgt dan het label 'Blauwe reiger' en ObsIdentify wordt dan niet meer op het verkeerde been gezet.
- Ik ga ervan uit dat foto's die automatisch door het systeem goedgekeurd worden niet voor de training gebruikt worden. Automatische goedkeuring is uitsluitend gebaseerd op de identificatie van ObsIdentify zelf zonder menselijke tussenkomst.
Verder lezen
- ObsIdentify: alle blogs over ObsIdentify.
- Pagina met nog meer voorbeelden van Blauwe reigers met prooi en de score van ObsIdentify. Wordt aangevuld wanneer ik nog meer leuke voorbeelden tegenkom.














No comments:
Post a Comment
Comments to posts >30 days old are being moderated.
Safari causes problems, please use Firefox or Chrome for adding comments.