ObsIdentify (NIA) en het mysterie van de Gouden Loopkever. Het Randblindheid effect bewezen

Ik trof een prachtig gekleurde onbekende kever aan in de hoek van de wc van het Sluiswachtershuisje op Tiengemeten. Hij kon geen kant meer op. Typisch een project voor de macrolens. Toen ik hem invoerde in waarneming.nl bleek het een Gouden loopkever! ObsIdentify (NIA) was er 100,0% zeker van. 

En hij is daarna goedgekeurd met bewijs door een moderator van waarneming.nl. Voor mij een mooie, nieuwe soort. Na de fotosessie heb ik hem in de schuur losgelaten. Een betere plaats dan de wc.

Gouden loopkever ( Carabus auratus )
met Sony FE 2.8/90 Macro G OSS
gefotografeerd in een wit plastic kommetje

De herkenning door ObsIdentify is zeer robuust. Je kunt de originele foto 40x (!) verkleinen van het originele formaat van 6000x4000 tot het postzegel formaat van 150x100 pixels en de kever wordt nog steeds herkend met 100% zekerheid. Verbluffende prestatie. Bij verkleining blijft de kever uiteraard steeds in het midden van de afbeelding. Maar nu komt de grote verrassing:

 

Negen afbeeldingen met negen posities van de kever
met de scores van ObsIdentify.

De herkenning hangt af van de positie van de kever in het beeld! 

De negen afbeeldingen hierboven zijn apart aangeboden. De eerste afbeelding is het origineel en geeft 100% herkenning. Alle andere posities scoren lager. Onbegrijpelijk. Niet te vatten. We hebben net vol bewondering vastgesteld dat de herkenning zeer robuust is ten aanzien van afmetingen. Waarom gaan de randen fout? Links beneden scoort opvallend laag: 86,2%. De kever is exact hetzelfde. Hij is steeds gekopieerd en  alleen maar verplaatst. De achtergrond is egaal wit. Er is dus geen storende achtergrond die invloed kan uitoefenen. Hoe dan ook, het positie effect is hiermee aangetoond. Tenminste voor deze kever. Een uitzondering?

Kwikstaart

 

overzicht scores in 9 posities Witte kwikstaart

Nu een witte kwikstaart in zijn natuurlijke omgeving. Ik heb de kwikstaart ook weer verplaatst naar 8 posities langs de randen. Dat levert in totaal ook 9 afbeeldingen op. Zie figuur hierboven. De originele positie in het midden leverde 99,0% Witte kwikstaart op. Dat is correct. De drie posities in het midden scoren correct en hoog. In de andere 6 posities langs de randen ziet O de hele kwikstaart helemaal niet meer en geeft Madeliefje met zekerheden van 29,9% tot maar liefst 81,9%. Inderdaad: het barst van de madeliefjes! Dat wel. Maar de kwikstaart is nog steeds aanwezig. Hij wordt domweg niet meer herkend. Randblindheid zou je dat kunnen noemen. Een dramatisch bewijs van het positie effect.

 

Brandgans

Nog een voorbeeld met een verbluffend effect:

Brandgans. uitsnede 1100x1070 pixels.

Brandgans is 18% van de totale breedte van het origineel 6000x4000.
Achtergrond geëgaliseerd.

Zet je de vogel in de 4 hoeken van het 6000x4000 beeld dan krijg je het verbluffende resultaat:

Midden:

Brandgans met 100.0% zekerheid

1. Links boven:

Esdoornhoutknotszwam 14.5%

2. Links beneden:

Esdoornhoutknotszwam 16.6%

3. Rechts boven:

Esdoornhoutknotszwam 16.2%

4. Rechts beneden:

Geoorde Fuut 15.7%

Ik ben al wat gewend, maar dit is een totaal onverwacht resultaat. NB: de Esdoornhoutknotszwam is een paddenstoel! De Geoorde fuut is een totaal andere vogel! Een dramatischer demonstratie van het positie effect is niet denkbaar. Hier zie je dat dezelfde vogel als een paddenstoel of een fuut wordt gezien afhankelijk in welke hoek hij staat. Bizar. En echt onverwacht. Het formaat van de opnames is steeds 6000x4000 pixels. De vogel heeft steeds exact het zelfde aantal pixels. De software op waarneming.nl verkleind de opname waarschijnlijk tot 1000x667 voordat er beeldanalyse op wordt los gelaten. Heeft dat nog effect? Als ik het eerst zelf verklein tot 1000x667, dan geeft ObsIdentify nog steeds Brandgans 100%. Dus daar ligt het niet aan. Alle foto's werden sowieso in het originele 6000x4000 formaat aangeboden, ook het origineel. Ik heb de vogel met copy-paste verplaatst.

Wat doet ObsIdentify als je de brandgans in meerdere hoeken tegelijk plaatst? Zeer verrassend: 

Twee maal hoek:

Slechtvalk - Falco peregrinus (6.5%)

Driemaal hoek:

Zeearend - Haliaeetus albicilla (6.7%)

Viermaal hoek:

Zeearend - Haliaeetus albicilla (8.0%)

Zesmaal hoek:

Gierzwaluw - Apus apus (12.9%)

ObsIdentify: Zeearend 8%. (6000x4000)

ObsIdentify: Gierzwaluw 12.9% (6000x4000)

Brandgans wordt Slechtvalk, Zeearend, Gierzwaluw. ObsIdentify herkent het dier opeens niet meer als het in de hoeken staat. Volstrekt bizar en onbegrijpelijk gezien de robuustheid in andere opzichten.

 

Fuut

Zet je dit futenpaar in de hoeken dan krijg je allemaal bizarre fouten!

Robuust

Deze randblindheid is des te opmerkelijker als je bedenkt hoe robuust beeldherkenning is ten opzichte van spiegelingen van de vogel. Alle mogelijke spiegelingen en rotaties inclusief het dier op zijn kop geven steeds 100% zekerheid Brandgans! Dat noem ik robuust.

 

Kop er af

Kop er af: Brandgans met 99.9% zekerheid

Hak je de kop er af, dan heb je nog steeds 99,9% Brandgans! Dat noem ik robuust.

Een driekoppige brandgans: Brandgans 100.0%

 

Geef je hem drie koppen? Geen probleem: Brandgans 100.0%. Dat noem ik robuust. In het echt kan het een groepje van drie zijn.

 

Verkleinen

De vliegende brandgans met een factor 10 verkleinen, dat is van 1120x1070 tot 112x107 is ook geen probleem: blijft 100% brandgans. Ook de Gouden loopkever kun je verkleinen van 6000x4000 tot 150x100 pixels (dat is een factor 40x) en het blijft 100% Gouden loopkever. (Dat is inclusief het wit rond het beest!). Dat noem ik robuust.

Randblindheid

Ondanks deze robuustheid, gaat het systematisch fout bij de randen. Mijn verklaring voor die randblindheid is dat bij vrijwel alle foto's die worden ge-upload in waarneming.nl het dier in het midden van de foto staat. Net gek, want zo maken wij foto's. ObsIdentify wordt dus onbedoeld getraind op objecten in het midden. En dat heeft effect. Dat noem ik het Randblindheid effect.

Controle

O ja, in de wetenschap is het een doodzonde om de controle te vergeten! Dat heb ik door schade en schade geleerd! Heel lang geleden. Dus, hierbij de uitslag van een compleet grijs vlak  in de kleur van de achtergrond van de brandganzen hierboven (6000x4000):

Noordse Nachtegaal - Luscinia luscinia (15.2%)

ObsIdentify herkent in een grijs vlak een Noordse nachtegaal! Dit soort dingen maakt dat je je nooit verveelt met ObsIdentify! Het blijft fascineren! Je kunt vrijwel onbeperkt de diepte in. Ik ben er nog lang niet op uitgekeken.

 

Naïeve Autopilot rijders!

... en de Tesla werd afgevoerd

 

Paradoxaal is het gevaar van steeds beter wordende beeldherkenningssystemen dat men denkt dat ze hoogstens wat kleine foutjes kunnen maken. Maar de klap komt figuurlijk en letterlijk hard aan wanneer die systemen grote en dramatische fouten maken. Vincent Everts, trendwatcher en jarenlange voorvechter van Autopilot en Full Self Driving, heeft het aan den lijve ondervonden. En hij is zo eerlijk om het te vertellen. Dat dan weer wel.

Zijn Tesla reed op Autopilot op een provinciale weg toen Autopilot er plotseling mee stopte. Normaal doet hij dat als het te moeilijk wordt. Maar hier zonder aanwijsbare reden? Dat betekent dat de bestuurder het moet overnemen. Vincent reageerde kennelijk niet snel genoeg en zijn auto reed letterlijk een lantaarnpaal omver. Dat moet een behoorlijke klap zijn geweest. Vincent bleef ongedeerd, maar zijn Tesla moest afgevoerd worden.

Vincent Everts: "die software is nog niet perfect. Je moet uitkijken" 

Inderdaad! Tsja, wat is het nut als je zelf altijd moet blijven uitkijken?

 

Conclusie: als beeldherkennings software steeds beter wordt, betekent het nog niet dat het geen grote blunders kan maken!. Dat geldt voor zowel voor Tesla autopilot als voor ObsIdentify. Bij ObsIdentify zijn die blunders leuk. Voor Autopilot kunnen ze dodelijk zijn.

Verder lezen

Dit is deel 14 in de reeks blogs over ObsIdentify. Klik op het Label 'ObsIdentify' om ze allemaal te zien.

 Alle ObsIdentify blogs

1. 30 Sep 2019 Test van ObsIdentify algoritme voor automatische identificatie van dieren en planten. deel 1.
2. 21 Okt 2019 ObsIdentify software gekraakt! Vlinders identificeren zonder te weten wat een vlinder is.... deel 2
3. 19 Nov 2019: ObsIdentify (3) Who is afraid of red, yellow and blue? De Vlinder Turing test voor mens en AI doe ik o.a. het voorstel voor een Turing test tussen mens en ObsIdentify: wie kan het snelst 1000 soorten correct identificeren aan de hand van foto's? deel 3
4. 04 Dec 2019 : ObsIdentify (4). ObsIdentify herkent Kuifeend, Kikker, Kiekendief en vele andere soorten in plaatjes van 1 pixel. deel 4
5. 23 Dec 2019: ObsIdentify (5) Hoe zeker is 100%? Soorten met 100% zekerheid herkennen in random pixels. deel 5
6. 04 Feb 2020 : Hacken voor dummies en gevorderden. Beeldherkenningssoftware ObsIdentify is makkelijk te misleiden (deel 6)
7. 18 Mar 2020: ObsIdentify geeft ALTIJD foute antwoorden buiten zijn eigen domein. Ook met hoge zekerheden deel 7
8. 30 Mei 2020: Obsidentify voorspelt Wespendief, Buizerd en Ruigpootbuizerd op basis van foto's van dezelfde vogel. deel 8
9. 26 Jun 2020: Toch nog een wespendief! deel 9
10. 22 Jul 2020: Tesla beeldherkenning en ObsIdentify beeldherkenning: steeds beter, maar maken nog steeds klassieke fouten deel 10
11. 11 Jan 2021: ObsIdentify herkent Cetti's zanger op tegenlicht foto met 99% zekerheid deel 11
12. 4 Mar 2021 : Perfecte camouflage citroenvlinder misleidt ObsIdentify software. deel 12.
13. 25 mei 2021: Onwaarschijnlijk goede prestaties van ObsIdentify met blauwborst en ree. deel 13.
14. 21 juni 2021: ObsIdentify en het mysterie van de Gouden Loopkever. Het Randblindheid effect bewezen. deel 14.
15. Voor alle blogs over ObsIdentify klik op label ObsIdentify.