Ik trof een prachtig gekleurde onbekende kever aan in de hoek van de wc
van het Sluiswachtershuisje op Tiengemeten. Hij kon geen kant meer op.
Typisch een project voor de macrolens. Toen ik hem invoerde in
waarneming.nl bleek het een
Gouden loopkever! ObsIdentify (NIA) was er 100,0% zeker van.
En hij is
daarna goedgekeurd met bewijs door een moderator van waarneming.nl. Voor
mij een mooie, nieuwe soort. Na de fotosessie heb ik hem in de schuur
losgelaten. Een betere plaats dan de wc.
|
Gouden loopkever ( Carabus auratus )
met Sony FE 2.8/90 Macro G OSS
gefotografeerd in een wit plastic kommetje
|
De herkenning door ObsIdentify is zeer robuust. Je kunt de originele foto
40x (!) verkleinen van het originele formaat van 6000x4000 tot het
postzegel formaat van 150x100 pixels en de kever wordt nog steeds herkend
met 100% zekerheid. Verbluffende prestatie. Bij verkleining blijft de
kever uiteraard steeds in het midden van de afbeelding. Maar nu komt de
grote verrassing:
|
Negen afbeeldingen met negen posities van de kever
met de scores van ObsIdentify.
|
De herkenning hangt af van de positie van de kever in het
beeld!
De negen afbeeldingen hierboven zijn apart aangeboden. De eerste
afbeelding is het origineel en geeft 100% herkenning. Alle andere posities
scoren lager. Onbegrijpelijk. Niet te vatten. We hebben net vol
bewondering vastgesteld dat de herkenning zeer robuust is ten aanzien van
afmetingen. Waarom gaan de randen fout? Links beneden scoort opvallend
laag: 86,2%. De kever is exact hetzelfde. Hij is steeds gekopieerd
en alleen maar verplaatst. De achtergrond is egaal wit. Er is dus
geen storende achtergrond die invloed kan uitoefenen. Hoe dan ook, het
positie effect is hiermee aangetoond. Tenminste
voor deze kever. Een uitzondering?
Kwikstaart
|
overzicht scores in 9 posities Witte kwikstaart
|
Nu een witte kwikstaart in zijn natuurlijke omgeving. Ik heb de
kwikstaart ook weer verplaatst naar 8 posities langs de randen. Dat levert
in totaal ook 9 afbeeldingen op. Zie figuur hierboven. De originele
positie in het midden leverde 99,0% Witte kwikstaart op. Dat is correct.
De drie posities in het midden scoren correct en hoog. In de andere 6
posities langs de randen ziet O de hele kwikstaart helemaal niet meer en
geeft Madeliefje met zekerheden van 29,9% tot maar liefst 81,9%.
Inderdaad: het barst van de madeliefjes! Dat wel. Maar de kwikstaart is
nog steeds aanwezig. Hij wordt domweg niet meer herkend. Randblindheid zou
je dat kunnen noemen. Een dramatisch bewijs van het positie effect.
Brandgans
Nog een voorbeeld met een verbluffend effect:
|
Brandgans. uitsnede 1100x1070 pixels.
|
|
Brandgans is 18% van de totale breedte van het origineel
6000x4000. Achtergrond geëgaliseerd.
|
Zet je de vogel in de 4 hoeken van het 6000x4000 beeld dan krijg je het
verbluffende resultaat:
Midden:
|
Brandgans met 100.0% zekerheid
|
1. Links boven:
|
Esdoornhoutknotszwam 14.5%
|
2. Links beneden:
|
Esdoornhoutknotszwam 16.6%
|
3. Rechts boven:
|
Esdoornhoutknotszwam 16.2%
|
4. Rechts beneden:
|
Geoorde Fuut 15.7%
|
Ik ben al wat gewend, maar dit is een totaal onverwacht resultaat. NB: de
Esdoornhoutknotszwam is een paddenstoel! De Geoorde fuut is een
totaal andere vogel! Een dramatischer demonstratie van het positie effect
is niet denkbaar. Hier zie je dat dezelfde vogel als een paddenstoel of
een fuut wordt gezien afhankelijk in welke hoek hij staat. Bizar. En echt
onverwacht. Het formaat van de opnames is steeds 6000x4000 pixels. De
vogel heeft steeds exact het zelfde aantal pixels. De software op
waarneming.nl verkleind de opname waarschijnlijk tot 1000x667 voordat er
beeldanalyse op wordt los gelaten. Heeft dat nog effect? Als ik het eerst
zelf verklein tot 1000x667, dan geeft ObsIdentify nog steeds Brandgans
100%. Dus daar ligt het niet aan. Alle foto's werden sowieso in het
originele 6000x4000 formaat aangeboden, ook het origineel. Ik heb de vogel
met copy-paste verplaatst.
Wat doet ObsIdentify als je de brandgans in meerdere hoeken tegelijk
plaatst? Zeer verrassend:
Twee maal hoek:
|
Slechtvalk - Falco peregrinus (6.5%)
|
Driemaal hoek:
|
Zeearend - Haliaeetus albicilla (6.7%)
|
Viermaal hoek:
|
Zeearend - Haliaeetus albicilla (8.0%)
|
Zesmaal hoek:
|
Gierzwaluw - Apus apus (12.9%)
|
|
ObsIdentify: Zeearend 8%.
(6000x4000)
|
|
ObsIdentify:
Gierzwaluw 12.9%
(6000x4000)
|
Brandgans wordt Slechtvalk, Zeearend, Gierzwaluw. ObsIdentify herkent het
dier opeens niet meer als het in de hoeken staat. Volstrekt bizar en
onbegrijpelijk gezien de robuustheid in andere opzichten.
Fuut
|
Zet je dit futenpaar in de hoeken dan krijg je allemaal bizarre fouten!
|
Robuust
Deze randblindheid is des te opmerkelijker als je bedenkt hoe robuust
beeldherkenning is ten opzichte van spiegelingen van de vogel. Alle
mogelijke spiegelingen en rotaties inclusief het dier op zijn kop geven
steeds 100% zekerheid Brandgans! Dat noem ik robuust.
Kop er af
|
Kop er af: Brandgans met 99.9% zekerheid
|
Hak je de kop er af, dan heb je nog steeds 99,9% Brandgans! Dat noem ik
robuust.
|
Een driekoppige brandgans: Brandgans 100.0%
|
Geef je hem drie koppen? Geen probleem: Brandgans 100.0%. Dat noem
ik robuust. In het echt kan het een groepje van drie zijn.
Verkleinen
De vliegende brandgans met een factor 10 verkleinen, dat is van 1120x1070
tot 112x107 is ook geen probleem: blijft 100% brandgans. Ook de Gouden
loopkever kun je verkleinen van 6000x4000 tot 150x100 pixels (dat is een
factor 40x) en het blijft 100% Gouden loopkever. (Dat is inclusief het wit
rond het beest!). Dat noem ik robuust.
Randblindheid
Ondanks deze robuustheid, gaat het systematisch fout bij de randen. Mijn
verklaring voor die randblindheid is dat bij vrijwel alle foto's die
worden ge-upload in waarneming.nl het dier in het midden van de
foto staat. Net gek, want zo maken wij foto's. ObsIdentify wordt dus
onbedoeld getraind op objecten in het midden. En dat heeft effect. Dat
noem ik het Randblindheid effect.
Controle
O ja, in de wetenschap is het een doodzonde om de controle te vergeten!
Dat heb ik door schade en schade geleerd! Heel lang geleden. Dus, hierbij
de uitslag van een compleet grijs vlak in de kleur van de
achtergrond van de brandganzen hierboven (6000x4000):
Noordse Nachtegaal - Luscinia luscinia (15.2%)
ObsIdentify herkent in een grijs vlak een Noordse nachtegaal! Dit soort dingen maakt dat je je nooit verveelt met ObsIdentify! Het
blijft fascineren! Je kunt vrijwel onbeperkt de diepte in. Ik ben er
nog lang niet op uitgekeken.
Naïeve Autopilot rijders!
|
... en de Tesla werd afgevoerd
|
Paradoxaal is het gevaar van steeds beter wordende
beeldherkenningssystemen dat men denkt dat ze hoogstens wat kleine foutjes
kunnen maken. Maar de klap komt figuurlijk en letterlijk hard aan wanneer
die systemen grote en dramatische fouten maken. Vincent Everts,
trendwatcher en jarenlange voorvechter van Autopilot en
Full Self Driving, heeft het aan den lijve ondervonden. En hij is
zo eerlijk om
het te vertellen. Dat dan weer wel.
Zijn Tesla reed op Autopilot op een provinciale weg toen Autopilot
er plotseling mee stopte. Normaal doet hij dat als het te
moeilijk wordt. Maar hier zonder aanwijsbare reden? Dat betekent dat de
bestuurder het moet overnemen. Vincent reageerde kennelijk niet snel
genoeg en zijn auto reed letterlijk een lantaarnpaal omver. Dat moet een
behoorlijke klap zijn geweest. Vincent bleef ongedeerd, maar zijn Tesla
moest afgevoerd worden.
Vincent Everts: "die software is nog niet perfect. Je moet
uitkijken"
Inderdaad! Tsja, wat is het nut als je zelf altijd moet blijven uitkijken?
Conclusie: als beeldherkennings software steeds beter wordt,
betekent het nog niet dat het geen grote blunders kan maken!. Dat
geldt voor zowel voor Tesla autopilot als voor ObsIdentify. Bij
ObsIdentify zijn die blunders leuk. Voor Autopilot kunnen ze dodelijk
zijn.
Verder lezen
Dit is deel 14 in de reeks blogs over ObsIdentify. Klik op het Label
'ObsIdentify' om ze allemaal te zien.
Alle ObsIdentify blogs
- 30 Sep 2019 Test van ObsIdentify algoritme voor automatische identificatie van dieren en planten. deel 1.
- 21 Okt 2019 ObsIdentify software gekraakt! Vlinders identificeren zonder te weten wat een vlinder is.... deel 2
- 19 Nov 2019: ObsIdentify (3) Who is afraid of red, yellow and blue? De Vlinder Turing test voor mens en AI
doe ik o.a. het voorstel voor een Turing test tussen mens en
ObsIdentify: wie kan het snelst 1000 soorten correct identificeren aan
de hand van foto's? deel 3
- 04 Dec 2019 : ObsIdentify (4). ObsIdentify herkent Kuifeend, Kikker, Kiekendief en vele andere soorten in plaatjes van 1 pixel. deel 4
- 23 Dec 2019: ObsIdentify (5) Hoe zeker is 100%? Soorten met 100% zekerheid herkennen in random pixels. deel 5
- 04 Feb 2020 : Hacken voor dummies en gevorderden. Beeldherkenningssoftware ObsIdentify is makkelijk te misleiden (deel 6)
- 18 Mar 2020: ObsIdentify geeft ALTIJD foute antwoorden buiten zijn eigen domein. Ook met hoge zekerheden deel 7
- 30 Mei 2020: Obsidentify voorspelt Wespendief, Buizerd en Ruigpootbuizerd op basis van foto's van dezelfde vogel. deel 8
- 26 Jun 2020: Toch nog een wespendief! deel 9
- 22 Jul 2020: Tesla beeldherkenning en ObsIdentify beeldherkenning: steeds beter, maar maken nog steeds klassieke fouten deel 10
- 11 Jan 2021: ObsIdentify herkent Cetti's zanger op tegenlicht foto met 99% zekerheid deel 11
- 4 Mar 2021 : Perfecte camouflage citroenvlinder misleidt ObsIdentify software. deel 12.
- 25 mei 2021: Onwaarschijnlijk goede prestaties van ObsIdentify met blauwborst en ree. deel 13.
- 21 juni 2021: ObsIdentify en het mysterie van de Gouden Loopkever. Het Randblindheid effect bewezen. deel 14.
- Voor alle blogs over ObsIdentify klik op label ObsIdentify.