ObsIdentify (NIA) geeft ALTIJD foute antwoorden buiten zijn eigen domein. Ook met hoge zekerheden. (deel 7)

Dit is een Roestbruine kniptor:

ObsIdentify voorspelt Roestbruine kniptor Elater ferrugineus
met zekerheid 100.0%

ObsIdentify voorspelt Roestbruine kniptor met zekerheid 100.0%.
 

Dit is een Roestbruine kniptor:

ObsIdentify voorspelt Roestbruine kniptor Elater ferrugineus met zekerheid 100.0%

Dit is een Kerkuil:

ObsIdentify voorspelt Kerkuil Tyto alba met zekerheid 99.9%

ObsIdentify voorspelt Kerkuil Tyto alba met zekerheid 99.9%

Dit is een Kerkuil:

ObsIdentify is helaas niet zeker:
de eerste voorspelling Kerkuil Tyto alba (86.0%).

Dit is een Grote Groene Sabelsprinkhaan:

Grote Groene Sabelsprinkhaan Tettigonia viridissima met zekerheid 92.5%

Dit is een Grote Groene Sabelsprinkhaan:

Grote Groene Sabelsprinkhaan ©waarneming.nl

 Dit is een Das:

ObsIdentify is helaas niet zeker:
de eerste voorspelling Das Meles meles 76,2%

ObsIdentify is helaas niet zeker: de eerste voorspelling Das Meles meles 76,2%.
 

Dit is een Das:

Das © waarneming.nl

Resultaten

Wat gebeurt er als je het beeldherkenningsprogramma ObsIdentify-NIA (O) landschappen aanbiedt? of menselijke gezichten? Ik heb ongeveer 6600 landschappen en gezichten met ObsIdentify (O) op waarneming.nl (desktop PC + Firefox) getest. Vier toppers staan hierboven. Voor de geïnteresseerde lezer staan er meer verbluffende voorbeelden op de data pagina. In deze studie zijn normale, niet-gemanipuleerde foto's gebruikt. Alle foto's geven een identificatie met een zekerheid groter dan 0%. En allemaal zijn ze fout. De uitzonderingen zijn wanneer een boom in het landschap toevallig op de voorgrond staat en herkend wordt.
De meerderheid van de voorspellingen van O heeft een percentage onder de 40% (rode gebied). Maar er komen ook zekerheidspercentages tussen de 40% en 90% (blauwe gebied) voor en zelfs tussen de 90% en 100% (groene gebied). Ook deze zijn fout. In totaal heb ik 211 voorspellingen van dieren in menselijke gezichten hoger dan 40% en 22 foto's hoger dan 90% zekerheid gevonden. In totaal zijn er 96 verschillende soorten die in foto's van gezichten herkend worden met een zekerheid groter dan 40,0%. Het zijn allemaal dieren, op een enkele paddenstoel en plant na. Van de landschappen zijn er plm. 50 gevonden met een percentage hoger dan 40% en 5 foto's hoger dan 90%. Indrukwekkender dan de kwantitatieve resultaten zijn echter de kwalitatieve resultaten. Dat is het psychologisch effect wanneer je ziet dat O een insect, paddenstoel of vogel ziet in een landschap of een menselijk gezicht.

Discussie

De fouten die O maakt zijn hilarisch. O ziet altijd een plant of dier in een willekeurige foto. Het maakt niet uit wat het onderwerp is. In alle foto's in deze studie zijn helemaal geen planten of dieren aanwezig. Wanneer de foto's buiten het domein liggen waar O mee getraind is, zijn de antwoorden altijd 'fout'. Niet fout in de zin dat O de ene soort met de andere verwisselt, maar een dier ziet dat er helemaal niet is. Wanneer je een groot aantal foto's buiten zijn domein test, krijg je ook altijd foto's die met hoge zekerheid een fout antwoord geven. 

Maar het is toch logisch dat O foute antwoorden geeft als je foto's buiten zijn eigen domein laat beoordelen? Daar is hij toch niet op getraind? Dat is toch niet zinnig om te doen? Mijn punt is: je zou verwachten dat O met 0% komt, omdat er immers geen plant of dier in de foto aanwezig is. Maar dat doet hij dus wel. Hij ziet niet dat hij buiten zijn eigen domein zit. O komt soms zelfs met 100% zekerheid tot een 'fout' -of beter gezegd- een irrelevant antwoord. De vraag is: waarom? Is dat logisch? Moet je dat verwachten? Wordt het begrip '100% zekerheid' hierdoor niet ondermijnd? Deze kwestie zijn we in een eerder blog tegengekomen. Hoe dan ook, dit soort testen geven ons inzicht hoe O in feite werkt. Het gunt ons een blik onder de motorkap.

Hoe herkent O dingen? Kennelijk heeft O genoeg aan zéér weinig pixels om tot een conclusie te komen. In vorige blogs hebben we gezien dat O soms een soort met hoge zekerheid ziet in een 1-pixel-plaatje. Of in een patroon van enkele tientallen pixels. Ook hebben we gezien dat O binnen zijn eigen domein van planten en dieren geen weet heeft van het verschil tussen object en achtergrond van dat object. O kent überhaupt geen dieren of planten, alleen pixels.
Dit zou het verrassende feit kunnen verklaren dat O soorten (vnl. dieren) in landschappen en portretten herkent. De specifieke pixel patronen kunnen daar door stom toeval aanwezig zijn. Met miljoenen pixels in een foto en met duizenden testfoto's moet de kans groter dan nul zijn voor een hit.

Voor ons maakt O dramatische en vaak komische blunders. Bijvoorbeeld: een Kerkuil of een Grote Groene Sabelsprinkhaan in een gezicht herkennen. Voor mensen zijn deze resultaten tegen-intuïtief. Voor O is dit alles volkomen logisch. De cruciale pixels zijn immers aanwezig. O ziet geen problemen.

Ook kunnen we nu misschien verklaren waarom O dezelfde grote precisie hanteert bij blunders als bij zijn eigen dieren en planten. Het algoritme is nl. zeer gevoelig voor kleine kleurvariaties in de plaatjes waarmee hij blundert. Het is zeker niet zo dat O wild aan het gokken is. Zo lijkt het. Maar O gaat met dezelfde precisie te werk omdat het om dezelfde pixelpatronen gaat. Voor O is er gewoonweg geen verschil tussen beide situaties. Dezelfde pixels zitten gewoon in landschappen, gezichten, dieren en planten. Ze zijn alleen voor ons onzichtbaar. Dat levert voor ons de verrassing op. O heeft maar één domein. Je hoeft immers niet van te voren op te geven of je een foto van een plant of dier geeft. Dat bepaalt O zelf. Uit het feit dat hij soms een plantennaam als alternatieve voorspelling voor een dier geeft, kun je concluderen dat hij het onderscheid tussen plant en dier waarschijnlijk niet kent. Het enige wat hij doet is: pixels koppelen met bepaalde waarschijnlijkheden aan soortnamen. O ziet op zo'n totaal andere manier dan wij mensen, dat we compleet gedesoriënteerd raken. Als je deze resultaten hebt gezien, dan kijk voor altijd met andere ogen naar ObsIdentify.

Het psychologisch effect is des te groter wanneer je alleen maar goede resultaten van goede foto's van planten of dieren kent. Je krijgt dan de sterke indruk dat O weet waar hij het over heeft. Wat een soortenkennis! Een bijna bovenmenselijke soortenkennis! Vooral als je ziet hoe vaak hij het juist heeft. Dat zijn indrukwekkende prestaties als je bedenkt dat er menselijke (super-)specialisten zijn op het gebied van vogels, libellen, vlinders, paddenstoelen, etc. ObsIdentify is een multi-expert die meer weet dan iedere menselijke expert afzonderlijk, maar die fouten maakt die geen beginner zou maken.

Aanbevolen video

TED talk: How we're teaching computers to undersand pictures.

Computerwetenschapper Fei-Fei vertelt in een TED talk dat ze met behulp van duizenden vrijwilligers miljoenen foto's heeft geannoteerd, zodat ze deze als een gigantische trainings-set voor haar beeldherkenningssoftware heeft kunnen gebruiken. Ze claimt dat dit haar beeldherkenningssoftware enorm verbeterd heeft. En ze laat een aantal voorbeelden zien.

 

Data

• ObsIdentify data files (4)

Dit is een groeiende verzameling van portretten en landschappen waarin ObsIdentify spontaan planten en dieren ziet. De meeste hebben kleur- en contrast correcties, maar enkele scoren hoog zonder enige nabewerking!

 

Disclaimer

Deze resultaten zijn gebaseerd op testen die ik gedaan heb in februari/maart 2020. ObsIdentify kan ondertussen gewijzigd zijn. Op de desktop versie van O is dat nergens zichtbaar.

Alle blogs over ObsIdentify

1. 30 September 2019 Test van ObsIdentify algoritme voor automatische identificatie van dieren en planten deel 1
2. 21 Oktober 2019 ObsIdentify software gekraakt! Vlinders identificeren zonder te weten wat een vlinder is... deel 2
3. 19 November 2019 ObsIdentify (3) Who is afraid of red, yellow and blue? De Vlinder Turing test voor mens en AI deel 3
4.  4 December 2019 ObsIdentify herkent Kuifeend, Kikker, Kiekendief en vele andere soorten in plaatjes van 1 pixel deel 4
5. 23 december 2019 Hoe zeker is 100%? Soorten met 100% zekerheid herkennen in random pixels. deel 5
6.  4 Feb 2020 Hacken voor dummies en gevorderden. Beeldherkenningssoftware ObsIdentify is makkelijk te misleiden. deel 6 
7. 18 maart 2020  ObsIdentify geeft ALTIJD foute antwoorden buiten zijn eigen domein. Ook met hoge zekerheden. deel 7
8. Obsidentify voorspelt Wespendief, Buizerd en Ruigpootbuizerd op basis van foto's van dezelfde vogel 30 mei 2020
9. Toch nog een wespendief! 26 jun 2020 
10. Tesla beeldherkenning en ObsIdentify beeldherkenning: steeds beter, maar maken nog steeds klassieke fouten (10) 22 jul 2020
11. Voor alle volgende blogs over ObsIdentify klik op label ObsIdentify.