Evolution blog: Eerste testresultaten van het ObsIdentify (NIA) algoritme voor automatische identificatie van dieren en planten

Soorten identificeren is nog nooit zo makkelijk, zo snel en zo leuk geweest. Er zit als het ware 24 uur, 7 dagen per week een deskundige op ieder gebied voor je klaar die je binnen een seconde antwoord geeft op je vraag: welke soort is dit?
Ik heb het over software die tegenwoordig zit ingebouwd in waarnming.nl.
ObsIdentify is beeldherkennings software. Beeldherkenning in het algemeen is software met als doel patronen in data te herkennen. ObsIdentify neemt sinds kort een centrale positie in bij waarneming.nl. Je kunt je foto's uploaden en binnen een seconde heb je antwoord.

Ik heb vroeger gewerkt met beeldherkenningssoftware [1] en was daarom nieuwsgierig naar de prestaties van het programma. Hoe goed is het? Ik wilde het testen en kijken hoe makkelijk je het kunt misleiden. De resultaten zijn indrukwekkend. Het programma is in staat om foto's met 100% zekerheid op soort te brengen. Wanneer ObsIdentify een soort herkent met 100% zekerheid dan is het ook goed. Tenminste, tot nu toe, wat ik gezien heb. O. kan niet alles, maar wat hij kan doet hij goed en razendsnel. Ik geef een paar voorbeelden van variaties op het thema Atalanta als eerste verkenning.
Vlinders zijn een goede start, want het zijn in principe –als hun vleugels netjes gespreid zijn– 2-dimensionale platte objecten.

700x700 pixels

Resultaat:
"ObsIdentify is helaas niet zeker: de eerste voorspelling Atalanta Vanessa atalanta (76.2%). Probeer de foto bij te snijden."

Bijsnijden is hier een fout advies. De soort is goed, maar O is niet zeker. Je denkt hoe dichter bij, hoe beter. Bovendien is de foto groter (700x700) dan de volgende. Maar zo werkt het kennelijk niet.

275x215 pixels

Resultaat:
"ObsIdentify voorspelt Atalanta Vanessa atalanta met zekerheid 99.0%"

Vreemd resultaat: de determinatie is goed, maar foto heeft dezelfde uitsnede als vorige, maar de foto heeft veel kleinere afmetingen! Dus: kleiner is beter? Dit is een raadselachtig resultaat.

275x225 pixels

Resultaat:
"ObsIdentify voorspelt Atalanta Vanessa atalanta met zekerheid 100.0%"

Complete vlinder in beeld en 100% zekerheid: dat is wat je verwacht van een goed programma. Gezien het kleine foto formaat is het zelfs een knappe prestatie!

133x104 pixels

Resultaat:" ObsIdentify voorspelt Atalanta Vanessa atalanta met zekerheid 99.9%".

Knap resultaat gezien het zeer kleine formaat! Het standaard formaat is 2988 x 5312 pixels!

120x94 pixels

Resultaat: "ObsIdentify is helaas niet zeker: de eerste voorspelling Ichneumon sarcitorius (32.7%)."

Nog kleiner formaat en gaat volkomen de mist in: een sluipwesp! De ondergrens is bereikt.

100x78 pixels

Resultaat: "ObsIdentify is helaas niet zeker: de eerste voorspelling Bonte beer Callimorpha dominula (18.9%)."

Nog kleiner formaat: een totaal andere vlinder! Fascinerend!

275x225 1x blur

Onscherpte test uitgaande van foto die 100% zekerheid opleverde:

"ObsIdentify voorspelt Atalanta Vanessa atalanta met zekerheid 99.8%"

Goed resultaat. Je foto's hoeven dus niet scherp te zijn!

275x225 2x blur

Onverwacht resultaat:
"ObsIdentify is helaas niet zeker: de eerste voorspelling Nephrotoma crocata (24.7%). Probeer de foto bij te snijden."
Nog een beetje vager en ObsIdentify gaat volkomen de mist in: de voorgestelde soort is een langpootmug. Lijkt er totaal niet op. Voor het menselijk oog is het verschil met de vorige afbeelding niet zo groot. Interessant is dat 1 van de 4 onzekere voorspellingen de Atalanta is!

275x225 black-white

Resultaat: "ObsIdentify voorspelt Atalanta Vanessa atalanta met zekerheid 96.1%".

Verrassing: kleur is helemaal niet nodig om een Atalanta te herkennen!

275x225 foute kleuren (hue-180)

"ObsIdentify voorspelt Grote weerschijnvlinder Apatura iris met zekerheid 98.9%".

Grote weerschijnvlinder

Het ontbreken van kleur is geen probleem, maar foute kleuren zijn fataal! Het patroon telt niet meer mee. Desondanks grote misplaatste zekerheid: 98.9%!

275x225 foute kleuren

Resultaat: "ObsIdentify voorspelt Atalanta Vanessa atalanta met zekerheid 100.0%"

Ondanks foute kleur goede voorspelling met 100% zekerheid! Waarom? Misschien omdat er geen soortgelijke vlinder met geel bestaat?

275x225 stippen toegevoegd!

Resultaat: "ObsIdentify voorspelt Atalanta Vanessa atalanta met zekerheid 100.0%"

Dit gaat wel erg ver: een fantasie Atalanta wordt met 100% zekerheid herkend alsof er geen stippen waren toegevoegd! Hoe kan dat? Bestaan er varianten met stippen? Hoe werkt het algoritme?

275x225 sterke RGB noise toegevoegd

Resultaat: "ObsIdentify is helaas niet zeker: de eerste voorspelling Atalanta Vanessa atalanta (66.6%). Probeer de foto bij te snijden."
ObsIdentify kan redelijk veel ruis verdragen. Wordt het té erg, dan wordt hij/zij onzeker, maar blijft desondanks het correct resultaat geven. Knap gedaan.

275x225 hogere scherpte GIMP90

Resultaat: "ObsIdentify is helaas niet zeker: de eerste voorspelling Atalanta Vanessa atalanta (86.4%). Probeer de foto bij te snijden".

Als je de scherpte kunstmatig verhoogt (GIMP:90) is dat niet nadelig voor ons, maar O begint onzeker te worden, maar blijft Atalanta voorspellen.

275x225 scherpte GIMP95

Resultaat: "ObsIdentify voorspelt Atalanta Vanessa atalanta met zekerheid 97.0%"

Extreme pseudo-scherpte: voor het menselijk oog ziet deze Atalanta er beschadigd uit, maar O. vindt hem véél duidelijker dan de vorige (GIMP90) die er voor ons juist weer normaal uitziet. Bij de maximale 'scherpte' GIMP99 voorspelt O.: Zigzagbeukenmineermot Stigmella tityrella (38.5%) met als alternatief zelfs het Oorzwammetje!

275x225 met golfjes vervormd

Resultaat: ObsIdentify is helaas niet zeker: de eerste voorspelling Geelbuikschildpad Trachemys scripta scripta (67.2%). Probeer de foto bij te snijden.
Met deze golfjes is de Atalanta voor ons nog wel enigszins te herkennen, maar wij zouden er nooit een schildpad van maken! En dan nog wel met 67% zekerheid. Snapt O niet het verschil tussen vlinder en schildpad?

275x225 GIMP-oilify

Resultaat: "ObsIdentify voorspelt Atalanta (Vanessa atalanta) met zekerheid 100.0%"
Leerzaam: O geeft een goede identificatie. Een sterk geschematiseerde Atalanta waarin alle fijne details zijn verdwenen, zijn kennelijk ideaal voor O. Ga je nog verder met schematiseren dan ziet O. de Open-breedbandhuismoeder (nachtvlinder).

Laten we tenslotte nog eens een fraaie Dagpauwoog in zwart-wit testen:

ObsIdentify voorspelt Dagpauwoog
met zekerheid 100.0%

Dagpauwoog (zwart-wit)
ObsIdentify is helaas niet zeker:
de eerste voorspelling
Oranje luzernevlinder (40.3%).

Het ontbreken van kleur is fataal bij de dagpauwoog want zwart-wit geeft een Oranje Luzernevlinder. Je hoeft geen vlinderdeskundige te zijn om te constateren dat deze vlinder totaal niet lijkt op een Dagpauwoog!

Conclusie

ObsIdentify (het blijft een lelijke naam!) is een bijzonder nuttig hulpmiddel voor de beginnende vogel-, vlinder-, en libellenliefhebber. Het helpt je altijd flink op weg en meestal is de determinatie goed zodra het programma zelf aangeeft zeker te zijn (>90%). Uitzonderingen zijn slechte of gemanipuleerde foto's. Maar die geven inzicht in hoe het programma werkt. Vreemd is dat O. soms bij 100% zekerheid toch nog een aantal 'onzekere voorspellingen' geeft. Dat kleur niet zo belangrijk is blijkt ook uit de disclaimer: "De software kijkt voornamelijk naar structuur en patronen niet zozeer naar kleuren". Voor een Atalanta is kleur niet nodig, maar bij de Dagpauwoog is het ontbreken van kleur fataal. Grappig is dat ObsIdentify moeite heeft met dieren met een goede schutkleur. Daar zijn schutkleuren ook voor bedoeld! Dat is de uitdaging voor de toekomst. Enige onscherpte vormt geen probleem, maar te veel onscherpte is fataal. De papieren veldgidsen zijn grotendeels overbodig geworden. Vervelend, want ik had juist de nieuwste veldgids nachtvlinders gekocht! Mooi boek, daar niet van, maar de foto's staan ook op waarneming.nl . Ook de herkenningskaarten voor beginners zoals deze zijn nu overbodig geworden. Aanbevolen programma! De natuurliefhebber is in een nieuw tijdperk beland. Het tijdperk van Artificial Intelligence (AI).