"Verbetering beeldherkenning.
Deze week gaat onze nieuwe versie van de beeldherkenning live. De herkenning van het aantal soorten wordt opgeschroefd naar 22.303 (was 16.148)! De resultaten zijn aanzienlijk beter maar de AI is ook voorzichtiger (vooral bij dag- en nachtvlinders)." [1]
Dit stond eind december 2020 op waarneming.nl.
Mijn vraag: als ObsIdentify (NIA) beeldherkenning beter is geworden in het herkennen van planten
en dieren, is het dan ook beter in het onderscheiden van dieren en mensen? Ja,
ik weet het: ObsIdentify is nooit getraind met afbeeldingen
van mensen. Duidelijk. Maar als het beter is geworden in het onderscheiden van buizerd en ruigpootbuizerd, moet je dan niet verwachten dat het ook beter is geworden in de veel gemakkelijker opgave om mens/dier te onderscheiden? Uit pure
nieuwsgierigheid naar de werking van beeldherkenning heb ik dit
uitgeprobeerd.
Voor dit blog heb ik 514 deepfake portretten aan ObsIdentify aangeboden. De meerderheid gaf een percentage lager dan 40% en een aantal lag tussen de 40% en 90%. Verrassing: er waren portretten die 90% en hoger scoorden. Hier de winnaars:
|
| ObsIdentify voorspelt Langpootmug (familie) onbekend - Tipulidae indet. met zekerheid 91.4% |
|
| ObsIdentify voorspelt Gewone heremietkreeft - Pagurus bernhardus met zekerheid 95.0% |
|
|
ObsIdentify voorspelt
Euraziatische Rode Eekhoorn
- Sciurus vulgaris
met zekerheid 96.1%
|
|
|
ObsIdentify voorspelt
Roze Pelikaan -
Pelecanus onocrotalus
met zekerheid 97.6%
|
|
| ObsIdentify voorspelt Roze Pelikaan - Pelecanus onocrotalus met zekerheid 99.9% |
|
In totaal scoorden 9 afbeeldingen hoger dan 90%. Eén afbeelding scoorde zelfs 100%. Let op: de foto's zijn op geen enkele wijze gemanipuleerd. Zo vers uit de computer. Alle plaatjes zijn 1024x1024 pixels. Ik heb ook geen andere afmetingen of uitsneden geprobeerd. Zo ziet dat er uit in waarneming.nl vóórdat je op de Accepteer button hebt geklikt:
|
| 100% Roze Pelikaan. (screenshot 6 feb 2021) |
In feite zou ik op de Accepteer button kunnen drukken en vanwege de 100% zou het algoritme van waarneming.nl het plaatje automatisch goedkeuren zonder dat er een menselijke moderator aan te pas komt [2]. De onzekere voorspellingen zijn altijd vermakelijk. Bij de laatste foto: Ooievaar, Chinese knobbelgans en Lepelaar. Dus: vogels in de nabijheid van water? Voor mij een raadsel waarom er bij 100% ook nog onzekere voorspellingen zijn. 100%-zeker is niet 100% zeker? Dit alles werpt een nieuw licht op het concept 100% zekerheid.
Conclusie: Ondanks verbeteringen maakt ObsIdentify nog steeds hetzelfde type fouten met afbeeldingen buiten haar eigen domein. Zie vorige blogs. Het begint er dus op te lijken dat dit een permanente karakteristiek is van de software.
De Deepfake afbeeldingen zijn afkomstig van:
https://www.thispersondoesnotexist.com/
Dit type software heet Generative Adversarial Network: het creëert beelden in plaats van ze te analyseren zoals ObsIdentify doet. Buitengewoon fascinerend omdat ze zo realistisch zijn. Zoals de naam van de website al suggereert: deze personen bestaan niet. ObsIdentify denkt daar anders over: het zijn duidelijk Roze Pelikaan, Euraziatische Rode Eekhoorn en Gewone heremietkreeft. Overigens zie je dat het programma dat gezichten genereert ook rare fouten maakt. Maar dat is een ander verhaal. De complete serie van 11 foto's en met de beoordeling van ObsIdentify is hier te vinden.
In een volgend blog ga ik plaatjes die ik eerder getest heb met de oude versie van ObsIdentify vergelijken met de nieuwe versie.
Noten
- Het bericht is na enkele dagen spoorloos verdwenen. Nergens op de website is het versie nummer van ObsIdentify te vinden. De versie moet dezelfde zijn als op de smartphone: ObsIdentify 1.4.2.
- Het toeval wil dat alle Roze Pelikaan waarnemingen in Nederland van 2020 het kenmerk "(nog) niet te beoordelen" hebben. Ik weet niet of dat er iets mee te maken heeft. Het lijkt mij dat dat geen invloed kan hebben op het functioneren van ObsIdentify op zich.
Data en plaatjes
Vorig blogs over ObsIdentify:
- 30 September 2019 Test van ObsIdentify algoritme voor automatische identificatie van dieren en planten deel 1
- 21 Oktober 2019 ObsIdentify software gekraakt! Vlinders identificeren zonder te weten wat een vlinder is... deel 2
- 19 November 2019 ObsIdentify (3) Who is afraid of red, yellow and blue? De Vlinder Turing test voor mens en AI deel 3
- 4 December 2019 ObsIdentify herkent Kuifeend, Kikker, Kiekendief en vele andere soorten in plaatjes van 1 pixel deel 4
- 23 december 2019 Hoe zeker is 100%? Soorten met 100% zekerheid herkennen in random pixels. deel 5
- 4 Feb 2020 Hacken voor dummies en gevorderden. Beeldherkenningssoftware ObsIdentify is makkelijk te misleiden. deel 6
- 18 maart 2020 ObsIdentify geeft ALTIJD foute antwoorden buiten zijn eigen domein. Ook met hoge zekerheden. deel 7.
- 30 mei 2020 Obsidentify voorspelt Wespendief, Buizerd en Ruigpootbuizerd op basis van foto's van dezelfde vogel. deel 8.
- 26 Jun 2020: Toch nog een wespendief! deel 9
- 22 juli 2020: Tesla beeldherkenning en ObsIdentify beeldherkenning: steeds beter, maar maken nog steeds klassieke fouten deel 10.
- 11 Jan 2021: ObsIdentify herkent Cetti's zanger op tegenlicht foto met 99% zekerheid deel 11
- Voor alle blogs over ObsIdentify klik op label ObsIdentify.
Gert,
ReplyDeletedeepfake is ook wel een blog waard, lijkt me. Die foto's zijn nog maar het begin (van wat iedereen straks op z'n mobieltje thuis kan doen...)