Opvallende verbetering ObsIdentify in 2023: veel minder foute identificaties

Schotse Hooglander 100% (2022-2023)

Schotse Hooglander 100% (maart 2023)

Schotse Hooglander 26% (december 2023)

In 2023 heeft ObsIdentify een opvallende verbetering te zien gegeven. Ik zag in december een sterke afname van foute identificaties bij mijn testplaatjes. In 2021–2023 had ik honderden door AI gegenereerde plaatjes getest (This person does not exist) en vond tot mijn verbazing foute identificaties met 100% zekerheid. Menselijke gezichten werden geïdentificeerd als Schotse Hooglander met 100% zekerheid (zie foto).

Dit is het topje van de ijsberg. Ik vond tientallen plaatjes met zekerheid groter dan 90% en nog veel meer met lagere percentages. Bij het hertesten in december 2023 bleken de foute identificaties met hoge zekerheid dramatisch afgenomen. De foute identificaties Schotse Hooglander met 100% zekerheid waren totaal verdwenen. In plaats daarvan was het percentage gezakt onder de 50% en vaak veel lager. De menselijke soort kent hij niet. In de meerderheid van de tests werden er andere soorten gevonden: Grijze zeehond, Wild Zwijn, Dwarsbandkakkerlak, Kuifeend, Europese Rode Eekhoorn, Zwart lieveheersbeestje, Ruwe pissebed, en nog wat paddenstoelen, vogels en spinnen. Maar: allemaal met lage zekerheden. En daar zit hem de vooruitgang in. Wel fout, maar met minder zekerheid fout. Iets dergelijks zag ik ook al eind 2021.

Schotse Hooglander 100% (2022)
 
12% Witsterblauwborst (dec 2023)

Schotse Hooglander 95,1%
 
7% Das (dec 2023)

Ik heb tot nu toe maar  één uitzondering gevonden op deze trend:

Gewone kamelonspin 92% (19 jan 24)

Wat de verklaring voor de vooruitgang is weet ik niet. Het moet een indirect effect zijn van het trainen op steeds meer foto's van steeds meer dieren en planten soorten. De opvallende verbeteringen hebben misschien te maken met het feit dat september 2023 een nieuwe versie van de ObsIdentify herkenningssoftware (NIA) live is gegaan. De versie bevat 28.000 nieuwe soorten. Hoe meer soorten hij correct met grote zekerheid kan identificeren, hoe kleiner de kans op foute identificaties. Lijkt mij. Als je goed soorten kan identificeren, zul je gewoon minder fouten maken met plaatjes waar je niet op getraind bent. Maar, aan de andere kant zou het kunnen zijn dat ook de kans groter wordt dat je één van de duizenden soorten herkent in een gezicht. Puur op basis van een toevallige overeenkomst in patronen en kleuren. Maar dat lijkt niet te gebeuren. In tegendeel. Het kan zijn dat de herkenningssoftware zelf verbeterd is. Bijvoorbeeld door veel meer parameters te gebruiken. Dat zie je bijvoorbeeld in AI software als ChatGPT. Of de normen voor identificatie zijn strenger geworden waardoor lagere percentages zekerheid worden gegeven.

Hoe dan ook, het blijft fascinerend om te proberen te begrijpen wat er in het hoofd van ObsIdentify omgaat. Wat begrijpen wij eigenlijk van ObsIdentify? Wat begrijpt ObsIdentify eigenlijk van de plaatjes die hij te zien krijgt?

 

Data

Ik heb in dit blog een paar foto's als voorbeeld gegeven. Alle 77 foto's die in 2021-2023 hoge zekerheden gaven met ObsIdentify heb ik in december 2023 opnieuw getest en de resultaten staan op deze pagina. 

NB: ik heb alle identificaties gedaan zonder ze op te slaan in waarneming.nl. Selfies zijn verboden!

Klik op het label ObsIdentify voor alle posts over ObsIdentify. Dit is deel 18.

Test hier uw vaardigheid in het onderscheiden van real en fake gezichten.