18 March 2020

ObsIdentify geeft ALTIJD foute antwoorden buiten zijn eigen domein. Ook met hoge zekerheden. (deel 7)

Dit is een Roestbruine kniptor:

ObsIdentify voorspelt Roestbruine kniptor Elater ferrugineus
met zekerheid 100.0%

ObsIdentify voorspelt Roestbruine kniptor met zekerheid 100.0%.
 

Dit is een Roestbruine kniptor:

ObsIdentify voorspelt Roestbruine kniptor Elater ferrugineus met zekerheid 100.0%

Dit is een Kerkuil:

ObsIdentify voorspelt Kerkuil Tyto alba met zekerheid 99.9%
ObsIdentify voorspelt Kerkuil Tyto alba met zekerheid 99.9%

Dit is een Kerkuil:

ObsIdentify is helaas niet zeker:
de eerste voorspelling Kerkuil Tyto alba (86.0%).

Dit is een Grote Groene Sabelsprinkhaan:

Grote Groene Sabelsprinkhaan Tettigonia viridissima met zekerheid 92.5%
Grote Groene Sabelsprinkhaan Tettigonia viridissima met zekerheid 92.5%.

Dit is een Grote Groene Sabelsprinkhaan:

Grote Groene Sabelsprinkhaan ©waarneming.nl

 Dit is een Das:

ObsIdentify is helaas niet zeker:
de eerste voorspelling Das Meles meles 76,2%
ObsIdentify is helaas niet zeker: de eerste voorspelling Das Meles meles 76,2%.
 

Dit is een Das:

Das © waarneming.nl


Resultaten

Wat gebeurt er als je het beeldherkenningsprogramma ObsIdentify (O) landschappen aanbiedt? of menselijke gezichten? Ik heb ongeveer 6600 landschappen en gezichten met ObsIdentify (O) op waarneming.nl (desktop PC + Firefox) getest. Vier toppers staan hierboven. Voor de geïnteresseerde lezer staan er meer verbluffende voorbeelden op de data pagina. In deze studie zijn normale, niet-gemanipuleerde foto's gebruikt. Alle foto's geven een identificatie met een zekerheid groter dan 0%. En allemaal zijn ze fout. De uitzonderingen zijn wanneer een boom in het landschap toevallig op de voorgrond staat en herkend wordt.
De meerderheid van de voorspellingen van O heeft een percentage onder de 40% (rode gebied). Maar er komen ook zekerheidspercentages tussen de 40% en 90% (blauwe gebied) voor en zelfs tussen de 90% en 100% (groene gebied). Ook deze zijn fout. In totaal heb ik 211 voorspellingen van dieren in menselijke gezichten hoger dan 40% en 22 foto's hoger dan 90% zekerheid gevonden. In totaal zijn er 96 verschillende soorten die in foto's van gezichten herkend worden met een zekerheid groter dan 40,0%. Het zijn allemaal dieren, op een enkele paddenstoel en plant na. Van de landschappen zijn er plm. 50 gevonden met een percentage hoger dan 40% en 5 foto's hoger dan 90%. Indrukwekkender dan de kwantitatieve resultaten zijn echter de kwalitatieve resultaten. Dat is het psychologisch effect wanneer je ziet dat O een insect, paddenstoel of vogel ziet in een landschap of een menselijk gezicht.

Discussie

De fouten die O maakt zijn hilarisch. O ziet altijd een plant of dier in een willekeurige foto. Het maakt niet uit wat het onderwerp is. In alle foto's in deze studie zijn helemaal geen planten of dieren aanwezig. Wanneer de foto's buiten het domein liggen waar O mee getraind is, zijn de antwoorden altijd 'fout'. Niet fout in de zin dat O de ene soort met de andere verwisselt, maar een dier ziet dat er helemaal niet is. Wanneer je een groot aantal foto's buiten zijn domein test, krijg je ook altijd foto's die met hoge zekerheid een fout antwoord geven. 

Maar het is toch logisch dat O foute antwoorden geeft als je foto's buiten zijn eigen domein laat beoordelen? Daar is hij toch niet op getraind? Dat is toch niet zinnig om te doen? Mijn punt is: je zou verwachten dat O met 0% komt, omdat er immers geen plant of dier in de foto aanwezig is. Maar dat doet hij dus wel. Hij ziet niet dat hij buiten zijn eigen domein zit. O komt soms zelfs met 100% zekerheid tot een 'fout' -of beter gezegd- een irrelevant antwoord. De vraag is: waarom? Is dat logisch? Moet je dat verwachten? Wordt het begrip '100% zekerheid' hierdoor niet ondermijnd? Deze kwestie zijn we in een eerder blog tegengekomen. Hoe dan ook, dit soort testen geven ons inzicht hoe O in feite werkt. Het gunt ons een blik onder de motorkap.

Hoe werkt dit? Kennelijk heeft O genoeg aan zéér weinig pixels om tot een conclusie te komen. In vorige blogs hebben we gezien dat O soms een soort met hoge zekerheid ziet in een 1-pixel-plaatje. Of in een patroon van enkele tientallen pixels. Ook hebben we gezien dat O binnen zijn eigen domein van planten en dieren geen weet heeft van het verschil tussen object en achtergrond van dat object. O kent überhaupt geen dieren of planten, alleen pixels.
Dit zou het verrassende feit kunnen verklaren dat O soorten (vnl. dieren) in landschappen en portretten herkent. De specifieke pixel patronen kunnen daar door stom toeval aanwezig zijn. Met miljoenen pixels in een foto en met duizenden testfoto's moet de kans groter dan nul zijn voor een hit.

Voor ons maakt O dramatische en vaak komische blunders. Bijvoorbeeld: een Kerkuil of een Grote Groene Sabelsprinkhaan in een gezicht herkennen. Voor mensen zijn deze resultaten tegen-intuïtief. Voor O is dit alles volkomen logisch. De cruciale pixels zijn immers aanwezig. O ziet geen problemen.

Ook kunnen we nu misschien verklaren waarom O dezelfde grote precisie hanteert bij blunders als bij zijn eigen dieren en planten. Het algoritme is nl. zeer gevoelig voor kleine kleurvariaties in de plaatjes waarmee hij blundert. Het is zeker niet zo dat O wild aan het gokken is. Zo lijkt het. Maar O gaat met dezelfde precisie te werk omdat het om dezelfde pixelpatronen gaat. Voor O is er gewoonweg geen verschil tussen beide situaties. Dezelfde pixels zitten gewoon in landschappen, gezichten, dieren en planten. Ze zijn alleen voor ons onzichtbaar. Dat levert voor ons de verrassing op. O heeft maar één domein. Je hoeft immers niet van te voren op te geven of je een foto van een plant of dier geeft. Dat bepaalt O zelf. Uit het feit dat hij soms een plantennaam als alternatieve voorspelling voor een dier geeft, kun je concluderen dat hij het onderscheid tussen plant en dier waarschijnlijk niet kent. Het enige wat hij doet is: pixels koppelen met bepaalde waarschijnlijkheden aan soortnamen. O ziet op zo'n totaal andere manier dan wij mensen, dat we compleet gedesoriënteerd raken. Als je deze resultaten hebt gezien, dan kijk voor altijd met andere ogen naar ObsIdentify.

Het psychologisch effect is des te groter wanneer je alleen maar goede resultaten van goede foto's van planten of dieren kent. Je krijgt dan de sterke indruk dat O weet waar hij het over heeft. Wat een soortenkennis! Een bijna bovenmenselijke soortenkennis! Vooral als je ziet hoe vaak hij het juist heeft. Dat zijn indrukwekkende prestaties als je bedenkt dat er menselijke (super-)specialisten zijn op het gebied van vogels, libellen, vlinders, paddenstoelen, etc. ObsIdentify is een multi-expert die meer weet dan iedere menselijke expert afzonderlijk, maar die fouten maakt die geen beginner zou maken.

Aanbevolen video


TED talk: How we're teaching computers to undersand pictures.
Computerwetenschapper Fei-Fei vertelt in een TED talk dat ze met behulp van duizenden vrijwilligers miljoenen foto's heeft geannoteerd, zodat ze deze als een gigantische trainings-set voor haar beeldherkenningssoftware heeft kunnen gebruiken. Ze claimt dat dit haar beeldherkenningssoftware enorm verbeterd heeft. En ze laat een aantal voorbeelden zien.

Data

Er worden de komende dagen nog voorbeelden toegevoegd.

Disclaimer

Deze resultaten zijn gebaseerd op testen die ik gedaan heb in februari/maart 2020. ObsIdentify kan ondertussen gewijzigd zijn. Op de desktop is dat nergens zichtbaar.


Alle blogs over ObsIdentify

  1. 30 September 2019 Test van ObsIdentify algoritme voor automatische identificatie van dieren en planten deel 1
  2. 21 Oktober 2019 ObsIdentify software gekraakt! Vlinders identificeren zonder te weten wat een vlinder is... deel 2
  3. 19 November 2019 ObsIdentify (3) Who is afraid of red, yellow and blue? De Vlinder Turing test voor mens en AI deel 3
  4.  4 December 2019 ObsIdentify herkent Kuifeend, Kikker, Kiekendief en vele andere soorten in plaatjes van 1 pixel deel 4
  5. 23 december 2019 Hoe zeker is 100%? Soorten met 100% zekerheid herkennen in random pixels. deel 5
  6.  4 Feb 2020 Hacken voor dummies en gevorderden. Beeldherkenningssoftware ObsIdentify is makkelijk te misleiden. deel 6 
  7. 18 maart 2020  ObsIdentify geeft ALTIJD foute antwoorden buiten zijn eigen domein. Ook met hoge zekerheden. deel 7.

10 March 2020

Pop-up livestream college coronavirus Universiteit Utrecht 10 maart 2020

Vandaag dinsdag 10 maart van 19.30 – 21.00 uur organiseert de Universiteit Utrecht een popup livestream college www.uu.nl/pop-up-college over het coronavirus gehouden door viroloog Raoul de Groot.

info: https://www.uu.nl/agenda/online-college-qa-coronavirus-livestream


Vanaf morgen woensdag 11 maart is de livestream nog een week online beschikbaar.


(met dank aan Susan voor de tip)

04 February 2020

Hacken voor dummies, beginners en gevorderden. Beeldherkenningssoftware ObsIdentify is makkelijk te misleiden (deel 6)

Hacken voor dummies


Zo hack je ObsIdentify (O ) in 2 stappen: 
  1. creëer een png file van 200 x 200 pixels met witte achtergrond
  2. zet 1 zwarte pixel op coördinaten x=98; y=97 (nulpunt is linkerbovenhoek)

volgens ObsIdentify is dit een gierzwaluw
met 66,0% zekerheid. (200x200 pixels)

Upload dit plaatje naar ObsIdentify (waarneming.nl) en U zult zien dat U een gierzwaluw met 66,0% zekerheid heeft gecreëerd! Gefeliciteerd met Uw eerste hack! Zo simpel kan het zijn om O te hacken: 1 pixel op de juiste plaats.



Met nog twee simpele stappen kunt U het percentage nog verder opvoeren:
  1. geef de pixel de kleur #1a1014
  2. geef de achtergrond de kleur #bfcaff
en upload deze weer naar waarneming.nl

volgens O: gierzwaluw met zekerheid 89,3%
200x200. 591 bytes
U zult zien dat U een gierzwaluw met 89,3% zekerheid heeft gecreëerd! Gefeliciteerd!

NB: de precieze positie van het pixel in het 200x200 plaatje is van belang. Zet U de pixel in het eerste voorbeeld per ongeluk op positie [98,98] dan krijgt U 53.6% in plaats van 66,0%. Dat scheelt toch maar eventjes 12,4%! Alle directe buren scoren lager. Is de afmeting niet precies 200x200 dan is het resultaat duidelijk slechter [6]. En een willekeurige positie in het plaatje is helemaal kansloos. Dat kunt U vergeten. De achtergrondkleur is zeer belangrijk. De juiste achtergrondkleur kan het percentage met zo'n 20% verhogen. Verder geeft de kleur van het ene pixel een bijdrage van plm. +1%. In dit voorbeeld is de kleur van het pixel met het blote oog niet te onderscheiden van zwart. Het is belangrijk dat U Uw plaatje saved als .png file. Het file type .jpg is hiervoor niet geschikt, zelfs als U Quality=100% kiest (kan aan GIMP liggen). Volgens O is de essentie van een gierzwaluw dus:
200x200; [98,97]; #1a1014; #bfcaff
Ik raad U aan om in ieder geval mijn plaatje te uploaden omdat U het anders niet zult geloven. Immers, het is toch absurd dat 1 pixel voldoende is voor 89,3%? [2]. Vogelaars doen er jaren over om een paar honderd soorten te kennen. Zo ziet een gierzwaluw er in het echt uit:
gierzwaluw ©waarneming.nl (O = 99.2%) [ 800x535 ]
deze foto is gekozen door waarneming.nl als dé standaard gierzwaluw.
Een voorbeeld van een veel voorkomende foto illustreert de moeilijkheidsgraad:
O: gierzwaluw 80,7% (©waarneming.nl)

ObsIdentify hacken voor gevorderden

Zeker voor een plaatje met 1 pixel is 89,3% een extreem hoge score. Maar onze hack kan nog veel beter. Met 4 pixels haalt U 96,6% en met 27 pixels haalt U zelfs 99,9% zekerheid gierzwaluw:

gierzwaluw 96,6%
4 pixels: gierzwaluw 96,6% ©GK
200x200. 559 bytes.
gierzwaluw 99,9%
27 pixels: gierzwaluw 99,9% ©GK
200x200. 639 bytes
In bovenstaande plaatjes heb ik alle niet noodzakelijke pixels weggelaten. Je houdt zo alleen de noodzakelijke pixels over (maximaal 27 voor de gierzwaluw 99,9%). Met meer pixels haal je geen beter resultaat. Dat komt omdat er neutrale pixels bestaan die niet noodzakelijk zijn voor herkenning, maar wel hetzelfde percentage geven. Zo krijg je het kleinst aantal pixels dat het hoogste resultaat geeft. Dat onthult de minimum hoeveelheid data die O  echt nodig heeft voor herkenning met 99,9% zekerheid. Toch zijn de files tussen de 600 en 700 bytes groot. Dat komt omdat png files verliesloze datacompressie hebben en een file bevat sowieso noodzakelijke overhead data (zoals een comment, etc).

waarneming.nl
perfecte gierzwaluw foto (O geeft maar 60,1%)
©waarneming.nl
de beste gierzwaluw foto geeft 80,9% waarneming.nl
haarscherp, goed belicht, alle details te zien.

 

Discussie

Waarom leveren perfecte gierzwaluw foto's geen 100%? Waarom produceert een fake plaatje een gierzwaluw met 99,9% zekerheid? Waarom produceert zo'n fake plaatje nu specifiek een gierzwaluw en geen andere soort? Ik heb werkelijk geen idee. De gierzwaluwen kwamen spontaan opduiken in experimenten met willekeurige pixels in een wit vierkant. Toen ik zag dat je het percentage kon opvoeren tot 99,9%, ben ik eens gaan kijken naar foto's van echte gierzwaluwen in waarneming.nl om te kijken of daar een verklaring ligt. Ik heb 30 goedgekeurde gierzwaluw foto's (met groen vinkje ) op waarneming.nl getest. Er werden maar liefst 11 door O als Vale gierzwaluw geïdentificeerd (een in Nederland zeldzame soort) met percentages oplopend tot 99,9% (zie: data) (heb ik aan waarneming.nl doorgegeven). De plaatjes die correct als gierzwaluw werden geïdentificeerd, waren meestal minder 100%. In één goedgekeurde gierzwaluw ziet O zelfs een Roodpootvalk! Daarnaast heb je nog de zeldzame dwaalgast Siberische gierzwaluw die door O wordt geïdentificeerd als Vale Gierzwaluw. De Alpengierzwaluw wordt met 100% zekerheid herkent. De ondersoort (subspecies) gierzwaluw apus wordt met 100% zekerheid herkent als de gewone gierzwaluw. Dit had ik niet verwacht van goedgekeurde foto's. Tijdgebrek van de redactie? Het is waar dat de gierzwaluw extreem moeilijk te fotograferen is. Hij vliegt continu met hoge snelheden en doorgaans vrij hoog. Je kunt hem bijna niet zittend fotograferen. Zou dit alles kunnen verklaren waarom O zo makkelijk te hacken is? Aan de andere kant zijn er perfecte foto's zoals bovenstaande (60,1%). Bovendien zijn er 10.905 gierzwaluw foto's aanwezig. Dat moet meer dan voldoende zijn voor een goede trainings-set. Effecten van trainingsmethode, de software zelf en moeilijkheidsgraad van de soorten zullen tegelijk een rol spelen.

Uiteindelijk kan ik niet verklaren waarom O zo sterk reageert op een 200x200 plaatje met 1 pixel. Het is wel duidelijk dat O aan sterke informatie reductie moet toepassen. Maar het is uitgesloten dat 1 gekleurde pixel op 1 positie op een gekleurd 200x200 vierkant typerend zou zijn voor een gierzwaluw. Wat is er zo uniek aan dat pixel? Een pixel op die positie kan van iedere soort zijn! En een gierzwaluw en iedere andere soort heeft nooit een vaste positie ten opzichte van de rand van de foto. Hij kan in het midden, links, rechts, onder en boven zitten. Er zijn oneindig veel mogelijke manieren waarop een dier gefotografeerd kan worden [1]. Het kan niet zo zijn dat 1 pixel doorslaggevend is. Het is een false positive in extreme mate. Maar false positives sluiten overduidelijk geen true positives uit. Kennelijk is het een balans tussen beide. Is het algoritme zo gevoelig afgesteld om zoveel mogelijk true positives te krijgen? met als onvermijdelijk gevolg bizarre false positives? Of is het gewoon een bug of een neveneffect van de techniek? Ik weet het niet.

De enige manier om verder te komen is dat ik O zelf kan trainen met fake plaatjes als controle, waar bij O moet antwoorden 'kan ik niet identificeren' of 'plaatje bevat te weinig details'. Ik ben zeer benieuwd of O daarna beter presteert op echte soorten. 



Veelbelovende methode

De gierzwaluw hack heeft me veel trial-and-error experimenten gekost om uiteindelijk tot die ene pixel te komen die hoog scoort. Maar je kunt ook geluk hebben. De Grote Zilverreiger heb ik in 5 minuten van 77% naar 98,9% opgevoerd. Gewoon wat kliederen en klooien met wit en nog wat kleurtjes. O helpt je daarbij door steeds kwantitatieve aanwijzingen te geven: dat is hetzelfde (%); dat is beter (%); dat is slechter (%).
Grote zilverreiger 98,9%
Grote zilverreiger 100% (©waarneming.nl)















Op die manier heb ik ook de mij volstrekt onbekende alg Staurastrum pileolatum gevonden met 97,8% zekerheid beginnend met een kindertekening:

ObsIdentify voorspelt Staurastrum pileolatum
met zekerheid 97.8%

In beide gevallen gaat het snel in het begin en dan loop je tegen het glazen plafond aan. Je ziet het niet aankomen, maar je merkt het wel. En dan is vooruitgang extreem moeilijk.
wilde zwaan ©waarneming.nl

Wilde zwaan 99,1% ©GK
115x110 (jpg)















Dit plaatje ziet er uit als een kindertekening of -zo U wilt- een echte Picasso. Ziet U welke vogel het is? O ziet een Wilde zwaan met 99,1% zekerheid.

Parallelspletige brokkelspoorzwam 99,4%
is een paddenstoel
RGB 200x200 png ©GK
Vale gier 99,9%
RBG 200x200 png ©GK















Vale gier ©waarneming.nl

De Vale gier (hierboven) is een voorbeeld van een kindertekening (van een gezicht) die je in 5 min van plm. 30% (rode gebied) met grote stappen tot 60% (blauwe gebied) brengt, en daarna heb je nog minstens een uur nodig om hem met vele kleine stapjes tot 99,9% (groene gebied) te brengen. Het lijkt er op dat kliederen met streepjes en pixels de meest veelbelovende techniek is om redelijk snel resultaat te behalen. O is zo vriendelijk je steeds de goede richting op te sturen. Niet door te zeggen wat de volgende stap moet zijn, maar of je goed gegokt hebt en hoe ver je er naast zit.


De Nachtzwaluw is een bewijs dat je met een handmatige methode 100% zekerheid kan halen:
Nachtzwaluw 100%
200x200 RGB png ©GK
Nachtzwaluw 97,2%
standaard nachtzwaluw van ©waarneming.nl 800x533
De gehackte gierzwaluw wordt volledig gespecificeerd door 26 pixels en een file van 265 bytes [7]. Dat is vrijwel niets in vergelijking met normale foto's die 10 miljoen bytes groot kunnen zijn. Voor een echte Nachtzwaluw geeft O maar 97,2%. Bizar is weer de vereiste precisie van de locatie van de pixels.
[9 feb 2020 toegevoegd].



Londense politie gebruikt voortaan gezichtsherkenning

Het is leuk, leerzaam en verslavend om O te hacken. Maar er zitten ook serieuze kanten aan. In waarneming.nl komen duizenden nieuwe foto's per dag binnen. Die moeten allemaal beoordeeld worden wil dit alles wetenschappelijk nut hebben. Automatische identificatie van foto's is daarbij een onmisbaar hulpmiddel geworden. Alle percentages boven de 90% krijgen automatisch het kenmerk 'zeker' en daaronder 'onzeker' [3]. We hebben hier boven gezien hoe makkelijk je boven de 90% komt met fake plaatjes. Daarom is aandacht voor software fouten zo belangrijk. Dat geldt helemaal voor een verwante tak van sport: gezichtsherkenning. De Londense politie ziet zich voor dezelfde taak gesteld: uit de duizenden voorbijgangers de gezochte crimineel herkennen. Wired wijst erop dat een onafhankelijke analyse van de University of Essex tot de conclusie kwam dat het systeem in 81% van de gevallen onterecht tot een match van gezichten kwam [4],[5]. Beeldherkenningssoftware moet niet alleen op juiste uitkomsten getest worden, maar ook hoe makkelijk de software te hacken is.



Data


Noten

  1. Duizenden verschillende foto's van een soort: denk aan: belichting (zon,bewolkt, richting van de zon, tegenlicht), vooraanzicht, zijaanzicht, kop naar links/rechts, vliegend, staand, zittend, afstand (dus klein/groot), gedeelte bedekt door takken, bladeren. Dit is alleen fototechnisch, daarnaast: jong/volwassene, man/vrouw, zomer/winterkleed; ondersoort, etc. NB: foto is altijd 2D! O herkent nu 14.000+ soorten.
  2. Ik heb eerder 1 pixel plaatjes [1x1] onderzocht maar die kwamen nooit tot dit soort hoge percentages zekerheid.
  3. zie: Disclaimer ObsIdentify: "De beeldherkenning zet de waarneming automatisch op onzeker als je een soortsuggestie van ObsIdentify accepteert en het resultaat onder de 90% herkenning zit."
  4. Londense politie gaat camera's met realtime gezichtsherkenning gebruiken, tweakers, 24 jan 2020
  5. The Met Police will start using live facial recognition across London,  Wired, 24 Jan 2020
  6. Voeg je aan hetzelfde plaatje witte randen van 1 pixel toe (afmeting 202x202 gecentreerd) dan zegt O: gierzwaluw 61.5% in plaats van 66,6%. De relatieve positie van het ene pixel is hetzelfde, maar de absolute grootte van het plaatje is groter geworden. Bij 210x210 daalt het perc. zelfs tot 58,3%. Waarom heeft dat invloed? De positie van het beest op de foto mag toch niet uitmaken? [ 9 feb 2020 ]
  7. De kleinste png file krijg je door alle opties die mogelijk opslagruimte kosten uit te vinken: Interlacing; background color; gamma, layer offset; resolution; creation time; comment. Als je die file saved als een jpg file met 100% quality levert dat een file op van 2,5 kB en O geeft: Nachtzwaluw 55,5%! Hetzelfde plaatje! [ 10 feb 2020 ]

Alle blogs over ObsIdentify

  1. 30 September 2019 Test van ObsIdentify algoritme voor automatische identificatie van dieren en planten deel 1
  2. 21 Oktober 2019 ObsIdentify software gekraakt! Vlinders identificeren zonder te weten wat een vlinder is... deel 2
  3. 19 November 2019 ObsIdentify (3) Who is afraid of red, yellow and blue? De Vlinder Turing test voor mens en AI deel 3
  4.  4 December 2019 ObsIdentify herkent Kuifeend, Kikker, Kiekendief en vele andere soorten in plaatjes van 1 pixel deel 4
  5. 23 december 2019 Hoe zeker is 100%? Soorten met 100% zekerheid herkennen in random pixels. deel 5
  6.  4 Feb 2020 Hacken voor dummies en gevorderden. Beeldherkenningssoftware ObsIdentify is makkelijk te misleiden. deel 6 
  7. 18 maart 2020 ObsIdentify geeft ALTIJD foute antwoorden buiten zijn eigen domein. Ook met hoge zekerheden. deel 7