Tesla beeldherkenning en ObsIdentify beeldherkenning: steeds beter, maar maken nog steeds klassieke fouten (10)

Tesla autopilot is gebaseerd op beeldherkenningssoftware. ObsIdentify is beeldherkenningssoftware die dieren en planten herkent. Beide worden ze continu verbeterd, en beide begrijpen nog steeds niets van de wereld. Ze maken daardoor bizarre blunders.

 

De baas van Tesla, Elon Musk, wordt met iedere update van het autopilot systeem [1] zelfverzekerder. Hij noemt het 'superhuman'. Het Tesla autopilot systeem herkent fietsers, voetgangers, personenauto's, vrachtwagens, pylons [2], stoplichten. Maar hoe beter het systeem  lijkt te werken, des te groter de verwachtingen dat het 'superhuman' is en geen fouten maakt. En het systeem zal fouten maken die een mens nooit maakt en zal vele onverwachte blunders maken omdat het niets van de wereld begrijpt en alleen maar razendsnelle berekeningen kan maken. Enthousiaste Tesla rijders hebben geen ervaring met de beperkingen van dat soort software. Ze zetten regelmatig YouTube filmpjes op het internet waarbij ze de autopilot software aan hebben staan tijdens het rijden op de openbare weg. Maar de werkelijkheid op de openbare weg is gecompliceerder en onvoorspelbaarder dan de makers van de software hebben voorzien. Een voorbeeld is een bocht te krap nemen waardoor de banden nog net tegen een beschadigde stoeprand met scherpe breukvlakken aanrijden! Gevolg: schade aan de band. Een mens weet dat je scherpe stoepranden beter kunt vermijden. Dit filmpje bevat vele vermakelijke en leerzame voorbeelden:

Why does the Model 3 have trouble detecting kids & stopping?

"autopilot is confused: what is it? a cone, a person? a bike? Is it a child close, or a adult far away? First decelerates and then run over her!"

Hij doet testen met poppen, niet met zijn dochtertje! Hij denkt dat de software ziet en denkt als een mens. Hij zal voor nog meer verrassingen komen te staan. Net als de ingenieurs die het systeem programmeren en trainen.

De uitdaging voor een AI systeem in een rijdende auto in de echte driedimensionale wereld met vele onafhankelijk bewegende objecten is vele male groter dan een systeem als ObsIdentify dat stilstaande beelden moet beoordelen. Het Tesla systeem moet real-time objecten herkennen. Dat wil zeggen: onderscheid maken tussen object en omgeving. Bewegende objecten als fietsers zijn makkelijker van hun omgeving te scheiden want zij bewegen zich door hun omgeving. ObsIdentify heeft altijd te maken met stilstaande objecten in hun omgeving. ObsIdentify doet voor zover mijn ervaring geen poging het object te scheiden van zijn omgeving. Dat is te merken aan de fouten die het maakt. Bijvoorbeeld deze foto van de Zeearend. Dit is een enorme roofvogel die in toenemende mate in Nederland broedt, vooral in de Oostvaardersplassen, Biesbosch en het Lauwersmeer.

Zeearend (origineel G.J. IJzerman) ObsIdentify=100%
800x600 pixels.

 

De Zeearend in deze foto wordt met 100% zekerheid herkend. Hij is als object prachtig geïsoleerd van zijn omgeving. Herkent O de zeearend echt? Laten we de achtergrond eens een andere kleur geven. We kiezen een roze tint (html code #FF27FF). Dat komt in de natuur niet voor, maar het blijft een zeearend, niet waar? Die kleur geeft een dramatische verslechtering van het zekerheidspercentage van 100% naar 36,5%.

 ObsIdentify: Zeearend 36,5% (#FF27FF)

O ziet nog steeds een Zeearend maar is erg onzeker.

  ObsIdentify: Laatvlieger 36,6% (#FF26FF)

Als we de kleur stapsgewijs veranderen ziet ObsIdentify opeens een vleermuis: de Laatvlieger. Het omslagpunt ligt bij #FF27FF (Zeearend) naar #FF26FF (Laatvlieger).

Dus: een voor de mens onzichtbaar kleurverschil in de achtergrond van dezelfde zeearend doet O switchen van Zeearend met zekerheid 36,5% naar Laatvlieger met zekerheid 36,6%. Dit is reproduceerbaar. Geen toevallige misser. NB: de Laatvlieger is een vleermuis! Ook al weet je niets van vogels of dieren in het algemeen, een mens zou niet eens opmerken dat het hier om twee verschillende foto's gaat. Laat staan dat de eerste een zeearend is en de tweede een vleermuis is. Zeker: de achtergrondkleur is volkomen idioot. Maar O reageert er wèl op. Het toont nog eens aan dat O geen onderscheid maakt tussen dier en achtergrond.

En het blijft niet bij 1 andere soort, bij een bepaalde oranje achtergrondkleur ziet Obs opeens een Continentale aalscholver. Een totaal andere soort! Het is niet eens een roofvogel.

ObsIdentify: Zeearend 25,7% (kleur: #FF5000)

ObsIdentify: Continentale Aalscholver 24,8% (kleur: #FF4900)

Ook hier ligt het omslagpunt Zeearend/Aalscholver reproduceerbaar bij de kleinst mogelijke stap die kleurencodesysteem van html toestaat. Het verbaast me nog steeds. Ik zou beter moeten weten. Een voor de mens onzichtbaar kleurverschil in de achtergrond is voor O aanleiding om er een totaal andere soort van te maken. Wel met lage zekerheid voor beide. Dat wel. En dat is typerend: deze kleur maakt O onzeker. Hij twijfelt sowieso of het een Zeearend is puur op basis van de achtergrond. Dat wil zeggen: wij weten dat het de achtergrond is. Dat deze fout niet wordt veroorzaakt door mijn ingreep in de foto blijkt uit het feit dat O met een witte achtergrond een zeearend ziet met 99,9% zekerheid.

Hoe kan dit? O is niet dom! O herkent de meeste op de zeearend lijkende roofvogels met grote zekerheid: Visarend, Dwergarend, Arendbuizerd, Buizerd, Wespendief, Keizerarend, Slangenarend. Maar O vergist zich niet zoals een mens die een Wespendief verwart met een Buizerd. O vergist zich bizar en onbegrijpelijk. Als je dit niet door hebt, zoals de Tesla-rijder van het YouTube filmpje, dan ben je behoorlijk naïef.

De hamvraag: zijn dit soort fouten gewoon vermijdbare bugs of is het een inherente eigenschap van een overigens succesvolle techniek?

Noten

1. Zie voor ongelukken met Tesla 'autopilot' hier.
2. In een andere testrit ziet de autopilot meerdere malen random cones (pylons) op de weg die er helemaal niet zijn! Hij reageert er kennelijk niet op. Er valt dus nog wat te verbeteren!
   

Vorige post over dit onderwerp

Dit is de 10e aflevering in de serie over beeldherkenner ObsIdentify. De vorige was:

• Obsidentify voorspelt Wespendief, Buizerd en Ruigpootbuizerd op basis van foto's van dezelfde vogel,  30 mei 2020 (deel 9) Zie daar voor alle vorige.