ChatGPT is superintelligent, understands human language and ... fabricates facts.

ChatGPT lies about Junk DNA 25 March 2023

 

Recently I read a blogpost: ChatGPT lies about Junk DNA. Well, some answers may be wrong, but it is really nonsense to say:'ChatGPT lies'! One must have at least a basic understanding of recent developments in the field of AI to have a well-founded opinion about the matter. I consider the errors as undesirable side-effects of software that itself is nearly indistinguishable from human intelligence.

Lying? The dictionary definition of lying is "to make a false statement with the intention to deceive". An AI computerprogram can make factual errors, but cannot have an intention at all, let alone an intention to deceive. Nor can it have the intention to spread misinformation [7]. Only humans can lie. Computersoftware and dogs cannot lie. Claiming otherwise is anthropomorphism. Of course lying and spreading misinformation is a bad thing. But in a webinar about ChatGPT a scientist involved in AI language research said that ChatGPT is not designed to produce truths. So, if it is not designed to deliver the truth [3], it simply doesn't make sense to expect it produces true statements all the time. It is absolutely wrong to conclude that ChatGPT is a worthless piece of software.

 

picture generated by: 'This person does not exist'.

The errors ChatGPT makes can be compared with the above image generated by AI software. This AI software generates beautiful images 99% of the time. It is not worthless because of an occasional error. To err is human! Another website shows perfect human faces also generated by AI (https://loremfaces.com/) with even less errors.

ChatGPT is a milestone in the AI field of artificial language processing and production. It can read and interpret human questions and it can produce grammatically correct sentences which are real answers, not just any text with the words from the question included. And that's no small feat! Language, the ability to produce grammatically correct sentences, is considered a unique human capability. What ChatGPT does is a far greater accomplishment than what search engines are able to do so far. One can even claim that ChatGPT passes the Turing test (1). The Turing Test is a test of a machine's ability to have a natural language conversation and exhibit intelligent behaviour indistinguishable from a human. ChatGPT is precisely doing that. Truth is not part of the definition of the Turing test. But intelligence is. Recently, Scientific American published an article: I Gave ChatGPT an IQ Test. Here’s What I Discovered. What did the author find? The Verbal IQ of the ChatGPT was 155, superior to 99.9 percent of the test takers! Please note this is the same test used for humans! Read the article for the details [2].

Another revolution in the AI field: Artificial intelligence powers protein-folding predictions (Nature). Deep-learning algorithms such as AlphaFold2 and RoseTTAFold can now predict a protein’s 3D shape from its linear sequence — a huge boon to structural biologists. "Zhang considers AlphaFold2 to be a striking demonstration of the power of deep learning."

So, dismissing ChatGPT because it makes errors and fabricates data is throwing the baby out with the bathwater. Itself a human error. Just read the Wikipedia List of scientific misconduct incidents where you learn about 75 scientists (!) that have falsified or fabricated data (intentionally) [4],[6]. Investigations suggest that, in some fields, at least one-quarter of clinical trials might be problematic or even entirely made up [5]. Do we reject science as a whole because some scientists fabricate data? Pay as much attention to scientific integrity as to ChatGPT. Fortunately, ChatGPT is not allowed to  publish in scientific journals. If you don't like ChatGPT, don't use it.

 

Stephen Wolfram very positive about ChatGPT

9-10 April 2023

"I think, is that language is at a fundamental level somehow simpler than it seems. ...  The basic concept of ChatGPT is at some level rather simple. Start from a huge sample of human-created text from the web, books, etc. Then train a neural net to generate text that’s “like this”. And in particular, make it able to start from a “prompt” and then continue with text that’s “like what it’s been trained with”. ...

But the remarkable—and unexpected—thing is that this process can produce text that’s successfully “like” what’s out there on the web, in books, etc.  ...

What does it take to produce “meaningful human language”? In the past, we might have assumed it could be nothing short of a human brain. But now we know it can be done quite respectably by the neural net of ChatGPT. ...

I think we have to view this as a—potentially surprising—scientific discovery: that somehow in a neural net like ChatGPT’s it’s possible to capture the essence of what human brains manage to do in generating language.  ...

But it’s amazing how human-like the results are.... this suggests something that’s at least scientifically very important: that human language (and the patterns of thinking behind it) are somehow simpler and more “law like” in their structure than we thought. ChatGPT has implicitly discovered it. ...

What ChatGPT does in generating text is very impressive."

From: Stephen Wolfram (2023) What Is ChatGPT Doing … and Why Does It Work? February 14, 2023 (this is an in depth analysis of ChatGPT).

Wolfram doesn't discuss the fact that ChatGPT also produces grammatically correct false statements ('hallucinations'). But I think it follows easily from his analysis. So, ChatGPT has the same difficulty in distinguishing true and false statements as humans.

(Thank you Bert Morrien for pointing out Wolfram's article.)

 

 

Further Reading

• Hong Yang (2023) How I use ChatGPT responsibly in my teaching, Nature 12 April 2023 Quote: "... because current technology makes it difficult to detect work written by the model." ('model' is ChatGPT). That means it passed the Turing Test.
• Gary Marcus (2023) AI Platforms like ChatGPT Are Easy to Use but Also Potentially Dangerous, Scientific American December 19, 2022
• Large language model, is a very useful Wikipedia article which contains a List of large language models (ChatGPT is one of them). Particularly interesting are: Emergent abilities of LLMs. [added 20 April 2023]
• How generative AI is building better antibodies, Nature, 4 May 2023. Language models similar to those behind ChatGPT have been used to improve antibody therapies against COVID-19, Ebola and other viruses. . [added 11 May 2023]
• Elsevier’s chatbot, called Scopus AI: users ask natural-language questions; in response, the bot uses a version of the LLM GPT-3.5 to return a fluent summary paragraph about a research topic, together with cited references. However, they can make up non-existent references. Scopus AI is therefore constrained: it has been prompted to generate its answer only by reference to five or ten research abstracts. (Nature) [added 10 Aug 2023]

 

Notes

1. It was designed by Alan Turing in 1950 (1) Turing was an English mathematician, computer scientist, logician, cryptanalyst, philosopher, and theoretical biologist. 
2. Read for background information the Wikipedia articles: Superintelligence, ChatGPT (includes reception, limitations) and Turing Test. Read also the blog Introducing ChatGPT from the developers of ChatGPT section Limitations: "ChatGPT sometimes writes plausible-sounding but incorrect or nonsensical answers. Fixing this issue is challenging, as: (1) during RL training, there’s currently no source of truth". Precisely! If the author of the blog "ChatGPT lies..." could point out where 'the source of truth' can be found, the problem of false statements is solved for once and for all. [10 Apr 2023]
3. Gary Marcus (2023) AI Platforms like ChatGPT Are Easy to Use but Also Potentially Dangerous, Scientific American December 19, 2022: "In technical terms, they are models of sequences of words (that is, how people use language), not models of how the world works. They are often correct because language often mirrors the world, but at the same time these systems do not actually reason about the world and how it works" 
4. The latest fraud: University investigation found prominent spider biologist fabricated, falsified data, Science 11 May 2023.
5. Medicine is plagued by untrustworthy clinical trials. How many studies are faked or flawed? Nature 18 Jul 2023 
6. ‘A very disturbing picture’: another retraction imminent for controversial physicist: Nature, 25 Jul 2023. Ranga Dias will have a second paper revoked. A journal’s investigation found apparent data fabrication.
7.  Nature about ChatGPT: Role play with large language models, 8 Nov 2023. "it makes little sense to speak of an agent’s beliefs or intentions in a literal sense. So it cannot assert a falsehood in good faith, nor can it deliberately deceive the user. Neither of these concepts is directly applicable." 16 Nov 2023
    
   

Hoe van Kooten en de Bie alle opties voor de toekomst open houden (VPRO gids 21 mrt 1998)

Kijk zondag 22 maart 1998 hoe van Kooten en de Bie
alle opties voor de toekomst open houden
VPRO gids 21 mrt 1998 Nummer 12 f 2,25

 

 

De omslag van de VPRO gids van toen ter gelegenheid van het overlijden van Wim de Bie (1939 - 2023)

De omslag van de gids had ik tegen het vlieringluik op zolder geplakt 25 jaar en 1 week geleden. Maar al gauw loop je er langs zonder dat je het nog echt ziet. Vandaag viel mijn oog erop. Wonderbaarlijk genoeg was hij nauwelijks verbleekt. Waarschijnlijk omdat er geen direct zonlicht op viel. Hij verdient een blogpost. Nu is het moment om een van de grootste entertainers van Nederland te eren.

Het einde van het reductionisme? Bespreking hoofdstuk 18 Rolie Barth (2021) De kosmos en het leven, een Meesterwerk

Het einde van het reductionisme?

"Alles bij elkaar genomen is dit het einde van het reductionisme" (p.358).

Rolie Barth (2021)
De kosmos en het leven, een Meesterwerk

 

"Het einde van het reductionisme" is de titel van paragraaf 14 van Hoofdstuk 18 'Gekanaliseerde evolutie' van het boek De kosmos en het leven, een Meesterwerk van fysicus-predikant Rolie Barth. De auteur omschrijft reductionisme als: 

"de overtuiging dat alle biologische rijkdom uiteindelijk te herleiden is tot atomen en moleculen in combinatie met de fundamentele natuurwetten, vooral de kwantumfysica en -chemie. Alsof het leven niets anders is dan complexe fysica." (p.355).

Wel, dit is jammer voor voor de verklaring van de strepen van de zebra! (zie omslag van het boek). Want: "In het model van Turing kunnen patronen ontstaan wanneer twee of meer chemicaliën zich met met verschillende snelheid door een weefsel verspreiden en ondertussen met elkaar reageren." (p.197). Die twee stoffen noemt men de 'activator' en de 'inhibitor'. Door de interactiesterkte tussen activator en inhibitor te variëren krijg je zebra's met verschillende driedimensionale patronen (p.199-200). Wat gebeurt hier? Het zebrapatroon verklaren met twee stofjes? Dat lijkt sterk op reductionisme. De verspreiding van die twee stoffen wordt door Barth vergeleken met diffusie van stoffen in een gas of vloeistof (p.198). Is dit een biologisch patroon reduceren tot het natuurkundig proces diffusie? "Er is grote overeenkomst tussen de vorming van zandribbels en die van zebrastrepen." Zandkorreltjes! Alweer elementaire fysica. We zien hier reductionisme in actie: zebrastrepen worden gereduceerd tot de diffusie en interactie van twee stofjes. Barth heeft zelf een tweedimensionaal schema  ontworpen voor de ontwikkeling van vingers en tenen op basis van een activator en inhibitor (p. 340). Tsja, die twee stofjes zijn eiwitten die op genen gebaseerd zijn ... je kunt dus nog niet zonder genen.

Ik geloof net als Barth dat Turing modellen in de biologie verhelderend [1] kunnen zijn. Turing modellen kunnen testbare hypothesen opleveren. Die hypothesen kunnen in experimenten getest worden (zie mijn blog over Turing modellen), verfijnd worden, en zo nodig worden er meer variabelen ingevoerd om ze realistischer te maken. Maar, in tegenstelling tot wat Barth denkt, zijn ze slechts verhelderend zolang we ze blijven gebruiken als methodologisch reductionisme. Dus als onderzoeksmethode. Dat is wat anders dan "Alsof het leven niets anders is dan complexe fysica!". Want dat is ontologisch reductionisme: de aanname dat er niets anders bestaat dan verzamelingen atomen en hun interacties. Het succes van Turing modellen toont aan dat de wetenschap niet kan zonder methodologisch reductionisme. Ik denk dat Barths probleem met 'het reductionisme' verdwijnt als hij onderscheid maakt tussen methodologisch en ontologisch reductionisme. Als Barth met reductionisme bedoelt dat DNA en eiwitten niet alles kunnen verklaren in de biologie, dan ben ik akkoord. Ook chemische-fysische krachten spelen een rol .

Is kanalisatie in feite reductie?

"Mutaties en natuurlijke selectie exploreren daarom het reservoir van fysisch mogelijke protein folds. ... Kortom, eiwitevolutie kan putten uit een reservoir van een beperkt aantal fysisch mogelijke structuren. ... De evolutie van eiwitten wordt daarom voor een deel gekanaliseerd door fysische mogelijkheden van ketens van aminozuren." (p.345). 

Wat hier gebeurt is de evolutie van eiwitten verklaren door de eigenschappen van de onderdelen van eiwitten, nl. de aminozuren. De reductie gaat nog verder: het gaat eigenlijk alleen om de fysische-chemische eigenschappen 'waterafstotend' en 'waterminnend'. En er bestaat maar een beperkt aantal mogelijke structuren die gedicteerd worden door de fysica en chemie. Daar is niets mis mee, maar dat is wel een reductie naar een lager niveau dan het biologsiche.

In een volgende paragraaf van hetzelfde hoofdstuk wordt het energieverbruik van dieren gereduceerd tot de fysica van de stofwisseling. Er wordt een fysisch wiskundig model opgesteld ter verklaring van de relatie stofwisseling en lichaamsgewicht (p.349). 

"De stofwisseling ... is te herleiden tot dezelfde fysische mechanismen." 

'Herleiden tot' is: 'reduceren tot'. Het is logisch dat een fysicus tot een fysische benadering van evolutie komt. Als biologen evolutie verklaren door mutaties in het DNA, dus reductie tot het moleculaire niveau, maar binnen de biologie, is dat dan verwerpelijk reductionisme? Barth reduceert biologische verschijnselen tot een nog dieper liggend niveau: de fysica, een vak dat over dode dingen gaat.

 

Kanalisatie: maar hoe?

Er bestaat maar een beperkt aantal mogelijke eiwitstructuren die gedicteerd worden door de fysica. Vraag: hoe zou de evolutie (van eiwitten) er uit zien zonder die beperking? [2]. Zou er dan een onbeperkt aantal eiwitstructuren mogelijk zijn? Volgens de database Pfam zijn er 17,929 protein families. Dat is niet weinig. Iedere eiwitfamilie bestaat uit meerdere eiwitten die een gemeenschappelijke evolutionaire afkomst hebben. DeepMind’s AlphaFold tool heeft de 3D structuur van ongeveer 200 miljoen eiwitten bepaald. Dat zijn alle nu bekende eiwitten. Het totaal aan alle eiwitstructuren heet: The Protein Universe.

Vraag 1: HOE is evolutie van levensvormen precies gekanaliseerd? We hebben nu naar schatting 8,7 miljoen planten en diersoorten. Zou er een veelvoud zijn zonder kanalisatie?

Vraag 2: HOE ziet evolutie er uit zonder die beperking die er vanuit de fysica wordt opgelegd? Je moet die twee zaken kunnen vergelijken.

De rol van genen! 

"Deze conclusie betekent niet dat de rol van genen uitgeteld is..."  (H18, p.353)

Dit doet welhaast komisch aan! Alleen al het idee dat genen een ondergeschikte rol zouden spelen! De mens heeft 3,2 miljard base paren en 20.000 eiwit-coderende genen. De Afrikaanse longvis heeft 40 miljard base paren, dat is ruim 10x zoveel DNA als de mens! Is al dat DNA wel nodig gezien 'zelforganisatie'? Je verwacht dat je niet veel genen nodig hebt als zelforganisatie een grote rol speelt in het leven. Order for free. 

DNA is het centrale onderwerp van de evolutiebiologie. In evolutie draait uiteindelijk alles om DNA. Levende systemen zijn informatie-gedreven systemen (Hubert Yockey). Die systemen bestaan niet in de fysische wereld, de wereld van dode dingen. De twee stofjes die de zebrastrepen veroorzaken (activator, inhibitor) zijn eiwitten die onvermijdelijk door genen worden geproduceerd. Als Barth met reductionisme de claim bedoelt dat DNA en eiwitten alles kunnen verklaren, dan ben ik akkoord dat dat reductionisme is. Ook chemische-fysische krachten spelen een rol.

Het idee dat fysische verschijnselen een grotere rol spelen dan DNA, genen en eiwitten moet dan ook wel van een niet-bioloog afkomstig zijn. Overigens is Rolie Barth een uitstekende bruggenbouwer. Hij is thuis in de wereld van de fysica en heeft zich behoorlijk verdiept in de biologie. Het is eigenlijk ongelofelijk dat dit boek een eenmanswerk is! Het boek is een Meesterwerk!

Fysici spreken een andere taal

• zelforganisatie (niet in Verklarende Woordenlijst)
  
• niet lineaire dynamische systemen (uitgelegd op p.211)
  
• circulaire causaliteit (wel in index)
  
• kanalisatie (niet in index en Verklarende Woordenlijst)
  

Deze begrippen worden wel uitgelegd in het boek, maar blijven voor biologen vreemde begrippen. Uiteindelijk zijn het begrippen ontwikkeld voor levenloze systemen. Het doet altijd wat geforceerd aan om ze toe te passen op levende systemen. De biologie werkt met begrippen die van begin af aan voor levende organismen zijn ontwikkeld. Bijvoorbeeld: in de evolutiebiologie is het begrip sex van cruciaal belang, maar het komt niet voor in de fysica. Net als erfelijkheid. Kijken we naar een artikel waar Rolie Barth naar verwijst: The Scales That Limit: The Physical Boundaries of Evolution. Het is geschreven door twee theoretisch biologen en een wiskundige. Het is een belangrijk onderwerp relevant voor evolutiebiologie maar de taal die er wordt gesproken is geavanceerde wiskunde, ontoegankelijk voor de meeste biologen, uitgezonderd het specialisme mathematische en theoretische biologie.

Vanuit de biologie zijn wel aanzetten te vinden in die richting. Bijvoorbeeld Stephen J. Gould (mijn review) heeft zich zeer uitgebreid beziggehouden met de vraag of natuurlijke selectie en mutatie het fenotype van een organisme volledig kan verklaren. Hij betoogde dat ook historische en structurele constraints een rol spelen:

Figure 10-10 S. J. Gould (2002) The Structure of Evolutionary Theory.

De fysisch en wiskundig georiënteerde biologen en mensen als S.J. Gould zouden moeten samenwerken. Alleen een nauwere samenwerking maakt kans op een nieuw hoofdstuk in een evolutie studieboek. Die boeken hebben tegenwoordig al een omvang van 782 pagina's. Bijvoorbeeld het recente Zimmer, Emlen (2020) Evolution. Making Sense of Life', Third edition. Er zou een hoofdstuk uit moeten verdwijnen (mijn suggestie: gooi 'Quantitative genetics' er uit!) om plaats te maken voor een nieuw hoofdstuk Constraints on evolution.

Zimmer, Emlen (2020)

'Kanalisering' is aanwezig in dit boek. Er is een paragraaf 'Constraining evolution: Obeying the laws of physics' (par 9.8 p.342 ). Er wordt maar 1 voorbeeld gegeven: hoe insectengrootte beperkt wordt door de hoeveelheid zuurstof in de atmosfeer. Ook komen ogen in het boek aan bod. De vorm van lenzen wordt bepaald door de wetten van de optica. De paragraaf kan uitgebreid worden tot een heel hoofdstuk. Wie gaat die schrijven? Onderwerpen als de optica (ogen) en aerodynamica (vogels, vleermuizen, insecten) moeten er zeker in voorkomen. Mijn eigen wensen voor het ideale evolutie studieboek zijn een betere integratie van evolutiebiologie met kosmologie, astrobiologie en Big History. Dit kan allemaal uitstekend op een aantrekkelijke manier gedaan worden. 

Fysici zullen zich het unieke van de biologische denkwijze eigen moeten maken om te kunnen samenwerken. Een voorbeeld van hoe het niet moet is fysicus Karo Michaelian die biologen de les wil leren zonder iets van biologie te begrijpen of zelfs te willen begrijpen (zie mijn blog). Barth heeft zich behoorlijk in de biologie verdiept maar blijft op een fysische manier denken.

Er bestaan vele boeken op de intersectie evolutie-fysica-engineering, waaronder een aantal populair wetenschappelijke boeken. Ik heb op mijn website een speciale sectie fysica, engineering and evolution waarin ze kort toegelicht worden. Er is meer dan voldoende materiaal. Daar ligt het niet aan.

23 mrt: paar zinnen ter verheldering toegevoegd in de tekst.

Noten

1. Rolie Barth: "Bij het lezen van artikelen over Turing-patronen ging het licht aan. Als je twee of meer stoffen in een vloeistof oplost en ze zijn egaal verdeeld, dan verwacht je niet dat die stoffen na verloop van tijd zich vanzelf van elkaar scheiden, zodat er patronen ontstaan, zoals strepen, vlekken, spiralen en takvormige structuren. En dat is precies wat er gebeurt bij zelforganisatie." (pagina 500).
2. Vergelijk: het aantal boeken dat je kunt schrijven in de Nederlandse taal wordt voor een deel gekanaliseerd door een beperkt alfabet, woordenschat en grammatica. Is dit echt een beperking?

 

Vorige blogs

• Enige kanttekeningen bij het boek van Rolie Barth (1), 03 January 2022
• Rolie Barth over zebra's en Turing modellen, 06 December 2021
  
• Rolie Barth: De Kosmos en het Leven, een Meesterwerk. Eerste indrukken, 29 November 2021