Op basis van die gegenereerde tekst zelf conclusies trekken (dus tot nieuwe inzichten komen, iets wat niet in de trainingsdata zit) gaat mis.
Zoveel anders is dat bij mensen ook niet hoor. Men papegaait vaak gewoon dingen na, met het idee of de claim een origineel en eigen standpunt in te nemen, terwijl het gewoon (onbewust) bepaald wordt door de omgeving en de input die ze krijgen.
Het grootste probleem dat ik met LLMs heb is dat ze agnostisch zijn voor wat betreft consistentie en feiten. Er zit geen zelfcorrigerend mechanisme in dat kan checken of wat het zelf zegt enigszins hout snijdt of niet
Ook dit is bij veel mensen niet veel anders. Hoe vaak komt het voor dat mensen bij hun standpunt blijven, ondanks dat alle feiten en empirie erop wijzen dat ze verkeerd zitten.
Samenvattend: ik vertrouw LLMs gewoon niet.
Er is een hoop voor verbetering vatbaar, zeker, en soms past het gewoon een mouw aan zaken, maar zijn mensen dan altijd te vertrouwen? Zijn politici te vertrouwen? Zijn ondernemers met hun commerciële belangen te vertrouwen in hun communicatie? Zijn de media te vertrouwen? Zijn je vader en moeder te vertrouwen met hun advies, in de zin dat ze van een andere generatie komen en vaak geen benul hebben van de problemen waar jij mee kampt vergeleken met die van hun tijd?
Er zijn imo vele redenen te benoemen om net zo voorzichtig te zijn met de info die van mensen komt als de info die van LLM's komt:
1) mensen zijn een product van hun omgeving en worden vaak beïnvloed door vastgeroeste sociale, hiërarchische en maatschappelijke structuren, die vaak een beperking vormen en voor een nauwe view op zaken zorgen.
2) ze hebben te maken met coping/afweermechanismen. Mensen met een échte wetenschappelijke mindset zijn op zoek naar waarheid én durven tot unconvenient of zelfs verontrustende conclusies te komen over de werkelijkheid. Maar veel mensen zitten niet zo in elkaar. Ze zijn wel op zoek naar zingeving en waarheid, maar doen er alles aan om ongunstige waarheden die hen pijn doen te vermijden. Ze ontvluchten de werkelijkheid en waarheid in plaats van dat ze ermee geconfronteerd willen worden.
3) mensen hebben een beperkt geheugen en opslagcapaciteit. Heel weinig data gaat erin, nog minder data wordt onthouden.
4) mensen hebben een sterke neiging tot 'geloven', en daar valt in mijn optiek ook ideologie onder, want dat beschouw ik ook als religie. Politieke discussies bijvoorbeeld, hebben vaak niets met wetenschap of waarheid te maken, maar alles met persoonlijke- of groepsbelangen, en waar men in gelooft of in wil geloven. Wat er wordt geroepen of gezegd is dus per definitie gebiast. Je wilt objectieve informatie horen om de optimale beslissing te kunnen nemen, geen subjectieve hoog-emotionele flauwekul die gebaseerd is op eigen belangen en ideologisch gekleurde visies.
En ik kan nog een hoop zaken noemen die de objectiviteit van menselijke informatie vertroebelt, zoals dat wie iets zegt voor mensen vaak belangrijker is dan wat er gezegd wordt en dat daar meer waarde aan wordt gehecht, ook al is het onwaar, dat mensen verre van alles zeggen wat ze eigenlijk zouden willen zeggen vanwege hiërarchische structuren, de angst om gestraft te worden, acceptatie willen krijgen, etc.
Ook is de menselijke geest vaak niet logisch. Er worden dikwijls conclusies getrokken die op het eerste gezicht logisch klinken of lekker vallen, maar als je dieper graaft, de data erbij pakt etc., blijkt er niks van waar te zijn en zitten de redeneringen heel krom in elkaar.
Ik ben het wel met je eens dat er nog geen sprake is van 'echte' intelligentie bij LLM's, maar we moeten de intelligentie van mensen ook weer niet overschatten.