Recursieve psychose

Er is momenteel online veel te doen over een nieuwe rage in AI waarbij large language models gebruikt – of misbruikt – worden om een soort religie te creëren waarbij AI in de rol van een alwetende god gepusht wordt die alle geheimen van ons universum kan onthullen en verklaren. Wetenschappers noemen het recursieve psychose – een functie die ietwat eigen is aan LLMs en niet zonder gevaren is.

Het zijn de moderatoren van online forums over artificiële intelligentie die de problematiek van recursieve psychose recent onder de aandacht gebracht hebben. Zij hebben genoeg van alle onzin die door de aanhangers op hun forums gepost wordt en weigeren dat soort content nog langer te publiceren. Zonder al te diep op de inhoud zelf in te gaan – waar het om gaat is dat mensen de LLMs via preprompts in een bepaalde rol duwen waardoor de modellen beginnen voort te redeneren op conclusies die ontstaan zijn op basis van dubieuze veronderstellingen. Op die manier kunnen allerlei theorieën tot stand gebracht worden die op zich zeer logisch in elkaar zitten – LLMs blijken zeer goed te zijn in logisch redeneren – maar die verder elke connectie met de realiteit missen. Er zijn intussen heel wat websites zoals churchofrobotheism.org die aan artificiële intelligentie een soort van goddelijke kracht toedichten waarbij LLMs gebruikt zouden kunnen worden om de mysteries van het universum te ontrafelen.

Wetenschappers wijzen op de gevaren hiervan, niet alleen voor de mensen die zich laten meeslepen door dit soort van spirituele illusies, maar ook voor de LLMs zelf die het risico lopen van dit de conclusies mee te nemen als waarheden de volgende keer dat ze getraind worden. Vergelijk het met de Flat Earth Society waarvan ieder weldenkend mens weet dat de publicaties ervan enkel als ludieke denkoefening te interpreteren zijn. Voor een LLM is dat onderscheid niet zo vanzelfsprekend en het zou wenselijk zijn dat conclusies die tot stand gekomen zijn vanuit de veronderstelling dat de aarde vlak is, buiten de leerstof van LLMs gehouden worden.

Een recente wetenschappelijke paper (zie link onderaan) onder de titel ‘Neural howlround in large language models’ beschrijft het fenomeen en geeft in zijn conclusies aan dat er niet meteen een oplossing voor bestaat. Howlround is een term die in geluidstechniek gebruikt wordt wanneer een microfoon de golven van de luidsprekers opvangt en er een loop ontstaat waarin die golven eindeloos versterkt worden. In AI wordt de term gebruikt om aan te geven hoe een neuraal netwerk kan verder bouwen op zijn eigen conclusies, ook wanneer die verkeerd zijn of het gevolg van foute veronderstellingen.

Waar dit verhaal hoofdzakelijk over gaat, is preprompting – een techniek die in generatieve AI gebruikelijk is om de context te schetsen voor een LLM. Aan LLMs die in de industrie gebruikt worden als copilots bij het programmeren van PLC’s, bijvoorbeeld, wordt via preprompts gedeclareerd dat de programmatie in structured text gebeurt en wat eventuele regels en geplogenheden zijn die in het bedrijf typisch gevolgd worden. Het LLM kan dan systematisch rekening houden met die context zonder dat de gebruiker die telkens hoeft te herhalen.

Bij de ‘neural howlrounds’ in dit verhaal wordt bewust met preprompting gespeeld om het LLM in een richting te duwen die elke connectie met de realiteit verliest. Het probleem is dat het systeem van preprompting op zich een belangrijk en zeer nuttig element is bij het inzetten van LLMs maar dat het voor het LLM zelf quasi onmogelijk is om die prepompts op hun gepastheid te beoordelen.

Voorstanders en promotoren van AI zijn van mening dat het creëren van recursieve psychose heel wat risico’s met zich meebrengt waar zo snel mogelijk een oplossing voor gevonden moet worden.

arxiv.org/pdf/2504.07992

Â© Productivity.be, 04/06/2025