Skip to main content

 

Dansk studie: ChatGPT-4 skriver mindst lige så godt som forskere

Skrevet af Thomas Telving den . Skrevet i Samfund.

Et nyt dansk studie viser, at kunstig intelligens kan skrive introduktioner til videnskabelige artikler lige så godt som forskerne selv. Det sparer ikke blot tid. ChatGPT4’s evne til enkel formidling af komplekse emner kan også medvirke til større rækkevidde for forskningen.

Jacob Rosenberg og hans team har i 15 år arbejdet på at effektivisere skriveprocesser for at få mere tid til at forske. Nu har de påvist, at ChatGPT er i stand til at varetage en vigtig og tidskrævende del af skrivearbejdet. Og måske endda gøre det bedre end de forskere, der har skrevet selve artiklen.

”Med studiet har vi med statistiske metoder vist, at AI er virkelig god til at skrive introduktioner. Vores mål var at vise, at AI gør det lige så godt som mennesker og dermed ville kunne varetage opgaven tilfredsstillende, og det lykkedes vi med,” siger Jacob Rosenberg, som er professor og overlæge i kirurgi på Herlev Hospital og medforfatter på studiet. Det viste sig tilmed, at modellen klarede sig bedre end mennesker på en vigtig parameter.

”Målet var ikke at undersøge, om teknologien var bedre end menneskelige forfattere. Men en del af studiet var en subjektiv scoring fra fagfolk, der læste artiklerne, og de tekster, ChatGPT havde skrevet, fik meget positive vurderinger,” siger Jacob Rosenberg.

Han peger på, at visse forskere, måske særligt de yngre af slagsen, indimellem har det med at formulere sig mere snørklet, end nødvendigt. Det gør artiklerne mere krævende at læse, hvilket man ikke skal undervurdere betydningen af, mener han.

Det akademiske niveau holder

”Det er en klar styrke og helt afgørende, at ChatGPT skriver flydende og letlæseligt. Godt sprog er noget, vi virkelig træner vores forskere i, for det betyder, at man kan holde på læserne, så forskningen citeres mere og får en bredere anvendelse. Desværre er forskning ofte forfærdeligt kryptisk formuleret og vanskeligt at læse,” siger Jacob Rosenberg. Han understreger, at selvom sproget fra ChatGPT er let at læse, holder det stadig det akademiske niveau, der forventes af genren.

Jacob Rosenbergs forskerkollega Jason Joe Baker har stået bag de prompts – det sproglige input – ChatGPT har skrevet de testede introduktioner på baggrund af. Han er læge og ph.d. med speciale i kirurgi ved Herlev Hospital og forklarer, at de måtte teste en del prompts, før de fandt noget, der gav det ønskede resultat.

”Vi startede med at pilot-teste. Det vil sige, at vi prøvede med forskellige prompts for at få det resultat, der mindede mest om en normal artikel skrevet af en forsker. Når en prompt virkede godt, prøvede vi den på forskellige artikler. Til sidst havde vi noget, der var så godt, at det kunne generaliseres og bruges i studiet,” siger han.

Vi har kun set begyndelsen

Jacob Rosenberg ser en stor fremtid for generativ AI inden for sundhed. Og han er overbevist om, at vi lige nu kun er vidner til begyndelsen, ikke blot i forhold til at skrive artikler, men i bred forstand.

”Vi snuser til begyndelsen nu, og så kommer det til at eksplodere. Inden for dette område tror jeg, at vi om et antal år vil se hele skriveprocessen blive automatiseret. Så kan man fodre en AI-model med essensen og lade den skrive det, man har brug for. Der skal selvfølgelig kvalitetssikres, men det vil betyde, at opgaven for forskeren bliver en anden,” siger Jacob Rosenberg.

Han er ikke bekymret for, om teknologien har slagsider.

”Tingene vil ændre sig, men jeg er ikke bekymret for processen. Men det er klart, at det vil blive en udvikling, hvor vores opgaver bliver anderledes. Og så skal man som sagt i den grad kvalitetssikre indholdet og sikre sig, at alt er ok. Så facitlisten er stadig den menneskelige hjerne,” siger han.

Holdet bag ChatGPT-4-studiet har lavet en tilsvarende videnskabelig trykprøvning af ChatGPT-4 til udformning af coverletters til redaktioner på videnskabelige tidsskrifter. Også her var resultaterne gode, og studiet er godkendt og forventes publiceret inden for få uger.

Studiets vigtigste resultater

  • Ingen signifikant Forskel: GPT-4 og menneskeskrevne introduktioner havde ingen signifikant forskel i publicerbarhed og indholdskvalitet.
  • Læsbarhed: GPT-4 havde en lidt bedre score i læsbarhed, men forskellen blev ikke betragtet som relevant.
  • Bedømmernes præferencer: Flertallet af bedømmere (59 procent) foretrak GPT-4-skrevne introduktioner, mens 33 procent foretrak menneskeskrevne introduktioner.
  • Gæt på forfatterskab: Mindre end halvdelen af bedømmerne kunne identificere, om introduktionerne var skrevet af GPT-4 eller mennesker.

Metode

  • Design: Randomiseret ikke-inferioritetsstudie.
  • Værktøj: GPT-4 blev anvendt til at syntetisere 18 introduktioner baseret på formålene for tidligere publicerede studier.
  • Sammenligning: GPT-4-introduktionerne blev sammenlignet med de oprindelige menneskeskrevne introduktioner fra et medicinsk tidsskrift.
  • Bedømmelse: Otte blindede bedømmere evaluerede introduktionerne ved hjælp af 1-10 Likert-skalaer. Hvert introduktionsafsnit blev evalueret af 3 bedømmere.
  • Sprog analyse: Læsbarhed blev vurderet ved hjælp af Lix og Flesch-Kincaid scorer.