Hajpad AI deler forskningsverdenen

«Skriv en vitenskapelig artikkel om hypertensjon hos middelaldrende kvinner». På under ett minutt fylles skjermen med tekst: abstrakt, metodebeskrivelse, resultater og diskusjon. For de uinnvidde ser den ut som en hvilken som helst annen vitenskapelig artikkel, men den er fullstendig oppfunnet og fabrikkert av kunstig intelligens.

På kort tid har Chat GPT-tekstgeneratoren skapt fascinasjon og gru, selv i den akademiske verden. Utviklingen har vakt reaksjon fra medisinske tidsskrifter, og mange av dem har oppdatert sine redaksjonelle retningslinjer.

Vitenskapen godtar for øyeblikket ikke artikler der Chat GPT eller annen kunstig intelligens har blitt brukt til å lage innhold. Naturen er litt mer ettergivende, men understreker at den i så fall må fordømmes. Imidlertid aksepterer ingen av dem at en AI er en medforfatter.

Jonas F. Ludvigsson, professor ved Karolinska Institutet og barnelege ved Örebro universitetssykehus, var en av de første som testet den nye teknologien. Det medisinske tidsskriftet ber deg om hjelp til å grave i hva GPT Chat og lignende verktøy kan gjøre for forskere.

– Vi ser. Dette må vi inkludere, og dette selvfølgelig. Og så bør vi ha noen sannsynlighetsverdier, sier Jonas F. Ludvigsson.

Han mater raskt chatboten oppdiktede tall og ber den skrive en artikkel om hvordan TNF-blokkerbehandling påvirker behovet for operasjon hos pasienter med Crohns sykdom.

Noen sekunder senere begynner GPT Chat å spytte ut tekst.

«Dette er rimelige tall, basert på hva jeg ga ham,» sier han og peker på konfidensintervallet og P-verdien.

For å gjøre det enda mer troverdig, legger det til mer informasjon, inkludert informasjon om fareforhold.

– Jo mer informasjon du legger inn, jo mer tekst får du, sier Jonas F. Ludvigsson.

Som en ytterligere test ber han Chat GPT skrive et manus, i dette tilfellet om forekomsten av cøliaki i Sverige, uten å få noen tall å gå etter.

Igjen ser vi hvordan teksten ruller på skjermen.

– Finn tallene her. GPT Chat mener det er 35 000 tilfeller av cøliaki. Jeg vil si antallet diagnoser er rundt 70 000-80 000, men det han sier er fortsatt troverdig.

GPT Chat hevder da at prevalensen er 80 personer av 100 000. Der mener Jonas F. Ludvigsson chatboten har lagt seg for lavt.

– Men de fleste som ikke jobber med dette hver dag har aldri sett at tallet 80 ikke er helt riktig.

Han bemerker at det GPT Chat gjorde på et minutt sannsynligvis ville tatt de fleste forskere minst en uke å skrive.

Siden Chat GPT ble lansert har Jonas F Ludvigsson hørt fra forskere både synet om at «dette er juks» og at «vi forskere ikke skal fokusere på å skrive tekst, så det er flott om det får jobben gjort».

Selv ser han både risikoen og fordelene med den nye teknologien.

– Jeg er veldig splittet. Selvfølgelig kan noen få Chat GPT til å skrive hundre artikler og få en liste over voldelige publikasjoner i løpet av kort tid. Det er mange blader som ikke har sett det hele veien, sier Jonas F. Ludvigsson.

Det er også en risiko for at Chat GPT kan villede søket ditt. Mens chatboten trente på store mengder tekst, baserer den svarene sine utelukkende på sannsynlighet. Hvis et utsagn forekommer nok ganger, anser GPT Chat det som sant, selv om det ikke er det.

Samtidig ser Jonas F. Ludvigsson store muligheter. Hvis Chat GPT tok ansvar for å produsere teksten, ville forskerne fått mer tid til andre deler av forskningen.

– Du kan kanskje bruke den til å gjøre det harde arbeidet, som å oppsummere forskningsområder og skrive deler av manus og stipendsøknader.

Et dilemma er hvordan man ser på akademiske prestasjoner. De som tar i bruk teknologien vil produsere mye mer enn de som ikke gjør det.

Det kan for eksempel spille en rolle ved tilsetting av en stilling. Anta at to forskere har gjort alle laboratorieeksperimentene selv og har samme antall skript, men en av dem brukte GPT Chat til å skrive dem. Jonas F. Ludvigsson lurer på om deres suksesser bør veie like mye.

– Hvis du bruker GPT Chat konstant, kan du skrive 200 skript i året. Da blir du professor om et år.

Vurderer det rimelig å rapportere om Chat GPT ble brukt til å skrive en studie, for eksempel i metodedelen. Han tror imidlertid mange ikke vil innrømme at de ikke skrev helt på egenhånd.

– De fleste vil nok late som om det ikke er noe.

Nylig lanserte selskapet bak Chat GPT, Open AI, et verktøy for å oppdage om en tekst er generert av AI eller ikke. Ved å analysere teksten gjør verktøyet en vurdering av sannsynligheten for at Chat GPT hadde en finger med i spillet. Så langt lar både den og lignende modeller mye å være ønsket, men bedre løsninger kan være i vente.

Open AI-selskapet jobber for tiden med forskjellige strategier for å «merke opp» den genererte teksten. Tanken er å programmere tekstgeneratoren til å sette inn ord og skilletegn i en bestemt rekkefølge for å lage en hemmelig kode som kan oppdages av søkemotorer.

Men å skille maskin fra menneske er bare en av utfordringene. Selv om Chat GPT mange ganger imponerer med sin hastighet og nøyaktighet, har den som sagt også åpenbare mangler.

Som en siste test ber Läkartidningen chatboten skrive en vitenskapelig studie om noe åpenbart sammensatt, nemlig «hesteegg».

Det settes umiddelbart inn i notatene. Etter å ha uttalt tittelen «The morphology and biochemistry of the horse egg», snakker vi blant annet om at en del av reproduksjonssyklusen til hester består av egglegging og at det er noe både hopper og hingster gjør . Vi får også vite at hesteegg kan ha potensiale som kosttilskudd eller mat, men at det trengs mer forskning på området.

De fleste er enige om at Chat GPT er kommet for å bli. Den nye og kraftigere GPT-4-versjonen ble nylig lansert og flere AI-verktøy kan være tilgjengelig snart, inkludert de som er trent spesifikt på vitenskapelig litteratur.

– Det er klart at forskere vil ha stor nytte av AI i fremtiden. Spørsmålet er bare hvordan vi skal håndtere det, sier Jonas F. Ludvigsson.

Du kan hjelpe forskere med alt mulig. Men kan man stole på det?

– HI! Som en modell av AI er jeg ikke i stand til å lyve eller villede med vilje. Jeg er programmert til å svare basert på den språklige modellen for innspillene jeg mottar. Men det er også viktig å merke seg at jeg ikke er perfekt og at jeg kan gjøre feil noen ganger, spesielt hvis jeg får inkonsekvent eller villedende informasjon å jobbe med. Så det er alltid en god idé å bruke sunn fornuft og kritisk tenkning når du tar beslutninger basert på informasjon fra en kilde, inkludert meg selv.

Når skal en forsker la være å ta hjelp fra deg?

– Som en språklig AI-modell kan jeg hjelpe forskere med å generere tekst basert på informasjonen jeg fikk gjennom opplæring på store datasett. Men det er noen situasjoner der det kan være hensiktsmessig for forskere å enten avstå fra å bruke min hjelp eller bruke mine svar med forsiktighet.

Hvis forskere jobber med sensitiv eller personlig informasjon som ikke bør deles med noen andre, bør de unngå å dele denne informasjonen med meg.

Dersom forskere jobber innenfor spesialiserte områder som krever inngående kunnskap innen et spesifikt felt, kan jeg ikke garantere at jeg har tilstrekkelig kunnskap til å gi riktige svar. I så fall kan det være best å konsultere en ekspert på området.

Hvis forskere står overfor en viktig beslutning som krever høy grad av presisjon og nøyaktighet, kan det være mer hensiktsmessig å søke mer pålitelige kilder eller konsultere en ekspert.

Hva er ditt beste råd til forskere som vil bruke deg?

– Mitt beste råd til forskere som ønsker å bruke meg er å ha realistiske forventninger og å bruke min hjelp som en supplerende ressurs. Jeg er en AI-modell som er opplært til å generere tekst basert på tidligere informasjon, men jeg kan ikke erstatte menneskelig kunnskap og erfaring.

Tekst: Katrin Trysell
Illustrasjon: Erik Nylund