Fikk A på masteroppgave skrevet av KI
Anders Rodem (27) mener det påvirker utdanningens tillit. – Katten er ute av sekken.
Ukentlig | For abonnenter
Et underholdende nyhetsbrev om norsk politikk.(Adresseavisen): – Hvis ikke akademia endrer måten de vurderer studenter på, mister mastergraden sin verdi.
Det sier tidligere IndøkIndøkIndustriell økonomi og teknologiledelse-student ved NTNU, Anders Rodem til Adressa.
Han har bevis på at kunstig intelligens har kommet langt, og mener at dagens måte å vurdere studenter på ikke lenger holder mål.
DN omtalte saken først.
Et års arbeid på noen timer
– Katten er ute av sekken. Du kan gjerne si at det ikke er lov eller prøve å bannlyse det, men det er for sent, sier Rodem om kunstig intelligens (KI).
I sin prosjektoppgave ved Indøk på NTNU laget han et KI-system som genererte masteroppgaver. Målet var å finne ut om kunstig intelligens på egen hånd kunne produsere en masteroppgave som holdt faglig nivå.
– Da jeg begynte å kjøre systemet og sjekket kildene, så jeg fort at dette fungerte. Sammenlikner du med eldre masteroppgaver, ser du at det holder mål.
Programmet søkte selv etter forskningsartikler, lastet ned kilder, tok notater, gjennomførte eksperimenter og satte til slutt sammen en ferdig avhandling.
På det som vanligvis tar opp mot ett år for studenter, brukte systemet rundt fire timer.
– Vil endre høyere utdanning
Forsknings- og høyere utdanningsminister Sigrun Aasland (Ap) mener den teknologiske utviklingen gjør det viktigere enn noen gang å sikre at studentene faktisk kan det de blir vurdert i.
– KI vil endre høyere utdanning, og vi må sørge for at vi er med på utviklingen.
Sigrun Aasland (Ap)
Norges forsknings- og høyere utdanningsminister
– Kan ikke se forskjellen
Til Rodems prosjektoppgave ble det til sammen generert seks masteroppgaver i ulike fag som han rekrutterte personer med relevant fagkompetanse til å sensurere.
Noen av sensorene fikk vite at oppgavene var skrevet av KI, andre ikke.
Resultatet? Alle seks oppgavene fikk bestått.
– Du kan ikke se forskjellen på en KI-generert oppgave om et emne jeg ikke kan, og en jeg har skrevet selv og faktisk kan, sier Rodem.
Blant resultatene var A i rettsvitenskap og optimering, B i filosofi og B/C i finans.
– Ikke et sjokk
Heri Ramampiaro er instituttleder og professor ved Institutt for datateknologi og informatikk ved NTNU.
Han er ikke overrasket over resultatet.
– Det er gjort tilsvarende tester i utlandet tidligere, blant annet på matematikkeksamener, så det kom ikke som noe sjokk.
Heri Ramampiaro
Instituttleder og professor ved Institutt for datateknologi og informatikk ved NTNU.
Han tror ikke KI-bruken i seg selv svekker verdien av mastergraden.
– Den eneste forskjellen er at det har blitt lettere å jukse for dem som ønsker det, sier professoren.
Han vil samtidig understreke at Rodems oppgaver ble testet utenfor det ordinære studieløpet.
– I en reell masterprosess vil man gjennom jevnlige møter med veileder forhåpentligvis kunne fange opp om studenten er i stand til å skrive teksten selv.
Uten tett oppfølging blir mer av ansvaret lagt på sensorene, som kan ha vanskelig for å avdekke KI-bruk dersom sensureringen skjer raskt, mener han.
Slapp unna kontroll
Rodem forklarer at det finnes to typer kontroller: Plagiatkontroll og KI-deteksjonsverktøy.
– Hvordan slapp KI-oppgavene unna kontrollene?
– Oppgavene skrives fra bunnen av, så det er ikke plagiat. I tillegg fungerer mange av KI-detektorene dårlig.
NTNU testet sine systemer på Rodems oppgaver, og utslagene var varierende.
– Selv om oppgavene var 100 prosent laget av KI, fikk de ikke 100 prosent KI-score. Du kan helt enkelt ikke måle det sikkert, sier han.
Mener vurderingen må endres
Rodem mener likevel at jakten på KI-generert tekst er feil fokus å ha.
– Da prøver du bare å løse symptomene på problemet i stedet for selve problemet.
– Man skal tillate å bruke KI for alt det er verdt, men man må måle kunnskapen på en annen måte for å vise at studenten mestrer faget, sier Rodem.
Først og fremst mener han det handler om hva mastergraden skal være et bevis på.
– Hvis jeg som arbeidsgiver ikke lenger kan stole på at det papiret er beviset på at du har jobbet hardt og mestrer emnet, må vi slutte å se på karakterer på den måten.
– Hadde ikke hatt peiling
Rodem trekker frem muntlig forsvar som en mulig test for å måle kunnskapen.
– På min egen masteroppgave ville jeg ikke hatt noen problemer i et muntlig forsvar, for den har jeg laget selv og kan snakke om i timevis. I juss derimot? Der hadde jeg stått helt uten peiling.
Han peker på at det allerede finnes studieretninger med muntlig forsvar, men at det ikke gjelder alle.
– Blant annet har ikke prestisjestudiet Indøk ved NTNU et slikt krav i dag. Det må man kanskje endre på allerede fra neste år, sier Rodem.
Et stort problem
Ramampiaro peker på at forslaget vil skape store logistikkproblemer for mange studier.
– Bare hos oss er det omkring 300 studenter som leverer masteroppgave hvert år, så det vil fort gi store utfordringer, forklarer Ramampiaro, som til daglig jobber tettest med sivilingeniørstudiene ved NTNU.
Han mener Rodems eksperiment likevel viser at universitetene må følge med i timen – også for studentenes egen del.
– Mange studenter etterlyser dette selv fordi de ønsker en rettferdig evaluering. De vil ikke oppfattes som juksemakere, og de ønsker faktisk å lære noe, sier han.
– Anbefaler ingen å gjøre det
Forsknings- og høyere utdanningsminister Sigrun Aasland (Ap) kommer med en klar oppfordring til dagens studenter.
– KI gjør evnen til å tenke selv og samarbeide med andre viktigere. Jeg anbefaler ingen å få KI til å skrive masteroppgaven sin. Da går man glipp av avgjørende læring, skriver hun i e-post til Adresseavisen.
Hun mener ikke at utviklingen nødvendigvis svekker tilliten til norske mastergrader.
– Tilliten til mastergrader er høy i Norge, og det skal den fortsatt være, skriver Aasland.
Statsråden avviser å innføre nasjonale påbud om eksamensformer som muntlig forsvar, og viser til at ulike fag krever ulike løsninger.
Regjeringen har satt ned Malthe-Sørenssen-utvalget, som nå ser på hvordan undervisning og vurdering bør tilpasses KI og den nye hverdagen.
Aasland mener institusjonene selv må sikre at kunnskapen prøves.
– Jeg forventer at vurderingsformene ved universiteter og høyskoler sikrer at studentenes kunnskaper og ferdigheter prøves på en faglig betryggende måte, skriver hun til Adresseavisen.
NTNU-professoren støtter statsrådens forventninger og forteller at tilpasningen allerede er i gang.
– Verden er slik at vi må tilpasse oss utviklingen uansett, og vi er derfor nødt til å finne måtes som forhindrer at tilliten svekkes. Dette er noe vi både forsker på og jobber rent praktisk med for å få på plass riktige evalueringer, sier han.