Discover & Define: AI-feedback literacy – en vej til selvreguleret læring i postdigital uddannelse?

—

by

birsch
in ,

Baggrund: AI feedback i universitetskontekst

I dette blogindlæg præsenterer vi de første to faser (Discover og Define) af vores designprojekt. Inspireret af vores tidligere undersøgelse om studerendes anvendelse af AI-værktøjer i studieaktiviteter, har vi valgt at forfølge denne interesse, dog med et lidt andet fokus nemlig AI-feedback. Vi udforsker domænet omkring universitetsstuderendes brug af AI-værktøjer til feedback med afsæt i Dalsgaard og Rybergs (2022) forståelse af AI som kognitivpartner i det individuelle læringsrum. Domænet er præget af flere centrale betingelser og udfordringer som præsenteret i tabellen nedenfor.

Betingelser Udfordringer 
Akademisk integritet  Institutionel kommunikation og officielle regler 
Forventninger til feedback Udvikling af studerendes evne til at få brugbar feedback gennem AI 
Varierende kompetencer og erfaringer med AI-værktøjer Ukritisk accept af feedback fra AI 
Eksisterende feedback- og læringsstrategier Overafhængighed af feedback fra AI fremfor at udvikle selvstændige vurderingsevne 
Tillid til feedback fra AI-værktøjer sammenlignet med andet fx. underviser feedback eller peer-feedbackStuderendes evne til at integrere og handle på feedback 
Følelsesmæssig påvirkning af motivation på baggrund af feedback fra AI 

Forskningsspørgsmål og designudfordring

Vores projekt tager udgangspunkt i følgende forskningsspørgsmål: 

Hvordan kan studerende på videregående uddannelser anvende feedback fra AI-værktøjer til at fremme selvreguleret læring? 

Dette spørgsmål har ledt os til vores konkrete designudfordring:

Hvordan kan vi designe en ramme, der udvikler studerendes AI-feedback literacy på selvreguleringsniveau? 

Vores designudfordring tager udgangspunkt i en postdigital virkelighed, hvor skellet mellem digitale og analoge læringsrum er mere eller mindre er opløst, og hvor AI-teknologier bliver en mere og mere naturlig del af studerendes værktøjskasse. Det handler derfor ikke om at introducere nye teknologier, men om at udvikle literacy til at anvende dem reflekteret og meningsfuldt i læringskontekster. 

Empirisk undersøgelse og litteraturreview

Under projektets indledende discoverfase har vi afdækket domænet omkring studerendes brug af AI-værktøjer til feedback på universitetsuddannelser. Dette har inkluderet en systematisk litteratursøgning i databasen ERIC kombineret med eksplorativ søgning efter især dansk litteratur for at sikre en kontekstspecifik forståelse. Parallelt har vi gennemført en spørgeskemaundersøgelse blandt studerende fra forskellige studieretninger for at dække deres nuværende anvendelse af AI-værktøjer til feedback. Denne kombination af litteratur og empiriske data danner grundlag for vores videre designarbejde. 

Hvad viste vores empiri og litteraturreview?

Vores empiriske undersøgelse viste at studerende primært bruger AI-feedback til skriftlige opgaver samt udvikling og brainstorming i opgavers startfase. Vi observerede dog at de studerende ofte anvender simple prompt-strategier og at flere finder det udfordrende at fremkalde konstruktiv kritisk feedback fra AI-værktøjerne. Dette peger for os på et uudnyttet potentiale for at udvikle de studerendes færdigheder indenfor brug af AI-værktøjer til feedback. Vores litteraturgennemgang understøttede flere af vores observationer og tilføjede også vigtige nuancer.

AI som effektivt supplement 

Nyere forskning viser overraskende nok ingen betydelige forskelle i læringsudbytte mellem AI-feedback og traditionel feedback. Det peger på, at AI har potentiale som supplement til eksisterende feedbackformer. 

Forskellige behov hos studerende 
Studerende på lavere fagligt niveau foretrækker oftere underviser-feedback, mens højtpræsterende studerende ser AI-feedback som inspirationskilde til refleksion. 

Det produktive paradoks 
AI-feedback skaber en dobbeltrolle for studerende: De skal både formulere gode prompts OG kritisk vurdere den feedback, de får. Selvom det kan være udfordrende, kan denne proces fremme værdifuld metakognitiv læring. 

Styrke i kombination 
Kombinationen af AI-feedbacks hurtighed og tilgængelighed med underviser-feedbacks personlige dimension kan potentielt imødekomme forskellige læringsbehov og samtidig lette arbejdspresset på undervisere. 

Fra tidsbesparelse til refleksion  
Der ligger et potentiale i at flytte studerendes brug af AI fra et “mindless tool” (tidsbesparende værktøj) til et “mindful tool” (refleksionsfremmende partner). 

Vores designarbejde vil bygge på denne forskning sammen med Hattie og Timperleys feedbackmodel og Pretorius og Cahusac de Caux, (2024) AI Literacy rammeværk med dets fem domæner. 

Vores foreløbige designprincipper #1

På baggrund af vores fund har vi udviklet følgende designprincipper, som I er velkomne til at dele jeres tanker om:

 

1. Tydelig og handlingsorienteret AI-feedback
Hvordan sikrer vi at AI-feedback er konkret og handlingsanvisende for forskellige studerende?

2. Udvikling af promptstrategier på forskellige niveauer 
Hvordan kan vi guide studerende i at skabe mere effektive prompts, særligt til at fremkalde konstruktiv kritik? 

3. Metakognitiv refleksion og dialogisk AI-interaktion 
Hvordan kan vi fremme dialog med AI frem for envejskommunikation? 

4. Fundamentale AI-færdigheder og kontekstbevidst anvendelse 
Hvordan kan vi hjælpe studerende med at vurdere, hvornår og hvordan AI-feedback er hensigtsmæssig? 

5. Kritisk evaluering af AI-feedback 
Hvilke strategier kan hjælpe studerende med at evaluere og anvende AI-feedback? 

6. Etisk og transparant AI-anvendelse i feedbackprocessen 
Hvordan fremmer vi refleksion over ansvarlig brug af AI i feedbackprocesser? 

7. Affektiv understøttelse og selvregulerende læringsstrategier 
Hvordan kan AI-feedback understøtte motivation og selvregulering? 


8. Kombineret feedback tilgang og differentieret støtte 
Hvordan integrerer vi forskellige feedbackformer for at imødekomme forskellige behov? 

Spørgsmål til jer

  1. Feedback kan gives på mange niveauer (Indhold, proces og selvreguleringsniveau) og i forskellige dele af vores studiepraksis. Dette rejser spørgsmålet: Bør vi indsnævre vores fokus? Hvis ja, hvordan gør vi det bedst uden at miste vigtige aspekter? 

2. Hvordan kan vi bedst designe en ramme for at udvikle studerendes AI-feedback literacy på selvreguleringsniveau, når vi

tager disse overvejelser i betragtning? 

Vi ser frem til jeres input! 

Har du spørgsmål eller tanker du gerne vil dele med os?

6 svar til “Discover & Define: AI-feedback literacy – en vej til selvreguleret læring i postdigital uddannelse?”

  1. astjen Avatar
    astjen

    Hej 1713.
    Det er godt nok en flot visuel opsætning I har været af jeres overvejelser med tilknyttet modeller/figurer.
    Nedenstående har jeg gjort nogle overvejelser til jeres blogpost:
    – I skriver at I har gjort brug af ERIC til at finde “især dansk litteratur for at sikre en kontekstspecifik forståelse”. Det får mig til at tænke over hvor interessant det kunne være at udforske jeres forskningsspørgsmål og designudfordring på et europæisk eller globalt niveau og gad vide hvilke fund man ville få og hvilke faktorer som har påvirkning?
    – I skriver at I har “gennemført en spørgeskemaundersøgelse blandt studerende fra forskellige studieretninger (…)”. Jeg undrer mig over hvilke studieretninger, da det kunne tænkes at det eventuelt ville have en påvirkning på hvordan de studerende gøre brug af feedback fra AI-værktøjer til at fremme selvreguleret læring og dermed også jeres designudfordring.
    – I bruger ordet selvregulering flere steder i jeres blogpost. Det får mig til at undre mig over hvad I helt præcist mener med ordet, da det kan tydes forskelligt alt efter kontekst. Det kunne være en overvejelse at præcisere hvad dette betydes i jeres kontekst.

  2. ANDHAN Avatar
    ANDHAN

    Hej 1713 🙂

    Virkelig spændende læsning! Jeg er særligt imponeret over, hvor klart I har fået kortlagt domænet omkring AI-feedback og de mange komplekse lag, der følger med. Det er tydeligt, at I tager udgangspunkt i både praksis og teori – og jeres designprincipper viser, at I har blik for både det tekniske, det pædagogiske og det etiske.

    Ifht. spørgsmålet om afgrænsning:
    Ja, jeg tror faktisk, det kan være en styrke at indsnævre fokus – især hvis målet er at arbejde med feedback på selvreguleringsniveau. Det er et komplekst område i sig selv og fortjener en dybere udforskning. En mulig strategi kunne være at vælge én fase i studiearbejdet, fx skriveprocesser eller eksamensforberedelse, hvor selvregulering og AI-feedback tydeligt kan kobles. På den måde mister I ikke de vigtige aspekter – I gør dem bare mere håndgribelige.

    Ifht. at designe en ramme for AI-feedback literacy på selvreguleringsniveau:
    – Promptstrategier: Lære studerende at stille spørgsmål, der kalder på refleksion snarere end svar.
    – Refleksionsværktøjer: Fx logbog, hvor de vurderer AI-feedbackens kvalitet, relevans og indflydelse på deres næste skridt.
    – Metakognitive stilladser: Spørgsmål som “Hvad fortæller feedbacken mig om min læringsstrategi?” eller “Hvordan ændrer dette min forståelse af opgaven?”

    Et konkret bud kunne være at udvikle en AI-feedbackguide til studerende, som fungerer som en slags “kritisk makker” i skriveprocesser – med prompts, refleksionsspørgsmål og strategier til at integrere feedback i egen læring.

    Jeg glæder mig til at se, det ved i 🙂 Og ikke minst se hvordan I bringer det videre i Develop-fasen – det her er virkelig et vigtigt bidrag til diskussionen om meningsfuld AI-brug i studiepraksis!

    Ha det bra 🙂

  3. annalb Avatar
    annalb

    Hej 1713

    Først og fremmest synes vi det er super spændende at følge med i jeres undersøgelse og designproces – og tak for den overskuelige opsætning.

    I skriver meget om selvreguleret læring/selvreguleringsniveau etc. – hvor henter i det fra? Hvad skal vi helst præcist forstå med det? Er det måske læring begrænset til ‘det individuelle rum’, som derfor nødvendigvis reguleres af individet?

    I har nogle rigtig gode designprincipper, men vi tænker på om nogle af dem måske kunne sættes sammen og specificeres? Det kan være det kan hjælpe jer med at indsnævre fokus og skabe klarhed, som en del af den iterative designproces.

    Ift. til jeres spørgsmål 1), tænker vi, om I kan indsnævre fokus på ‘feedback’, til nogle helt konkrete elementer af feedback? Altså bryde feedback ned i dele, og finde ud af hvad der er interessant for jer.

    Derudover er det en virkelig interessant betragtning med ‘det produktive paradoks’ og den dobbeltrolle, den studerende indtager – måske kan man tale om AI som et spejl af brugeren? Det er et perspektiv i også kan tænke over ift. Det individuelle læringsrum, og de potentialer og begrænsninger der findes der.

    Ift. jeres pointe om at der er forskellige behov hos studerende, tænker jeg at teori om teknologiens forstærkning kan hjælpe jer med at diskutere hvorfor studerende på et lavere fagligt niveau foretrækker underviser-feedback, og omvendt – og måske opdager i noget relevant her ift. Hvordan man kan ‘fremkalde konstruktiv kritik’.

    Vi glæder os til at se hvordan jeres projekt udvikler sig – og skriv endelig hvis I har opklarende spørgsmål.

    AltF3

  4. Nikolaj Avatar
    Nikolaj

    Hej 1713

    Beklager mit svar kommer lidt sent, jeg troede jeg havde sendt det ind tidligere sorry!

    Det er et virkelig spændende felt i undersøger og designer til. Man får lidt fornemmelsen af at udviklingen af AI-literacy hos studerende og elever bliver en af nutidens største udfordringer og jeg er meget spændt om undervisningsinstitutioner griber bolden og arbejder med hvordan de kan gøre, at deres studerende kan udnytte de her værktøjers potentialer eller om det bliver op til den enkelte, gennem trial and error at finde ud af, “hvad og hvordan kan jeg bruge det her til min fordel”.

    Jeg føler og fornemmer at i er kommet godt rundt om emnet i jeres discover og define proces og netop derfor har jeg også lidt svært ved at sige ja til, at I bør indsnævre jeres fokus. Det ville give mening ift. at kunne komme helt tæt på et enkelt element i udviklingen af literacy, men som i selv skriver er alle aspekterne vigtige for at have det hele billede. Tror det vigtigste er at have alle aspekterne i mente i Develop-fasen, men måske parkere dem der ikke spiller den største rolle, for det I ender med der, og på den måde indsnævre. Er lidt i tvivl om det giver mening, så jeg håber i forstår 🙂

    Jeg har tænkt en del over jeres andet spørgsmål og har nok ikke svaret, men tror I skal være opmærksomme på at I ikke ender et sted, hvor f.eks. standard/rigtige prompts bliver en del af løsningen og at i på den måde leverer et færdigt produkt, der siger sådan her gør man, fordi så ender man måske sted hvor ens literacy bliver begrænset, af at “det her er den rigtige måde at gøre det på”.

    Det bliver spændende at følge med hvad i kommer frem til i Develop-fasen! 🙂

  5. christiand Avatar
    christiand

    Hej 1713

    Tak for en meget overskuelig fremstilling af jeres designarbejde!

    Ligesom annalb synes jeg også, at Det produktive paradoks’ er et spændende perspektiv, I har fundet. Det kan både være en udfordring og en ulempe, at man så at sige selv skal anskaffe sig feedback. Omvendt kan dette netop tale ind i jeres overordnede fokus på selvreguleret læring, hvor en pointe kunne være, at de studerende skal blive i stand til selv at “gøre noget ved” deres eget arbejde – med henblik på at forbedre det. Og samtidig kan det være åbningen til at blive mere reflekterende. Jeg synes især, at jeres perspektiv om ‘Fra tidsbesparelse til refleksion’ er rigtig interessant. Dermed lægger I op til, at brugen af AI-feedback ikke er en erstatning for en lærer eller en effektiv måde at få feedback på, men derimod som en EKSTRA aktivitet, som studerende skal kunne håndtere.
    Jeg har heller ikke svarene på jeres spørgsmål, men lidt input: Nr. 1. Jeg ville nok sætte særligt fokus på de områder, hvor AI-feedback gør noget andet end lærer- eller peer-feedback. Især synes jeg, det er interessant, hvis brugen af AI-feedback kan bidrage til refleksion. Her vil I kunne undersøge, hvordan det er muligt, på forskellige måder, for forskellige studerende, på forskellige tidspunkter, i forskelige processer.

    Inden I svarer på spørgsmål 2, håber jeg, at I vil åbne i Develop-fasen for at få en masse idéer på banen og fortsat være åbne for, om I kommer frem til at designe et produkt, promptingstrategier, refleksionsværktøjer (jf. Andhan) arbejdsmetoder – eller noget helt fjerde 😊

  6. Develop: Vores erfaringer med brugerinddraget online workshop-facilitering – 1713

    […] Med afsæt i vores designproces hvor vi undersøger hvordan studerende på videregående uddannelser kan anvende feedback fra AI-værktøjer til at fremme selvreguleret læring, har vi bevæget os ind i Develop-fasen. Du kan læse mere om vores indledende fase i dette indlæg: Discover & Define: AI-feedback literacy – en vej til selvreguleret læring i postdigital uddan… […]

Skriv et svar