Pedagogik och big data

Hypocampus tar steget in i framtiden och börjar med machine learning. Viljan har funnits men först nu har vi hittat rätt samarbetspartners. Tillsammans med forskare från chalmers kommer vi nu börja slänga oss med termer som Big data, Machine learning, Data mining och Learning analytics. Men vad betyder alla dessa termer?

Ju mer läroaktiviteter som flyttar ut i cyberspace desto mer data skapas. Varenda klick, intervall mellan klick, scrollning mm. kan användas för att dra slutsatser om användare. I pedagogiska sammanhang kan denna data användas för att försöka bättre förstå och förbättra lärandeprocessen. Datainhämtning och dataanalys används även allt mer av olika företag för att generera business intelligens för att förbättra beslutsfattandet. Inom högre utbildning har man under en tid använt databearbetning från digitala verktyg för att försöka förstå och anpassa utbildningssystem efter studenternas förmåga. T.ex. för att förbättra långtidsinlagring av inlärda kunskaper.

Om man jämför utbildningsmjukvara med underhållningsmjukvara, t.ex. Spotify eller Netflix så finns det fortfarande en bit kvar vad gäller att använda sig av applicerad dataanalys för att kunna förutsäga vilken typ av informationskälla som skulle kunna passa en specifik student bäst för att lära sig en specifik ny kunskap. Anledningarna till varför utbildningsmjukvaruutvecklingen inte nått lika långt vad gäller kundnöjdhet i förhållande till rekommendationer kan bero på flera variabler där man kan tänka sig att storleken på den minsta enheten (t.ex en låt i Spotify eller en film eller ett avsnitt av en serie på Netflix) spelar roll. Även användares subjektiva förmåga att bedöma en enhets värde. Man kan t.ex. tänka sig att det är lättare att bedöma om man tyckte att en låt var bra eller dålig då musiksmak är någonting uppenbart subjektivt. Medan att bedöma utbildningsvärdet i ett videoklipp eller ett textstycke kan upplevas som svårare då det potentiellt sätt skulle kunna krävas en högre utbildningsnivå inom det specifika området för att både kunna bedöma innehållets kvalitet (stämmer verkligen faktan?) samt presentationsformen (finns det något lättare sätt att förklara detta utan att missa väsentliga fakta?).

I takt med att big data, datainsamling och machine learning blivit populära begrepp så kan det finnas en poäng med att särskilja det man idag faktiskt kan göra från det som fortfarande kan liknas mer vid science fiction. Big data är kanske det populäraste av alla dessa begrepp och kanske används så flitigt just för att det mer eller mindre saknar definition. Big data används för att beskriva datamängder som överstiger de mängder som normalt sett kan hanteras av en databasmjukvara. Det betyder att den exakta storleken från början är vagt definerad och dessutom hela tiden förändras över tid (i takt med att en vanlig databas kan hantera allt större informationsmängder). Ett annat generellt begrepp som används allt mer är machine learning. Machine learning är ett begrepp som används om hantering av data. Efter att ha samlat in stora mängder data kan man dra slutsatser om populationen som gett upphov till datan. Genom att sätta upp formler som kan förhålla sig till tidigare insamlad data och värdera och sortera nya datapunkter utifrån denna ”äldre” data (något förenklat) kan en mjukvara dra slutsatser om en användare utifrån hens beteende. Formlerna kan dessutom bli mer och mer exakta när även denna nya data används för att göra referensbiblioteket ännu större. Detta kallas Machine learning.

Två andra begrepp som används är Educational data mining och Learner analytics. Begreppen kan särskiljas på så sätt att data mining används för att försöka utveckla nya program och appar utifrån insamlad data (vilka användarbeteenden finns och hur skulle man kunna bygga funktionalitet för att lära ut något i förhållande till dessa beteenden). Learner analytics fokuserar sedan på att använda sig av kända prediktiva algoritmer och hur man kan använda sig av dessa för att öka lärandet, dock fortfarande utifrån ett kvantitativt perspektiv. Dessa begrepp är dock relativt luddiga och kan på många sätt gå in i varandra.

En del av Data mining är User modeling. User modeling går ut på att skapa en bild av specifika användare utifrån deras klickvanor och beteende i ett digitalt läromedel. Man kan då dra slutsatser angående vad en användare kan och inte kan. Vad som fungerar som motiverande krafter på användaren och hur tillfredställd användaren är med mjukvarans funktionalitet. Datan hämtas live och i bästa fall kan även feedback ges till användaren utifrån användarbeteendet live.

Användarbeteendet kan även användas till att segmentera användarna utifrån specifika egenskaper. Grupperna som användarna delas in i kan då leda till att de olika grupperna kan få anpassat läromaterial utifrån förväntade önskemål. För att kunna göra denna typ av content-anpassning krävs ofta relativt komplicerade algoritmer som tar hänsyn både till läromaterialets kvalitet och kvantitet samt presentationsformen mm. En vanligare och simplare form av dataanvändning som inte kräver applicering av insamlad data är att visa statistik över användarbeteendet för en lärare som på så sätt kan dra slutsatser om sina elevers progress och särskilda behov för att kunna göra insatser där det behövs.

Målet för Hypocampus är att använda all data vi kan få tag i för att maximera lärandet per investerad tidsenhet för varje enskild användare. Beroende på användarens specifika egenskaper vad gäller läshastighet och minnesförmåga skall presentationen av material anpassas. Detta, för att introducera en sista term i inlägget, är det som kallas adaptivt lärande.

Over and out

Elias

Spaced repetition

Alla har olika sätt att studera. Det är vanligt att man som student letar efter metoder där man kan optimera inlärandet per tidsenhet. Ett problem med att försöka lära sig så mycket som möjligt per investerad tidsenhet är att det ibland kan konkurrera med att få det man lär sig att fastna i långtidsminnet. Något som de flesta märkt av som någon gång prokrastinerat fram tills dess att tentan närmat sig och sedan försökt pressa in all information som behövs för att klara kursen, i minnet. Studiemetoden kallas på engelska “cramming”. Skillnaden när man redan från början av kursen hänger med är att den mesta informationen dyker upp vid flera tillfällen, man får med andra ord fler repetitionstillfällen utspridda över längre tid vilket leder till bättre inlagring i långtidsminnet. Det som händer vid cramming, när man bara behandlar informationen vid ett tillfälle, är att hastigheten med vilken man glömmer är högre.

Cramming

För att förklara de negativa sidorna med cramming kan vi ta hjälp av Robert Bjork, forskare inom psykologi vid UCLA och expert på området lärande och minnesinlagring.

“Cramming can actually be a good thing to do from the standpoint of your getting a grade. If you don’t know the material and haven’t appropriately spaced your study across the term, … if you stay up all night, study, cram whatever and walk into the exam, you can actually perform pretty well on that exam…”

“But the problem is not too long after that, this massed practice will lead to …very poor retention. So as far as the material in that course carrying over to other courses, to your life in general, it’s an awful thing to do. “

robert-bjork

Se hela Bjorks föreläsning på: https://www.youtube.com/watch?v=TTo35X2rqls

Hur snabbt man glömmer har varit ett område som studerats sedan 1800 talet då en vetenskapsman började exprimentera med sitt eget minne. Genom att studera en rad stavelser och sedan mäta hur många av dessa han kom ihåg dag 1, dag 2 osv. insåg han att minskningen i hur mycket han kom ihåg över tid var exponentiell. Mannen som hette Herman Ebbinghaus gav därför namn åt den så kallade “Ebbinghaus glömskekurva”

Det faktum att informationen så snabbt glöms bort är viktigt i de flesta studiesammanhang och kanske extra viktig vad gäller medicinstudier. Meningen med kunskapsprov under t.ex. läkarutbildningen är inte enbart att se att respektive student vid något tillfälle lyckas hålla tillräckligt stor informationsmängd i huvudet för att klara ett prov. Förhoppningen är även att kunskapen ska finnas kvar för att studenten skall kunna plocka fram den när den behövs i kliniska situationer. Så effektiv långtidsinlagring som möjligt är därför något ovärderligt i medicinska sammanhang.

Bättre metoder?

Så hur gör man då för att komma ihåg så mycket som möjligt så lång tid som möjligt? Finns det några genvägar? Svaret på den frågan är både ja och nej. Att lära sig stora mängder information kräver en ansträngning och själva ansträngningen är i sig en viktig del av lärandet. För långtidsinlagring krävs i de flesta fall repetition. Dock finns en genväg för hur man mest effektivt kan repetera kunskaperna, en genväg som kallas spaced repetition.

Så vad är då spaced repetition?

Genom att dela upp repetitionstillfällena så att du repeterar kunskapen precis när du håller på att glömma den skapar du ett mer tidseffektivt lärande. För varje gång du repeterat en viss fakta kommer tidpunkten då du utan repetition skulle ha glömt bort den skjutas längre fram i tiden. Intervallen mellan repetitionstillfällena kommer därför öka successivt.

ebbinghaus diagram

Så hur effektiv är metoden? Det har konstaterats i tusentals studier att spaced repetition är mer effektivt än andra typer av repetitionsmetoder. Dock varierar resultaten vad gäller hur effektivt det faktiskt är. I en metastudie kom man fram till att studenter som använder spaced repetition presterar bättre än 67% av studenter som använder lika mycket tid för repetition men andra repetitionsmetoder.

Så varför använder inte alla spaced repetition?

Förmodligen finns det flera anledningar till detta. För att kunna använda sig av algoritmen är det nödvändigt med ett mjukvarustöd, något som gjort att det är något som innan digitaliseringen varit svårt att använda sig av. Det andra faktumet är att det kräver ett intensivt och konsekvent användande av studenten. Studenten måste under en längre tidsperiod se till att fortsätta repetera för att nå önskat resultat, något som kan vara ansträngande. Hypocampus mål vad gäller spaced repetition är att integrera repetitionsmetoden i studenternas vardagliga arbetsflöde så att belastningen inte blir större än att studenterna lyckas fortsätta repetera utan att bli utbrända. På så sätt skapar vi inte bara en ökad långtidsinlagring utan även en hållbar studiemetodik.

Källor

Custers EJ, Ten Cate OT. Very long-term retention of basic science knowledge in doctors after graduation. . Med Educ. 2011 Apr;45(4):422-30. doi: 10.1111/j.1365-2923.2010.03889.x.

Donovan, J. J., & Radosevich, D. J. (1999). A meta-analytic review of the distribution of practice effect: Now you see it, now you don’t. Journal of Applied Psychology, 84(5), 795-805.

Robert Bjork – Spacing improves long-term retention. https://www.youtube.com/watch?v=TTo35X2rqls

Stahl SM, Davis RL, Kim DH, Lowe NG, Carlson RE, Fountain K, Grady MM. Play it Again: The Master Psychopharmacology Program as an Example of Interval Learning in Bite-Sized Portions. CNS Spectr. 2010 Aug;15(8):491-504. PMID:

Läs mer

Efficient memorization & what it’s good for. (psychology) http://www.gwern.net/Spaced%20repetition

The New England Journal of Medicine http://knowledgeplus.nejm.org/spaced-repetition-the-most-effective-way-to-learn/

Wired magazine, Want to Remember Everything You’ll Ever Learn? Surrender to This Algorithm
http://archive.wired.com/medtech/health/magazine/16-05/ff_wozniak?currentPage=all

Test-enhanced learning

Vad är test-enhanced learning?

Test-enhanced learning (även känt som “testing effects“, “retrieval practice effects“, “retrieval enhanced learning” mm.) går ut på en relativt simpel princip; om man efter att ha lärt sig något nytt, genom att läsa en bok, se en film, lyssna på en föreläsning, förhör sig på det nya kunskapsområdet ökar det minnets långtidsinlagring av de nya kunskaperna. De positiva effekterna av test-enhanced learning är några av de mest bekräftade principerna inom kognitiv psykologi1,2. Hundratals studier har gjorts på området och visat att test-enhanced learning är effektivt för en rad olika kunskapsområden och fungerar för ett stort ålderspann, allt från barn till äldre åldersgrupper3.

Det kan vara viktigt att betona att test-enhanced learning inte handlar om ökat behov av standardiserade tentor eller ökad frekvens av tentor under kursers gång. De flesta studier som undersökt och sett positiva effekter av testing effects har studerat effekten av instuderingsfrågor och quiz där väldigt lite har stått på spel för studenten, dvs resultaten på förhören har inte påverkat studenternas betyg eller anseende på något sätt.

Det är ingen ny idé att tentor och förhör inte bara är ett användbart redskap för att mäta studenters kunskapsnivå utan även är en effektiv metod för att öka studenternas lärande. Det är dock först under det senaste årtiondet som en rad studier har visat hur effektiv metoden faktiskt är. Olika studier har de senaste åren visat att test-enhanced learning ger förstärkt lärande för studier inom medicin4 annan naturvetenskap5 språk6 historia7 mm

I boken “make it stick” (Brown, Roediger, and McDaniel) beskrivs test-enhanced learning av en läkarstudent som började använda sig av metoden för att förbättra sina resultat:

It makes you uncomfortable at first. If you stop and rehearse what you’re reading and quiz yourself on it, it just takes a lot longer. If you have a test coming up in a week and so much to cover, slowing down makes you pretty nervous…You just have to trust the process, that was really the biggest hurdle for me, was to get myself to trust it. And it ended up working out really well for me.

För den här studenten fungerade testing effect över förväntan och han gick enligt författarna från att vara en av de sämsta i klassen till att prestera inom klassens översta 10-15% vad gällde tentamensresultat.

Varför fungerar det?

Exakt hur test-enhanced learning leder till förstärkt långtidsminne är inte klarlagt. En teori som lagts fram8 är att man schematiskt kan dela upp minnets funktionalitet i två delar; lagringsförmåga och hämtningsförmåga. Hämtande av kunskap från minnet, något som görs vid förhör, stärker inte bara hämtningsförmågan utan även lagringsförmågan. Det man sett i studier är att effekten av test-enhanced learning är som störst om man upprepar förhören med ökande intervall, så att man vid varje tillfälle hämtar minnet av kunskapen ungefär när man annars hade glömt den9. Detta innebär att det på kort sikt kan vara effektivt att endast läsa en lång test för att klara en tentamen som är dagen efter. Om materialet dock är för stort för att läsa in på en dag och man vill börja studera flera dagar innan en tentamen så är test-enhanced learning effektivare både för att klara tentan och för att fortsätta komma ihåg den inlärda kunskapen efter att tentamen är avklarad.

Vad säger forskningen?

Retrieval Practice Produces More Learning than Elaborative Studying with Concept Mapping

I en artikel som publicerades i Science beskrivs ett experiment10 där fyra grupper av studenter på fyra olika sätt studera en vetenskaplig text:

  • I grupp 1 fick studenterna läsa en text en gång
  • I grupp 2 fick studenterna läsa texten fyra gånger i följd
  • I grupp 3 fick studenterna läsa texten och därefter göra en tankekarta över innehållet i texten
  • I grupp 4 fick studenterna läsa texten, därefter försöka minnas så mycket som möjligt av texten med hjälp av frågor på textinnehållet, för att därefter läsa texten och på nytt försöka återhämta så mycket som möjligt av texten ur minnet.

Efter en vecka fick studenterna komma tillbaka och testades på kunskapen i en ny form av frågetest. Inte så förvånande var grupp 1, som bara hade läst texten en gång, sämst. Grupp 2 och 3 presterade ungefär lika bra i testerna och ingen signifikant skillnad kunde ses. Grupp 4 däremot presterade betydligt bättre än grupp 3 vad gäller långtidsinlagring av minnen.

bild1
Test-Enhanced Learning Taking Memory Tests Improves Long-Term Retention

I en annan studie delades universitetsstudenter in i tre grupper där alla grupperna studerade en text vid fyra tillfällen. Studenterna kunde vid varje tillfälle antingen läsa texten (L) eller testas på kunskapen (T).

  • Grupp 1 läste texten vid varje tillfälle (LLLL)
  • Grupp 2 läste texten tre gånger för att sedan förhöras vid ett tillfälle (LLLT)
  • Grupp 3 läste texten en gång för att förhöras vid tre tillfällen (LTTT)

bild-lttt

En del av studenterna förhördes sedan 5-minuter efter den fjärde studiesessionen, en del förhördes efter 2 dagar och en del förhördes istället en vecka senare. Vid den avslutande testningen visade det sig att resultaten skiljde sig åt beroende på om studenterna testats efter 5 min eller en vecka. I testningen som skedde 5 minuter efter sista instuderingstillfället presterade studenterna som läst texten fyra gånger bättre än övriga grupper. Men i testet efter en vecka presterade studenterna som läst texten en gång och testats tre gånger bäst av grupperna. Det visade sig att studenterna i grupp-LLLL efter en vecka glömt 52 %, i grupp LLLT hade studenterna glömt 28% och i grupp LTTT hade studenterna endast glömt 14%.

The interim test effect: Testing prior material can facilitate the learning of new material

En annan intressant aspekt av test-enhanced learning är det faktum att testa sig på vissa delar av inläst material även verkar öka inlärningen av det material som inte kunskapstestas11. Studenter delades i en studie upp i två grupper där en av grupperna läste tre olika texter (text A, B och B) vid tre olika tillfällen. Den andra gruppen läste också texten vid tre olika tillfällen och efter att ha läst text A och B testades de på innehållet i respektive text. Både grupp ett och två testades sedan på text C.

  • Grupp 1
    • läste text A
    • läste text B
    • läste text C
  • Grupp 2
    • läste text A → Förhördes på text A
    • läste text B → Förhördes på text B
    • läste text C
  • Grupp 1 och 2 förhördes på text C

bild1

Det visade sig att grupp 2 presterade dubbelt så bra som grupp 1 när de förhördes på text C.

Hur använder vi test-enhanced learning?

Det bör sägas att ingen av oss på hypocampus är någon expert inom området. Intresse för området som har fått oss att försöka sätta oss in i forskningsfältet och vi har utgått från de artiklar med resultat som verkar vara reproducerbara. Vi förstår att lärandeprocessen är oerhört komplex och att olika individer kan ha olika stor nytta av olika metoder. Vad gäller läkarutbildningen måste man närma sig kunskapen på flera olika sätt och det finns ingen bok eller mjukvara i världen som motsvarar reell klinisk erfarenhet eller övning i patientsamtal. Vi är dock samtidigt övertygade om att det finns ett stort värde i att ha en bred kunskapsbas. Vår tanke är att om vi kan öka inlärning och långtidsinlagring med om än bara några procent på samma nedlagda tid så är det ett stort steg framåt.

Vi har försökt utgå från studenters nuvarande studiemetoder för att göra hypocampus så lättanvänt som möjligt. Vi ger användare möjlighet att läsa ett kapitel, förhöra sig på innehållet för att därefter kunna läsa kapitlet igen och se vilka rätt respektive fel man haft för att fokusera på sina svagheter. Vi ger även statistik över vilka kapitel användaren är svag på samt progress över tid.

  1. Läs ett kapitel

2016-10-09-21-09-112. Välj “gör frågor”

2016-10-09-21-09-21

3. Besvara frågan

2016-10-09-21-11-53

4. När du sedan läser kapitlet igen kan du se vilka delar du inte förhört dig på samt vilka delar du svarat rätt respektive fel på

2016-10-09-21-12-56

5. Du kan även se vilka kapitel du är svag på samt progress över tid.2016-10-09-21-14-07

Noter

  1. Roediger HL III and Butler AC (2011). The critical role of retrieval practice in long-term retention. Trends in Cognitive Sciences 15, 20-27.
  2. Roediger HL III and Pyc MA (2012). Inexpensive techniques to improve education: Applying cognitive psychology to enhance educational practice. Journal of Applied Research in Memory and Cognition 1, 242-248.
  3. Agarwal, P.K., Bain, P.M. & Chamberlain, R.W. Educ Psychol Rev (2012) 24: 437. doi:10.1007/s10648-012-9210-2. JESSICA M. LOGAN AND DAVID A. BALOTA, Aging, Neuropsychology, and Cognition, 15: 257–280, 2008 http://www.psypress.com/anc ISSN: 1382-5585/05 print; 1744-4128 online DOI: 10.1080/13825580701322171
  4. Larsen DP, Butler AC, and Roediger HL III (2009). Repeated testing improves long-term retention relative to repeated study: a randomized controlled trial. Medical Education 43, 1174-1181.
  5. McDaniel, M. A., Agarwal, P. K., Huelser, B. J., McDermott, K. B., & Roediger, H. L. (2011). Test-enhanced learning in a middle school science classroom: The effects of quiz frequency and placement. Journal of Educational Psychology, 103,399-414.
  6. M.A. Pyc, K.A. Rawson / Journal of Memory and Language 60 (2009) 437–447
  7. Henry L. Roediger III, Pooja K. Agarwal, Mark A. McDaniel, and Kathleen B. McDermott, Test-Enhanced Learning in the Classroom: Long-Term Improvements From Quizzing, Journal of Experimental Psychology: Applied,2011, Vol. 17, No. 4, 382–395
  8. Bjork & Bjork 1992
  9. Henry L. Roediger, III, and Jeffrey D. Karpicke, Test-Enhanced Learning Taking Memory Tests Improves Long-Term Retention, 2006 Association for Psychological Science, Volume 17—Number 3
  10. Jeffrey D. Karpicke and Janell R. Blunt, Retrieval Practice Produces More Learning than Elaborative Studying with Concept Mapping, Science, 11 Feb 2011: Vol. 331, Issue 6018, pp. 772-775, DOI: 10.1126/science.1199327
  11. Wissman KT, Rawson KA, and Pyc MA (2011). The interim test effect: Testing prior material can facilitate the learning of new material. Psychonomic Bulletin Review 18, 1140-1147.

 

www.hypocampus.se


 

Test Enhanced Learning

Här kan du lära dig mer om teorierna bakom Test Enhanced Learning, en pedagogisk metod för att effektivisera lärandet. Vi på Hypocampus använder denna teori som grund för våra pedagogiska tankar när vi bygger systemet. Kom gärna med feedback, eller förslag på ändringar och förbättringar!

Test enhanced learning from Hypocampus on Vimeo.

Så här använder Hypocampus Test Enhanced Learning:

Hypocampus tar fasta på den senaste forskningen inom pedagogik för att förbättra lärandet och på så sätt göra läkarutbildningen bättre. Detta genom att förstärka inlärningens första steg: att inhämta information, men även genom att göra materialet interaktivt med text, bilder och filmer. Därefter möjliggörs högre inlärande genom att låta studenterna hämta tillgodogjord kunskap genom frågor kopplade till varje text. I texten kan man sedan se resultatet av frågorna för att få en överblick över vad man kan och vad man behöver läsa på mer om.

Ett av problemen med traditionellt bokstuderande är att det är svårt att identifiera de kunskapsluckor man har om man inte konfronteras med frågorna. De flesta vet om att det är mycket de inte vet, men det är svårt att identifiera vad av allt man inte vet som man borde veta. Det är också svårt att identifiera vad av det man har kunnat som man har glömt. Genom att ge användare statistik av vad de har och vad de inte har gått igenom samt när.

Hypocampus erbjuder dig möjligheten att fokusera på dina kunskapsluckor!

www.hypocampus.se