Varför många psykologiska studier misslyckas med att replikera
Replikation är en term som hänvisar till upprepningen av en forskningsstudie, i allmänhet med olika situationer och olika ämnen, för att avgöra om de grundläggande resultaten i den ursprungliga studien kan tillämpas på andra deltagare och omständigheter.
När en studie har genomförts kan forskarna vara intresserade av att bestämma om resultaten är sanna i andra inställningar eller för andra populationer.
I andra fall kanske forskare vill replikera experimentet för att ytterligare visa resultaten.
Tänk för exempel att hälsopsykologer utför ett experiment som visar att hypnos kan vara effektiv för att hjälpa medelålders rökare sparka sin nikotin vana. Andra forskare kanske vill kopiera samma studie med yngre rökare för att se om de når samma resultat.
Varför är replikation så viktigt i psykologi?
När studier replikeras och uppnår samma eller liknande resultat som den ursprungliga studien ger det större validitet till resultaten. Om en forskare kan replikera en studie resultat betyder det att det är mer troligt att resultaten kan generaliseras till den större befolkningen.
Hur replikerar forskare ett experiment?
När man utför en studie eller ett experiment är det viktigt att ha tydligt definierade operativa definitioner. Med andra ord, vad är studien som försöker mäta?
Vid replikering av tidigare forskare följer experter samma procedurer men med en annan grupp deltagare. Om forskaren får samma eller liknande resultat i uppföljningsförsök betyder det att de ursprungliga resultaten är mindre benägna att vara fluke.
Vad om replikation misslyckas?
Så vad händer om de ursprungliga resultaten inte kan reproduceras?
Beträffar det att experimenterna utförde dålig forskning eller att, ännu värre, de ljög eller tillverkade deras data?
I de flesta fall orsakas icke-replikerad forskning av skillnader i deltagarna eller i andra externa variabler som kan påverka resultatet av ett experiment. Ibland kan skillnaderna inte vara omedelbart tydliga och i andra kan forskare kunna skilja vilka variabler som kan ha påverkat resultaten.
Exempelvis kan mindre skillnader i saker som hur frågor presenteras, vädret eller till och med den tidpunkt då studien utförs ha en oväntad inverkan på resultaten av ett experiment. Forskare kan sträva efter att perfekt reproducera den ursprungliga studien, men variationer förväntas och är ofta omöjliga att undvika.
Är resultatet av psykologiska experiment svårt att replikera?
År 2015 publicerade en grupp med mer än 250 forskare resultaten av deras femåriga ansträngningar för att replikera 100 olika experimentstudier som tidigare publicerats i tre toppsykologiska tidskrifter. Replikatorerna arbetade nära med de ursprungliga forskarna i varje studie för att replikera experimenten så nära som möjligt.
Resultaten var mindre än stjärnvärdet. Av de 100 experimenten i fråga kunde 64 procent inte replikera de ursprungliga resultaten.
Av de ursprungliga studierna ansågs 97 procent av resultaten vara statistiskt signifikanta. Endast 36 procent av de replikerade studierna kunde få statistiskt signifikanta resultat.
Som man kan förvänta, orsakade dessa dumma fynd ganska rörelse.
Så varför är psykologiska resultat så svåra att replikera? John Ioannidis skrev till förmyndaren att det finns ett antal skäl till varför detta kan hända, inklusive konkurrens om forskningsfonder och det kraftfulla trycket för att få betydande resultat. Det finns litet incitament att ompröva, så många resultat som erhålls rent av en slump accepteras helt enkelt utan ytterligare forskning eller granskning.
Projektförfattarna föreslår att det finns tre huvudorsaker till varför de ursprungliga resultaten inte kunde replikeras.
De ursprungliga resultaten var falskt positiva.
De replikerade resultaten var en falsk negativ.
Båda studierna var korrekta men skiljde på grund av okända skillnader i experimentella förhållanden eller metoder.
Hur replikering kan stärkas
Den nobelpristagande psykologen Daniel Kahneman har föreslagit att eftersom publicerade studier ofta är för vaga när man beskriver metoder som används, bör replikationer involvera författarna till de ursprungliga studierna för att mer noggrant spegla de metoder och förfaranden som användes i den ursprungliga forskningen. Faktum är att en undersökning har funnit att när de ursprungliga forskarna är involverade är replikationshastigheterna mycket högre.
Medan vissa kanske frestas att titta på resultaten från sådana replikationsprojekt och antar att psykologi är skräp, föreslår många att sådana fakta faktiskt bidrar till att göra psykologi en starkare vetenskap. Mänsklig tanke och beteende är ett anmärkningsvärt subtilt och ständigt föränderligt ämne att studera, så variationer kan förväntas när man observerar olika populationer och deltagare.
Vissa forskningsresultat kan vara fel, men gräva djupare, peka på bristerna och utforma bättre experiment hjälper till att stärka fältet.
> Källor:
> Ionnidis >, J. Psykologiska experiment misslyckas med replikeringstestet - av god anledning. Väktaren; 2015.
> Makel, MC; Plucker, JA; Hegarty, B. Replikationer i psykologiforskning Hur ofta uppträder de egentligen? . Perspektiv på psykologisk vetenskap. 2012; 7 (6): 537-542.
Open Science Collaboration. Beräkna reproducerbarheten av den psykologiska vetenskapen. Vetenskap. 2015; 349 (6251), aac4716. Doi: 10.1126 / science.aac4716.