FORSKNINGEN SOM LOVAR MER ÄN DEN KAN HÅLLA:
I en studie har SLU-forskare granskat 216 internationella artiklar om miljöstöd till jordbrukare. Deras granskning visade på stora brister – även i de tre-fyra egna studier som ingick.
Forskningsstudier genomförs inte alltid enlig regelboken.
De kan lova för mycket, visa på samband som inte finns eller inte vara replikerbara. Det vet två forskare som har varit med om att granska studier inom olika discipliner – och upptäckt många brister.
Jonas Josefsson
Naturvårdsbiologen Jonas Josefsson har gjort något så ovanligt som att ifrågasätta sina egna studier. Intresset att granska forskning startade redan under doktorandtiden då hans seminariegrupp brukade träffas varje fredag och diskutera artiklar.
– Det slutade alltid med att vi satt och ondgjorde oss över metoddelen, snarare än att diskutera de faktiska resultaten.
Nu ett antal år senare har han, tillsammans med kollegan Tomas Pärt och hela enheten för landskapsekologi vid Sveriges Lantbruksuniversitet, SLU, gjort en studie där de granskat 216 internationella artiklar om miljöstöd till jordbrukare. Deras granskning visade på stora brister – även i de tre-fyra egna studier som ingick.
Feldesignade studier
Ett problem är att många av studierna inte visar hur effektiva miljöersättningar är för att värna den biologiska mångfalden. De är inte designade för att mäta det.
Jonas Josefsson konstaterar att ett av de största problemen är att det är markägare och beslutsfattare som avgör var åtgärden ska utföras. Då är det inte säkert att stödet hamnar där det gör bäst nytta.
– Om vi som forskare varit med från början hade vi använt en design där vi studerar ett stödområde före och efter en åtgärd och jämför med en kontrollyta utan åtgärd under samma period. I den bästa av världar vill man även att slumpen får avgöra vilket område som blir stöd eller kontroll, men av praktiska skäl är det ofta svårt.
Forskarna vid SLU har dessutom granskat hur studierna tolkat korrelation och kausalitet, alltså om det finns ett samband mellan en åtgärd och ett resultat. Och om det dessutom går att påvisa orsak och verkan, det vill säga att resultatet beror på åtgärden.
– Vi ville titta på om man i korrelativa studier använder kausalt språk, även om det faktiskt inte går att göra det utifrån de data man har.
Hävdat orsakssamband som inte finns
Det visade sig att två tredjedelar av studierna anger orsakssamband, kausalitet, trots att det bara finns ett samband, en korrelation.
– Jag har själv suttit och spetsat till, och använt kausalt språkbruk. Vid publicering krävs att man ska vara tydlig och distinkt och då händer lätt sådana saker.
Forskargruppen tittade också på om studierna diskuterar om det kan finnas systematiska fel eller alternativa tolkningar. Men det visade sig att nästan inga studier gjort det.
Jonas Josefsson är inte förvånad över deras resultat.
– Vi misstänkte att det var så här. Vårt ansvar är att börja diskutera detta, för om vi bara låtsas att alla studier är bra blir det aldrig någon förändring.
Försöker påverka tidskrifterna
En väg att gå är att försöka påverka tidskrifterna. Forskargruppen skriver nu till de 40 största naturvårdstidskrifterna för att utröna om det finns något intresse av att ställa högre krav.
– Vi vill att forskare i sina artiklar ska diskutera potentiella fel och brister. Nu finns inga formella krav på det, inget ramverk som till exempel vissa samhällsvetenskapliga tidskrifter har.
Konsekvenser av dåligt utförda studier kan i värsta fall bli att miljöstöd utbetalas felaktigt, men framförallt att man inte kan uppskatta effekterna av de åtgärder som görs.
– Det blir svårt att veta vad man får för pengarna.
Van att granska andras forskning
Anna Dreber Almenberg som är professor i nationalekonomi vid Handelshögskolan i Stockholm är också van att granska andras forskning. Hon och hennes kollegor brukar diskutera studier som de är skeptiska till.
De deltog i den stora internationella studien Open Science Collaboration 2015 där 270 forskare gjorde om hundra psykologistudier. Det visade sig att hälften inte ens gick att replikera och bara en tredjedel av resultaten var statistiskt signifikanta.
Anna Dreber Almenberg och hennes kolleger ledda av Eva Ranehill vid Göteborgs universitet, har även gjort en uppmärksammad replikationsstudie om ”power posing”. I ursprungsstudien hävdades att om människor under några minuter placerar kroppen i maktpositioner skulle det leda till hormon- och beteendeförändringar.
– Vi gjorde om den med fem gånger så många deltagare – och kunde inte replikera huvudresultaten.
Alla discipliner
Anna Dreber Almenberg menar att kvaliteten inom just psykologisk forskning ökat markant efter dessa replikationsstudier. Det kan vara svårare att replikera studier inom discipliner som nationalekonomi eller statsvetenskap, där man till exempel studerat ett visst skeende som inte går att återskapa. Men alla discipliner borde granskas menar Anna Dreber Almenberg.
– Vi får räkna med att det finns vissa felaktiga resultat, även av forskare som gör bra forskning. Det är en del av processen.
Hon konstaterar att falska positiva resultat tenderar att leva kvar ganska länge i litteraturen. Det är svårt att få replikationsstudier publicerade, och även om de publiceras i en bra tidskrift är det inte säkert att de som såg den första studien kommer att upptäcka den andra.
– Det är inte det att forskare är lata eller slarviga men det är svårt att hinna följa allt som citeras. Felaktiga resultat försvinner så småningom och det gäller att påskynda den processen. Annars riskerar vi att människors tillit till vetenskapen minskar och det är problematiskt. Men det finns många skäl att tro att det håller på att bli bättre.
Minska risken att hamna snett
Hennes råd till andra forskare för att minska risken att hamna snett är att göra en förregistrerad analysplan. En plan där man spec
