Metodehjørnet

Vegard Lysne

Redaksjonsmedlem

Ane Sørlie Kværner

Redaktør

Thomas Olsen

Redaktør

I denne spalten tipser vi om artikler og andre ressurser som tar opp metodiske aspekter som er relevante for ernæringsforskning. Spalten er aktuell både for de som forsker selv, og for de som leser og benytter seg av denne forskningen. Temaene vil variere, så her er det noe for de fleste. Denne gangen fokuserer vi på statistisk styrkeberegning, kausale grafer, og den vanlige praksisen med å diskutere potensielle mekanismer i epidemiologiske studier.

Illustrasjonsfoto: Colourbox.com

Statistisk styrkeberegning

Alle som jobber med forskning må før eller siden forholde seg til konseptet statistisk styrke. Styrkeberegning er et viktig verktøy i planleggingen av studier, da det gir oss informasjon om hvor mange deltakere vi trenger å inkludere for at studien skal være informativ. Både å inkludere for få og for mange deltakere er etisk betenkelig, da det kan føre til at vi enten ikke lærer noe av studien eller at vi utsetter flere deltakere enn nødvendig for hva enn vi studerer effekten av.

Tradisjonell styrkeberegning er tett knyttet til statistisk signifikans. Her bestemmer forskerne først hvor stor effekt man er interessert i å avdekke (minste klinisk relevante effekt), og ved hjelp av antagelser om hvor stor variasjon det vil være i dataene kan man beregne hvor mange deltakere man trenger for å få et statistisk signifikant resultat. Styrke oppgis i prosent, og 80% styrke kan tolkes som at man forventer å få et statistisk signifikant resultat i minst 80% av repeterte studier dersom den reelle effekten er minst like stor som effekten man var ute etter. Eller med andre ord, sannsynligheten for å avvise nullhypotesen når den alternative hypotesen er korrekt. Et mindre kjent alternativ til tradisjonell styrkeberegning, er å kalkulere utvalgsstørrelsen basert på hvor presise resultater man ønsker å samle inn. Kenneth Rothman og Sander Greenland argumenterer for at dette i mange tilfeller er en mer nyttig tilnærming, da målet med forskning er å lære om verden, og at presisjonen dermed er viktigere enn å kunne konkludere med om resultatet er statistisk signifikant eller ikke (1). Tradisjonell nullhypotesetesting har vært gjenstand for mye kritikk, og i artikkelen påpeker Rothman og Greenland flere begrensninger med tradisjonell styrkeberegning. De argumenterer for å heller beregne antall deltakere basert på presisjon, for eksempel med utgangspunkt i å oppnå en forhåndsbestemt bredde på konfidensintervallene. De gir deretter flere eksempler på hvordan dette kan gjøres i praksis. Dette temaet har også blitt diskutert tidligere, blant annet av Scott Maxwell og kollegaer (2).

Styrkeberegning er viktig, men den hører hjemme før datainnsamlingen finner sted, da målet er å beregne hvor mye data man trenger å samle inn. Når datamaterialet er ferdig innsamlet, har styrkeberegning mye mindre for seg, selv om både tidsskrift og fagfeller ofte etterspør såkalt «observert styrke». Det kan være fristende, og ved første øyekast gi mening, å sjekke om man hadde nok styrke dersom man ikke fant et statistisk signifikant resultat. Viser det seg i ettertid at den statistiske styrken var lav, kan dette fremstå som en plausibel forklaring på hvorfor resultatene uteble. Dette er fundamentalt feil, som påpekes av Stian Lydersen, i artikkelen «Statistisk styrke – før, men ikke etter!». (3) Her forklarer han hvorfor dette i praksis bare er en transformering av p-verdien, og at et statistisk ikke-signifikant resultat alltid vil ha lav «observert styrke», og motsatt. Med andre ord vil «observert styrke» være både overflødig og potensielt svært misvisende, og bør unngås. Miguel Hernàn argumenterte nylig for at styrkeberegning ikke er nødvendig når man skal benytte allerede innsamlede data (4). Dette ble fulgt av gode kommentarer fra Tim Morris og Maarten van Smeden (5) og Mohammad Ali Mansournia (6).

Kausale grafer

Kausale grafer (Directed Acyclic Graphs, DAG) er et populært verktøy som benyttes for å bygge statistiske modeller med mål om å estimere kausale sammenhenger fra epidemiologiske data. Slike data har mange kjente begrensninger, og selv om hensikten ofte er å si noe om årsakssammenheng ender man vanligvis opp med å snakke om prediksjon og assosiasjon. En hovedutfordring med observasjonsdata er konfundering, at andre variabler påvirker den observerte sammenhengen mellom eksponeringsvariabelen og utfallet. Disse ønsker vi å justere for i statistiske modeller. Samtidig har vi andre typer variabler, for eksempel mediatorer som eksponeringsvariabelen virker gjennom. Avhengig av forskningsspørsmålet kan det være hensiktsmessig å justere for disse variablene. Til slutt har vi variabler som påvirkes både av eksponeringen og utfallet, kolliderende faktorer. Disse introduserer ikke bias før de inkluderes i modellene, så disse vil vi unngå å justere for. Tidligere var det vanlig å velge ut variabler basert på statistiske korrelasjoner, eller ved å inkludere variabler stegvis og se hvordan det påvirker modellen, men dette er ikke egnet til å skille mellom konfunderende faktorer, mediatorer og kolliderende faktorer.

En DAG benytter a etablert kunnskap for å kartlegge de kausale sammenhengene mellom ulike variabler. Her vil variablene kobles sammen med piler, som representerer etablerte årsakssammenhenger. Ved hjelp av en slik graf kan man ta en informert beslutning om hva som skal være med i modellen og ikke, med utgangspunkt i det konkrete forskningsspørsmålet. Peter Tennant og kollegaer har skrevet en reviewartikkel hvor de beskriver bruken av slike grafer, og anbefalinger for hvordan disse kan implementeres i fremtidige artikler (7). Det er utarbeidet et online verktøy for å tegne og analysere slike grafer (www.daggity.net), som også er implementert som en R-pakke (8)

I en tidligere utgave av metodehjørnet tok vi opp noen artikler som diskuterte ulike problemstillinger knyttet til å bruke endring fra baseline som utfallsvariabel (9). Dette forekommer hyppig innen ernæringsforskningen, for eksempel når man studerer hvordan en intervensjon påvirker en risikofaktor som kroppsvekt eller kolesterolverdier. I en nylig publisert artikkel illustrerer Tennant ved hjelp av DAGs hvorfor det er en dårlig ide å bruke endring som utfall når vi ønsker å estimere kausale effekter, spesielt i observasjonsstudier (10).

Er det alltid nødvendig å utlede potensielle ­mekanismer i epidemio­logisk forskning?

I epidemiologiske studier er det ikke uvanlig å finne en seksjon som diskuterer potensielle biologiske mekanismer som kan forklare de observerte assosiasjonene. Dette skyldes delvis at observasjonsstudier alltid vil komme med en risiko for at resultatene kan påvirkes av konfundering og andre feilkilder, og at det derfor blir viktig å anskueliggjøre at det man observerer gir mening. Hvorvidt dette er nyttig diskuteres i en fersk reviewartikkel fra David Buis og Jos van Roosmalen (11). De argumenterer for at det bør settes et hardt skille mellom å si at en enkelt studie støtter en kausal påstand, og det å vurdere om summen av forskning støtter påstanden. De påpeker at kvaliteten på en epidemiologisk studie er fullstendig uavhengig av kvaliteten på de mekanistiske studiene, og at man derfor må være forsiktige med å underbygge svake kausale påstander fra en observasjonsstudie med potensielle mekanismer fra andre studier. Det ledende paradigmet for kausal inferens er det kontrafaktuelle rammeverket, hvor A anses som en årsak til B dersom B er ulik avhengig av om A er til stede eller ikke. Dette forutsetter at man kan gjøre en rettferdig sammenligning av situasjonen med og uten A, som oppfyller antagelsen om utskiftbarhet, noe som er målsettingen med randomiserte kontrollerte studier. Da trenger vi ikke å vite noe om underliggende mekanismer for å trekke kausale konklusjoner. Det som er avgjørende er altså utskiftbarhetsantagelsen. Buis og van Roosmalen argumenterer for at det samme burde gjelde for epidemiologiske studier, og at det sentrale derfor er konfundering og andre feilkilder som truer utskiftbarheten, og ikke potensielle mekanismer. Videre påpeker de at selv om man har en plausibel mekanisme, så vil det alltid være mulig å gå et steg videre bakover og spørre hva som ligger bak denne igjen, noe som er problematisk dersom kjennskap til de underliggende mekanismene settes som et kriterium for å trekke kausale konklusjoner. Artikkelen konkluderer med at kjennskap til biologiske mekanismer selvfølgelig er nyttig, ikke minst for å kunne designe intervensjoner, men at det ikke er nødvendig for å utlede kausale sammenhenger.

Referanser

  1. Rothman KJ, Greenland S. Planning Study Size Based on Precision Rather Than Power. Epidemiology. 2018 Sep;29(5):599–603.

  2. Maxwell SE, Kelley K, Rausch JR. Sample size planning for statistical power and accuracy in parameter estimation. Vol. 59, Annual Review of Psychology. Annu Rev Psychol; 2008. p. 537–63.

  3. Lydersen S. Statistisk styrke - Før, men ikke etter! Tidsskr den Nor Laegeforening. 2019 Jan 1;139(2).

  4. Hernán MA. Causal analyses of existing databases: no power calculations required. J Clin Epidemiol. 2021 Aug 27;

  5. Morris TP, van Smeden M. Causal analyses of existing databases: The importance of understanding what can be achieved with your data before analysis (commentary on Hernán). J Clin Epidemiol. 2021 Sep 22;

  6. Mansournia MA. Letter to the editor: Sample size considerations are needed for the causal analyses of existing databases. J Clin Epidemiol. 2021 Sep 20;

  7. Tennant PWG, Murray EJ, Arnold KF, Berrie L, Fox MP, Gadd SC, et al. Use of directed acyclic graphs (DAGs) to identify confounders in applied health research: review and recommendations. Int J Epidemiol. 2020;

  8. Textor J, van der Zander B, Gilthorpe MS et al. Robust causal inference using directed acyclic graphs: The R package “dagitty.” Int J Epidemiol. 2016;

  9. Lysne V, Olsen T, Kværner A. Metodehjørnet | NTFE. Nor Tidsskr ernæring. 2020;(4).

  10. Tennant PWG, Arnold KF, Ellison GTH et al. Analyses of ‘change scores’ do not estimate causal effects in observational data. Int J Epidemiol. 2021 Jun 7;

  11. Buis DTP, van Roosmalen J. Turtles all the way down: do biological mechanisms for epidemiological observations always matter? Eur J Epidemiol 2021 369. 2021 Oct 7;36(9):909–12.