Feilkilder i ernæringsepidemiologi

Målet med ernæringsepidemiologi er å kartlegge trender i kostholdet til en befolkning eller å studere sammenhengen mellom kostholdsrelaterte eksponeringsvariabler og helseutfall. Denne informasjonen kan brukes til å utforme kostholdsråd for å forebygge sykdom og fremme god helse. Ettersom ernæringsrelaterte sykdommer med få unntak utvikles over lang tid er vi også fortrinnsvis ute etter å samle inn data om det gjennomsnittlige inntaket over tid. Det langsiktige matinntaket kan derimot ikke observeres direkte, som betyr at vi må basere oss på selvrapporterte data. Metodene som brukes for innsamling av selvrapporterte data er ikke uten feilkilder. I denne artikkelen vil vi kort introdusere de ulike typene feilkilder, og ved hjelp av simulerte data illustrere hvordan disse påvirker analysene våre. Til slutt vil vi ta for oss hvordan de ulike kostholdsverktøyene er rammet av målefeil og hvilken praktisk relevans dette har.

Kostholdsdata

Kosthold som eksponering er komplekst og alt vi spiser består av mange komponenter i ulike mengder, som igjen kan interagere med hverandre. Næringsinnholdet i en matvare kan variere, og avhenger blant annet av hvor den er dyrket, når på året den er produsert, lagringsforhold og prosessering. Alle disse faktorene vil også kunne endre seg over tid. Kostholdsdata samles inn på matvarenivå, men ofte er vi interessert i enkelte næringsstoffer. Da brukes en kombinasjon av matvaretabeller, standard porsjonsstørrelser og oppskrifter på ferdige matretter for å estimere inntaket av næringsstoffer. Dette er feilkilder som vil påvirke resultatene våre også om vi kunne samlet inn helt nøyaktige kostholdsdata.

Når vi samler inn kostholdsdata er vi avhengige av at deltakerne selv rapporterer hva de har spist. Dette er en begrensning, da mennesker av ulike grunner ikke er i stand til å rapportere nøyaktig hva de har spist. På grunn av den åpenbare subjektiviteten dette medfører er det gjentatte ganger reist spørsmål ved validiteten til resultatene fra studier som baserer seg på selvrapporterte kostdata (1). De største bekymringene dreier seg blant annet om konsekvensene av systematiske målefeil som over- og underrapportering.

Målefeil

En viktig distinksjon ved dataene vi samler inn er at de representerer rapportert og ikke faktisk inntak. Dette medfører både systematiske og tilfeldige målefeil, beskrevet og illustrert som avstanden mellom rapportert og faktisk inntak (Figur 1).

FIGUR 1. Faktisk versus rapportert inntak.

Figuren viser fordelingen av det faktiske inntaket av en matvare eller et næringsstoff i en befolkning, her illustrert ved den blå kurven. Den blå stiplede linjen representerer det faktiske inntaket for person X. Avstanden fra populasjonsgjennomsnittet til det faktiske inntaket representerer den interindividuelle variasjonen for person X. Den røde stiplede linjen illustrerer det rapporterte inntaket til person X. Her kommer også den intraindividuelle variasjonen og andre målefeil inn i bildet. Intraindividuell variasjon referer til at inntaket varierer fra dag til dag og over tid, slik at vi sjelden spiser nøyaktig likt gjennomsnittet. I tillegg vil målefeil gjøre at det som rapporteres avviker fra det som faktisk ble spist denne dagen. Det rapporterte inntaket vi sitter igjen med etter å ha samlet kostdata, vil dermed bestå av en kombinasjon av det faktiske inntaket, den intraindividuelle variasjonen og de ulike målefeilene, og det er derfor viktig å skille mellom rapportert og faktisk inntak. Formelt kan det faktiske gjennomsnittsinntaket for person X representeres ved populasjonsgjennomsnitt + interindividuell variasjon, og det rapporterte inntaket uttrykkes ved det faktiske inntaket + intraindividuell variasjon + målefeil.

Datasimulering

For å illustrere effekten av målefeil har vi simulert et datasett med 500 deltakere. For disse har vi data på inntaket av makronæringsstoffene og energi, samt risikofaktorene BMI, systolisk blodtrykk og LDL-kolesterol. For å simulere effekten av målefeil har vi lagt til en faktor til karbohydratinntaket som tilsvarer de ulike typene målefeil, som er oppgitt i Tabell 1. Deretter har vi plottet inntaksfordelingen av karbohydrater med de ulike feilkildene, samt sammenhengen med de tre risikofaktorene. Linjene i plottene representerer den lineære sammenhengen mellom karbohydratinntak med og uten målefeil og de ulike risikofaktorene. Stigningen på kurven tilsvarer styrken på assosiasjonen. Grå punkter/linjer viser faktisk inntak/assosiasjon. Dataene er simulert slik at karbohydratinntak har en positiv sammenheng med BMI og blodtrykk, og en negativ sammenheng med LDL. Tabell 2 oppsummerer estimatene fra analysene. Datasimulering og analyser ble gjort i R versjon 3.4.3, og skriptet kan finnes her: (https://github.com/VegardLysne/NTFE-scripts).

TABELL 1. Metode for å simulere de ulike typene målefeil.

Feilkilde

Lagt til faktisk inntak

Tilfeldig feil

+ Tilfeldig tall trukket fra en normalfordeling med gjennomsnitt 0 og standardavvik 75g.

Additiv feil

+ 50g

Overrapportering

+ 20 %

Underrapportering

- 20 %

Personspesifikk feil

- 50 % ved BMI > 27 kg/m2,

+ 50 % ved BMI < 23 kg/m2

TABELL 2. Effekten av målefeil når vi ønsker å estimere inntaksfordelingen i en gruppe, gitt ved gjennomsnitt og standardavvik.

Feilkilde

Gjennomsnitt (g)

Standardavvik (g)

Problem?

Faktisk inntak

210,2

73,3

Tilfeldig feil

211,0

107,6

Ja

Additiv feil

260,2

↑/↓

73,3

=

Ja

Overrapportering

252,3

88,0

Ja

Underrapportering

168,2


58,7

Ja

Personspesifikk feil

195,8

81,2

Ja

Konsekvenser av feilkilder i kostdata

Ved hjelp av datasimulering har vi illustrert hvilken effekt målefeil i kostdata har når vi vil beskrive inntaket i en gruppe eller studere sammenhengen mellom kostholdseksponering og et utfall. Alle resultatene er oppgitt i Figur 2 og Tabell 2 og 3. Under følger en forklaring av de ulike typene målefeil, samt en diskusjon rundt hvilken innvirkning disse vil ha på resultatene våre når vi ønsker å studere sammenhenger mellom kosthold og helseutfall eller beskrive kostholdet i en befolkning.

FIGUR 2. Simulerte data som viser fordeling av karbohydratinntak og sammenheng mellom karbohydrater og BMI, systolisk blodtrykk og LDL. Panel A representerer faktisk inntak, mens panel B-F representerer effekten av ulike typer målefeil.

TABELL 3. Effekten av målefeil når vi ønsker å estimere sam-menhengen mellom en kostholdsfaktor og et utfall. Estimatene er oppgitt per 100g karbohydrat.

Feilkilde

Estimat

Statistisk styrke (R2)

Problem?

Faktisk inntak

1,1

46,3 %

Tilfeldig feil

0,5

28,1 %

Ja

Additiv feil

1,1

=

46,3 %

=

Nei

Overrapportering

0,9

46,3 %

Nei

Underrapportering

1,3

46,3 %

Nei

Personspesifikk feil

-1,4

↑/↓

7.5 %

Ja

Tilfeldige målefeil

Tilfeldige målefeil defineres som feil som ikke går systematisk i en retning, men som slår ut tilfeldig. Når vi ønsker å estimere det gjennomsnittlige inntaket til en person vil den daglige variasjonen i kostinntaket, den intraindividuelle variasjonen, være en kilde til tilfeldig målefeil. Noen dager spiser vi mer enn gjennomsnittet, og andre dager mindre. Selv om dette er representativt for det faktiske inntaket fra dag til dag, så vil det være en feilkilde når målet er å estimere det gjennomsnittlige inntaket, og ikke bare inntaket den aktuelle dagen. I en gruppe mennesker vil det også være slik at noen tilfeldigvis rapporterer litt for mye og andre litt for lite, utover det faktiske inntaket, og slike rapporteringsavvik vil også være en kilde til tilfeldige målefeil. En egenskap ved tilfeldige målefeil er at de bidrar til større variabilitet i dataene, men gitt mange nok observasjoner så vil gjennomsnittsverdien være tilnærmet lik det faktiske inntaket. Den økte variabiliteten vil derimot gi en økt spredning i dataene, slik at vi overestimerer hvor mange som ligger i halene av fordelingen (Fig 2 B1; Tabell 2). Dette vil gjenspeiles i standardavviket til gjennomsnittsverdien som vil være større enn for det faktiske inntaket. Det kan være problematisk om vi ønsker å anslå hvor mange som får i seg for lite eller for mye av et næringsstoff eller en matvare. Den økte variabiliteten vil i tillegg bidra til å svekke reelle sammenhenger mellom en kostholdsfaktor og et utfall. Rangeringen av inntaket vil endre seg, og dette reduserer den statistiske styrken (Fig 2 B2 – 4; Tabell 3). Tilfeldige feil er med andre ord et problem både når vi vil beskrive inntaket og når vi vil estimere kosthold-helse-assosiasjoner. Konsekvensene av tilfeldige feil kan reduseres ved å hente inn repeterte målinger, fordi feilmarginen da vil jevne seg ut.

Systematiske målefeil

De systematiske feilene vil, i motsetning til de tilfeldige, trekke resultatet konsekvent i samme retning. En egenskap ved denne typen feil er at det ikke hjelper å samle inn flere datapunkter, ettersom den samme feilen vil påvirke alle datapunktene på samme måte. Vi har ulike typer systematiske feilkilder som påvirker kostholdsdata.

Additiv målefeil er den enkleste formen for systematiske feil, der alle målingene avviker fra faktisk inntak med en gitt verdi. I vårt eksempel har vi lagt til 50 g karbohydrater for alle deltakerne. Kilder til additiv systematisk målefeil kan være at det er oppgitt et for lavt eller høyt tall i matvaretabellen, at vi bruker for store eller små porsjonsstørrelser eller at det er feil i oppskriftene som brukes for å regne om til næringsstoffinntak. Konsekvensen av dette er at hele inntaksfordelingen forskyves, men den beholder sin opprinnelige form (Fig 2 C1; Tabell 2). Dersom vi bruker data med additiv målefeil til å estimere sammenhenger med et utfall, vil resultatet bli nøyaktig det samme, og vi vil ikke miste noe statistisk styrke (Fig 2 C2 – 4; Tabell 3).

Inntaksrelatert målefeil er i motsetning til additive målefeil ikke konstant for hver deltaker, men skaleres relativt til inntaket. De mest kjente variantene av denne typen feil er over- og underrapportering. I slike tilfeller vil feilen være enten positivt eller negativt korrelert med det faktisk inntaket, som vi skal se av eksemplene under. Dersom man i en gruppe konsekvent overestimerer for eksempel størrelsen på en brødskive, så vil denne målefeilen slå ut i større grad hos de som spiser mange brødskiver. Hvis alle underrapporterer matinntaket sitt med 10 %, så vil dette utgjøre en større feil blant de som spiser 3000 kcal sammenlignet med de som spiser 1500 kcal. Disse feilene vil med andre ord påvirke de med høyt inntak i større grad. Overrapportering vil gi en forskyvning av inntaksfordelingen mot høyre, men samtidig vil også spredningen i dataene øke ettersom de som ligger høyest forskyver seg mest (Fig 2 D1; Tabell 2). Fordi spredningen øker, vil vi observere en liten svekkelse av assosiasjonen til utfallene, men ettersom rangeringen av deltakerne vil være den samme endrer ikke den statistiske styrken seg (Fig2 D2 – 4; Tabell 3). Effekten av underrapportering er motsatt. Her vil inntaksfordelingen forskyve seg mot venstre, og spredningen vil reduseres noe (Fig 2 E1; Tabell 2). De observerte sammenhengene med utfallet kan bli noe sterkere grunnet mindre spredning, mens den statistiske styrken er uendret (Fig 2 E2 – 4; Tabell 3). Alt i alt er ikke over- og underrapportering et stort problem når målet er å estimere sammenhenger mellom kosthold og helse, mens det kan være svært problematisk når vi ønsker å beskrive inntaket i en populasjon og omsette resultatene til kvantitative kostråd.

Personspesifikk målefeil er en type systematisk målefeil der feilen kan variere med personlige karakteristika, og at avviket fra det faktiske inntaket dermed vil være ulikt fra person til person, både i størrelse og retning. Den er systematisk fordi den alltid slår ut på samme måte for hver person, som gjør at det ikke vil hjelpe å samle inn flere målinger. For eksempel kan det være slik at kvinner overrapporterer mens menn underrapporterer en spesifikk matvare, eller at overvektige underrapporterer i større grad enn normalvektige og undervektige. I vårt eksempel har vi lagt inn en underrapportering blant dem med høy BMI og overrapportering blant dem med lav BMI. Dette gir, i likhet med tilfeldige målefeil, en økt spredning i dataene selv om gjennomsnittet i dette eksempelet ikke endrer seg i stor grad (Fig 2 F1; Tabell 2). Personspesifikk målefeil vil også vanligvis svekke sammenhengen mellom eksponering og utfall kraftig, og gir en drastisk reduksjon i statistisk styrke (Fig 2 F2 – 4; Tabell 3). Dersom målefeilen henger sammen med utfallet, slik det i vårt eksempel gjør med BMI (Fig 2 F2), kan man til og med observere en effekt som går i motsatt retning av det som er reelt. Denne typen feil vil være uforutsigbar, og et stort problem både når man skal beskrive inntaket i en gruppe og når man skal knytte dette til endepunkter.

Verktøy for innsamling av kostholdsdata

De tre hovedverktøyene for innsamling av kostholdsdata er i ulik grad rammet av de forskjellige typene målefeil, som har konsekvenser for hva data samlet inn ved de ulike metodene kan brukes til. Grovt sett kan de ulike verktøyene deles inn etter hvorvidt de samler inn data retro- (FFQ og 24 timers kostintervju (HR)) eller prospektivt (kostdagbok). De retrospektive metodene avhenger i stor grad av deltakerens hukommelse, og derfor regnes kostdagbok for å være det mest presise verktøyet. Verktøyene kan også deles inn etter om de samler inn data over lang (FFQ) eller kort (kostdagbok og 24HR) tid. En oppsummering av feilstrukturen og bruksområder for de ulike verktøyene finner du i Tabell 4.

Tabell 4. Feilstrukturen i de vanligste kostholdsverktøyene.

24HR

Kostdagbok

FFQ

Avhenger av hukommelse?

I noen grad

Nei

I stor grad

Reaktivt?

Nei

Ja

Nei

Tilfeldig feil

Systematisk feil

Egnet til å beregne på gruppenivå:

Gjennomsnittlig inntak

Ja

Tja

Nei

Spredning av inntak

Dersom repetert

Dersom repetert

Nei

Hyppig inntatte matvarer

Ja

Ja

Ja

Episodisk inntatte matvarer

Nei

Nei

Ja

Kosthold-helse assosiasjoner

Dersom repetert

Dersom repetert

I noen grad

En kostholdsdagbok gir et godt bilde på hva som ble spist i perioden kostholdet ble registrert, men vi ønsker å bruke disse dataene til å estimere det gjennomsnittlige kostholdet over tid. Forskning viser at vi endrer hva vi spiser når vi vet at andre skal vurdere kostholdet vårt. En metaanalyse konkluderte med at deltakerne konsekvent spiste sunnere når de ble observert (2). På grunn av dette sier vi at kostholdsdagbok er et reaktivt kostholdsverktøy, som betyr at verktøyet påvirker hva deltakeren spiser. Dette vil være en kilde til systematisk bias. I tillegg vet vi at kostholdet er dynamisk, som vil si at det endrer seg over tid både i et kort- og langtidsperspektiv. Å samle inn data over en begrenset periode vil derfor være svært utsatt for tilfeldige feil, da noen av deltakerne vil ha et høyere inntak enn de vanligvis har, mens andre vil spise mindre.

24HR er også i stor grad rammet av tilfeldige feil grunnet at kostholdet er dynamisk. Men i motsetning til kostdagbok er ikke 24HR et reaktivt verktøy, ettersom maten allerede er spist. 24HR avhenger av deltakerens hukommelse, men ved hjelp av gode strukturerte intervjuteknikker kan man samle inn ganske nøyaktige data om hva deltakeren spiste dagen i forveien. På grunn av dette er 24HR i mindre grad rammet av systematisk bias. Kostdagbøker og 24HR er godt egnet til å samle inn data om matvarer vi spiser ofte, men mindre egnet til å beregne inntaket av matvarer som spises episodisk. For sistnevnte matvarer vil begge disse metodene overestimere antallet nullkonsumenter, fordi mange av ulike grunner ikke spiste disse matvarene i perioden som ble registrert. Både 24HR og kostdagbøker er godt egnet til å beregne gjennomsnittsinntaket i en gruppe, ettersom disse først og fremst er rammet av tilfeldige feil. For å si noe om spredningen av inntaket må vi samle inn flere datapunkter per deltaker, for å unngå overestimering hvor mange som ligger i halene av fordelingen (Fig 2 B1). Det samme gjelder når vi ønsker å estimere kosthold-helse-assosiasjoner.

FFQer den metoden som samler inn data over lengst tidsperiode, men også den metoden som i størst grad avhenger av deltakerens hukommelse, og jo lengre periode man samler inn data om, jo større er utfordringene knyttet til dette. FFQ er derfor i stor grad rammet av systematiske bias i form av over- og underrapportering samt personspesifikke feil. I tillegg vil begrensede matlister og svarkategorier kunne være enda en kilde til systematisk feil. Ettersom deltakerne beregner sitt eget gjennomsnittlige inntak over tid, er FFQ derimot i større grad robust mot endringer i kostholdet over tid, og er dermed mindre rammet av tilfeldige feil sammenlignet med de andre metodene (3). FFQ er også den beste metoden for å kartlegge inntaket av matvarer som spises episodisk, og vil gi et riktigere estimat av antallet nullkonsumenter. Data samlet inn ved FFQ er ikke egnet til å estimere det faktiske inntaket i en gruppe, men kan brukes til å rangere deltakere fra lavt til høyt inntak, og dermed være egnet til å estimere sammenhenger mellom kosthold og helse.

Det jobbes kontinuerlig med å utvikle metoder for å redusere konsekvensene av målefeil i kostholdsdata, både når det gjelder selve datainnsamlingen og statistiske analysemetoder. En studie undersøkte effekten av å kombinere de ulike metodene, og viste at 2 – 4 repeterte 24HR presterte like bra som en FFQ alene for matvarer som spises ofte, mens en kombinasjon av 4 – 6 24HR + FFQ ble ansett som det mest optimale for de fleste matvarer (4).

Selvrapporterte kostholdsdata samles inn med både systematisk og tilfeldig feil. Implikasjonene er potensielt dramatiske og vil påvirke utfallet av en studie. Effekten varierer med hvilken type spørsmål man prøver å besvare, og kjennskap til hvordan de ulike feilene påvirker utfallet er nødvendig for å gjøre gode tolkninger i det enkelte tilfellet.

I denne artikkelen har vi illustrert effekten av de ulike typene feil isolert sett, men i realiteten vil disse feilene finnes i kombinasjon. Den samlede effekten av kombinasjonen av feilkilder vil vanligvis være at inntaksfordelingen forskyves mot venstre, med økt spredning. Når vi setter kostholdsvariabler i sammenheng med helseutfall, er den generelle konsekvensen av målefeil at reelle sammenhenger fremstår svakere enn de egentlig er. Dette kan delvis forklare hvorfor ernæringsepidemiologiske studier ofte bare finner svake sammenhenger mellom kosthold og helseutfall (5). Disse effektene kan derimot kvantifiseres og til og med korrigeres ved hjelp av valideringsstudier (6).

Hovedkritikken mot selvrapporterte kostholdsdata, at de er upresise, er riktig, men dette betyr likevel ikke at dataene er verdiløse (7). Hvordan vi kan håndtere målefeil i kostholdsdata vil vi komme tilbake til i en senere sak, men første steg er å vite og akseptere at de eksisterer, og at de har en effekt på resultatene!

Referanser

  1. Archer E, Pavela G, Lavie CJ. The Inadmissibility of What We Eat in America and NHANES Dietary Data in Nutrition and Obesity Research and the Scientific Formulation of National Dietary Guidelines. Mayo Clinic proceedings. 2015;90(7):911 – 26.

  2. Robinson E, Hardman CA, Halford JC, Jones A. Eating under observation: a systematic review and meta-analysis of the effect that heightened awareness of observation has on laboratory measured energy intake. Am J Clin Nutr. 2015;102(2):324 – 37.

  3. Kipnis V, Subar AF, Midthune D, Freedman LS, Ballard-Barbash R, Troiano RP, et al. Structure of dietary measurement error: results of the OPEN biomarker study. Am J Epidemiol. 2003;158(1):14 – 21; discussion 2 – 6.

  4. Carroll RJ, Midthune D, Subar AF, Shumakovich M, Freedman LS, Thompson FE, et al. Taking advantage of the strengths of 2 different dietary assessment instruments to improve intake estimates for nutritional epidemiology. Am J Epidemiol. 2012;175(4):340 – 7.

  5. Maki KC, Slavin JL, Rains TM, Kris-Etherton PM. Limitations of observational evidence: implications for evidence-based dietary recommendations. Adv Nutr. 2014;5(1):7 – 15.

  6. Freedman LS, Commins JM, Moler JE, Arab L, Baer DJ, Kipnis V, et al. Pooled results from 5 validation studies of dietary self-report instruments using recovery biomarkers for energy and protein intake. Am J Epidemiol. 2014;180(2):172 – 88.

  7. Subar AF, Freedman LS, Tooze JA, Kirkpatrick SI, Boushey C, Neuhouser ML, et al. Addressing Current Criticism Regarding the Value of Self-Report Dietary Data. J Nutr. 2015;145(12):2639 – 45.