Statistisk signifikans

Kurs: Basvetenskap 5 Moment 2

Vad är det?

• Ett formellt beslut om att observerade data är tillräckligt oförenliga med nollhypotesen för att denna ska förkastas.
• p-värdet är sannolikheten att få det observerade resultatet eller något mer extremt, förutsatt att nollhypotesen är sann.
• Gränsen α = 0,05 är en godtycklig konvention, inte en naturkonstant.

Varför är det viktigt / Mekanism

• Vad p-värdet inte är – de fyra vanligaste feltolkningarna:
  1. Det är inte sannolikheten att nollhypotesen är sann.
  2. Det är inte sannolikheten att resultatet uppkom av slump.
  3. p > 0,05 betyder inte att det inte finns någon effekt – bara att data är förenliga med nolleffekt. “Absence of evidence is not evidence of absence.”
  4. p säger ingenting om effektens storlek eller kliniska betydelse.
• Fel av typ I (α): förkasta en sann nollhypotes – falskt positivt fynd. Fel av typ II (β): behålla en falsk nollhypotes – missad sann effekt. Statistisk power = 1 − β, konventionellt eftersträvat till minst 80 %.
• Power ökar med större effekt, större urval, mindre spridning och högre α. En underpowrad studie som visar p > 0,05 är oinformativ, inte negativ.
• Multiplicitetsproblemet: vid 20 oberoende test med α = 0,05 förväntas ett falskt positivt av ren slump. Detta är grunden för Bonferroni-korrektion och för hela problemet med subgruppsanalyser och “p-hacking”.
• Konfidensintervall är nästan alltid mer informativt än p-värdet, eftersom det samtidigt visar effektens storlek, precisionen och vilka värden som kan uteslutas. Ett brett intervall som knappt korsar 1 säger “vi vet inte”, medan ett smalt intervall runt 1 säger “det finns sannolikt ingen kliniskt relevant effekt” – båda ger p > 0,05 men har helt olika innebörd.

Klinisk relevans & Diagnostik

• Statistisk signifikans ≠ klinisk relevans. I en studie med 100 000 deltagare kan en blodtryckssänkning på 0,4 mmHg bli högsignifikant utan att betyda något för en enda patient. Omvänt kan en verkligt värdefull effekt förbli icke-signifikant i en liten studie.
• Kliniskt relevanta kompletterande mått: Absolut riskreduktion, Number needed to treat, och en förbestämd minsta kliniskt viktiga skillnad.
• Ekvivalens- och non-inferiority-studier kräver omvänd logik: här är det inte tillräckligt med p > 0,05, utan hela konfidensintervallet måste ligga inom en förbestämd marginal.
• Publikationsbias gör att signifikanta resultat publiceras oftare, vilket systematiskt förskjuter litteraturen. Motmedel: förregistrering av studieprotokoll och rapportering av negativa resultat.
• Surrogatutfall (HbA1c, LDL-kolesterol, tumörstorlek) kan uppnå signifikans utan att hårda utfall som mortalitet påverkas. Rosiglitazon sänkte HbA1c signifikant men ökade kardiovaskulär risk – ett tydligt varnande exempel.

Klinisk pärla

Läs alltid resultatet i konfidensintervallets ändpunkter, inte i p-värdet. Fråga: “om sanningen låg vid den nedre gränsen – skulle jag ändra min behandling? Och vid den övre?” Om svaret är samma vid båda ändpunkterna är studien informativ oavsett p; om svaren skiljer sig är studien för oprecis för att styra beslut, hur signifikant den än är.

Tenta-fokus

Kunna den korrekta definitionen av p-värdet – sannolikheten för data givet att H0 är sann, inte det omvända. Kunna typ I mot typ II-fel och att power = 1 − β. Kunna att statistisk signifikans inte är samma sak som klinisk relevans och varför konfidensintervall är mer informativt.

Kopplingar

Relaterat: Konfidensintervall, Statistisk power, Studiedesign, Bias, Konfundering, Number needed to treat, Absolut riskreduktion, Odds ratio