Multiplicitetsproblem

Kurs: Basvetenskap 5 Moment 2

Vad är det?

• Multiplicitetsproblemet (massignifikans, multiple testing) innebär att risken för minst ett falskt positivt fynd stiger snabbt när man gör många statistiska test i samma studie.
• Räkneexemplet är avgörande: med α = 0,05 per test är sannolikheten för minst ett falskt positivt fynd 1 − 0,95ⁿ. Med 20 oberoende test blir det ~64 %. Med 100 test ~99 %.
• Skillnaden mellan per-jämförelsefel (varje test) och familjevis fel (hela studien) är kärnan i begreppet.

Varför är det viktigt / Mekanism

• Multiplicitet uppstår på fler ställen än man tror, och alla räknas:
  • Många utfallsmått (primärt + tio sekundära).
  • Många subgrupper (kön, ålder, svårighetsgrad — se Effektmodifiering).
  • Många tidpunkter och interimanalyser.
  • Många exponeringar eller genetiska markörer.
  • Flera behandlingsarmar jämförda parvis.
• Korrigeringsmetoder:
  • Bonferroni — dividera α med antalet test. Enkel och konservativ; sänker power kraftigt vid många test.
  • Holm-Bonferroni — stegvis, mindre konservativ, samma familjevisa skydd.
  • Benjamini-Hochberg (FDR) — kontrollerar andelen falska bland de positiva i stället för risken för något falskt. Standard i genomik och proteomik där man gör tusentals test och kan tolerera några falska fynd.
  • Hierarkisk teststrategi — förspecificera ordningen; sekundärt utfall får bara testas om det primära var signifikant. Vanligt i läkemedelsprövningar.
• Avvägningen är oundviklig: strängare korrigering sänker typ I-fel men ökar typ II-fel och kräver större studie för samma power. Det finns ingen kostnadsfri lösning.
• p-hacking och HARKing är multiplicitet utan redovisning: man testar flera utfall, flera subgrupper och flera modellspecifikationer, rapporterar bara det som blev signifikant, och formulerar hypotesen i efterhand som om den varit förutbestämd. Detta är en huvudorsak till reproducerbarhetskrisen, tillsammans med underpowrade studier (winner’s curse) och publikationsbias.
• Motmedlen är i grunden inte statistiska utan strukturella:
  • Förregistrering av protokoll och analysplan (ClinicalTrials.gov) med ett primärt utfall.
  • Tydlig märkning av analyser som exploratoriska — sådana behöver inte korrigeras men får inte heller presenteras som konfirmerande.
  • Replikation i oberoende kohort. I genomik löstes problemet i praktiken genom att kräva p < 5 × 10⁻⁸ (genomvid signifikans) plus replikation — och det var först då GWAS-fynden började hålla.

Klinisk relevans & Diagnostik

• Läsarens praktiska regel: hitta det primära utfallet i artikeln och läs det först. Signifikanta sekundära utfall och subgruppsfynd i en studie vars primära utfall var negativt ska betraktas som hypotesgenererande.
• Kompositutfall (t.ex. “MACE”: död, hjärtinfarkt, stroke) används delvis för att undvika multiplicitet och delvis för att öka antalet händelser. Fällan är att en mindre viktig komponent (t.ex. revaskularisering) driver resultatet medan mortaliteten är oförändrad — komponenterna ska därför alltid redovisas separat.
• Vid screening och breda laboratoriepaneler gäller samma matematik utan att någon talar om p-värden: beställer man 20 analyser med referensintervall som täcker 95 % av friska, är sannolikheten hög att minst ett värde ligger utanför hos en helt frisk person. Detta är ett kliniskt vardagligt multiplicitetsproblem och en av orsakerna till onödig vidareutredning och Överdiagnostik.
• Samma logik gäller helkroppsavbildning och incidentalom: fler tittade platser ger fler fynd, varav de flesta är betydelselösa.

Klinisk pärla

Beställ inte “hela paketet” för säkerhets skull. Med tjugo analyser hos en frisk person är ett avvikande värde det statistiskt förväntade utfallet, inte en upptäckt — och varje sådant värde riskerar att starta en utredning som gör patienten sjukare än fyndet.

Tenta-fokus

Kunna räkna 1 − 0,95ⁿ, skilja familjevis felrisk från FDR, veta att Bonferroni är konservativ och FDR standard vid tusentals test, och kunna förklara varför förregistrering av ett primärt utfall är det egentliga motmedlet.

Kopplingar

Relaterat: Statistisk signifikans, Statistisk power, Konfidensintervall, Effektmodifiering, Studiedesign, Randomiserad kontrollerad studie, Överdiagnostik, Screening, Surrogatmått, Referensintervall