Varför är subgruppsanalyser mindre trovärdiga?
Varför är subgruppsanalyser mindre trovärdiga? Och vad är ett nominellt p-värde?
Varför är en subgruppsanalys mindre trovärdig? Jag tror jag har många statistiker med mig när jag säger att detta är en väldigt vanlig fråga. Ett resultat är ju exakt vad det är och inte mindre verkligt bara för att det inträffat i en oväntad subgrupp. Detsamma gäller p-värden. Varför är inte ett p-värde ett p-värde, oavsett var man beräknat det? Och vad menas med ”nominellt” p-värde. Enligt SAOL så betyder nominell: ”till namnet men inte i realiteten”, hur kopplar vi det till p-värden?
Veckans vinlotteri
Låt oss börja med ett enkelt exempel. Vad är sannolikheten att just DU vinner tre gånger i rad i veckans vinlotteri på jobbet (vinlotteri var nog ett typiskt 1990-talsfenomen, men kanske har du själv deltagit). Tänk att ni är 20 anställda och varje person köper en lott. Sannolikheten att just du skall vinna 3 veckor i rad är då 0,05 x 0,05 x 0,05 = 0,000125, det vill säga ungefär 1/10.000. Med andra ord detta kommer inte att hända – du får basera dig på egna vininköp också den närmaste tiden. En annan, men besläktad fråga är: Hur stor är möjligheten att NÅGON vinner 3 gånger i rad under det närmaste året? För att beräkna detta så använder vi sannolikheten ovan, men multiplicerar den med 20 (antal personer på arbetsplatsen och sedan med 49 (inom ett år betyder ju att sekvensen med tre vinster måste påbörjas inom 49 veckor). Då får vi sannolikheten 0,1225 eller 12,3 procent. Något som var extremt osannolikt (att du vinner de närmaste tre veckorna) förvandlas till något som kan hända med lite tur genom att vi släpper på förutsättningarna för beräkningarna. Frågorna ovan är besläktade på samma sätt som följande frågor:
1. Vad är sannolikheten att primary endpoint blir statistiskt signifikant av en slump (dvs. p-värdet <0,05 även om effekten är likvärdig i behandlingsarmarna)?
2. Vad är sannolikheten att någon subgruppsanalys blir statistiskt signifikant av en slump (predefinierade och post hoc-analyser)?
