Jeg ser på Gunnar Tjomlids artikkel om homøopatisk forskning. Altså om at forskning som viser at homøopatisk medisin virker, skal brukes for alt den er verdt, mens forskning som viser at den ikke virker, skyldes begrensninger i vitenskapen. Men den artikkelen Tjomlid skriver om som viser at homøopatisk medisin virker – viser den egentlig det? 

 

 

To ord (OK, litt mer) om statistisk signifikans.

Statistisk signifikans er et slags mål på kvalitet på statistiske data. Kort fortalt kan man si at når man har statistisk signifikans, så har man såpass kvalitet på de dataene som er samlet inn, at det gir mening å resonnere rundt dem. Det litt kjipe er at har man nok data, får man statistisk signifikans automatisk. Fordi statistisk signifikans øker når antallet går opp eller når variasjonen i dataene går ned, og det gjør den automatisk dersom man samler inn nok data.

Så med store studier får man alltid statistisk signifikans. Derfor har Gud (OK, Cohen) gitt oss effektstørrelse – som har fått den fancy bokstaven d som symbol.

Effektstørrelsen skal fortelle oss om forskjellen mellom to grupper er såpass stor at den har praktisk betydning. Det finnes flere sånne mål, men essensielt er de et slags mål på forskjellen mellom gruppene – hvor det da finnes pekepinner på hvor stor forskjellen bør være. Hva Cohen’s d angår, bør den være over 0.5 for å regnes som større enn placebo, og over 0.8 for å være noe å skrive hjem om.

I den artikkelen Tjomlid nevner, så skryter homøopatene av at 

There was a significant difference in median total symptom score in favour of homeopathic care (24 points) compared to the control group (44 points) (p = 0.026). The difference in the median number of days with URTI symptoms was statistically significant with 8 days in the homeopathic group and 13 days in the control group (p = 0.006).

Det ser jo mye ut. Er det det? Vel, det er mye dersom variasjonen (gjennomsnittlig forskjell i avvik) er omtrent lik i begge gruppene. Hvis ikke, så blir det vanskelig å si. I artikkelen står det ikke nok om denne forskjellen i median total symptom score til å kunne regne på det. Men det står litt om antall barn som hadde dager med URTI. Forskjellen mellom eksperimentgruppa (54) og kontrollgruppa (69) er statistisk signifikant. Det er altså grunn til å tro at forskjellen er lovmessig og ikke tilfeldig. Men hva er i så fall den underliggende årsaken? Og er forskjellen på 15 mennesker stor nok til å spille noen rolle? 

URTI er altså upper respiratory tract infection. Tallet som blir rapportert er antall barn. Det er altså ikke snakk om det tallet vi er mest interessert i – hvor mange dager de hadde symptomer – for der er det ikke oppgitt nok data. Men vi kan se på om forfatterne har  rett i at forskjellen mellom antall barn med og uten symptomer er stor. 

Fra tabellen har vi: 

Number of children who Homeopathic care N (%)a Control N (%)a Pb
Had days with URTI 54 (79.4) 69 (93.2) χ2 = 5.849, P = 0.016

Vi fyrer opp R, og taster inn dataene fra undersøkelsen.

>require(compute.es)
>m1 <- 69 # Gjennomsnitt av gruppe 1
>m2 <- 54 # Gjennomsnitt av gruppe 2
>sd1 <- 93.2 # Gjennomsnitt av gruppe 1
>sd2 <- 79.4 # Gjennomsnitt av gruppe 2
>n1 <- 74 # Antall i gruppe 1
>n2 <- 68 # Antall i gruppe 2 
>mes(m1, m2, sd1, sd2, n1, n2)
$MeanDifference
         d      var.d          g      var.g
0.17267246 0.02832438 0.17174577 0.02802118

$Correlation
          r       var.r
0.085939991 0.006912991

$Log_Odds
    log_odds var.log_odds
  0.31319319   0.09318348

$Fishers_z
          z       var.z
0.086152509 0.007194245

$TotalSample
  n
142

Cohens’s d ≈ 0.17. Det var ikke stort. Vi antar følgelig at den underliggende årsaken til forskjellene er placebo eller generell støy, og at artikkelen endrer status fra støtter homøopatisk medisin til homøopati kan ikke studeres med konvensjonell vitenskap.

🙂

🙂

Print Friendly