Jeg ser på Gun­nar Tjom­lids artik­kel om homøo­pa­tisk forsk­ning. Alt­så om at forsk­ning som viser at homøo­pa­tisk medi­sin vir­ker, skal bru­kes for alt den er verdt, mens forsk­ning som viser at den ikke vir­ker, skyl­des begrens­nin­ger i viten­ska­pen. Men den artik­ke­len Tjom­lid skri­ver om som viser at homøo­pa­tisk medi­sin vir­ker – viser den egent­lig det? 

To ord (OK, litt mer) om sta­tis­tisk sig­ni­fi­kans.

Sta­tis­tisk sig­ni­fi­kans er et slags mål på kva­li­tet på sta­tis­tis­ke data. Kort for­talt kan man si at når man har sta­tis­tisk sig­ni­fi­kans, så har man såpass kva­li­tet på de data­ene som er sam­let inn, at det gir mening å reson­ne­re rundt dem. Det litt kji­pe er at har man nok data, får man sta­tis­tisk sig­ni­fi­kans auto­ma­tisk. For­di sta­tis­tisk sig­ni­fi­kans øker når antal­let går opp eller når varia­sjo­nen i data­ene går ned, og det gjør den auto­ma­tisk der­som man sam­ler inn nok data.

Så med sto­re stu­di­er får man all­tid sta­tis­tisk sig­ni­fi­kans. Der­for har Gud (OK, Cohen) gitt oss effekt­stør­rel­se – som har fått den fancy bok­sta­ven d som sym­bol.

Effekt­stør­rel­sen skal for­tel­le oss om for­skjel­len mel­lom to grup­per er såpass stor at den har prak­tisk betyd­ning. Det fin­nes fle­re sån­ne mål, men essen­si­elt er de et slags mål på for­skjel­len mel­lom grup­pe­ne – hvor det da fin­nes peke­pin­ner på hvor stor for­skjel­len bør være. Hva Cohen’s d angår, bør den være over 0.5 for å reg­nes som stør­re enn place­bo, og over 0.8 for å være noe å skri­ve hjem om.

I den artik­ke­len Tjom­lid nev­ner, så skry­ter homøo­pa­te­ne av at 

The­re was a sig­ni­fi­cant dif­fe­ren­ce in medi­an total sym­ptom sco­re in favour of home­opat­hic care (24 points) com­pared to the con­trol group (44 points) (p = 0.026). The dif­fe­ren­ce in the medi­an num­ber of days with URTI sym­p­toms was sta­ti­s­ti­cal­ly sig­ni­fi­cant with 8 days in the home­opat­hic group and 13 days in the con­trol group (p = 0.006).

Det ser jo mye ut. Er det det? Vel, det er mye der­som varia­sjo­nen (gjen­nom­snitt­lig for­skjell i avvik) er omtrent lik i beg­ge grup­pe­ne. Hvis ikke, så blir det vans­ke­lig å si. I artik­ke­len står det ikke nok om den­ne for­skjel­len i medi­an total sym­ptom sco­re til å kun­ne reg­ne på det. Men det står litt om antall barn som had­de dager med URTI. For­skjel­len mel­lom eks­pe­ri­ment­grup­pa (54) og kon­troll­grup­pa (69) er sta­tis­tisk sig­ni­fi­kant. Det er alt­så grunn til å tro at for­skjel­len er lov­mes­sig og ikke til­fel­dig. Men hva er i så fall den under­lig­gen­de årsa­ken? Og er for­skjel­len på 15 men­nes­ker stor nok til å spil­le noen rol­le? 

URTI er alt­så upp­er respi­ra­tory tra­ct infec­tion. Tal­let som blir rap­por­tert er antall barn. Det er alt­så ikke snakk om det tal­let vi er mest inter­es­sert i – hvor man­ge dager de had­de sym­pto­mer – for der er det ikke opp­gitt nok data. Men vi kan se på om for­fat­ter­ne har  rett i at for­skjel­len mel­lom antall barn med og uten sym­pto­mer er stor. 

Fra tabel­len har vi: 

Vi fyrer opp R, og tas­ter inn data­ene fra under­sø­kel­sen.

>require(compute.es)
>m1 <- 69 # Gjennomsnitt av gruppe 1
>m2 <- 54 # Gjennomsnitt av gruppe 2
>sd1 <- 93.2 # Gjennomsnitt av gruppe 1
>sd2 <- 79.4 # Gjennomsnitt av gruppe 2
>n1 <- 74 # Antall i gruppe 1
>n2 <- 68 # Antall i gruppe 2 
>mes(m1, m2, sd1, sd2, n1, n2)

$MeanDifference
         d      var.d          g      var.g
0.17267246 0.02832438 0.17174577 0.02802118

$Correlation
          r       var.r
0.085939991 0.006912991

$Log_Odds
    log_odds var.log_odds
  0.31319319   0.09318348

$Fishers_z
          z       var.z
0.086152509 0.007194245

$TotalSample
  n
142

Cohens’s d ≈ 0.17. Det var ikke stort. Vi antar føl­ge­lig at den under­lig­gen­de årsa­ken til for­skjel­le­ne er place­bo eller gene­rell støy, og at artik­ke­len end­rer sta­tus fra støt­ter homøo­pa­tisk medi­sin til homøo­pa­ti kan ikke stu­de­res med kon­ven­sjo­nell viten­skap.

🙂