Una moneta lanciata 100 volte dà 60 teste. È truccata, o è solo il caso? La nuova versione di una pagina converte il 5,4% dei visitatori contro il 5,0% della vecchia: è davvero migliore? I test di ipotesi sono il metodo classico per rispondere a domande come queste. Sono utilissimi, ma il loro risultato più famoso, il p-value, è anche uno dei concetti più fraintesi di tutta la statistica.
La logica del test
Un test di ipotesi funziona come una dimostrazione per assurdo, in versione probabilistica.
- Si formula un'ipotesi nulla H₀, di solito «non c'è alcun effetto»: la moneta è equilibrata, le due pagine convertono allo stesso modo.
- Si formula un'ipotesi alternativa H₁: la moneta non è equilibrata, le pagine sono diverse.
- Si sceglie una statistica test che misura quanto i dati si allontanano da ciò che H₀ prevede.
- Si calcola quanto sarebbe probabile osservare dati così estremi, o più estremi, se H₀ fosse vera.
- Se questa probabilità è molto piccola, si conclude che i dati sono poco compatibili con H₀ e la si rifiuta.
Il p-value
Il p-value è esattamente la probabilità calcolata al punto 4: la probabilità di ottenere un risultato almeno altrettanto estremo di quello osservato, assumendo che l'ipotesi nulla sia vera.
L'esempio della moneta
Con una moneta equilibrata, il numero di teste in 100 lanci segue una binomiale con n = 100 e p = 0,5. La probabilità di ottenere 60 o più teste è circa 0,028. Poiché anche 40 o meno teste sarebbero altrettanto sospette, in un test bilaterale si raddoppia: il p-value è circa 0,057.
from scipy.stats import binomtest
print(binomtest(60, n=100, p=0.5).pvalue) # circa 0,057
Con la soglia convenzionale α = 0,05, questo risultato non porta a rifiutare l'ipotesi che la moneta sia equilibrata. Non significa che la moneta sia sicuramente onesta: significa che 60 teste su 100 non sono un'evidenza abbastanza forte contro questa ipotesi. Con 1.000 lanci e 600 teste, la stessa proporzione darebbe invece un p-value minuscolo.
Il livello di significatività
La soglia α si fissa prima di guardare i dati. È la probabilità di rifiutare H₀ quando in realtà è vera, cioè il tasso di falsi allarmi che si è disposti ad accettare. Il valore 0,05 è una convenzione storica, non una legge di natura: in fisica delle particelle si usano soglie molto più severe, in analisi esplorative a volte più larghe. Ciò che conta è sceglierla prima e non adattarla al risultato.
Le interpretazioni sbagliate
Nel 2016 l'American Statistical Association ha pubblicato una dichiarazione ufficiale proprio per chiarire questi equivoci. I più comuni sono:
- «Il p-value è la probabilità che H₀ sia vera.» No. Il p-value è calcolato assumendo che H₀ sia vera; non può dire quanto sia probabile. Per quello servirebbe un'impostazione bayesiana con una probabilità a priori.
- «Un p-value di 0,03 significa che c'è il 97% di probabilità che l'effetto sia reale.» No, per lo stesso motivo.
- «p > 0,05 dimostra che non c'è effetto.» No. Assenza di evidenza non è evidenza di assenza: con pochi dati anche effetti importanti possono non risultare significativi.
- «Un p-value piccolo indica un effetto grande.» No. Con campioni enormi anche differenze insignificanti nella pratica producono p-value piccolissimi.
- «p = 0,049 e p = 0,051 sono risultati opposti.» No. Sono praticamente la stessa evidenza; la soglia è una linea arbitraria tracciata su una scala continua.
Significatività statistica e importanza pratica
Supponiamo di confrontare due pagine con un milione di visitatori ciascuna e di trovare tassi di conversione del 5,00% e del 5,10%. La differenza può risultare statisticamente significativa, ma vale la pena del costo di sviluppo? Il test risponde solo alla domanda «la differenza è distinguibile dal caso?», non a «la differenza è abbastanza grande da contare?».
Per questo un test va sempre accompagnato da:
- la dimensione dell'effetto, cioè quanto è grande la differenza, in unità comprensibili;
- un intervallo di confidenza per l'effetto, che ne mostra l'incertezza;
- una valutazione del contesto: costi, rischi, plausibilità del meccanismo.
Test unilaterali e bilaterali
Un test bilaterale considera estremi in entrambe le direzioni; uno unilaterale solo in una. Il test unilaterale ha un p-value pari a circa la metà, ed è quindi tentante. Va usato solo se, prima di vedere i dati, una delle due direzioni era davvero irrilevante. Sceglierlo dopo, perché il risultato bilaterale non era significativo, è una forma di manipolazione.
Come scrivere un risultato
Invece di «il risultato è significativo (p < 0,05)», è più informativo scrivere: «la nuova pagina converte 0,4 punti percentuali in più (IC 95%: da 0,1 a 0,7 punti; p = 0,004; 50.000 visitatori per gruppo)». Il lettore capisce quanto è grande l'effetto, quanto è incerto e su quali dati si basa.
In sintesi
- Un test di ipotesi valuta quanto i dati siano compatibili con un'ipotesi nulla.
- Il p-value è la probabilità di dati almeno così estremi assumendo vera l'ipotesi nulla.
- Il p-value non è la probabilità che l'ipotesi nulla sia vera.
- Significatività statistica e importanza pratica sono cose diverse.
- Riporta sempre dimensione dell'effetto, intervallo di confidenza e dimensione del campione.
