Ogni decisione presa sulla base di dati incerti può sbagliare in due modi: credere a un effetto che non c'è, oppure non vedere un effetto che c'è. Un allarme antincendio che suona senza fumo e uno che resta muto durante un incendio sono entrambi difettosi, ma in modi diversi e con costi diversi. Nei test statistici questi due errori hanno un nome preciso, e tenerli entrambi sotto controllo è la chiave per progettare esperimenti che servano davvero a qualcosa.
I quattro esiti possibili
| H₀ vera (nessun effetto) | H₀ falsa (effetto reale) | |
|---|---|---|
| Non rifiuto H₀ | Decisione corretta | Errore di secondo tipo (falso negativo) |
| Rifiuto H₀ | Errore di primo tipo (falso positivo) | Decisione corretta |
- La probabilità di un errore di primo tipo si indica con α ed è il livello di significatività scelto, spesso 0,05.
- La probabilità di un errore di secondo tipo si indica con β.
- La potenza del test è 1 − β: la probabilità di accorgersi di un effetto quando esiste davvero.
Il compromesso tra i due errori
A parità di dati, ridurre un errore aumenta l'altro. Se si rende la soglia più severa, passando da α = 0,05 a α = 0,01, si avranno meno falsi positivi ma si perderanno più effetti reali. È lo stesso dilemma di un filtro antispam: renderlo più aggressivo blocca più spam ma anche più email legittime.
L'unico modo per ridurre entrambi gli errori contemporaneamente è avere più informazione: un campione più grande, misure meno rumorose, un disegno sperimentale migliore.
Da cosa dipende la potenza
La potenza di un test cresce quando:
- l'effetto reale è grande: differenze ampie sono facili da distinguere dal rumore;
- il campione è grande: l'errore standard si riduce con √n;
- la variabilità dei dati è bassa: misure precise rendono visibili anche piccoli effetti;
- α è più alto: accettando più falsi positivi si perdono meno effetti veri.
Di questi fattori, quello su cui di solito si può agire è il secondo. Per questo la dimensione del campione va decisa prima di iniziare.
Calcolare la dimensione del campione
Consideriamo un test A/B su una pagina che converte oggi il 5% dei visitatori. Vogliamo essere in grado di rilevare un miglioramento fino al 6%, con α = 0,05 bilaterale e potenza dell'80%. Una formula approssimata per confrontare due proporzioni è:
n per gruppo ≈ (z₁₋α/₂ + z₁₋β)² × (p₁(1 − p₁) + p₂(1 − p₂)) / (p₁ − p₂)²
Con z₁₋α/₂ ≈ 1,96 e z₁₋β ≈ 0,84:
- (1,96 + 0,84)² ≈ 7,84;
- 0,05 × 0,95 + 0,06 × 0,94 = 0,0475 + 0,0564 = 0,1039;
- (0,01)² = 0,0001;
- n ≈ 7,84 × 0,1039 / 0,0001 ≈ 8.150 visitatori per gruppo.
Se volessimo rilevare un miglioramento più piccolo, dal 5% al 5,5%, servirebbero circa 31.000 visitatori per gruppo: dimezzare l'effetto da rilevare richiede circa quattro volte i dati.
from math import ceil
def n_per_gruppo(p1, p2, z_a=1.96, z_b=0.84):
var = p1 * (1 - p1) + p2 * (1 - p2)
return ceil((z_a + z_b) ** 2 * var / (p1 - p2) ** 2)
print(n_per_gruppo(0.05, 0.06))
print(n_per_gruppo(0.05, 0.055))
Le conseguenze dei test con poca potenza
Un test con potenza bassa non è solo un test che «non trova niente». Ha conseguenze più sottili e pericolose.
Risultati negativi che non dicono nulla
Se un test ha una potenza del 20%, un risultato non significativo è quasi privo di informazione: anche se l'effetto esistesse, quattro volte su cinque non lo vedremmo. Concludere «la modifica non funziona» è ingiustificato.
Effetti esagerati quando si trovano
Quando un test con poca potenza risulta significativo, la stima dell'effetto tende a essere gonfiata. Il motivo è che, con molto rumore, superano la soglia soprattutto i campioni in cui il caso ha amplificato l'effetto. È una delle ragioni per cui molti risultati spettacolari non vengono confermati da studi successivi più ampi.
Più falsi positivi tra i risultati significativi
Se si eseguono molti test con poca potenza, la quota di risultati significativi che sono in realtà falsi positivi aumenta. Il ragionamento è lo stesso del teorema di Bayes applicato ai test diagnostici: quando i veri effetti sono rari e la sensibilità è bassa, i falsi allarmi pesano molto.
Non guardare i risultati in corsa
Un errore comune nei test A/B è controllare i risultati ogni giorno e fermarsi appena compare la significatività. Ogni controllo è un'occasione in più per un falso positivo, e la probabilità reale di errore di primo tipo diventa molto più alta di α. Se serve monitorare in corsa, bisogna usare metodi sequenziali progettati apposta, che correggono le soglie.
Una lista di controllo prima del test
- Definisci la metrica principale e l'effetto minimo che ti interessa davvero.
- Scegli α e la potenza desiderata, di solito 80% o 90%.
- Calcola la dimensione del campione e stima quanto tempo serve per raccoglierla.
- Se il tempo è irrealistico, rivedi l'obiettivo invece di eseguire un test che non potrà rispondere.
- Fissa la durata in anticipo e rispettala.
In sintesi
- L'errore di primo tipo è un falso positivo, quello di secondo tipo un falso negativo.
- La potenza è la probabilità di rilevare un effetto che esiste davvero.
- Ridurre entrambi gli errori richiede più dati o dati migliori.
- Dimezzare l'effetto minimo rilevabile richiede circa quattro volte il campione.
- I test con poca potenza producono risultati negativi vuoti ed effetti positivi esagerati.
