Una settimana i tempi di risposta di un servizio sono pessimi. Il team interviene, cambia qualche parametro, e la settimana successiva le cose vanno meglio. L'intervento ha funzionato? Forse. Ma è possibile che le cose sarebbero migliorate comunque, per un fenomeno statistico tanto comune quanto sottovalutato: la regressione verso la media.
Il fenomeno
Ogni misura reale è la somma di una componente stabile e di una componente casuale. Il risultato di uno studente in un compito dipende dalla sua preparazione, ma anche dalla giornata, dalle domande capitate, dalla stanchezza. Il tempo di risposta medio di un servizio in una settimana dipende dalla sua architettura, ma anche dal traffico, da un guasto temporaneo di un fornitore, da un picco imprevisto.
Quando osserviamo un valore estremo, è probabile che sia estremo anche perché la componente casuale ha spinto nella stessa direzione. Alla misura successiva la componente casuale si estrae di nuovo, e difficilmente sarà altrettanto estrema. Il risultato tende quindi a tornare più vicino alla media, senza che sia cambiato nulla.
Un po' di storia
Il fenomeno fu descritto da Francis Galton nel XIX secolo studiando l'altezza di genitori e figli. I genitori molto alti tendevano ad avere figli alti, ma in media meno alti di loro; i genitori molto bassi tendevano ad avere figli bassi, ma meno bassi di loro. Galton parlò di «regressione verso la mediocrità», ed è da lì che deriva il termine «regressione» usato ancora oggi in statistica.
Quanto è forte l'effetto
Se due misure successive hanno una correlazione r, e le esprimiamo come punteggi z, il valore atteso della seconda misura, dato il valore della prima, è:
z atteso alla seconda misura = r × z della prima misura
- Se r = 1, le misure sono perfettamente stabili e non c'è regressione.
- Se r = 0, la prima misura non dice nulla della seconda, e ci si aspetta di tornare esattamente alla media.
- Con r = 0,5, un valore di 2 deviazioni standard sopra la media alla prima misura porta ad attendersi, alla seconda, circa 1 deviazione standard sopra la media.
Più la misura è rumorosa, più la regressione è marcata.
Le trappole più comuni
Premi e punizioni
Un esempio raccontato da Daniel Kahneman riguarda gli istruttori di volo convinti che lodare un'ottima manovra peggiorasse la successiva, mentre rimproverare una pessima la migliorasse. In realtà le manovre eccezionali, in un senso o nell'altro, tendevano comunque a essere seguite da manovre più ordinarie. L'effetto attribuito a lodi e rimproveri era in buona parte regressione verso la media.
Interventi sui casi peggiori
Si selezionano i dieci server con le prestazioni peggiori del mese, si applica una nuova configurazione, e il mese dopo migliorano. Ma selezionare i peggiori significa selezionare anche quelli con la peggiore fortuna: una parte del miglioramento sarebbe arrivata comunque. Lo stesso vale per i negozi con le vendite più basse, i dipendenti con le valutazioni peggiori, le scuole con i risultati più deludenti.
La «maledizione» del successo
Chi viene premiato per un risultato eccezionale spesso non lo ripete l'anno dopo. Non per pigrizia o pressione, necessariamente: l'anno eccezionale conteneva anche una buona dose di fortuna, e la fortuna non si ripete a comando.
Sintomi e cure
Le persone tendono a cercare un rimedio quando un disturbo è al suo picco. Poiché molti disturbi fluttuano, è probabile che migliorino nei giorni successivi qualunque cosa si faccia. Questo rende molto difficile valutare un rimedio sulla base dell'esperienza personale.
Come difendersi
Il gruppo di controllo
La soluzione più solida è confrontare il gruppo trattato con un gruppo di controllo selezionato con gli stessi criteri ma non trattato. Se si prendono i venti server peggiori e si applica la nuova configurazione a dieci di essi scelti a caso, entrambi i gruppi regrediranno verso la media allo stesso modo; la differenza tra i due misura l'effetto vero dell'intervento.
Misure ripetute prima dell'intervento
Selezionare in base alla media di più misure, invece che a una sola, riduce il peso della componente casuale e quindi la regressione successiva.
Non selezionare in base alla variabile che si vuole migliorare
Se possibile, conviene scegliere le unità da trattare con un criterio diverso dalla misura del risultato, o almeno confrontare con unità selezionate nello stesso modo.
Diffidare dei miglioramenti spettacolari
Un miglioramento molto forte dopo un intervento su casi estremi è proprio quello che la regressione verso la media prevede. Prima di celebrarlo, chiediti quanto ci si sarebbe aspettato senza fare nulla.
Un esempio da simulare
import numpy as np
rng = np.random.default_rng(3)
stabile = rng.normal(100, 10, 1000) # qualità vera di ogni unità
mese1 = stabile + rng.normal(0, 10, 1000) # misura con rumore
mese2 = stabile + rng.normal(0, 10, 1000) # nuova misura, nessun intervento
peggiori = mese1.argsort()[-50:] # le 50 con i valori più alti, cioè peggiori
print(mese1[peggiori].mean(), mese2[peggiori].mean())
Le unità peggiori del primo mese migliorano nettamente nel secondo, senza alcun intervento.
In sintesi
- Ogni misura combina una parte stabile e una casuale; gli estremi contengono spesso molta casualità.
- Dopo un valore estremo, la misura successiva tende a essere più vicina alla media.
- L'effetto è tanto più forte quanto più la correlazione tra misure ripetute è bassa.
- Interventi su casi estremi sembrano funzionare anche quando non fanno nulla.
- Un gruppo di controllo selezionato con gli stessi criteri separa l'effetto reale dalla regressione.
