Nei mesi in cui si vendono più gelati si registrano anche più annegamenti. Nessuno pensa che il gelato provochi annegamenti: entrambi aumentano d'estate, quando fa caldo e più persone fanno il bagno. L'esempio è banale, ma lo stesso meccanismo si ripresenta in forme molto meno evidenti in medicina, economia, marketing e nell'analisi dei sistemi informatici. Conoscere le spiegazioni alternative di una correlazione è il primo passo per non trarre conclusioni sbagliate.
Cinque spiegazioni per una correlazione
Quando due grandezze A e B risultano correlate, le possibilità principali sono queste.
1. A causa B
È la spiegazione che di solito si vorrebbe dimostrare: una nuova configurazione della cache riduce i tempi di risposta.
2. B causa A: causalità inversa
La direzione è opposta a quella che si presume. I team che usano più strumenti di monitoraggio sembrano avere più incidenti: forse non è il monitoraggio a crearli, ma i team con più incidenti ad aver adottato più monitoraggio. Oppure il monitoraggio fa semplicemente scoprire incidenti che altrove passano inosservati.
3. Una causa comune: il confondente
Una terza variabile C influenza sia A sia B. È il caso dei gelati e degli annegamenti, con la temperatura come confondente. In un contesto tecnico: i server più vecchi hanno più guasti e anche versioni più vecchie del sistema operativo. Concludere che il sistema operativo provoca i guasti ignora l'età dell'hardware, che agisce su entrambi.
4. Il caso
Cercando tra moltissime coppie di variabili, qualcuna risulterà correlata per pura coincidenza. Con migliaia di metriche di sistema monitorate, troverete sempre due serie che si muovono insieme senza alcun legame. Più si cerca, più si trovano correlazioni spurie.
5. La selezione dei dati
Il modo in cui i dati sono stati raccolti può creare una correlazione inesistente nella popolazione. Un esempio classico è il bias di Berkson: se si studiano solo i pazienti ricoverati in ospedale, due malattie indipendenti nella popolazione possono apparire correlate negativamente, perché per essere ricoverati basta averne una. In generale, filtrare i dati in base a una conseguenza comune di A e B introduce associazioni artificiali.
Il ruolo degli esperimenti randomizzati
Il modo più solido per stabilire un nesso causale è l'esperimento randomizzato: si assegna il trattamento a caso. La randomizzazione rende i gruppi, in media, simili in tutto, anche nelle caratteristiche che non abbiamo misurato o a cui non abbiamo pensato. Se poi i gruppi differiscono nel risultato, l'unica differenza sistematica è il trattamento.
I test A/B sono esperimenti randomizzati: ogni visitatore vede a caso la versione A o la versione B. È per questo che, se ben condotti, permettono di attribuire una differenza di conversione alla modifica e non a fattori esterni come la stagione o il tipo di traffico.
Quando l'esperimento non è possibile
Spesso non si può randomizzare: per motivi etici, pratici o perché i dati sono già stati raccolti. Esistono allora metodi per avvicinarsi a una conclusione causale, con ipotesi più forti:
- controllare i confondenti noti, confrontando unità simili per età, dimensione o tipologia, o includendo queste variabili in un modello statistico;
- esperimenti naturali, in cui un evento esterno assegna il trattamento in modo quasi casuale, per esempio una modifica applicata solo a una regione per motivi tecnici;
- differenze nelle differenze, confrontando l'andamento prima e dopo un intervento in un gruppo trattato e in uno di controllo;
- diagrammi causali, grafi che rappresentano esplicitamente le ipotesi su chi influenza chi e aiutano a decidere quali variabili controllare e quali no.
Quest'ultimo punto è importante: controllare tutto non è una buona strategia. Controllare una variabile che sta sul percorso causale tra A e B, o una conseguenza comune di entrambe, può introdurre distorsioni invece di eliminarle.
Criteri di buon senso
Nel 1965 l'epidemiologo Austin Bradford Hill propose un elenco di considerazioni per valutare se un'associazione osservata possa essere causale. Non sono una lista di controllo meccanica, ma domande utili anche fuori dalla medicina:
- l'associazione è forte?
- è coerente in studi, contesti e dati diversi?
- la causa precede l'effetto nel tempo?
- c'è una relazione dose-risposta, cioè più causa produce più effetto?
- esiste un meccanismo plausibile?
- un esperimento, quando possibile, la conferma?
Una checklist pratica
Davanti a una correlazione interessante:
- chiediti quale direzione causale è plausibile e se potrebbe essere inversa;
- elenca le possibili cause comuni e verifica se sono state misurate;
- controlla come sono stati selezionati i dati;
- chiediti quante altre correlazioni sono state cercate prima di trovare questa;
- se possibile, progetta un esperimento che separi le spiegazioni.
In sintesi
- Una correlazione può nascere da causalità diretta, inversa, confondenti, caso o selezione dei dati.
- I confondenti sono cause comuni che fanno variare insieme due grandezze.
- Selezionare i dati in base a una conseguenza comune crea associazioni artificiali.
- La randomizzazione è il metodo più solido per stabilire un nesso causale.
- Senza esperimento servono ipotesi esplicite, controlli mirati e criteri di plausibilità.
