«Le due grandezze hanno una correlazione di 0,8.» È una delle frasi più comuni in qualunque report di dati, e anche una delle più facili da sovrainterpretare. Il coefficiente di correlazione è un numero utile, ma comprime un'intera nuvola di punti in un solo valore, e in questa compressione si possono perdere proprio le informazioni decisive.
La covarianza come punto di partenza
Consideriamo coppie di valori (x, y), per esempio il numero di utenti collegati e il carico della CPU di un server, misurati ogni minuto. La covarianza misura se le due grandezze tendono a stare insieme sopra o sotto le rispettive medie:
- se quando x è sopra la media anche y tende a esserlo, la covarianza è positiva;
- se quando x è sopra la media y tende a stare sotto, è negativa;
- se non c'è una tendenza, è vicina a zero.
Il problema della covarianza è che dipende dalle unità di misura: esprimere il carico in percentuale o in frazione cambia il suo valore. Per questo la si normalizza.
Il coefficiente di Pearson
Il coefficiente di correlazione di Pearson è la covarianza divisa per il prodotto delle due deviazioni standard:
r = Cov(x, y) / (σₓ · σᵧ)
Il risultato è sempre compreso tra −1 e +1:
- r = +1: i punti stanno esattamente su una retta crescente;
- r = −1: esattamente su una retta decrescente;
- r = 0: nessuna relazione lineare.
Il quadrato r² indica la quota di variabilità di una grandezza «spiegata» linearmente dall'altra: con r = 0,8, r² = 0,64, cioè il 64%. Anche una correlazione che suona alta lascia quindi un terzo della variabilità non spiegato.
Il quartetto di Anscombe
Nel 1973 lo statistico Francis Anscombe costruì quattro piccoli insiemi di dati con statistiche riassuntive praticamente identiche: stesse medie, stesse varianze, stessa retta di regressione e una correlazione di circa 0,82 in tutti e quattro. Eppure, disegnati su un grafico, sono completamente diversi:
- il primo è una nuvola di punti con un andamento lineare e un po' di rumore, il caso «normale»;
- il secondo è una curva perfettamente regolare ma non lineare;
- il terzo è una retta quasi perfetta con un solo punto anomalo che abbassa la correlazione;
- il quarto ha tutti i punti sullo stesso valore di x tranne uno, che da solo crea l'intera correlazione.
La lezione è semplice e fondamentale: prima di calcolare una correlazione, guarda il grafico a dispersione.
Le trappole principali
Relazioni non lineari
Pearson misura solo relazioni lineari. Se y = x² e x va da −10 a +10, la relazione è perfettamente deterministica, eppure r vale 0. Una correlazione vicina a zero non significa che le due grandezze siano indipendenti.
Valori anomali
Un solo punto lontano dagli altri può creare una correlazione forte dove non c'è, o cancellarne una che c'è. Con campioni piccoli l'effetto è particolarmente marcato.
Intervallo ristretto
Se si osserva solo una parte dell'intervallo possibile, la correlazione si riduce. Tra i server che lavorano già al 90-95% di carico, la relazione tra utenti e tempi di risposta può sembrare debole perché la variabilità del carico è minima; allargando lo sguardo a tutti i livelli di carico la relazione diventa evidente.
Gruppi mescolati
Unire gruppi diversi può creare correlazioni che in nessun gruppo esistono, o invertirle. È il terreno del paradosso di Simpson, che merita una trattazione a parte.
La correlazione di Spearman
La correlazione di Spearman si calcola applicando la formula di Pearson non ai valori, ma ai loro ranghi, cioè alle posizioni in classifica. Misura quindi se una grandezza tende a crescere quando cresce l'altra, anche se non in modo lineare: si parla di relazione monotona.
Ha due vantaggi pratici:
- è robusta ai valori estremi, perché un valore enorme diventa semplicemente «il primo in classifica»;
- coglie relazioni monotone non lineari, come una crescita esponenziale o una saturazione.
Se y = eˣ, Spearman vale esattamente 1, mentre Pearson è minore di 1.
from scipy.stats import pearsonr, spearmanr
x = [1, 2, 3, 4, 5, 6, 7, 8]
y = [2, 4, 8, 16, 32, 64, 128, 256]
print(pearsonr(x, y)[0]) # minore di 1
print(spearmanr(x, y)[0]) # esattamente 1
Correlazione e significatività
Con pochi punti, correlazioni anche forti possono nascere per caso: con 5 coppie di dati casuali non è raro ottenere |r| > 0,7. Con milioni di punti, invece, correlazioni minuscole risultano statisticamente significative. Conviene sempre riportare r insieme al numero di osservazioni e, se possibile, un intervallo di confidenza.
La domanda che resta aperta
Anche una correlazione forte, ben misurata e significativa non dice perché due grandezze variano insieme. Può esserci un nesso causale, in una delle due direzioni, oppure una causa comune, oppure una selezione dei dati. La correlazione è un indizio da investigare, non una conclusione.
In sintesi
- Il coefficiente di Pearson misura la forza della relazione lineare tra −1 e +1.
- r² indica la quota di variabilità spiegata linearmente, spesso meno di quanto sembri.
- Il quartetto di Anscombe mostra che statistiche identiche possono nascondere dati diversissimi.
- Spearman lavora sui ranghi: è robusta e coglie relazioni monotone non lineari.
- Una correlazione nulla non implica indipendenza, e una forte non implica causalità.
