Due squadre di assistenza tecnica gestiscono ciascuna 500 ticket in un mese. La squadra A ne risolve al primo contatto il 42%, la squadra B il 73%. Sembra evidente quale delle due lavori meglio. Poi si scopre che la squadra A è migliore della B sia sui ticket semplici sia su quelli complessi. Non è un errore di calcolo: è il paradosso di Simpson, uno dei fenomeni più istruttivi della statistica.
L'esempio nei dettagli
Dividiamo i ticket in semplici e complessi:
| Squadra A | Squadra B | |
|---|---|---|
| Ticket semplici | 90 risolti su 100 (90%) | 340 risolti su 400 (85%) |
| Ticket complessi | 120 risolti su 400 (30%) | 25 risolti su 100 (25%) |
| Totale | 210 su 500 (42%) | 365 su 500 (73%) |
La squadra A ha un tasso di risoluzione più alto in entrambe le categorie, eppure un tasso complessivo molto più basso. Come è possibile?
Il meccanismo
La chiave è la composizione dei gruppi. La squadra A riceve soprattutto ticket complessi: 400 su 500. La squadra B riceve soprattutto ticket semplici: 400 su 500. Il tasso complessivo di ciascuna squadra è una media dei tassi per categoria, pesata con la quota di ticket di ogni categoria.
- Il 42% di A è dominato dal 30% dei ticket complessi, che sono l'80% del suo lavoro.
- Il 73% di B è dominato dall'85% dei ticket semplici, che sono l'80% del suo lavoro.
La difficoltà del ticket è una variabile confondente: influenza sia l'assegnazione alla squadra sia la probabilità di risoluzione. Confrontare i totali significa confrontare soprattutto il tipo di lavoro ricevuto, non la bravura.
Esempi celebri
Il paradosso compare in molti contesti reali. Uno dei casi più citati riguarda le ammissioni ai corsi di laurea dell'Università della California a Berkeley nel 1973: nel complesso le donne erano ammesse in proporzione minore degli uomini, ma analizzando i singoli dipartimenti la disparità a sfavore delle donne scompariva in gran parte. La spiegazione era che le donne si candidavano più spesso ai dipartimenti con tassi di ammissione bassi per tutti.
Lo stesso schema si ritrova in medicina, quando un trattamento viene somministrato più spesso ai pazienti più gravi, e nelle analisi dei prodotti digitali, quando una funzione viene usata soprattutto da un tipo particolare di utenti.
Quale dato è quello giusto?
La risposta più importante è anche la più scomoda: dipende dalla struttura causale, non dai numeri. La statistica da sola non può dire se usare i dati aggregati o quelli per sottogruppo.
Quando usare i sottogruppi
Se la variabile che divide i gruppi è una causa comune sia del «trattamento» sia del risultato, come la difficoltà dei ticket, bisogna confrontare all'interno dei sottogruppi. Nell'esempio, la difficoltà precede l'assegnazione e influenza il risultato: la squadra A è effettivamente più brava.
Quando usare l'aggregato
Se invece la variabile che divide i gruppi è una conseguenza del trattamento, stratificare è sbagliato. Supponiamo che un nuovo processo di triage faccia sì che più ticket vengano classificati come complessi e gestiti con più cura. Allora la categoria «complesso» è un effetto del processo, e confrontare i sottogruppi nasconderebbe proprio l'effetto che vogliamo misurare. In quel caso il dato aggregato è quello corretto.
La domanda da porsi
Prima di scegliere, chiediti: la variabile che sto usando per dividere i dati viene prima del trattamento e lo influenza, oppure viene dopo ed è influenzata da esso? Disegnare un piccolo diagramma con le frecce causali aiuta molto.
Come accorgersene
Il paradosso non si annuncia: bisogna andarlo a cercare.
- Disaggrega i dati secondo le variabili che plausibilmente influenzano il risultato: tipo di cliente, dispositivo, regione, periodo.
- Confronta le composizioni: se i gruppi da confrontare hanno proporzioni molto diverse di sottocategorie, i totali possono ingannare.
- Guarda i pesi: un tasso complessivo è sempre una media pesata, e i pesi possono contare più dei tassi.
- Randomizza quando puoi: in un esperimento randomizzato la composizione dei gruppi è in media la stessa, e il paradosso non può nascere da un confondente.
Con pandas l'analisi per sottogruppi è immediata:
import pandas as pd
df = pd.read_csv("ticket.csv") # colonne: squadra, tipo, risolto (0/1)
print(df.groupby("squadra")["risolto"].mean())
print(df.groupby(["tipo", "squadra"])["risolto"].mean().unstack())
print(pd.crosstab(df["squadra"], df["tipo"], normalize="index"))
L'ultima riga mostra la composizione di ciascun gruppo, che spesso spiega da sola il paradosso.
Il collegamento con la correlazione
Il paradosso di Simpson vale anche per le relazioni tra variabili continue: due grandezze possono essere correlate negativamente all'interno di ogni gruppo e positivamente nell'insieme. È un'altra ragione per cui una correlazione calcolata su dati eterogenei va presa con estrema cautela.
In sintesi
- Un gruppo può essere migliore in ogni sottogruppo e peggiore nel totale.
- Il paradosso nasce da composizioni diverse dei gruppi e da una variabile confondente.
- I tassi complessivi sono medie pesate, e i pesi possono dominare il risultato.
- Scegliere tra dati aggregati e stratificati richiede ragionare sulla struttura causale.
- Disaggregare i dati e confrontare le composizioni è il modo per scoprirlo.
