Mentire con le statistiche

Questo testo sviluppa un aspetto particolare
di alcune osservazioni contenute nel testo originale
– e anche nei commenti all’edizione italiana –
di How to Lie with Statistics di Darrell Huff.

Cesare e Pompeo
(A proposito di “sondaggi di opinione”)

Giancarlo Livraghi – gennaio 1994 – maggio 2007

Disponibile anche in pdf
(migliore come testo stampabile)

La pubblicazione dell’edizione italiana del “classico” di Darrell Huff Mentire con le statistiche mi ha fatto ritornare in mente un testo che avevo scritto in un forum online tredici anni fa – il 12 gennaio 1994. L’esempio immaginario si colloca nel quadro descritto da Huff nel primo capitolo del suo libro a proposito di sondaggi di opinione e in particolare di quelli che riguardano personalità politiche.

L’esempio è intenzionalmente collocato oltre duemila anni fa, per evitare ogni riferimento a situazioni attuali (che, per la loro specificità, potrebbero essere deformanti). Con una certa sorpresa ho constatato che alcuni lettori (anche se non “addetti al lavori”) lo capivano immediatamente, mentre altri (tutt’altro che sciocchi o distratti) rimanevano perplessi. Perciò ho aggiunto, alla fine, alcune spiegazioni.

In premessa vorrei dire che ovviamente ai tempi di Cesare e Pompeo i “sondaggi” non c’erano. Ma c’erano ugualmente tentativi di “interpretare” gli atteggiamenti dell’opinione pubblica, talvolta motivati da un sincero desiderio di conoscere le opinioni dei cittadini, ma spesso (allora come oggi) deformati per far apparire “sostenuti dal popolo” (la “P” del solenne SPQR, Senatus Populusque Romanus) gli atteggiamenti di questo o quel senatore, le decisioni dei consoli in carica o le “pressioni” politiche dei vari gruppi di potere e di interesse.

Vorrei anche premettere che la descrizione del metodo seguito è, in questo esempio, un po’ caricaturale, ma corrisponde a tecniche precise usate davvero nei “sondaggi di opinione” (come spiegherò in modo un po’ più dettagliato alla fine).

---

Dicevo, nel gennaio 1994:

Nei prossimi mesi saremo inondati di “sondaggi di opinione”.

Meglio prenderli con le pinze.

Un esempio (immaginario)

 
Pompeo e Cesare

Un ricercatore che lavora per Cesare chiede:

Lei si fida dei politici?

Ottiene il 98,7 % di no, ma butta via la risposta.

La domanda serviva solo per orientare l’intervistato verso un atteggiamento di “sfiducia”.

Poi dice: per favore, su una scala da 1 a 5:

1	2	3	4	5
sfiducia	poca fiducia	così  così	molta fiducia	totale fiducia

Classifichi:
    sua madre
    sua sorella
    il suo precettore greco
    la vestale Camilla
    Pompeo

(Quattro su cinque identità proposte sono intenzionalmente scelte
fra le persone di cui l’intervistato si fida, così si otterrà una media alta).

La media generale risultante dalle risposte è 4,2. Le risposte sotto la media vengono classificate come “sfiducia”. Il 93 % delle risposte riguardanti Pompeo ha un “punteggio” da 1 a 4.

Il giorno dopo proclamano: «Il 93 % dei cittadini non si fida di Pompeo».

Questo sarebbe con un campione statisticamente ineccepibile. Ma c’è anche il fatto che gli intervistatori di Cesare trovano più facile farsi ricevere in casa di amici di Cesare...

---

Un ricercatore che lavora per Pompeo chiede:

È d’accordo che bisogna pure fidarsi di qualcuno?

Ottiene il 68,4 % di si, ma (come sopra) butta via la risposta.

La domanda serviva solo per orientare l’intervistato verso un atteggiamento di “fiducia”.

Poi chiede: su una scala da 1 a 5:

1	2	3	4	5
sfiducia totale	una certa sfiducia	così  così	poca fiducia	abbastanza fiducia

Classifichi:
    la meretrice Eulalia
    il prosseneta Anteo
    Asterix
    il mercante fenicio
    Pompeo

(Quattro su cinque identità proposte sono intenzionalmente scelte
fra le persone di cui l’intervistato non si fida, così si otterrà una media bassa).

La media generale risultante dalle risposte è 1,8. Le risposte sopra la media vengono classificate come “fiducia”. Il 74 % delle risposte riguardanti Pompeo ha un “punteggio” da 2 a 5.

Il giorno dopo proclamano: «Il 74 % dei cittadini si fida di Pompeo».

Questo sarebbe con un campione statisticamente ineccepibile. Ma c’è anche il fatto che gli intervistatori di Pompeo trovano più facile farsi ricevere in casa di amici di Pompeo...

---

Nel caso che il senso dell’esempio non fosse del tutto chiaro... ecco le risposte ad alcune domande.

Perché Cesare e Pompeo?

Non tutti conoscono bene la storia romana. Cesare e Pompeo erano rivali politici. Prima di trovare un compromesso nel “triumvirato” che formarono insieme a Crasso – e anche dopo, fino ad arrivare alla guerra civile.

E questo avveniva in una fase di trasformazione della repubblica romana, in cui le regole della democrazia rimanevano formalmente le stesse, ma i fatti cambiavano, creando una diversa struttura del potere, che poco più tardi portò all’instaurazione autocratica dell’impero.

Non intendo dire che l’attuale situazione italiana ci possa portare a una monarchia, ma è evidente oggi (ancor più di quanto lo era nel 1994) che il quadro politico sta cambiando, che l’esito è incerto e che la manipolazione dei “sondaggi di opinione” è uno degli strumenti di deformazione della presunta “opinione pubblica”.

Perché la domanda preliminare?

È noto che si possono ottenere risultati diversi a quella che sembra la stessa domanda secondo il modo in cui è formulata.

In un sondaggio assolutamente corretto è “buona prassi” orientare il dialogo in modo che le risposte si collochino nel giusto quadro di riferimento. Ma è ovvio che, se le intenzioni sono “di parte”, si possono influenzare le risposte nel senso preferito dal committente. Questo può accadere nella formulazione delle singole domande e anche nella fase preliminare di inquadramento (che in questo esempio semplificato è una sola domanda, ma in casi reali può essere un po’ più estesa).

Perciò è sempre meglio, quando possibile, conoscere esattamente il metodo con cui è stata svolta un’indagine prima di valutare il significato dei numeri risultanti.

Va notato che l’effetto deviante nell’impostazione può essere volontario, come in questo immaginario esempio, oppure può essere un errore. E non è raro che i due fattori si sommino – e così anche un committente poco obiettivo può rimanere ingannato dall’esito di ciò che credeva di aver potuto condizionare.

Si usano le scale numeriche?

Si. Accade spesso che per cercare di ottenere un’opinione media si usi una scala di valori (dalla massima convinzione al massimo scetticismo, oppure da un’opinione a quella contraria, passando per valutazioni intermedie) o che si chieda un “voto” numerico (come a scuola) “su una scala da 1 a X”. Ed è chiaro che anche i criteri di definizione di quelle “scale” possono essere fattori di intenzionale o involontaria deformazione.

In questo esempio fittizio, e intenzionalmente un po’ esagerato, tutto l’impianto del questionario (compresa la domanda di orientamento, le definizioni nella scala numerica e la scelta dei personaggi di confronto) è congegnato in modo da dare, in uno dei casi, un indice numerico “sotto la media” per Pompeo, nell’altro per ottenere l’effetto contrario. (È evidente che anche i numeri risultanti sono immaginari e non “matematicamente” corrispondenti a ciò che in realtà potrebbe accadere con quel genere di domande).

Cioè con due “sondaggi” strutturalmente identici, ma diversamente “orientati”, si ottengono risultati contrastanti. In casi reali i trucchi possono essere meno sfacciati, ma è concretamente possibile (ed è in realtà accaduto) che ci siano deformazioni di questo genere. E non sempre è facile capire se si tratti di intenzionale manipolazione o di involontario errore.

Il “campione” è sempre “rappresentativo”?

Per i motivi analizzati da Darrell Huff nel primo capitolo, e anche in altre parti del suo libro, la “perfezione teorica” del “campione casuale” è spesso deformata da vari fattori pratici. Quindi oltre agli errori devianti nell’impostazione delle domande e nell’analisi delle risposte c’è anche il problema di non attendibilità del campione.

Molti clamorosi errori proprio nel campo politico (per esempio, ma non solo, nelle previsioni elettorali) derivano dal fatto che le risposte sono diverse secondo il tipo di persona cui viene posta la domanda. Non è necessario, perché il risultato sia sfasato a favore di Pompeo, che siano interrogati in prevalenza “gli amici di Pompeo”. Possono essere molti altri, anche meno ovvi, gli elementi di “non rappresentatività” del campione.

---

In conclusione (come spiega tutto il libro di Darrell Huff) ci vuole attenzione, e anche un po’ di diffidenza, per capire il significato di dati e statistiche.

Naturalmente non sempre è possibile risalire alla metodologia e al modo in cui è stata applicata. E non sempre è facile, anche avendo quelle informazioni, capire dove si può nascondere l’origine di un errore.

Ma anche se non sono possibili quegli approfondimenti ci sono tanti modi per capire quando è bene dubitare. Ciò che leggiamo e sentiamo dire appare sensato? Corrisponde a ciò che risulta da altre fonti o che conosciamo per altri motivi?

Insomma... senza ripetere qui ciò che ci insegnano duecento pagine del libro, una sana dose di diffidenza e di ragionevole buon senso può bastare per non lasciarsi ingannare da numeri non sempre attendibili.

Ma quando si tratta di cose specifiche, che ci riguardano direttamente, che rientrano nel nostro campo di studio, che possono influire sulle nostre decisioni... diventa necessario un approfondimento preciso, puntuale e sistematico. Basarsi sulle “false certezze” dei numeri può essere molto pericoloso.

home