Sondaggi inutili

"Nelle sei settimane precedenti il voto Human Highway ha seguito la pubblicazione di 83 sondaggi elettorali prodotti da 16 diversi istituti e condotti su un totale di 137mila interviste. Come si vede nella figura sottostante, tutti i sondaggi pubblicati prima del silenzio imposto dalla legge (8 febbraio) hanno prodotto numeri che si sono dimostrati a tre o più sigma di distanza dal risultato finale. Alcuni più, alcuni meno, ma tutti clamorosamente sbagliati."
(vedi immagine sopra - www.linkiesta.it)

Accanto alla politica tradizionale, già rivoluzionata 20 anni fa ma evidentemente non a sufficienza, hanno fallito clamorosamente anche i sondaggisti. Credo non ci sia una colpa particolare da parte di questi professionisti che utilizzano metodi già testati in tutto il mondo da molti anni. Probabilmente il vero problema, difficilmente risolvibile, sta proprio nel sistema di raccolta statistica utilizzato.

Il metodo è essenziale. Non è la stessa cosa fare per esempio interviste in strada o attraverso il telefono. Anche perché utilizzare l'intervista telefonica, significa al 90% rivolgersi agli utenti registrati sulla guida telefonica. Ormai una larga parte della popolazione italiana non ha telefono fisso, o come nel mio caso non è presente sulla guida telefonica. Si trovano ancora sulla guida telefonica, famiglie mediamente benestanti che non hanno mai dovuto fare i conti con la relativa bolletta, o persone anziane che si sono abbonate alla Sip negli anni '70 e da allora non hanno mai cambiato operatore per l'incapacità di gestire le nuove tecnologie.
Il media utilizzato è fondamentale, perché discrimina la tipologia di utenza. Prima delle elezioni, partecipando a volte ai sondaggi estemporanei su internet mi sono reso conto che questi non potevano costituire un campione valido della popolazione italiana: infatti in rete Grillo vinceva con percentuali dal 40 al 60%!

Probabilmente la sottostima dei nuovi movimenti e partiti, è un errore sistematico dei metodi utilizzati dai sondaggisti. Già nelle elezioni siciliane, i sondaggi avevano preso una evidente cantonata con il M5s (vedi "Possibili errori nei sondaggi")

In un articolo su "Rischio Calcolato" viene fatto un elenco dei clamorosi flop storici dei sondaggisti. Uno fra questi, mette in evidenza un errore di valutazione dei nuovi partiti (questa volta per sopravvalutazione) che ha ribalto le previsioni di vittoria per la Casa Bianca:

"Il caso dell’elezione presidenziale americana del 1948 è probabilmente il più clamoroso e noto fiasco sondaggistico di tutti i tempi. Secondo i sondaggi il presidente uscente, Harry Truman, era praticamente spacciato. Harry Truman non aveva alcuna chance di battere il candidato repubblicano Thomas Dewey dato con un vantaggio in doppia cifra dai sondaggi. Tanto sembrava scontata la vittoria di Thomas Dewey che il “Chicago Daily Tribune” andò in stampa scrivendo a caratteri cubitali in prima pagina “Dewey defeats Truman”, ovvero “Dewey batte Truman”.
...
Che era successo? Era successo che Harry Truman si trovava ad affrontare, oltre al repubblicano Dewey, due candidati indipendenti provenienti dal partito democratico ovvero l’ex vicepresidente Henry Wallace, ... e il governatore della Carolina del Sud
...
I sondaggi sovrastimarono i due ribelli, dati con un consenso oscillante tra il 5 e il 10%, ma nel segreto dell’urna molti elettori che si erano dichiarati per Wallace e Thurmond probabilmente si “turarono il naso” e scelsero Truman. I due ribelli ottenero un misero 2,5% a testa ..."
(www.rischiocalcolato.it)

Questo dei nuovi movimenti o partiti è un fattore difficilmente risolvibile. Forse si dovrebbero usare metodi incrociati che utilizzino raccolte dati di varia provenienza (interviste in strada, sondaggi telefonici, sondaggi in rete ...) e che poi dovrebbero essere miscelate fra loro con algoritmi che correggono i difetti di ognuno, gli sbilanciamenti verso un tipo di utenza o un'altra.

Sul quotidiano Blitzquotidiano.it un articolo riportava alcune delle principali pecche dei metodi sondaggistici; queste le prime tre:

"1. In tutte le indagini, il campione di riferimento è irrisorio: si tratta di 800-1000 persone su una popolazione di poco meno di 50 milioni di votanti. L’opinione di uno solo è rappresentativa per oltre 50.000 elettori!

2. Il metodo più largamente diffuso tra le società che fanno ricerche demoscopiche è il cosiddetto “C.A.T.I.”, ovvero interviste condotte tra gli abbonati alla telefonia fissa al netto dei numeri riservati. Ma solo il 56% delle famiglie italiane possiede un telefono fisso e la campionatura si basa solo sul nominativo del titolare del contratto telefonico; inoltre ogni metodo di intervista (telefono fisso, mobile, internet o face to face) corrisponde ad un diverso target, dunque un metodo di rilevamento più corretto dovrebbe tener conto di panieri multipli.

3. Il tasso di rifiuto nella partecipazione al sondaggio è elevatissimo (circa l’80%) abbastanza da mettere a rischio la rappresentatività del campione."
(www.blitzquotidiano.it)

Va aggiunto a questi difetti "tecnici" un difetto "emotivo" ancora meno eludibile, che è quello della vergogna. Si dice che in Italia molti elettori della vecchia Dc e oggi del Pdl tendono a non dare l'indicazione del voto ai sondaggisti per paura di essere giudicati. Questo non avviene solo nel chiuso del "confessionale sondaggistico", ma anche al bar o sul posto di lavoro. Benché non è del tutto vero: nel 1994 c'era un enorme entusiasmo lungo la penisola per la discesa in campo di Berlusconi, tutti ne parlavano come oggi c'è lo stesso entusiasmo per Grillo. Negli anni successivi invece Berlusconi vinceva senza che apparentemente venisse sostenuto platealmente da qualcuno. Si diceva pertanto: "il Cavaliere vince sempre ma nessuno lo vota".

Ma questo non pare essere solo un fenomeno italiano:

"L’elezione del 1992 (nel Regno Unito nda) si presentava come estremamente incerta. Molti nei media parlavano insistentemente della possibilità di un “hung parliament” ovvero della possibilità che ne i conservatori, ne i laburisti riuscissero ad ottenere la maggioranza assoluta
...
Sembrava comunque che il leader laburista Neil Kinnock fosse lievemente in testa e quindi posizionato per ottenere almeno una maggioranza relativa. Nonostante una grandissima rimonta il premier uscente, il conservatore John Major, secondo i sondaggisti aveva ancora uno svantaggio di circa due punti. All’apertura delle urne invece la sorpresa. Non solo non c’era nessun “hung parliament”, ma contrariamente ad ogni previsione i conservatori mantenevano una larga maggioranza. Non solo, i “Tories” staccavano di ben sette punti il Labour nel “voto popolare”
...
Che era accaduto? E’ accaduto un fenomeno che nel Regno Unito è stato chiamato “Shy Tory Effect”. In sostanza dopo le grandi tensioni politiche e sociali che avevano caratterizzato l’era di Margaret Thatcher, conclusasi da appena due anni prima, gli elettori conservatori si vergognavano di dichiararsi tali.
...
Nel 2002 volgeva al termine la coabitazione tra il presidente gollista Chirac e il primo ministro socialista Jospin. Per i sondaggisti lo scontro per le presidenziali sarebbe stato per l’appunto una questione privata tra l’inquilino dell’Eliseo e l’inquilino dell’Hotel Matignon.
...
La buona popolarità di cui godeva l’esecutivo socialista rendeva la sinistra francese convinta che Jospin avrebbe potuto tenere testa a Chirac e questa sensazione era confermata dai sondaggi sul ballottaggio che vedevano il leader socialista testa a testa col presidente uscente. Ma alle urne arriva la sorpresa che nessuno era in grado di prevedere. Chirac è avanti con uno scarno 19,9%, e fin qui tutto come previsto, ma l’identità del suo sfidante per il ballottaggio è la sorpresa. In seconda posizione con il 16,9% c’è infatti il candidato nazionalista Jean Marie Le Pen."
(www.rischiocalcolato.it)

Non penso che il M5s sia paragonabile alla estrema destra francese di Le Pen. Non penso quindi che l'elettorato di Grillo provi vergogna nel dichiarare il proprio voto. Forse una piccola componente nell'errore di valutazione del M5s è da addebitarsi a questa causa, ma per questo movimento la causa maggiore mi pare l'impossibilità di intercettare un adeguato numero di grillini attraverso i tradizionale canali dei sondaggisti.

Il difetto "emotivo" spiega invece l'errore dei sondaggisti nella valutazione della disfatta del centro destra, che pur essendoci stata, non si è palesata nelle proporzioni previste. Alcune case di sondaggi davano un distacco tra centro destra e centro sinistra di 8-10 punti percentuali, anche negli ultimi giorni (vedi "Tutte le voci").

Un errore di circa 3,5 milioni di voti. A livello di sondaggi significa che quasi 100 persone (su un campione di 1000) hanno mentito, oppure che fra l'80% di persone che hanno rifiutato l'intervista, la maggior parte era di centro destra.

Quello che insegna questa situazione, è che i sondaggi non sempre fotografano in modo fedele gli umori popolari. A volte è più semplice capire cosa sta per accadere andando a prendere un caffè al bar sport, o facendo conversazione sui mezzi pubblici. Forse i sistemi di indagine sul consenso più antichi ed efficaci.

Comunque credo che i sondaggi continueranno ad essere fatti e pubblicati, magari tenendo conto degli errori commessi, ma sempre avranno un certo margine di aleatorietà.

"5. Il margine di errore è di proporzioni enormi: ammonta a + o – il 3%! Le conseguenze sono due: innanzitutto perdono immediatamente senso le indicazioni pari o inferiori al margine d’errore perché se si afferma che un partito è al 5%, con un margine di errore di + o – 3 significa che quel partito potrebbe riscuotere nella realtà dal 2 all’8% dei consensi elettorali ..."
(www.blitzquotidiano.it)

"...si sono buttati al vento alcuni milioni di euro per produrre analisi sbagliate e fuorvianti. Il sondaggio però è un prodotto che piace ed è un contenuto molto richiesto dai media: si fa leggere e ascoltare, solletica la curiosità, offre occasioni di dibattito e accende il confronto tra i contendenti negli studi televisivi. Abbiamo ascoltato ragionamenti sui decimali di punto che potrebbe aver spostato questa o quella trasmissione, una certa notizia, un battuta, senza che si precisasse che piccoli spostamenti del genere sono ampiamente compresi nelle naturali fluttuazioni del dato. Abbiamo letto lunghi articoli sui possibili scenari del dopo voto – argomentati sulla base delle evidenze dei sondaggi - senza considerare che ancora qualche giorno prima del 24 febbraio c’era un quota di 25/30% di indecisi: sapevamo tutto sulle intenzioni dei decisi ma nulla sulle intenzioni degli indecisi."
(www.linkiesta.it)

Certo è che interi dibattiti televisivi su scostamenti di percentuali dell'1% o su partitini intorno al 4%, erano puro intrattenimento. Nulla da prendere sul serio. Eppure ci eravamo già cascati nel 2006 in questi dibattiti infruttuosi, quando un Prodi dato vincente con un buon distacco, vinse di pochi decimali percentuali una sfida con un Berlusconi che sembrava non avesse chance. Ce ne siamo dimenticati in fretta. E se si voterà fra sei mesi o un anno, torneremo a commettere gli stessi errori.

Per poi sorridere di fronte a tabelle come queste, che vedono repentine correzioni di rotta dei sondaggi (partiti dati al 15, balzano al 30% e coalizioni date al 35 scendono al 30%):

(www.rischiocalcolato.it)