Le “stime della differenza” di Escobari e Hoover non devono essere prese al valore nominale

Questo è il settimo di una serie di post sul blog che affrontano un rapporto di Diego Escobari e Gary Hoover sulle elezioni presidenziali del 2019 in Bolivia. Le loro conclusioni non reggono al controllo, come osserviamo nel nostro rapporto Nickels Before Dimes. Qui, ci espandiamo su varie affermazioni e conclusioni che Escobari e Hoover fanno nel loro articolo. Collegamenti a post precedenti: parte uno, parte due, parte tre, parte quattro, parte cinque e parte sei.

Nel post precedente abbiamo preso atto di un errore nei calcoli del margine di Escobari e Hoover. Sebbene l’effetto sui loro calcoli sia stato minimo, l’uso errato di Válidos En Acta da parte di Escobari e Hoover (tra molti altri) ha generato polemiche facendo sembrare che i totali dei voti ufficiali non si sommassero correttamente. Piuttosto, questi riflettono errori materiali commessi dai giurati nei singoli seggi elettorali. Ora riprendiamo da dove ci eravamo interrotti nel post n. 5 quando abbiamo notato che c’erano errori di conteggio nelle elezioni. Qui, approfondiamo gli effetti che il bias ha avuto sui primi risultati prodotti da Escobari e Hoover.

Iniziamo con le loro “Stime di differenza”, riprodotte quasi esattamente di seguito. Attribuiamo le discrepanze (indicate in rosso) alle differenze nell’assegnazione dei seggi elettorali ai distretti: un problema abbiamo identificato con la prima versione del loro documento del 2019, e probabilmente non è stato completamente corretto.

Tabella 1

Replica delle “stime della differenza” di Escobari e Hoover
CC MAS MAS CC
(1) (2) (3) (4) (5) (6)
variabile
SPEGNIMENTO -8.286 (0.324) 7,975 (0,343) 16,26 (0,653) 7,243 (0,437) 6,762 (0,464) 0.377 (0,194)
Costante 36,86 (0,136) 46,69 (0,134) 9,830 (0,266) 11,28 (0,162) 11,36 (0,151) 12,39 (0,063)
Effetti fissi[1]
Comune 129,6
Località 23.49
distretto 1247
osservazioni 34.529 34.529 34.529 34.529 34.529 34.529
R2 0,017 0,016 0,017 0,640 0,740 0,958

Fonte: TSE e calcoli dell’autore.

Note: le variabili dipendenti sono percentuali di Válidos En Acta (spesso mancanti o altrimenti riportate erroneamente sui fogli di conteggio) e non di voti ufficiali validi. Gli errori standard tra parentesi sono robusti. Differenze da Escobari e Hoover annotate in rosso.

[1] Le statistiche del test F per gli effetti fissi non sono robuste.

Si noti inoltre che l’analisi non è ponderata dal numero di elettori in ciascuna stazione. Ad esempio, la costante per la colonna 3 indica che il margine medio semplice per Morales nei seggi elettorali inclusi nell’annuncio della TSE era di 9,83 punti percentuali, quasi 2 punti percentuali in più rispetto al risultato ufficiale dell’epoca. Allo stesso modo, il risultato di Escobari e Hoover implica che il margine medio semplice per Morales in tutti i seggi elettorali era di 12,45 punti percentuali, ancora una volta quasi 2 punti percentuali sopra il risultato ufficiale. Questo perché nelle elezioni effettive, le quote di voto complessive non vengono calcolate come fanno Escobari e Hoover. Nelle elezioni effettive, sono i totali dei voti, e non i margini medi, che contano. Pertanto, i seggi elettorali con meno voti hanno un impatto minore sul voto finale rispetto ai seggi elettorali con più voti. Ignorare questo rende difficile contestualizzare i risultati di Escobari e Hoover.

Considera l’esempio dei due distretti di Tavolo 2. Nel distretto rurale c’erano 100 voti validi, che Morales ha vinto con 40 voti. Nel distretto urbano, Mesa ha vinto con 25 voti su 250. Il margine medio semplice è (40-10)/2 = 15 punti percentuali. Ma nel complesso (considerando entrambe le stazioni come un unico gruppo) Morales ha vinto per 40-25 = 15 voti su 350, ovvero solo 4,3 punti percentuali.

Tavolo 2

Illustrazione dell’importanza dei pesi per il contesto
elettori Voti netti margine
rurale 100 40 +40
Urbano 250 -25 -10
Combinato 350 15 4

Passiamo alla colonna 3 di Tabella 1 sopra. In Tabella 3, presentiamo i risultati di Escobari e Hoover insieme alla nostra replica e correzioni per semplificare il contesto. Innanzitutto, notiamo che la nostra replica (colonna 2) riproduce esattamente i risultati pubblicati (colonna 1). In secondo luogo, vediamo che impiegando il numero corretto di elettori validi nel calcolo, abbiamo 22 osservazioni in più, mancano solo quattro seggi elettorali che sono stati annullati. In terzo luogo, notiamo che una volta pesati i dati dei seggi elettorali in base al numero di elettori validi (colonna 4), la “costante” diminuisce di quasi 2 punti percentuali. Ciò riflette l’inserimento dei numeri nel loro giusto contesto. Il vantaggio di Morales (basato sui numeri ufficiali) ai seggi elettorali inclusi nell’annuncio della TSE era del 7,9% del voto valido.

Allo stesso modo, passando dalla colonna 3 alla colonna 4, “SHUTDOWN” cresce di 0,5, il che significa che dando troppa importanza ai seggi elettorali piccoli, Escobari e Hoover finiscono per sottovalutare l’aumento del consenso quando si passa dai seggi inclusi nel bando TSE a quelli eccezionali. Preso come gruppo, il margine di Morales sui seggi elettorali in sospeso è di 7.883+16,77 = 24,65 punti percentuali, e non di 9.843+16,27 = 26,12.

Tabella 3

Replica e rianalisi del modello di differenza di base di Escobari e Hoover
Come pubblicato replica Elettori corretti ponderato
(1) (2) (3) (4)
variabile
SPEGNIMENTO 16,26 (0,653) 16,26 (0,653) 16,27 (0,653) 16,77 (0,663)
Costante 9,830 (0,266) 9,830 (0,266) 9,843 (0,266) 7,883 (0,264)
osservazioni 34.529 34.529 34.551 34.551
R2 0,017 0,017 0,017 0,019

Ci sono diversi modi di interpretare questi risultati. Uno è semplicemente dire che misurano l’importo con cui i seggi elettorali in ritardo hanno maggiormente favorito Morales, e non fanno alcuna attribuzione sulla causa. Questa analisi è meramente descrittiva.

Un altro è dire che questi risultati misurano la distorsione nel contare i seggi elettorali dell’opposizione in modo sproporzionato in anticipo. Forse le stazioni rurali che favoriscono Morales avevano semplicemente maggiori probabilità di essere in ritardo e sono state quindi escluse dall’annuncio della TSE, ovvero monetine prima di monetine.

Un terzo è dire che l’annuncio stesso ha segnato una divisione: il solo fatto che nell’annuncio non fosse incluso un seggio elettorale spiega l’aumento dei consensi e che se tutti fossero stati inclusi, Morales avrebbe vinto per soli 7,9 punti percentuali. Poiché la votazione è avvenuta prima dell’annuncio, l’esclusione dall’annuncio non dovrebbe di per sé far aumentare il sostegno di Morales in quei seggi elettorali. L’implicazione è che l’aumento deve essere dovuto all’aggiunta di frodi, commesse dopo l’annuncio o in un deliberato ritardo nella comunicazione dei risultati dei seggi elettorali già noti per contenere frodi. Cioè, in questa interpretazione SHUTDOWN sarebbe un proxy per la frode.

In questa figura ci interessa il collegamento tra frode e margine, evidenziato in rosso. La frode non è qualcosa che possiamo osservare direttamente nei dati, ma un meccanismo proposto è che il tempo necessario per implementare la frode richiedeva di ritardare la verifica di quei fogli di conteggio fino a dopo l’annuncio della TSE (quindi se fosse o meno incluso nel post-annuncio ” gruppo “SPEGNIMENTO”).

Si noti che il risultato pubblicato è incoerente rispetto a questa interpretazione. Escobari e Hoover sostengono il controfattuale di 7,9 punti percentuali, ma la costante nel modello implica un margine previsto di 9,8 punti percentuali, non distinto statisticamente dalla soglia di 10 punti percentuali che determina le elezioni. Ciò rafforza la nostra tesi secondo cui l’uso dei pesi nell’analisi è importante quando si desidera interpretare i risultati.

Questa terza spiegazione della differenza di 16 punti percentuali come misura della frode effettiva è difficile da difendere a causa delle spiegazioni confuse nella seconda analisi. Cioè, nel modello, SHUTDOWN cattura tutto ciò che influisce sul margine di Morales che varia tra i gruppi. Esiste un intero apparato di fattori che complicano l’interpretazione della differenza di 16 punti percentuali come frode.

Siamo ancora interessati solo all’effetto della frode indicato in rosso. Ovviamente, i fogli di conteggio sono finiti nel gruppo SHUTDOWN per motivi benigni e per qualsiasi presunta malizia. Considera quelli che hanno trasmesso in ritardo (tardivo “ARRIVO” alle autorità elettorali) e quelli che hanno trasmesso le loro trascrizioni ma non è stato possibile verificarli in modo tempestivo. Colleghiamo sia ARRIVAL che SHUTDOWN alla ruralità, ma qui “Rural” è un sostituto di una batteria di vari fattori geografici o socioeconomici, ognuno dei quali può avere un effetto diverso su ciascuno. È importante sottolineare che questi stessi fattori contengono informazioni sul supporto per Morales e quindi incidono sul margine osservato. Infine, il numero di elettori in un dato seggio elettorale aiuta a determinare l’ordine di ARRIVO poiché i seggi più piccoli sono in grado di completare il conteggio dei voti più rapidamente.

Il problema è che se controlliamo solo per SHUTDOWN, ciò porta con sé informazioni su tutti i fattori geografici. Ad esempio, dato che una stazione è nel gruppo SHUTDOWN, possiamo dedurre che è più rurale e quindi più fortemente a favore di Morales. Non possiamo dire se la differenza di 16 punti percentuali sia tutta dovuta alla “frode” che Escobari e Hoover cercano di misurare, o se sia tutta dovuta a differenze di fattori geografici/socioeconomici. È necessario un modello statistico più complesso.

Naturalmente, non è facile quantificare, figuriamoci identificare, ogni fattore di confusione. Dobbiamo piegarci un po’ alla realtà della disponibilità dei dati. Dobbiamo riconoscere che SHUTDOWN è un effetto residuo. Tutto ciò che rappresenta l’aumento tardivo del margine che non è modellato in modo esplicito viene catturato da SHUTDOWN. Ciò include sia possibili frodi che eventuali monetine trascurate prima delle monetine. Un coefficiente di SHUTDOWN “statisticamente significativo” non indica l’esistenza di una frode, in particolare, a meno che non siamo in grado di districare adeguatamente gli effetti.

A quel punto, una differenza inspiegabile di 16,77 punti percentuali sarebbe politicamente preoccupante in assenza di altre informazioni. Applicato al 16% delle elezioni incluse nel gruppo SHUTDOWN, ciò implica che il modello estremamente semplice non riesce a spiegare i 2,7 punti percentuali del margine finale di Morales. Possiamo vederlo direttamente nella costante stimata della Tabella 3, Colonna 4, che afferma che il gruppo non-SHUTDOWN ha favorito Morales di 7,9 punti percentuali. Se il gruppo SHUTDOWN è effettivamente identico, allora il margine elettorale finale dovrebbe essere vicino a 7,9 punti percentuali e non al 10,56 ufficiale. Pertanto, il modello lascia un residuo inspiegabile politicamente significativo che Escobari e Hoover interpretano come frode. Tuttavia, sappiamo per certo che l’ipotesi critica che il gruppo SHUTDOWN sia identico è falsa. Il modello non tiene conto delle differenze importanti tra i gruppi SHUTDOWN e non SHUTDOWN. Nickel prima delle monetine.

Un modo per far fronte a una serie vertiginosa di possibili differenze è dividere i seggi elettorali in gruppi più piccoli. In tal modo, possiamo sperare di assegnare incarichi in modo tale che all’interno di ciascun gruppo questi fattori di confusione siano più o meno costanti – che non possiamo distinguere facilmente un seggio elettorale da un altro tranne dalla loro inclusione o esclusione dal bando TSE.

Come vedremo nel prossimo post, questo è il ragionamento alla base delle colonne 4-6 della Tabella 1.

Leave a Reply

Your email address will not be published. Required fields are marked *