iiinova — where your digital self keeps evolving

Raphael Nishimura @rnishimura.bsky.social · 22/09/2026

I don't understand why, in the year of 2026, pollsters are still resisting weighting by PID or past/recall vote.

Raphael Nishimura @rnishimura.bsky.social · 18/09/2026

Want to better understand how statistical sampling works in a visual and interactive way? Take a look at this learning tool I created (with help from Claude): websites.umich.edu/~raphaeln/sa... All feedback is welcome!

2247

Raphael Nishimura @rnishimura.bsky.social · 17/09/2026

Quer entender melhor como funciona amostragem em estatística de uma forma visual e ilustrativa? Dê uma olhada nesse aplicação que eu criei (com ajuda do Claude): websites.umich.edu/~raphaeln/si... Todo feedback é bem-vindo!

123

Raphael Nishimura @rnishimura.bsky.social · 12/08/2026

7) Por fim, honestidade metodológicas. A Palver reconhece que a metodologia empregada de recrutamento por meio de anúncios em redes sociais têm sérios problemas metodológicos. Eles procuraram reduzir isso com algumas estratégicas, mas ainda é um trabalho em andamento. [13/17]

100

Raphael Nishimura @rnishimura.bsky.social · 12/08/2026

6) Descrição da ponderação Finalmente temos uma pesquisa que dá maiores detalhes sobre como funciona sua ponderação, incluindo inclusive métricas sobre os pesos finais. E o código de implementação é acessível e poderá ser completamente replicado quando divulgarem os microdados! [12/17]

110

Raphael Nishimura @rnishimura.bsky.social · 12/08/2026

5) Descrição do recrutamento Por ser uma pesquisa online, entender como é feito o recrutamento é crucial. Ainda há alguns pontos para serem detalhados, mas esses virão depois das eleições para não comprometer estratégias que continuarão a ser implementadas em outras pesquisas. [11/17]

110

Raphael Nishimura @rnishimura.bsky.social · 12/08/2026

Um ponto aqui que acho que ainda precisa ser aprimorado é uma justificativa mais explicíta e completa do cálculo dessas margens de erro com seus modelos e suposições. De certa forma, isso está no registro do TSE, mas seria bom colocar também no relatório de forma mais completa. [10/17]

110

Raphael Nishimura @rnishimura.bsky.social · 12/08/2026

4) Margem de erro para toda e cada estimativa(!!!) Toda estimativa na pesquisa aparece com a sua própria margem de erro, como deve ser feito (e não assumindo uma margem de erro máxima única). Além disso, elas levam em consideração o efeito da calibração de forma adequada! [9/17]

120

Raphael Nishimura @rnishimura.bsky.social · 12/08/2026

3) Explicação metodológica Indo mais além, no relatório, eles colocam diversas explicações metodológicas, justificando certas decisões que eles tomaram para a pesquisa, e suas limitações. É quase que uma mini-aula de métodos de pesquisa (survey)! [8/17]

120

Raphael Nishimura @rnishimura.bsky.social · 12/08/2026

2) Transparência total Para além da transparência metodológica, a Palver está colocando todo o código utilizado para produzir a pesquisa. E ainda se comprometem a divulgar os microdados depois das eleições, explicando inclusive o racional desse timeline. [5/17] github.com/palverdata/p...

110

Raphael Nishimura @rnishimura.bsky.social · 12/08/2026

1) Justificativa da pesquisa ser auto-financiada Eles são totalmente transparente que um dos objetivos de financiar e publicar a pesquisa é para da exposição a empresa. Além disso, ao procurar ser a pesquisa mais transparente do mercado, eles estão aberto ao escrutínio público. [4/17]

110

Raphael Nishimura @rnishimura.bsky.social · 12/08/2026

A Palver publicou ontem sua primeira pesquisa pré-eleitoral demonstrando, em minha opinião, um grande diferencial perante aos institutos de pesquisa brasileiros: um compromisso com a honestidade e, acima de tudo, completa transparência metodológica. Segue um fio sobre isso: 🧵[1/17]

141

Raphael Nishimura @rnishimura.bsky.social · 01/07/2026

Em pleno 2026 e tem gente que ainda leva AtlasIntel a sério... Se você realmente acha que não tem nada de problemático com a metodologia deles, eu tenho um princípe nigeriano aqui para te apresentar... 😅

3101

Raphael Nishimura @rnishimura.bsky.social · 07/06/2026

C'mon folks, what are we even doing here? Pollster self-proclaims themselves as the most accurate pollster in the world, according to analyses conducted by the pollster themselves using metrics defined by the very same pollster. Shameless self-promotion with a pinch of conflict of intererest 😅

051

Raphael Nishimura @rnishimura.bsky.social · 03/06/2026

4) Por fim, o instituto pega essa comparação, cheia de limitações, e transforma neste material promocional. Além do óbvio conflito de interesse, será que eles sequer se deram o trabalho de pedir permissão dos demais institutos em colocar o nome deles nesse tipo de material? +

120

Raphael Nishimura @rnishimura.bsky.social · 03/06/2026

3) Ainda que essas pesquisas fossem comparáveis com os resultados das urnas, em nenhum lugar nessa comparação foi considerado a margem de erro amostral. Se os resultados ficarem dentro da margem de erro, não temos como afirmar estatisticamente que uma é mais acurada do que a outra. +

120

Raphael Nishimura @rnishimura.bsky.social · 03/06/2026

2) Mesmo se considerarmos apenas as pesquisas realizadas antes da semana anterior, os resultados das eleições não são diretamente comparáveis com elas. O eleitorado pode perfeitamente ter alterado sua intenção de voto ou mesmo decidido durante aquela semana. +

120

Raphael Nishimura @rnishimura.bsky.social · 03/06/2026

1) Enquanto o instituto inclui resultados do seu último tracking, dias antes das eleições, as pesquisas de todos os demais institutos são de pelo menos uma semana antes (alguns ainda mais anteriormente). Isso porque a lei colombiana não permite a divulgação de pesquisas na última semana. +

140

Raphael Nishimura @rnishimura.bsky.social · 03/06/2026

É frustante ver gente tomando isso pelo valor de face, sem o menor senso crítico, e depois sai por aí repetindo que esse foi o instituto que mais "acertou" as eleições. Por conta disso, coloco nesse fio alguns dos problemas e limitações dessa comparação: 🧵+

1184

Raphael Nishimura @rnishimura.bsky.social · 23/05/2026

The methodology of publicly published pre-election polls shouldn't be a black box!

3101

Raphael Nishimura @rnishimura.bsky.social · 14/05/2026

Our @um-src.bsky.social super-star, no introductions needed, @bradytwest.bsky.social delivering his presentation on how to improve survey data integration between probability and non-probability samples at #AAPOR #AAPOR26 #AAPOR2026

0153

Raphael Nishimura @rnishimura.bsky.social · 09/05/2026

Back to LA for #AAPOR! Many places to visit, lots of people to see and not enough meals for all the restaurants we need to go! Oh, and of course, brand new things to share and to learn in survey research!

010

Raphael Nishimura @rnishimura.bsky.social · 22/04/2026

Celebrating 80 years of the world-renowned Survey Research Center of the University of Michigan! 🥳🎉 What a huge honor to be part of this history!

050

Raphael Nishimura @rnishimura.bsky.social · 13/04/2026

I don't get how they are getting these estimates for AtlasIntel, given that this was the last poll they published:

110

Raphael Nishimura @rnishimura.bsky.social · 07/04/2026

The contrast of me giving an interview and @joywilke.bsky.social giving an interview, despite both of us being under the same roof!

180

Raphael Nishimura @rnishimura.bsky.social · 05/04/2026

This is an interesting illustration of potential bias due to non-ignorable selection: respondents from a political poll recruited by ads on Instagram reporting that their main source of information about politics is Instagram.

0112

Raphael Nishimura @rnishimura.bsky.social · 28/03/2026

A couple of examples of what could happen to the betting odds on these types of platforms if there were no election polls:

052

Raphael Nishimura @rnishimura.bsky.social · 14/03/2026

Me at looking at the logos of Michigan, Oklahoma and Eastern during the gymnastics meet: "Margin Of Error" 😜

020

Raphael Nishimura @rnishimura.bsky.social · 13/01/2026

E o mais importante, a descrição metodológica da pesquisa:

000

Raphael Nishimura @rnishimura.bsky.social · 13/01/2026

Cenários de 1° turno com Michelle: +

100

Raphael Nishimura @rnishimura.bsky.social · 13/01/2026

Resultados da pesquisa Meio Ideia, primeira pesquisa pré-eleitoral nacional de 2026 registrada no TSE (BR-06731/2026). Pesquisa telefônica com 2 mil entrevistas realizadas entre 08/01 e 12/01. Perguntas espotânea e estimuladas com cenários de 1° turno com Tarcísio e Flávio): +

120

Raphael Nishimura @rnishimura.bsky.social · 20/12/2025

Also, I tried to replicate their weight according to the stated methodology. There is a discrepancy here because in one it's mentioned they weighted by 2016 recall vote, but not in the other. From other polls of the same pollster, I'm pretty sure they did weight by recall vote. +

151

Raphael Nishimura @rnishimura.bsky.social · 20/12/2025

Below is their 2020 national poll methods per Roper Center. Not much different to what a lot of other pollster are doing. However, if you look at the polling microdata also in Roper...+

161

Raphael Nishimura @rnishimura.bsky.social · 04/12/2025

What would once be the dream of any subjectivity Bayesian -- the popularization of using wagering odds as probabilities, is now becoming a real dystopia... 😫

171

Raphael Nishimura @rnishimura.bsky.social · 18/11/2025

yeah yeah, but how cool is going to be seeing this in live action 😛

150

Raphael Nishimura @rnishimura.bsky.social · 15/11/2025

This is some sort of measurement error, just don't ask me which 😅 www.nbcnews.com/news/amp/rcn...

2100

Raphael Nishimura @rnishimura.bsky.social · 07/11/2025

Did you say "representative sample"?

160

Raphael Nishimura @rnishimura.bsky.social · 07/11/2025

A year ago today, AtlasIntel said they would deposit at the Roper Center the raw data from their final polls. It's still not there. Something tells me they will not be depositing that data file, neither the ones from this week's polls...

151

Raphael Nishimura @rnishimura.bsky.social · 06/11/2025

Believe or not, the New Jersey poll wasn't the lowest point in US elections for the (former?) "American most accurate pollster", AtlasIntel Take a look at their final poll in the PNP Primaries in Puerto Rico last year: Poll: Pierluisi +14 Result: González +9 That's a 23-points difference!

03811

Raphael Nishimura @rnishimura.bsky.social · 05/11/2025

l guess NJ is a small demographic subgroup for AtlasIntel standards?

070

Raphael Nishimura @rnishimura.bsky.social · 03/11/2025

They literally just published a NYC poll two days ago, but sure, why not?

091

Raphael Nishimura @rnishimura.bsky.social · 03/11/2025

LMAO That's not how margins of error work. They reflect random sampling error (variance), not systematic errors, which clearly seems to be the case here, when looking across polls. Also, saying with a straight face that what's shady is if the crosstab looks okay. C'mon, you are not even trying! 😅

210017

Raphael Nishimura @rnishimura.bsky.social · 01/11/2025

By the way, in a week this post will be 1 year old and they haven't posted their data to the Roper Center yet... Something tells me this is not going to happen...

1204

Raphael Nishimura @rnishimura.bsky.social · 22/10/2025

P.S. 2: I wouldn't try to argue with me on this [meme by my lovely better half, @joywilke.bsky.social 😅]

2141

Raphael Nishimura @rnishimura.bsky.social · 30/09/2025

Oh, I see some new weighting variables here. Cool! And yes, the methods report is the very first thing I look at a new poll 🤓

130

Raphael Nishimura @rnishimura.bsky.social · 19/09/2025

Interesting result on the effect of presenting a "No opinion" option on this Washington Post-Ipsos poll www.washingtonpost.com/politics/202...

041