Atualizado em
Se um estudo famoso não “repete”, ele estava errado? Em 2015, uma colaboração global refez 100 pesquisas de psicologia – e os resultados encolheram. Antes de gritar “a ciência falhou”, vale entender o que realmente foi testado.
O que aconteceu – em termos limpos
O Reproducibility Project, coordenado pela Open Science Collaboration, tentou responder uma pergunta simples: quando você refaz um estudo publicado, seguindo o protocolo original com rigor, o resultado se mantém?
Para isso, replicou 100 estudos experimentais e correlacionais publicados em 2008 em periódicos de alto impacto.
As réplicas foram planejadas para ter poder estatístico de ~80% – ou seja, alta chance de detectar o efeito, se ele existisse.
O que encontraram:
- Cerca de 36% das réplicas voltaram a ser estatisticamente significativas (contra 97% dos originais).
- Quando o efeito se manteve, foi em média metade do tamanho relatado originalmente.
- A queda foi mais acentuada em psicologia social do que em psicologia cognitiva.
Os próprios autores apresentaram os números como estimativa inicial – não como sentença sobre “a psicologia inteira”. Mas a manchete já tinha saído, e “a ciência está em crise” reverberou.
Por que os efeitos encolhem?
A pergunta importante é por que resultados publicados costumam ser maiores do que os replicados. As razões são conhecidas – e nenhuma delas é mistério:
- Viés de publicação – resultados positivos e “bonitos” são publicados com mais facilidade. Resultados nulos ou modestos somem. O que chega ao leitor é uma amostra enviesada do que foi testado.
- Amostras pequenas – com poucas pessoas, o acaso infla efeitos. O estudo original pode ter “acertado” um resultado grande por sorte – e a réplica, com amostra maior, encontra o tamanho real.
- Flexibilidade analítica – quando há muitas formas de analisar os dados, é tentador (às vezes sem perceber) escolher a que produz o resultado mais interessante. Sem fraude: é viés de confirmação com planilha aberta.
- Pressão por novidade – o sistema acadêmico premia descobertas acima de confirmações. Ninguém ganha manchete por dizer “refiz e deu igual”. Isso cria um incentivo perverso: publicar depressa, replicar nunca.
Nenhum desses problemas é exclusivo da psicologia. Biologia, economia e medicina enfrentam o mesmo padrão – a psicologia apenas foi a primeira a olhar para dentro de forma sistemática e pública.
No Brasil, uma rede de laboratórios coordenada pela UFRJ começou a refazer experimentos biomédicos publicados por grupos do país, como contou a revista Pesquisa FAPESP.
E olhar para dentro dói, mas é o único jeito de saber onde o chão está firme.
O que isso ensina sobre ciência
O megaprojeto de 2015 mostrou que a ciência funciona – quando alguém se dá ao trabalho de refazer.
O problema estava na cultura que tratou resultado único como prova definitiva e transformou periódicos em vitrines de novidades.
As soluções que surgiram desde então confirmam o diagnóstico:
- Pré-registro de hipóteses e protocolos – para que a análise não seja ajustada ao resultado.
- Dados e código abertos – para que qualquer pessoa possa verificar.
- Registered reports – formato em que o periódico aceita o estudo antes do resultado, com base na pergunta e no método.
- Metanálises e réplicas como publicações valorizadas – para que repetir não seja perda de tempo.
Essas práticas são o método científico levado a sério.
Quando o sistema permite que a ciência se corrija, ela se corrige. Quando o sistema premia velocidade sobre rigor, os erros se escondem – porque o incentivo aponta para o lugar errado.
Ler ciência com mais critério
O legado mais útil do megaprojeto é a calibragem. Três regras que economizam enganos:
- Não se apoie em um único estudo para decisões importantes – priorize revisões e corpos de evidência.
- Espere efeitos menores do que a manchete promete – e prefira intervalos de confiança a “deu significativo”.
- Valorize estudos com pré-registro e dados abertos – transparência é o mínimo.
Reprodutibilidade é o nome que a ciência dá para o ato de verificar se o que disse saber, sabe mesmo.
Quando essa verificação incomoda, o problema está no que estava sendo protegido da pergunta.
Se fizer sentido para você, comente e compartilhe – sobretudo com quem trata resultado único como palavra final. A ciência que se corrige é mais confiável do que a que finge não precisar.