Reprodutibilidade em Psicologia: o que o megaprojeto de 2015 mostrou

Se um estudo famoso não “repete”, ele estava errado? Em 2015, uma colaboração global refez 100 pesquisas de psicologia — e os resultados encolheram. Antes de gritar “a ciência falhou”, vale entender o que realmente foi testado.

O que aconteceu — em termos limpos

O Reproducibility Project, coordenado pela Open Science Collaboration, tentou responder uma pergunta simples: quando você refaz um estudo publicado, seguindo o protocolo original com rigor, o resultado se mantém?

Para isso, replicou 100 estudos experimentais e correlacionais publicados em 2008 em periódicos de alto impacto.

As réplicas foram planejadas para ter poder estatístico de ~80% — ou seja, alta chance de detectar o efeito, se ele existisse.

O que encontraram:

• Cerca de 36% das réplicas voltaram a ser estatisticamente significativas (contra 97% dos originais).
• Quando o efeito se manteve, foi em média metade do tamanho relatado originalmente.
• A queda foi mais acentuada em psicologia social do que em psicologia cognitiva.

Os próprios autores apresentaram os números como estimativa inicial — não como sentença sobre “a psicologia inteira”. Mas a manchete já tinha saído, e “a ciência está em crise” reverberou.

Por que os efeitos encolhem?

A pergunta importante não é “a psicologia errou?”, mas por que resultados publicados costumam ser maiores do que os replicados. As razões são conhecidas — e nenhuma delas é mistério:

1. Viés de publicação — resultados positivos e “bonitos” são publicados com mais facilidade. Resultados nulos ou modestos somem. O que chega ao leitor é uma amostra enviesada do que foi testado.
2. Amostras pequenas — com poucas pessoas, o acaso infla efeitos. O estudo original pode ter “acertado” um resultado grande por sorte — e a réplica, com amostra maior, encontra o tamanho real.
3. Flexibilidade analítica — quando há muitas formas de analisar os dados, é tentador (às vezes sem perceber) escolher a que produz o resultado mais interessante. Não é fraude; é viés de confirmação com planilha aberta.
4. Pressão por novidade — o sistema acadêmico premia descobertas, não confirmações. Ninguém ganha manchete por dizer “refiz e deu igual”. Isso cria um incentivo perverso: publicar depressa, replicar nunca.

Nenhum desses problemas é exclusivo da psicologia. Biologia, economia e medicina enfrentam o mesmo padrão — a psicologia apenas foi a primeira a olhar para dentro de forma sistemática e pública.

E olhar para dentro dói, mas é o único jeito de saber onde o chão está firme.

O que isso ensina sobre ciência

O megaprojeto de 2015 não mostrou que “a ciência falhou”. Mostrou que a ciência funciona — quando alguém se dá ao trabalho de refazer.

O problema nunca foi o método; foi a cultura que tratou resultado único como prova definitiva e transformou periódicos em vitrines de novidades.

As soluções que surgiram desde então confirmam o diagnóstico:

• Pré-registro de hipóteses e protocolos — para que a análise não seja ajustada ao resultado.
• Dados e código abertos — para que qualquer pessoa possa verificar.
• Registered reports — formato em que o periódico aceita o estudo antes do resultado, com base na pergunta e no método.
• Metanálises e réplicas como publicações valorizadas — para que repetir não seja perda de tempo.

Essas práticas não são remendos; são o método científico levado a sério.

Quando o sistema permite que a ciência se corrija, ela se corrige. Quando o sistema premia velocidade sobre rigor, os erros se escondem — não porque cientistas são desonestos, mas porque o incentivo aponta para o lugar errado.

Ler ciência com mais critério

O legado mais útil do megaprojeto não é desconfiança — é calibragem. Três regras que economizam enganos:

1. Não se apoie em um único estudo para decisões importantes — priorize revisões e corpos de evidência.
2. Espere efeitos menores do que a manchete promete — e prefira intervalos de confiança a “deu significativo”.
3. Valorize estudos com pré-registro e dados abertos — transparência não é formalidade; é o mínimo.

Reprodutibilidade não é crise — é o nome que a ciência dá para o ato de verificar se o que disse saber, sabe mesmo.

Quando essa verificação incomoda, o problema nunca é a verificação. É o que estava sendo protegido da pergunta.

Se você já citou uma pesquisa sem saber se alguém a retestou, este texto é um bom motivo para checar. Compartilhe com quem trata resultado único como palavra final — a ciência que se corrige é mais confiável do que a que finge não precisar.