Se um estudo famoso não “repete”, ele estava errado? Em 2015, uma colaboração global refez 100 pesquisas de psicologia e provocou manchetes, threads e dúvidas. Entender o que foi encontrado – e o que não foi – ajuda a ler ciência com mais critério, sem hype nem ceticismo cego.
O estudo, em 1 minuto
O Reproducibility Project (Open Science Collaboration) tentou estimar o quanto achados publicados se mantêm quando replicados com poder estatístico adequado. Para isso, refez 100 estudos publicados em periódicos de alto impacto.
- o que foi feito: replicações planejadas de 100 estudos experimentais/correlacionais de 2008.
- amostra e desenho: réplicas feitas por vários laboratórios independentes, seguindo de perto os protocolos originais; os estudos foram planejados para ter, sempre que viável, poder estatístico de ~80% – ou seja, ~8 em 10 de chance de detectar um efeito real do tamanho esperado.
- achado principal: ~36% das réplicas voltaram a ser “significativas”; quando replicou, o efeito foi menor (em média, cerca de metade do tamanho original).
- impacto imediato: acendeu o debate sobre métodos, transparência e incentivos editoriais.
No próprio artigo, esses números são apresentados como estimativa inicial – não um veredito sobre “a psicologia inteira”.
E as réplicas?
Críticas apontaram questões de fidelidade de protocolos, amostras e análise. Ainda assim, o quadro geral permaneceu: efeitos costumam replicar menores, e práticas como pré-registro, dados/materiais/código abertos e melhor delineamento reduzem surpresas. Não é “tudo falhou” – é um convite à evidência cumulativa com mais transparência.
O que sobra para o mundo real
Parte 1 – ler com mais critério
A crise de reprodutibilidade existe e pede ceticismo aplicado. Confiabilidade nasce de corpos de evidência, não de um único resultado.
- não se apoie em um único paper para políticas, produtos ou aulas; priorize revisões e metanálises.
- espere efeitos menores em réplicas e comunique incerteza (intervalos de confiança, não só p-value)
- prefira estudos com pré-registro e dados/materiais/código abertos; quando houver, valorize registered reports.
- “não significativo” ≠ “não existe” – pode ser efeito pequeno, contexto distinto ou estudo subpoderado.
Confiança é graduada – cresce com métodos melhores e resultados consistentes ao longo do tempo.
Parte 2 – quando o problema é o próprio processo
Às vezes, o que parece ciência é procedimento com verniz científico. Se detectar sinais abaixo, trate o achado como provisório.
- p-hacking / “jardim dos caminhos”: muitas análises até “achar” algo – cobre correções e distinção entre exploração e confirmação.
- HARKing (hipóteses depois do resultado): exija hipóteses prévias claras e protocolos públicos.
- viés de publicação: resultados nulos somem – procure preprints, réplicas e estudos de registro.
- baixo poder / amostras convenientes: prefira multicêntrico, cálculo de poder explícito e relatório transparente.
Sem protocolo claro + poder adequado + transparência, a atitude científica correta é cautela, não crença.
Para saber mais
Nosso trabalho não substitui a leitura do original. Por isso, recomendamos que você acesse o material original:
Estimating the reproducibility of psychological science – Science (2015)
E agora, qual é a sua opinião? A chamada ‘crise de reprodutibilidade’ é um alerta necessário para elevar o rigor científico – ou um exagero que pode distorcer a própria ciência?
Deixe sua visão nos comentários e compartilhe este texto para levar o debate sobre evidências científicas a mais pessoas.