A revista científica Nature Human Behaviour anunciou a retratação de um artigo publicado em novembro de 2023 que continha falhas e omissões, como distorção de hipóteses e apresentação incompleta de dados e análises. Embora os problemas não afetassem os resultados obtidos, o paper ficou insustentável porque propunha recomendações para aumentar o rigor científico de estudos em ciências comportamentais que seus próprios autores não seguiram.

Assinado por psicólogos de universidades dos Estados Unidos, Canadá, Alemanha e Suécia, o estudo analisou procedimentos metodológicos com potencial para ampliar a confiabilidade de resultados experimentais e permitir que eles sejam facilmente reproduzidos e confirmados por outros grupos. Entre as práticas testadas e recomendadas, estavam a transparência da metodologia (para que a verificação de achados pudesse ser feita em bases precisas), a aplicação de testes confirmatórios (voltados para avaliar a significância estatística dos resultados), o uso de amostras amplas de dados (o que previne conclusões enviesadas com base em dados restritos) e a adoção dos chamados pré-registros (a publicação de uma espécie de protocolo declarando hipóteses, métodos e análises a serem seguidos em um experimento antes de sua realização, a fim de evitar que essas informações sejam manipuladas posteriormente para se adaptar aos resultados alcançados).

Quatro grupos de pesquisa participaram do estudo. Cada um deles adotou os procedimentos mais rigorosos em quatro experimentos. Posteriormente, os resultados alcançados foram verificados pelo próprio grupo que executou o experimento e pelos outros três. As tentativas de replicação alcançaram os efeitos esperados em 86% dos casos, bem acima da taxa média de 50% aferida em estudos anteriores.

Logo após a publicação do paper, dois pesquisadores, Joseph Bak-Coleman, do Instituto Max Planck de Comportamento Animal, na Alemanha, e a especialista em marketing Berna Devezer, da Universidade de Idaho, nos Estados Unidos, publicaram uma carta no repositório de preprints PsyArXiv alegando que faltava rigor ao artigo. O problema principal é que os autores omitiram que a sua hipótese inicial era bem diferente da que foi relatada: o objetivo da colaboração, iniciada em 2012, não era testar a efetividade de procedimentos rigorosos, mas avaliar a existência de um fenômeno chamado “efeito declínio”, que seria uma redução do tamanho de resultados obtidos quando eles são aferidos em investigações subsequentes. A hipótese não se confirmou e a iniciativa ganhou um novo foco, passando a se dedicar à análise de boas práticas de pesquisa. O estudo publicado acabou cometendo um desvio que se propunha a coibir: sem transparência, desconsiderou os resultados nulos obtidos na proposta original e ainda adaptou os resultados alcançados a uma nova hipótese.

Os autores concordaram com a retratação. “Estamos envergonhados por nossos erros elementares na elaboração de relatórios de pré-registro e concordamos que eles precisam ser resolvidos”, escreveram, em um comunicado. Negaram, contudo, que tivessem deliberadamente adulterado a hipótese para moldá-la aos resultados. Eles aceitaram um convite feito pela Nature Human Behaviour para submeter um novo manuscrito sobre sua pesquisa para revisão por pares, com informações corretas e sem omissões.