Um banco de dados experimental disponibilizou cerca de 1,1 mil artigos científicos das áreas de psicologia, medicina e gestão que estão acompanhados por seus respectivos estudos de replicação, ou seja, com os trabalhos de autoria de outros pesquisadores realizados exclusivamente para verificar a validade dos achados originais. O repositório é coordenado pela iniciativa Estrutura para Treinamento em Pesquisa Aberta e Reprodutível (Forrt), criada em 2018 por pesquisadores de 28 países para tornar mais frequentes e acessíveis essas confirmações de resultados, um mecanismo de autocorreção da ciência que busca avaliar a confiabilidade de publicações e desconsiderá-las caso não sejam consistentes.

“Queremos tornar mais fácil o rastreamento de estudos de replicação. Geralmente, é difícil encontrá-los, porque os periódicos raramente os vinculam ao trabalho original”, disse à revista Nature Index um dos coordenadores da iniciativa, o psicólogo Lukas Röseler, diretor do Centro de Ciência Aberta da Universidade de Münster, na Alemanha. Um objetivo adicional é estimular pesquisadores a divulgar tentativas de confirmar resultados obtidos por colegas. “É difícil publicar esse tipo de trabalho, independentemente de suas conclusões”, afirmou o pesquisador, referindo-se ao interesse restrito que tais estudos despertam em revistas científicas de prestígio.

A compilação de artigos e de suas checagens vem sendo executada, por enquanto, de forma manual: voluntários do projeto reúnem os estudos de replicação e os associam aos achados originais em uma planilha on-line. Alguns papers estão vinculados a até outros quatro trabalhos que verificaram a validade de um ou mais de seus resultados. É certo que a iniciativa se beneficia de esforços da comunidade científica feitos nos últimos 15 anos para reavaliar artigos de diferentes campos do conhecimento e aferir se são realmente confiáveis.

O objetivo dessas reanálises era enfrentar o que se convencionou chamar de “crise de reprodutibilidade”, causada por uma sucessão de artigos que caíram em descrédito depois que foram desmentidos em experimentos subsequentes ou tiveram desempenho mais acanhado do que a promessa inicial – incluindo-se aí possíveis terapias contra o câncer. A maior parte dos trabalhos armazenados no repositório, por enquanto, é da área de psicologia, um campo de pesquisa especialmente afetado pela quebra de confiança. Contribuíram para isso escândalos como o protagonizado pelo psicólogo social Diederick Stapel, demitido em 2011 da Universidade de Tilburg, nos Países Baixos, que teve 58 artigos retratados por fraude e manipulação de dados. Em 2016, uma colaboração internacional para investigar estudos de psicologia experimental publicados em três revistas da área só conseguiu confirmar resultados obtidos em 36 dos 100 papers avaliados. No mesmo ano, um conjunto de cerca de 50 mil artigos de psicologia passou pelo escrutínio de um software capaz de detectar inconsistências estatísticas – e foram encontrados problemas na metade deles (ver Pesquisa FAPESP nº 253).

No rol de artigos reunidos pela iniciativa Forrt, há diferentes desfechos. Em 40% deles, a tentativa de confirmar os achados originais foi bem-sucedida. Foi o caso de um estudo publicado em 2015 na revista Personality and Social Psychology Bulletin por Benjamin Cheung e Steven Heine, da Universidade da Columbia Britânica, no Canadá. O trabalho afirmou que o recurso de utilizar fatores genéticos para explicar comportamentos criminosos produz percepções diferentes das geradas quando o delito é atribuído a uma influência do ambiente – isso, contudo, não gera vantagens para um réu diante de um júri, segundo os autores. Isso porque a percepção, favorável para o acusado, de que ele não tinha controle sobre seus atos é compensada pela percepção negativa de que ele pode reincidir com facilidade e segue sendo uma ameaça. A conclusão se baseou em mais de 600 entrevistas com estudantes universitários e indivíduos que responderam a um questionário de forma remunerada em uma plataforma on-line. Em 2016, o psicólogo Jarret Crawford, pesquisador do The College of New Jersey, nos Estados Unidos, repetiu o estudo e reavaliou 16 efeitos observados por Cheung e Heine. Obteve os mesmos achados em 14 deles – e em um 15º, apesar de diferente, o sentido era similar. Só um efeito não foi constatado. “Os autores do artigo original pagaram aos participantes da pesquisa três vezes mais do que eu, mas isso não parece ter influenciado os resultados”, escreveu Crawford.

Já 58% das tentativas de replicação registradas no repositório fracassaram. Isso ocorreu por diferentes motivos: os dados apontaram na direção contrária do achado original, os resultados, mesmo convergentes, foram estatisticamente insignificantes ou as amostras não permitiram uma comparação fidedigna. Um dos casos de insucesso foi um artigo publicado em 2008 no Journal of Personality and Social Psychology por um grupo da Universidade de Leiden, nos Países Baixos. Segundo sua análise, indivíduos que demonstram raiva em meio a uma negociação não necessariamente têm mais chances de levar seus oponentes a ceder do que aqueles que demonstram felicidade ao barganhar, como a literatura acadêmica descreveu. De acordo com o paper, em algumas situações específicas, o uso da raiva pode atrapalhar a barganha e causar prejuízos. O estudo de replicação, realizado em 2014 por dois psicólogos da Universidade de Viena, não detectou essa desvantagem ao refazer o experimento com 27 homens e 53 mulheres da Áustria utilizando a mesma metodologia. Os 2% de trabalhos restantes foram inconclusivos ou então tiveram resultados díspares, em que uma tentativa confirmou os dados originais enquanto outra não.

A iniciativa Forrt tem outras ambições, como gerar conhecimento sobre reprodutibilidade a partir de análises do conteúdo do banco de dados. Röseler dá um exemplo: pesquisadores hoje são encorajados a publicar relatórios pré-registrados de seus projetos antes que eles sejam realizados, informando o desenho e a metodologia adotados, bem como as hipóteses a serem avaliadas. Com isso, busca-se evitar que o autor manipule essas premissas na hora de publicar os resultados para adaptá-los ao que foi encontrado. “Gostaríamos de ver empiricamente se estratégias como essas afetam a probabilidade de um estudo ser replicável”, afirmou. Outro plano do grupo é lançar uma revista científica de acesso aberto e revisada por pares exclusivamente para publicar estudos de replicação de diferentes disciplinas.