John Ioannidis afirma que a ciência é um esforço nobre, mas de baixo rendimento. Para ele, devemos estar muito confortáveis por saber que apenas uma pequena percentagem da pesquisa médica pode nos levar a melhorias nos resultados clínicos e qualidade de vida.
A maioria dos resultados de pesquisas biomédicas publicados é falsa. A afirmação é do greco-norte-americano John Ioannidis e fez do cientista e pesquisador um dos autores mais citados do mundo.
O ambiente paradisíaco da ilha grega de Sikinos e a sua esposa, Despina, serviram de inspiração para o primeiro esboço do estudo. Estávamos no Verão de 2004 e o casal aproveitava aquilo que seria apenas mais uma noite calma na varanda. Ioannidis ia relatando as ideias com entusiasmo à sua companheira. Finalmente, após um período de dez anos amadurecendo na sua mente, conseguia passar o seu raciocínio para o papel.
O resultado foi o artigo “Why Most Published Research Findings Are False” (Por que a maioria dos resultados publicados são falsos”, em tradução livre), de 2005, que é, atualmente, o mais baixado e consultado da revista científica PLoS Medicine. Em 2014, quando o estudo contabilizou um milhão de visitas, Ioannidis confessou que o título do artigo foi uma preciosa ajuda para captar a atenção da comunidade médica e científica, mas levou algum tempo a alcançar a popularidade que tem atualmente. Dez anos depois, ainda faz sentido.
Para ele, o mais surpreendente foi ver o impacto e o reconhecimento que o artigo conseguiu com o passar do tempo. Desde a sua publicação até hoje, vários colegas comunicaram a Ioannidis as suas ideias, opiniões, preocupações e visões relativas às suas áreas de trabalho, mostrando a discussão e reflexão suscitadas pelo artigo na comunidade científica, não só em biomedicina, mas nas ciências sociais, psicologia ou economia. Muitos pesquisadores estão ansiosos por poder trabalhar com ele: ele tem trabalhos publicados com 1.328 coautores diferentes em 538 instituições de 43 países, chegando a receber, anualmente, convites para falar em mil conferências e instituições ao redor do mundo. Hoje em dia não consegue cumprir a generosa média de aceitar cerca de cinco convites por mês, após o excesso de viagens lhe ter causado vertigem induzida.
Ioannidis forma com Steve Goodman a dupla que dirige o Metrics (Meta-Research Innovation Center at Stanford), um centro que ambiciona melhorar a eficiência da investigação científica. Uma das metas do professor e cientista é poder dizer um dia que o título do seu trabalho deixou de ser verdadeiro e que não faz sentido dizer que maioria dos resultados dos artigos publicados é falsa para qualquer área científica.
Nos anos 90, Ioannidis reuniu uma equipe e montou uma base na Universidade de Ioannina. Após detetarem taxas de erro perturbadoramente altas na literatura médica, era necessário alcançar dados sólidos, raciocínio claro e boa análise estatística para conseguir identificar o problema e, se possível, encontrar uma solução. “Um tema recorrente da literatura grega antiga é que você precisa perseguir a verdade, não importa o que a verdade possa ser”, disse.
O seu espírito crítico e analítico toma forma em seus trabalhos, que prosseguem desafiando as bases da pesquisa médica.
Ioannidis provou matematicamente que você é atraído para as ideias que têm uma boa chance de estar erradas, basta que você esteja motivado para provar que estão bem e tenha um pouco de espaço de manobra na forma como você vai montar a prova e provavelmente vai conseguir provar que as teorias erradas estão corretas.
Ioannidis publicou um estudo, em 2005, no Journal of the American Medical Association (Jama) no qual demonstrou que entre um terço e metade das conclusões das investigações biomédicas não eram de confiança.
Outra lição implícita a retirar do trabalho de Ioannidis é de que os resultados obtidos são fruto do trabalho isolado dos cientistas, cada um tentando ultrapassar o outro, cada um procurando atingir conclusões de valor sem compartilhar ou combinar informação. Infelizmente, na maioria das áreas, a busca por reconhecimento, ou até pelo prêmio Nobel, faz com que o paradigma do investigador solitário e isolado seja o paradigma dominante. O caminho da medicina baseada em evidências é o mais correto, o que leva os médicos a usar a melhor ciência disponível para o exercício da profissão, em vez de se limitarem a aplicar o que aprenderam na faculdade.
É necessário filtrar os maus estudos, é preciso fazer uma revisão paritária de qualidade e para isso não basta ter um número mínimo de pessoas que passam um tempo mínimo a analisar informação, que também é mínima. É que mesmo quando existem dados — o que continua sendo raro — falta tempo para proceder à sua análise e verificação. Um procedimento que pode ser útil é a revisão pós-publicação. O simples ato de comentar, levantar questões ou preocupações, pode ser construtivo, mas faltam incentivos para cientistas e outros intervenientes desenvolvam uma análise crítica de qualidade ou mesmo que tentem replicar os estudos realizados. É importante e necessário encontrar formas de recompensar as pessoas por este tipo de verificação. É urgente repensar a forma de “fazer” ciência, como planejar e conceber a investigação científica, promover ciência em equipe, grandes estudos colaborativos em vez dos investigadores individuais com estudos independentes, todo um novo processo que culminaria na revisão paritária.
O Efeito Estados Unidos
Em 2013, uniu esforços com Daniele Fanelli, da Universidade de Edimburgo, e publicaram na Proceedings of the National Academy of Sciences os resultados de um estudo em que defendem a existência do “Efeito Estados Unidos”, ou seja, os cientistas norte-americanos estão sob grande pressão para produzir resultados de forma a obter financiamento de pesquisa ou conseguir uma promoção e subir na carrreira. Ioannidis não sugere que os cientistas estejam forjando resultados intencionalmente, ele sinaliza algumas áreas de investigação sejam mais difíceis de quantificar que outras, como o caso das ciências comportamentais, em comparação com genética, onde não existe espaço para erro, por exemplo, na sequenciação de genes.
“A investigação é algo maravilhoso. É a melhor coisa que já aconteceu aos seres humanos. Precisamos da investigação. Precisamos da ciência. Precisamos de melhores métodos de fazer as coisas. Muitas vezes sabemos o que são os métodos, mas não sabemos como os implementar”, disse Ioannidis no início do ano. Ele defende que, tal como na medicina e para os médicos, também a investigação e os cientistas devem aderir ao pagamento por performance. É uma mudança de paradigma que vai incentivar os melhores métodos e práticas. Atualmente, explica, algo está muito errado. “Não podemos continuar investindo em propostas ou publicações que apresentem argumentos extravagantes. O que deve ser apoiado e incentivado é o progresso com bons métodos, boa ciência e resultados com credibilidade. Hoje em dia existe um grande número de cientistas querendo fazer investigação da investigação e eles estão gerando insights importantes sobre a boa e má aplicação da pesquisa científica. E isso exige uma educação de qualidade. A falha está na educação”, conclui.
Status Quo da Investigação Médica
“Os pesquisadores e os médicos muitas vezes não entendem uns aos outros; eles falam línguas diferentes”, explica Ioannidis. A investigação médica não é especialmente atormentada pelas incorreções. Mas todos esperam mais de cientistas, e especialmente de médicos cientistas, uma vez que acreditamos que estamos apostando nossas vidas em seus resultados, explica Ioannidis, que faz questão de ter vários médicos em sua equipe.
Um grande dilema na comunidade de meta-pesquisa é a questão de saber se os problemas com a investigação médica devem ser transmitidos para o público. Não só por poder promover o desencanto dos pacientes mais céticos, mas muitos pesquisadores e médicos não querem dar razões que venham a afetar o financiamento da investigação. Ioannidis descarta essas preocupações. “Se nós não informarmos o público sobre esses problemas, então nós não somos melhores do que os não-cientistas que falsamente afirmam que podem curar”, diz.
Rigor ou financiamento, esse é o dilema de muitos investigadores, segundo Ioannidis: “Alguns temem que possa haver menos financiamento porque paramos de alegar que podemos provar que temos tratamentos milagrosos. Mas se nós não podemos realmente fornecer esses milagres, por quanto tempo é que vamos ser capazes de enganar o público? O empreendimento científico é provavelmente a realização mais fantástica na história humana, mas isso não significa que nós temos o direito de exagerar o que estamos realizando.
Desfazendo Mitos
Ioannidis sugere uma abordagem simples: ignorar todos os estudos. “Os estudos têm andado para trás e para frente e espalham a dúvida sobre como escolher entre os resultados divergentes. A lógica é válida para todos os estudos médicos”, acrescenta. Ele também aponta o dedo aos estudos de medicamentos, que diz terem a força corruptora adicional de conflito de interesse financeiro. “Muitas vezes, as reivindicações feitas pelos estudos são tão extravagantes que você pode cruzá-los imediatamente sem precisar saber muito sobre os problemas específicos com os estudos. Mesmo quando as evidências mostram que uma determinada pesquisa está errada, se você tem milhares de cientistas que nela investiram suas carreiras, eles vão continuar a publicar artigos sobre ela”, diz, concluindo em seguida que “é como uma epidemia, no sentido de que eles estão infectados com estas ideias erradas, e eles estão espalhando para outros investigadores através de revistas.”
Poderíamos resolver grande parte do problema se o mundo simplesmente parar de ficar esperando que os cientistas estejam certos. Estar errado na ciência é bom, e mesmo necessário, contanto que os cientistas reconheçam que erraram, relatem seu erro abertamente em vez de disfarçá-lo como um sucesso para depois passar para a próxima coisa.
“A ciência é um esforço nobre, mas também é um empreendimento de baixo rendimento”, afirma. Sabemos que apenas uma porcentagem muito pequena da pesquisa médica é susceptível de levar a grandes melhorias nos resultados clínicos e qualidade de vida, diz Ioannidis que, tranquilamente, assegura que devemos estar muito confortáveis com esse fato.
Publicado no Portal DiagnósticoWeb
Publicado na Revista Diagnóstico
Leave A Comment