sexta-feira, 29 de junho de 2012

Pseudociência: como a falta de transparência na pesquisa acadêmica afeta a credibilidade. A proposta é simples e direta: os cientistas deveriam divulgar de que maneira coletam e analisam os dados que dão sustentação às suas publicações científicas.


Pseudociência: como a falta de transparência na pesquisa acadêmica afeta a credibilidade


A proposta é simples e direta: os cientistas deveriam divulgar de que maneira coletam e analisam os dados que dão sustentação às suas publicações científicas.

Todavia, conforme sublinham Joseph Simmons e Uri Simonsohn, da Wharton, e seu colega da Universidade da Califórnia em Berkeley, Leif Nelson, em recente monografia, enfatiza-se exageradamente a publicação dos resultados das pesquisas em periódicos respeitáveis e pouca atenção se dá às evidências apresentadas em apoio às descobertas feitas. Na verdade, observam os autores, "infelizmente é fácil demais publicar evidências 'estatisticamente significativas' capazes de corroborar qualquer hipótese, não importa qual".

Não se trata de modo algum de nova preocupação. Não só o segmento acadêmico, como também o público de modo geral, sempre viu com ceticismo estudos que, em alguns casos, desafiam o bom senso. O problema nesse caso, diz Simonsohn, é que esse tipo de postura acaba pondo em dúvida até mesmo as pesquisas mais sólidas, capazes de produzir novos insights sobre tudo — comportamento do investidor, marketing do produto e até mesmo psicologia do consumidor.

Uma vez que é muito fácil encontrar evidências para qualquer hipótese, e como as descobertas que desafiam o bom senso são as mais noticiadas e elogiadas, "existe sempre a tentação de se fazer pesquisas cuja contribuição, no fim das contas, pouco beneficia a sociedade", diz Simonsohn. "Em vez de fazer perguntas que culminarão com descobertas importantes em nossas respectivas áreas, muitas vezes as perguntas que fazemos são aquelas que granjearão a atenção dos meios de comunicação. Estamos perdendo verdades importantes sobre o mundo."

Exemplificando, diz Simonsohn, "e se houvesse uma boa maneira de influenciar o comportamento das taxas de juros, ou um modo que permitisse descobrir as realidades básicas a respeito de como formamos nossas opiniões? Do jeito que as coisas estão atualmente, não estamos dando aos cientistas o incentivo correto" para que sigam essa linha de questionamento.

É uma questão de metodologia, conforme explicam Simmons e seus colegas na monografia intitulada "Psicologia do falso positivo: flexibilidade não revelada na coleta e análise de dados permite apresentar qualquer coisa como se fosse importante  [False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant].

O erro mais caro


Dizem os pesquisadores que o "erro mais caro" do processo científico — que consiste na geração de hipóteses, coleta e análise dos dados para ver se são coerentes com as hipóteses — é um falso positivo, um efeito para o qual se obtêm evidências estatisticamente significativas, embora tal efeito não seja real. Os falsos positivos, dizem os autores, são persistentes, eles desperdiçam recursos ao "inspirar investimentos em programas de pesquisas estéreis" e podem, por fim, criar problemas de credibilidade em qualquer campo depois de publicados.

Falsos positivos ocorrem de vez em quando, mas a elevada frequência dos casos observados se deve ao fato de que os pesquisadores têm de tomar inúmeras decisões durante o processo de coleta e análise de dados. Além disso, dizem os autores, "é prática comum entre os pesquisadores buscar uma combinação de alternativas analíticas que produzam resultados de 'importância estatística' e, em seguida, informar apenas o que deu certo. O problema, é claro, é que a possibilidade de pelo menos uma (entre muitas) análises gerar uma descoberta que seja um falso positivo" é elevada. Na verdade, o pesquisador está invariavelmente "mais propenso a encontrar uma falsa evidência acerca da existência de um efeito do que uma evidência verdadeira que negue sua existência".
Some-se a isso o desejo do pesquisador de encontrar um resultado estatisticamente significativo — quanto menos intuitivo, melhor. Ou, conforme dizem os autores, "uma vasta literatura comprova que as pessoas se guiam por interesses pessoais na hora de lidar com informações ambíguas, optando por conclusões defensáveis que se encaixem em seus desejos" e culminem com a publicação do seu trabalho.

Simonsohn dá um exemplo hipotético. Suponha que um pesquisador esteja tentando ajudar um profissional de marketing a descobrir o que torna atraente para o público jovem um anúncio de televisão ou de vídeo. Digamos que uma possibilidade seja veiculá-lo acompanhado de uma música de sucesso. Nesse momento, como já sabemos que se trata de uma boa ideia, o pesquisador simplesmente analisaria se vale a pena pagar pelos direitos autorais da música em questão tomando-se por base a receita gerada pelo anúncio. "Tudo isso é muito monótono", diz Simonsohn. "Imagine agora um artifício por meio do qual são introduzidas no anúncio linhas amarelas subliminares em diagonal com o objetivo de aumentar as vendas. Se estivermos diante de dois estudos assim, o que estima o valor exato do custo a ser pago pelos direitos autorais de uma música não será publicado porque acredita-se que não seja interessante. O outro será publicado, porque se trata de um estudo menos intuitivo." Fazer perguntas menos óbvias faz sentido, porque a informação vale mais nesses casos, observa Simonsohn. "Contudo, no momento em que trabalhar com a informação correta deixa de ser uma exigência para que um estudo seja realizado e publicado, segue-se que fazer perguntas menos óbvias tenderá a produzir descobertas menos confiáveis. O pesquisador dará preferência à solução das linhas amarelas. Ela nos desvia das perguntas que nos levarão a descobertas mais reais e verificáveis."

Embora Simonsohn reconheça que os acadêmicos há tempos se preocupam com as liberdades que alguns pesquisadores tomam quando analisam os dados do seu trabalho, ele assinala três contribuições exclusivas da sua monografia. Em primeiro lugar, ele e seus colegas oferecem uma solução simples e barata para o problema e que não interfere com o trabalho dos cientistas que já fazem tudo certo — quando pede a eles que divulguem o que fizeram, basta acrescentar apenas algumas dúzias de palavras à maior parte dos artigos. Em segundo lugar, os autores mostram o tamanho a que o problema pode chegar: embora até o momento houvesse a suspeita de que as consequências de se tomar tais liberdades fosse algo relativamente secundário, os autores mostram que tal comportamento aumenta em mais de 50% as chances de encontrar evidências de uma hipótese falsa. Em terceiro lugar, os autores fizeram uma experiência real para exemplificar de que modo os dados são manipulados para que produzam o resultado desejado.

Na demonstração feita, os autores "mostraram" que ao ouvir a música dos Beatles "When I'm 64", as pessoas se tornavam mais jovens — isto é, elas não apenas se sentiam mais jovens; era, de fato, como se tivessem rejuvenescido [mais de um ano]. Simonsohn e os demais pesquisadores usaram participantes reais e recorreram a análises estatísticas para chegar a conclusões que, a despeito dos cuidados tomados, são obviamente falsas. A análise foi feita ao mesmo tempo que os dados eram colhidos — e era interrompida tão logo obtinha-se o resultado desejado. Os autores estudaram também o efeito reverso sobre pessoas que ouviam a cantiga infantil "Hot potato", mas não informaram o resultado obtido porque a predição não funcionava nesse caso. Esses dois procedimentos — a monitoração de dados e a exclusão dos insucessos — não só são aceitos pelos periódicos especializados, como são também por eles requeridos com frequência, de modo que os estudos sejam apresentados de forma "simplificada".

Essa flexibilidade pode levar a um número elevado de falsos positivos, avalia Simonsohn. Pode também gerar uma atitude de cinismo nas pessoas que leem a conclusão de um estudo científico que "parece simplesmente impossível", acrescenta. "Mas é importante lembrar que algumas das principais teorias em que acreditamos hoje pareciam, no início, coisa de lunático [...] Seria péssimo se o público em geral começasse a descartar as conclusões da ciência por causa do nível extremamente baixo das pesquisas."

A necessidade de exigências mínimas


Para solucionar o que os autores chamam de "problema da flexibilidade-ambiguidade", eles propõem seis exigências para os pesquisadores e quatro diretrizes para os revisores dos periódicos científicos que, segundo acreditam, podem contribuir para decisões mais bem informadas no que diz respeito à credibilidade das descobertas dos pesquisadores. Uma das recomendações mais importantes para os pesquisadores requer que eles informem de que modo determinaram o tamanho da amostra trabalhada especificando as condições em que o experimento foi realizado e as manipulações que não deram certo, evitando assim que os pesquisadores trabalhem apenas com aqueles resultados coerentes com suas hipóteses.

Com relação às diretrizes a serem seguidas pelos revisores, uma das mais significativas requer que os autores "demonstrem que os resultados obtidos não dependeram de decisões analíticas arbitrárias"; outra diz que se "as justificativas apresentadas para a coleta e análise de dados não forem convincentes, os revisores deverão exigir dos autores que procedam a uma réplica exata do experimento feito". Desse modo, o revisor "poderá dizer a um autor: 'Gostei da sua monografia. Faça novamente o estudo no. 4 do mesmo jeito, mas com o dobro de pessoas. Se funcionar, publicaremos seu trabalho'", diz Simonsohn. "Isso, porém, nunca acontece, mas é o que deveria acontecer."
Os autores assinalam que as exigências de divulgação referidas acima "acarretam custos mínimos aos pesquisadores, leitores e revisores [...] Deveríamos trabalhar com exigências desse tipo como se a credibilidade da nossa profissão dependesse delas. Na verdade, é isso mesmo".

Simonsohn faz questão de salientar que os problemas descritos em seu trabalho não são frutos de "más intenções". Eles decorrem das ambiguidades que se imiscuem na coleta e análise de dados, bem como do desejo dos "pesquisadores de obter resultados estatisticamente importantes".
Embora muitos dos colegas de Simonsohn apoiem a adoção das recomendações mencionadas acima pelos editores de periódicos científicos, há também quem critique a monografia dos autores. Os críticos podem ser alocados em três categorias. "Ninguém é contra nossa pesquisa", diz Simonsohn. "A maioria das pessoas a apoia discretamente. Há, porém, quem diga: 'Vocês levantaram alguns pontos interessantes. Precisamos de um tempo para pensar neles'. Essa é a resposta típica de quem pensa na necessidade de algum tipo de reforma." Outra reação é de quem "concorda conosco, mas acredita que não é papel dos periódicos estabelecer padrões de pesquisa. 'Somos cientistas', dizem, 'as pessoas devem divulgar o que desejarem". A terceira crítica diz que "estamos atacando psicólogos sem evidências que respaldem nossas queixas — essas coisas diminuem o impacto da nossa profissão e a capacidade que ela tem de influenciar as políticas e conseguir financiamentos".

Simonsohn discorda. "Somos cientistas simplesmente porque as pessoas nos consideram mais bem preparados para descobrir o que é verdade. Se nossa metodologia nos privar dessa vantagem, basta perguntar aos pesquisadores sua opinião sobre o tema trabalhado, em vez de requerer deles as análises estatísticas que utilizaram. As evidências obtidas por meio de uma flexibilidade ilimitada de análise e coleta de dados talvez sejam tão confiáveis quanto um mero palpite — possivelmente até menos, se publicarmos apenas os resultados de nossos estudos que colidem com o bom senso. Para mim, não há questão que mereça mais atenção do que essa."

Publicado em: 27/06/2012

Fonte: 
http://www.wharton.universia.net/index.cfm?fa=viewArticle&id=2225&language=portuguese



Divulgação:

http://cultura-calvinista.blogspot.com

http://metodologiadoestudo.blogspot.com

http://direitoreformacional.blogspot.com

http://biologiareformacional.blogspot.com  


VÍDEOS INTELIGENTES:

http://academiaemdebate.blogspot.com


Nenhum comentário:

Postar um comentário