Fator de Impacto e Índice H para avaliar publicações e autores

Publicação: 9 de maio de 2020

Fator de Impacto e Índice H isoladamente podem não ser suficientes para cumprir a tarefa de avaliar periódicos, artigos e autores

Existem índices adequados para classificar os periódicos científicos, mas esses índices não foram criados e não devem ser utilizados para avaliar autores de artigos científicos ou pesquisadores

A avaliação da produção científica em diferentes áreas, instituições e países tornou-se um instrumento necessário para mapear a ciência e para contribuir nas tomadas de decisões científicas. Nesse cenário, os indicadores bibliométricos ocupam expressivo papel no processo avaliativo da produção científica. Como forma de avaliação dos periódicos científicos e dos pesquisadores destacam-se o Fator de Impacto (FI) e o Índice H. Entretanto, um artigo publicado como o Editorial do primeiro fascículo deste ano da revista Clinical Case Report intitulado “Importance of Journals Impact Factor on Authors Valuation faz um importante alerta.

De acordo com o autor, Dr. Andy Petroianu, Professor do Departamento da Faculdade de Medicina da Universidade Federal de Minas Gerais (UFMG), o artigo atenta para o fato de que o Impact Factor e a maior parte dos demais índices foram criados para classificar revistas científicas. “Não é correto utilizá-los para avaliar os autores dos artigos publicados e muito menos servem para qualificar os pesquisadores ou seus trabalhos. Não se pode chegar a uma conclusão correta utilizando um método de avaliação inadequado”, ressalta.

O professor e Dr. Carlos Henrique Nery Costa, coordenador do Laboratório de Leishmaniose da Universidade Federal do Piauí (UFPI), responsável pelas mídias da Sociedade Brasileira de Medicina Tropical (SBMT), lembra que nos últimos 30 anos de vida, após os 54 anos de idade, Albert Einstein publicou menos de dois trabalhos por ano. “Não receberia bolsa de pesquisa no Brasil e nem passaria em um concurso para as universidades brasileiras mais concorridas. E por que isso?”, indaga. Ao seu ver, basicamente devido ao sistema de avaliação de pesquisa baseado em métricas bibliográficas. Ainda segundo o professor, as métricas de avaliação de pesquisa atendem à ideologia de quem as constrói e aos interesses daqueles que são capazes de influenciar os que as elaboram.

Com a crescente demanda para financiamento de pesquisas científicas tornou-se necessária a criação de mecanismos de avaliação da qualidade acadêmico-científica como forma de prestigiar instituições e indivíduos capazes de produzirem pesquisas de ponta, garantindo assim um retorno frente aos recursos investidos. De acordo com o Dr. Petroianu, atualmente, há uma exigência dos setores de fomento, que também avaliam as instituições de pesquisa e de ensino superior, para as publicações científicas serem publicadas em periódicos com elevado FI. “Esses setores consideram essencialmente os trabalhos publicados em revistas com impacto superior a 1, sendo que no Brasil dos quase 400 periódicos existentes na área da saúde, menos de cinco atingiram o FI 1”, explica. Ainda de acordo com o pesquisador, lamentavelmente, esses setores não se interessam pelo real valor dos trabalhos científicos e as mudanças de conceito que geraram, mesmo tendo sido publicados em revistas com impacto pequeno. Outro aspecto deletério é com as revistas nacionais, que deixam de receber artigos bons e, com isso, não melhoram seu FI.

Para o Dr. Costa há algo de errado. “Atribuir valores à ciência e aos cientistas baseando-se nas métricas para avaliação de periódicos científicos elaboradas por editoras cujos interesses são necessariamente o lucro, desnuda a relação perversa, degradante e predadora das editoras científicas com o Estado e com os cientistas”, assinala. Randy Schekman, Prêmio Nobel em Fisiologia e Medicina em 2013, decidiu bloquear submissões de artigos científicos de seu laboratório a grandes jornais científicos como a Nature, Science e Cell para quebrar a tirania das grandes editoras. “De fato, há algo de podre no reino das avaliações científicas”, aponta o professor.

Necessidade de repensar o FI como critério predominante na avaliação de publicações científicas

O FI é utilizado na avaliação do impacto de revistas e periódicos, gestão e política de pesquisa, recuperação de informações e na alocação de recursos, além de assumir um papel importante na avaliação da produção científica de grupos de pesquisa, universidades, institutos e países. Hoje em dia, todo autor considera o valor do FI para escolher o periódico que possa dar maior visibilidade ao seu trabalho. Questionado sobre a influência do FI no meio editorial, acadêmico e científico, o Dr. Petroianu esclarece que essa situação era válida até cerca de 20 anos atrás, mas com a introdução das bases de dados eletrônicas no final do Século XX, a divulgação científica entrou em uma nova era de avanço científico. Essas bases de dados aceitam indiscriminadamente e em igualdade de condições revistas com índices de impacto muito variáveis, desde os mais elevados até os mais baixos. “Nessa nova realidade, a busca pelo conhecimento deixou de ter por base o valor da revista e passou a fundamentar-se no conteúdo dos artigos científicos. A citação passou a valorizar somente a qualidade do trabalho científico e de seu produto, sem levar em conta o nome dos autores ou a revista em que o artigo era publicado. Portanto, o FI da revista deixou de ser importante”, destaca.

À medida que o FI foi se estabelecendo como critério de avaliação de publicações nas mais diversas instâncias, foi crescendo igualmente o número de pesquisas que passaram a investigá-lo sob variadas formas e, invariavelmente, a criticá-lo como indicador de influência das publicações. Há críticas de que esse índice não deve ser utilizado como ferramenta de avaliação de pesquisa, entretanto, continua sendo o instrumento mais utilizado para avaliar os periódicos científicos e a produtividade intelectual. “O FI é um bom método para avaliar periódicos, porém não é o único. Há o Citation Index (CI), criado no Institute for Scientific Information (ISI), Medline database, PubMed, CiteSeer, Web of Science, Scopus, Google Scholar, Microsoft Academic Search, Cite Score, etc. Contudo, nenhum desses índices avalia a qualidade dos artigos publicados, muito menos o valor dos trabalhos neles inseridos ou a qualidade dos autores”, assinala o Dr. Petroianu. Aliás, dentre as muitas opiniões conflitantes sobre o FI existe consenso de que não há um índice perfeito para medir a qualidade de um artigo ou mesmo da produção científica dos pesquisadores e docentes do ensino superior.

Segundo o Dr. Petroianu, o FI de forma alguma para mede a qualidade de um artigo e o erro mais grave é qualificar a produção científica por ele. Para compreender melhor essa impropriedade vejamos a seguinte associação: a fama dos museus (entenda-se como revistas científicas) é dada pela elevada quantidade de boas obras (artigos científicos) que contêm, algumas delas conhecidas por seus autores e outras anônimas. Nesses museus, grande parte das obras possui pouco valor artístico e estão incluídas neles por diversos motivos, mesmo sem ter relação com a arte. Evidentemente, ter uma obra dentro de um museu famoso é uma honra para todos os artistas, mesmo que jamais tenha sido vista ou mencionada. Na realidade a grande obra valoriza o museu e não o contrário. Como exemplo pode ser citado o Museo Reina Sofia, de Madrid, que é visitado por um imenso número de interessados apenas em conhecer a extraordinária pintura Guernica de Pablo Picasso. Outras obras podem ser vistas, porém sua quase totalidade nunca é mencionada.

A finalidade original do FI, que era de apoiar a avaliação de periódicos e orientar os pesquisadores na escolha dos veículos para publicarem seus trabalhos, foi distorcida. O indicador passou a ser usado para tomada de decisão e isso começou a causar efeitos, como manipulações para inflar o índice de revistas científicas por meio de autocitações ou de citações cruzadas, quase obrigatoriamente para um artigo ser aceito e publicado. Existem índices adequados para classificar os periódicos científicos, mas esses índices não foram criados e não devem ser utilizados para avaliar autores de artigos científicos ou pesquisadores, a fim de evitar graves erros e injustiças. A tarefa de julgar, seja a reputação científica de um pesquisador, seja a elegibilidade de uma instituição como destinatário de recursos financeiros, deve primar pela imparcialidade e precisão de avaliação evitando assim erros irreparáveis.

O responsável pelas mídias da SBMT admite que o FI é cruel com algumas áreas do conhecimento que não estão na frente das descobertas de elevada repercussão. Entre outras, as áreas de biologia fundamental, de biotecnologia e de doenças com elevado valor comercial agregado, como obesidade, câncer, hipertensão arterial e diabetes mellitus, por exemplo, são de elevado impacto bibliométrico. “Enquanto as descobertas de ciência fundamental estão ligadas ao impacto que geram em todo o conhecimento, o valor econômico está ligado à prevalência das doenças, ao poder econômico das populações acometidas e ao potencial de gerar produtos comerciais. As doenças raras, as doenças de populações negligenciadas e as doenças tropicais não estão nesse escopo”, lamenta o Dr. Costa ao argumentar que têm pouco impacto econômico e pouco impacto político. Ainda segundo ele, o fator de impacto dessas doenças, com exceção de uma das mais importantes doenças tropicais – a AIDS –, é baixíssimo. Vale lembrar que apenas dois contemplados com o Prêmio Nobel tiveram trabalhos relacionados a doenças tropicais, Sir Ronald Ross, em 1902, pela descoberta do Plasmodium nos mosquitos e Dr. Luc Montaigner junto com a Dra. Françoise Barré-Sinoussi, pela descoberta do HIV, em 2008. No último caso, ligado à dispersão do HIV pelo mundo e, principalmente, para países desenvolvidos.

O Dr. Costa é categórico ao dizer que pesquisadores e pesquisas em doenças tropicais são invariavelmente subvalorizados pelas métricas bibliográficas, não pela menor contribuição ou menor importância de suas investigações e publicações, mas pelo pouco impacto econômico que representam. De acordo com ele, é preciso mudar o estado da avaliação da ciência em um país tropical como o Brasil, a fim de que as investigações de seus cientistas não sejam desvalorizadas por critérios destinados aos enormes retornos econômicos das grandes editoras científicas dos países não tropicais.

Mesmo com o prestígio e benefícios do FI, não se pode negar que ele também apresenta problemas

Entre as lacunas que o FI apresenta e são comentadas até mesmo por seu criador Eugene Garfield entre outros autores, é que os periódicos com maiores FI costumam ser aqueles que publicam artigos de revisão, pois são artigos que recebem mais citações. Logo, a revista que valoriza os trabalhos inéditos e que precisam de tempo para mais análises pode ser prejudicada em uma métrica como essa, pois terá menos impacto dentro dos dois anos avaliados após a publicação desses artigos. “Ressalta-se o índice H, que avalia o impacto das publicações por meio de suas citações em outros artigos. Esse índice reúne com igual valor, apenas pelo número de citações obtidas, artigos excelentes e artigos péssimos que foram citados apenas para mencionar-se que eles devem ser descartados da literatura médica e esquecidos”, acrescenta o Dr. Petroianu. Outro problema é que países em desenvolvimento, como o Brasil, onde a institucionalização das universidades, pesquisas e revistas científicas tardaram a acontecer, os periódicos têm menos visibilidade internacional e baixos FI. Na opinião do Dr. Petroianu, os setores de fomento e avaliação, quase todos pertencentes aos governos federal e estaduais, são os principais culpados pela destruição dos veículos de informação científica. Ainda segundo o pesquisador, o FI foi criado para avaliar periódicos científicos e sua importância deve ser restrita a essa função.

Avaliação multidimensional nos processos avaliativos

Conhecer alguns dos índices bibliométricos tornou-se de suma importância para os pesquisadores que dependem de insumos para suas pesquisas e muitas vezes são avaliados com esses instrumentos. Mas será que se faz necessário buscar outras métricas para complementar a visão geral sobre o periódico e sua missão proposta ao invés de mudar a política editorial apenas para tentar atingir altos valores no FI? O índice H (h-index) foi criado por Jorge Eduardo Hirsch especificamente para avaliar pesquisadores por meio das citações de seus produtos científicos, artigos e patentes. “Contudo, mesmo esse índice não é adequado, pois coloca em igualdade de condições todos os autores dos artigos, independentemente de seu número e localização na autoria”, reconhece o Dr. Petroianu ao lembrar que o avaliador não é a chave para o sucesso de um periódico, uma vez que ele apenas utiliza os instrumentos já existentes e mundialmente aceitos para avaliar os periódicos. “O sucesso de qualquer periódico depende da qualidade e da dedicação de seu Editor Chefe”.

E seria possível mudar este estado das coisas? Na opinião do Costa existem dois elementos que alimentam esse processo, além dos interesses econômicos das altamente lucrativas editoras. “Imagino que a alternativa à avaliação bibliométrica seria a avaliação direta da contribuição científica. Isso poderia ser feito por meio de um sumário do impacto da contribuição à sua área de conhecimento elaborado pelo próprio cientista ou intelectual, como é feito em grandes instituições de pesquisa. Esse sumário seria verificado e avaliado em reuniões de avaliadores, francas, abertas e registradas”, detalha. Contudo, os problemas com este tipo de avaliação são o tempo que exige e a subjetividade da avaliação. Enquanto o primeiro é mais simples de ser resolvido, o segundo é muito mais complexo, pois exige a concordância do Judiciário, já muito desconfiado com os concursos universitários, e exige também irretocável idoneidade das bancas de avaliação. “O anonimato é difícil de ser obtido e os vícios de premiar os grupos de amigos e as eminências medalhadas exigem um enorme trabalho de educação e de avaliação de declaração de ausência de conflitos de interesse. É difícil na cultura oligárquica, corporativista e elitista brasileira, mas não é impossível”, conclui o professor.

Reverter essa situação em que um indicador publicitário passa para o centro de valorização da ciência e dos cientistas não é uma tarefa fácil. Para isso, o Dr. Petroianu, assegura que se faz necessário solicitar aos líderes dos Setores de Fomento e de Avaliação de todo o território nacional que raciocinem sobre o mal que estão fazendo à ciência brasileira ao exigirem que seus avaliadores utilizem o FI como principal ferramenta para qualificar os trabalhos científicos, os pesquisadores e os Institutos de Ensino Superior e Pesquisa. “Cabe muito bem conhecer o real valor científico, cultural e humanístico de vários desses líderes com grande poder político e financeiro e saber como chegaram aos postos em que estão, bem como o que os sustenta”, conclui o pesquisador.