No dia 29 de agosto de 2013 a revista Nature publicou um artigo revelando um esquema de citação cruzada, que levou à suspensão do fator de impacto (FI) de quatro revistas brasileiras, por dois anos. Porém, casos de citação cruzada ou autocitações não são raros, tampouco exclusividade do Brasil.

Acompanhando as avaliações anuais da Thomson Reuters, percebe-se que o número de periódicos banidos ou suspensos aumenta a cada ano. Só na última avaliação, 66 periódicos tiveram seu FI suspenso por exercerem alguma atividade ilegal ou “imoral”. Por todo o mundo pesquisadores relatam a formação de certos “cartéis” de publicação científica e uma pressão para citar artigos supérfluos.

A CULPA É DA CAPES
No caso dos quatro periódicos brasileiros, um dos então editores reclamou da pressão exercida pela CAPES junto aos programas de pós-graduação e da fixação pelo uso do FI nas avaliações da qualidade da pesquisa no Brasil. É claro que burlar as normas estabelecidas não é a melhor forma de resolver o problema e é uma prática inaceitável. Porém, talvez esse seja um momento interessante para mais que apenas criticar o posicionamento dos editores brasileiros. Talvez seja uma boa hora para analisar e repensar as formas como a ciência tem sido mensurada no país, com tanta ênfase ao FI.

Primeiramente, vamos a um pouco do história. O FI foi concebido por Eugene Garfield, em 1955, com o intuito de auxiliar a seleção de periódicos a serem indexados no Science Citation Index (SCI). Se mostrou uma medida eficiente para essa finalidade na época, porém, com o tempo, passou a ser a base de mensuração da pesquisa em outros âmbitos. Atualmente, o FI é a base para promoções na carreira, concessão de recursos, avaliação de programas de pós-graduação e ranking de universidades ou instituições de pesquisa. Mas será que essa adaptação do FI para mensurar outras atividades científicas está correta?

LIMITAÇÕES DA MODELO
Embora seja uma ferramenta muito útil para classificar periódicos, é claro que o FI tem restrições. Como já foi apresentado em outro texto aqui no posgraduando.com, nem tudo são flores e utilizar essa medida de forma quase isolada para outras finalidades pode ser uma escolha arriscada. A San Francisco Declaration on Research Assessment (DORA) recomendou, em dezembro de 2012, que o FI não fosse utilizado em avaliações relativas a financiamento, promoções na carreira e contratações de acadêmicos, por apresentar algumas restrições, principalmente:

  • O que se considera no numerador nem sempre está no denominador;
  • É o índice de citação dos artigos que determina o FI do periódico, e não o contrário;
  • Existe uma baixa correlação do número de citações dos artigos individuais com o FI do periódico;
  • Áreas que têm vida média de citações curtas (ciências exatas e da vida) são privilegiadas;
  • Artigos de revisão recebem mais citações do que artigos originais;
  • Há predomínio de periódicos em língua inglesa na base, o que diminui o impacto da ciência local.

Segundo a declaração, o FI isoladamente é danoso, muitas vezes impedindo periódicos de publicar artigos de áreas ou assuntos menos citados e sobrecarregando os periódicos de alto impacto com submissões inadequadas. Entretanto, ainda segundo a declaração, a pior a consequência está em impedir o progresso natural da ciência.

QUANTIDADE vs QUALIDADE
A busca de novas abordagens está no cerne do desenvolvimento da pesquisa, muitas vezes acarretando períodos relativamente longos sem geração de publicações, o que é essencial para uma evolução real do pensamento. É exatamente nesse ponto que reside um grande dilema atual: como parar e repensar as abordagens, quando a pressão é cada vez maior para publicações? O que se percebe é muita pesquisa fazendo apenas “mais do mesmo”, sem uma preocupação genuína com a importância e o impacto do estudo em questão.

Outro ponto importante é como medir a ciência nos dias atuais, onde a influência da internet cresce a cada dia. É urgente se pensar em novas métricas que incorporem as publicações “não tradicionais”, sendo essas métricas englobadas nas avaliações corriqueiras, mas isso é assunto para a próxima postagem.

Até a próxima semana!