É mais importante uma produção de qualidade ou a quantidade?

Essa é uma pergunta difícil de responder, pois não é claro quem é “a ciência brasileira”.

Minha resposta será bem mais pessoal; meus comentários exprimem apenas a minha opinião a esse respeito.

Em certas listas de discussão são frequentes as reclamações por projetos que foram submetidos a agências de fomento (tipicamente o CNPq), e não foram aprovados.

Na sua majoria, os autores desses textos afirmam que não foram contemplados -a despeito do projeto ser muito bom- por não ter produção suficiente.

Algumas dessas mensagens culpam o CNPq, outras os pareceristas.

Sem por em risco o sigilo que resguarda quem dá e quem solicita pareceres, vou copiar dois quesitos que um avaliador deve responder em diferentes chamadas:

* Produtividade do orientador quanto a publicações e número de orientados formados para o nível de bolsa solicitado.

* Quantidade, qualidade e regularidade da produção científica.

Produtividade

Por que os pareceristas devem avaliar a produção pregressa, quando o que está em tela é um projeto a ser desenvolvido no futuro?

Porque, quando se trata de ciência, os antecedentes deveriam ser o único critério para aferir a capacidade do proponente para executar a proposta.

Por “antecedentes” devem ser entendidas as publicações realizadas em periódicos indexados em assuntos correlatos à proposta.

Eu tenho ouvido que pessoas de algumas áreas empregam critérios nebulosos como, por exemplo, a “liderança” do proponente.

Não fica claro como esse, e outros critérios, devem ser aferidos.

Lembro que estamos falando de ciência, e um dos elementos fundamentais dela é a repetibilidade.

Dois ou mais pareceristas objetivos deveriam fazer julgamentos compatíveis de um projeto; grandes discrepâncias requerem uma análise detalhada em uma instância superior, para identificar e sanar as divergências.

Orientações como critério

Outro critério dúbio está manifesto no primeiro quesito que copiei acima: número de orientações concluídas.

Avaliar apenas esse número é a mesma coisa que avaliar o talento financeiro de alguém pelo tamanho do empréstimo que conseguiu junto ao banco.

O que demonstra mais competência acadêmica, quem orientou trinta trabalhos com uma pequena porção delas gerando bons artigos, ou quem orientou menos trabalhos mas com a maioria deles redundando em publicações qualificadas? Certamente o segundo.

A razão entre orientações e publicações a elas vinculadas poderia ser empregada, com os necessários ajustes, como uma taxa de eficácia de orientação.

Na minha área, por exemplo, eu acho bom pelo menos um artigo em uma conferência de destaque para cada dissertação de mestrado, e pelo menos um artigo em um periódico indexado para cada tese de doutorado.

Voltando à pergunta que abre o artigo, como é que um parecerista deve avaliar a produção de um pesquisador?

Vários fatores devem ser levados em conta: tempo desde a conclusão do doutorado (e de eventuais pós-doutorados), local de trabalho (alguns Institutos de pesquisa têm menos carga docente e administrativa do que Universidades periféricas, por exemplo), mas, sobretudo, devem ser avaliadas a qualidade e a regularidade da produção. Examinemos cada um desses itens.

Qualidade da produção

A qualidade da produção envolve vários elementos.

O primeiro que eu observo é a qualidade do veículo.

Em se tratando de periódicos indexados, observo o fator de impacto, medidas de centralidade do fator de impacto da área (média, mediana etc.), para fins de comparação, e a vida média (cited half-life) do periódico.

Esses valores me dão uma ideia da qualidade do veículo em relação a outros da área.

Observo, em segundo lugar, o número e a diversidade de autores; uma pessoa que, digamos, dez anos após a conclusão do seu doutorado só publica com seu ex-orientador não parece ter a independência de quem possui uma boa diversidade de coautores, especialmente se eles são de Instituições diferentes.

Outro elemento muito importante é o número de citações que o artigo recebeu.

Há na literatura vários índices que medem a produtividade e o impacto dessa produção.

O mais famoso deles é o índice h (Hirsch, 2005): o máximo número de artigos h que recebeu pelo menos h citações.

Esse, como os já mencionados fator de impacto e vida média devem sempre ser empregados de forma relativa, e para comparar elementos comparáveis (periódicos da mesma área, pesquisadores da mesma área e aproximadamente o mesmo tempo de formados).

Regularidade da produção

O que avalio para relatar a regularidade da produção?

Observo o tempo de doutor do proponente, calculo a média de artigos publicados por ano e vejo ano-a-ano picos e vales na produção.

Idealmente os vales deveriam ser seguidos por picos ou por períodos de boa produção.

Períodos de poucas publicações podem estar associados a mudanças de foco na pesquisa, ou a fases da vida em que a ciência fica em segundo plano.

Na minha visão, é melhor ter poucas publicações em veículos de alto impacto, do que muitas em veículos menos qualificados.

Da mesma forma, é melhor orientar pouco mas com qualidade, do que muito e sem produzir nada.

As ponderações são necessariamente relativas, e devem ser feitas no contexto do tema e dos outros parâmetros acima indicados.

Referência e leituras recomendadas

Baggs, J.G. Issues and rules for authors concerning authorship versus acknowledgements, dual publication, self plagiarism, and salami publishing. Research in Nursing & Health, 2008, 31, 295-297.

Hirsch, J.E. An index to quantify an individual’s scientific research output. Proceedings of The National Academy of Sciences, 2005, 102, 16569-16572.

Volpato, G.L. Publicação científica. Cultura Acadêmica, 2008

___________________

Texto escrito por Alejandro César Frery Orgambide, professor titular da Universidade Federal de Alagoas (UFAL). Acesse sua personal homepage.