É mais importante uma produção de qualidade ou a quantidade?
Essa é uma pergunta difícil de responder, pois não é claro quem é “a ciência brasileira”.
Minha resposta será bem mais pessoal; meus comentários exprimem apenas a minha opinião a esse respeito.
Em certas listas de discussão são frequentes as reclamações por projetos que foram submetidos a agências de fomento (tipicamente o CNPq), e não foram aprovados.
Na sua majoria, os autores desses textos afirmam que não foram contemplados -a despeito do projeto ser muito bom- por não ter produção suficiente.
Algumas dessas mensagens culpam o CNPq, outras os pareceristas.
Sem por em risco o sigilo que resguarda quem dá e quem solicita pareceres, vou copiar dois quesitos que um avaliador deve responder em diferentes chamadas:
* Produtividade do orientador quanto a publicações e número de orientados formados para o nível de bolsa solicitado.
* Quantidade, qualidade e regularidade da produção científica.
Produtividade
Por que os pareceristas devem avaliar a produção pregressa, quando o que está em tela é um projeto a ser desenvolvido no futuro?
Porque, quando se trata de ciência, os antecedentes deveriam ser o único critério para aferir a capacidade do proponente para executar a proposta.
Por “antecedentes” devem ser entendidas as publicações realizadas em periódicos indexados em assuntos correlatos à proposta.
Eu tenho ouvido que pessoas de algumas áreas empregam critérios nebulosos como, por exemplo, a “liderança” do proponente.
Não fica claro como esse, e outros critérios, devem ser aferidos.
Lembro que estamos falando de ciência, e um dos elementos fundamentais dela é a repetibilidade.
Dois ou mais pareceristas objetivos deveriam fazer julgamentos compatíveis de um projeto; grandes discrepâncias requerem uma análise detalhada em uma instância superior, para identificar e sanar as divergências.
Orientações como critério
Outro critério dúbio está manifesto no primeiro quesito que copiei acima: número de orientações concluídas.
Avaliar apenas esse número é a mesma coisa que avaliar o talento financeiro de alguém pelo tamanho do empréstimo que conseguiu junto ao banco.
O que demonstra mais competência acadêmica, quem orientou trinta trabalhos com uma pequena porção delas gerando bons artigos, ou quem orientou menos trabalhos mas com a maioria deles redundando em publicações qualificadas? Certamente o segundo.
A razão entre orientações e publicações a elas vinculadas poderia ser empregada, com os necessários ajustes, como uma taxa de eficácia de orientação.
Na minha área, por exemplo, eu acho bom pelo menos um artigo em uma conferência de destaque para cada dissertação de mestrado, e pelo menos um artigo em um periódico indexado para cada tese de doutorado.
Voltando à pergunta que abre o artigo, como é que um parecerista deve avaliar a produção de um pesquisador?
Vários fatores devem ser levados em conta: tempo desde a conclusão do doutorado (e de eventuais pós-doutorados), local de trabalho (alguns Institutos de pesquisa têm menos carga docente e administrativa do que Universidades periféricas, por exemplo), mas, sobretudo, devem ser avaliadas a qualidade e a regularidade da produção. Examinemos cada um desses itens.
Qualidade da produção
A qualidade da produção envolve vários elementos.
O primeiro que eu observo é a qualidade do veículo.
Em se tratando de periódicos indexados, observo o fator de impacto, medidas de centralidade do fator de impacto da área (média, mediana etc.), para fins de comparação, e a vida média (cited half-life) do periódico.
Esses valores me dão uma ideia da qualidade do veículo em relação a outros da área.
Observo, em segundo lugar, o número e a diversidade de autores; uma pessoa que, digamos, dez anos após a conclusão do seu doutorado só publica com seu ex-orientador não parece ter a independência de quem possui uma boa diversidade de coautores, especialmente se eles são de Instituições diferentes.
Outro elemento muito importante é o número de citações que o artigo recebeu.
Há na literatura vários índices que medem a produtividade e o impacto dessa produção.
O mais famoso deles é o índice h (Hirsch, 2005): o máximo número de artigos h que recebeu pelo menos h citações.
Esse, como os já mencionados fator de impacto e vida média devem sempre ser empregados de forma relativa, e para comparar elementos comparáveis (periódicos da mesma área, pesquisadores da mesma área e aproximadamente o mesmo tempo de formados).
Regularidade da produção
O que avalio para relatar a regularidade da produção?
Observo o tempo de doutor do proponente, calculo a média de artigos publicados por ano e vejo ano-a-ano picos e vales na produção.
Idealmente os vales deveriam ser seguidos por picos ou por períodos de boa produção.
Períodos de poucas publicações podem estar associados a mudanças de foco na pesquisa, ou a fases da vida em que a ciência fica em segundo plano.
Na minha visão, é melhor ter poucas publicações em veículos de alto impacto, do que muitas em veículos menos qualificados.
Da mesma forma, é melhor orientar pouco mas com qualidade, do que muito e sem produzir nada.
As ponderações são necessariamente relativas, e devem ser feitas no contexto do tema e dos outros parâmetros acima indicados.
Referência e leituras recomendadas
Baggs, J.G. Issues and rules for authors concerning authorship versus acknowledgements, dual publication, self plagiarism, and salami publishing. Research in Nursing & Health, 2008, 31, 295-297.
Hirsch, J.E. An index to quantify an individual’s scientific research output. Proceedings of The National Academy of Sciences, 2005, 102, 16569-16572.
Volpato, G.L. Publicação científica. Cultura Acadêmica, 2008
___________________
Texto escrito por Alejandro César Frery Orgambide, professor titular da Universidade Federal de Alagoas (UFAL). Acesse sua personal homepage.
Como estudante de doutorado penso que bons artigos publicados em boas revistas (FI alto) são mais importantes. Mas como “concursista” fico preocupado com os critérios da maioria (pranão dizer totalidade) dos concursos que contam apenas número de artigos e qualidade destes.
Quando avaliam a qualidade, avaliam via Qualis, que colocam no mesmo nível um cientísta que publicou na Nature e outro que publicou na revista do Cazaquistão de FI=0.45.
Olá Cassiano,
Eu já vi isso acontecer, e acho isso uma prática lamentável. O que posso dizer a respeito disso é que os valores do concurso refletem os valores da Instituição. Se é um concurso chinfrim, não espere que a Instituição que o faz seja muito diferente. Se você acha que seu curriculum é melhor do que o concurso, talvez seja um bom indício de que essa Instituição não é a mais adequada para você.
Repito o que digo aos meus alunos: procure o melhor, sempre.
Alejandro
Eu acho complexa essa questão de que qualidade é melhor do que quantidade. Melhor até qual ponto ? É mais relevante um artigo em um periódico A1 em um período de 5 anos e somente isso ou publicar um artigo por ano em um períodico B1 ? E qual o motivo dessa relevância ?
Acho que o importante é você tentar melhorar sempre. Cada um puxa a sardinha pro seu lado. É fácil um pesquisador que publicou em um congresso ou períodico A1 falar que seu artigo “vale mais” do que os cinco ou dez publicados por outro pesquisador em um congresso ou periódico B1. Da mesma forma, o pesquisador que publicou bastante pode argumentar que esta trabalhando em vários projetos diferentes e fazendo pesquisa relevante em diferentes áreas.
Na minha opinião, os dois estão errados e olhando apenas pro próprio umbigo. O propósito da ciência é muito maior do que preencher seu lattes com letrinhas “classificatórias” ou qualquer outro tipo de métrica. Cada um deve assumir suas qualidades e defeitos e tentar melhorar sempre.
O mesmo ocorre com a questão das orientações. A demanda por doutores está cada vez mais alta e nem todo mundo nasceu pra ser albert einstein. Aqueles que se dispõem a orientarem várias pessoas também devem ser valorizados, não aqueles que somente querem orientar os melhores alunos.
Acredito que temos que separar três variáveis nessa equação: a qualidade, o benefício (melhor que impacto), e os critérios para o fomento.
A qualidade de um trabalho científico pode apenas ser avaliada por outros cientistas da mesma área, e somente para fins do avanço da pesquisa nessa área, e nada mais. Nesse caso, publicações regulares são mais importantes que “grandes” publicações, pois fazem com que a comunidade possa acompanhar, e opinar sobre cada passo. Aliás… esse é o detalhe muitas vezes “esquecido” pela comunidade acadêmica: artigos não foram feitos para serem “julgados” como bons ou ruins, mas apenas para dar publicidade ao que cada um está fazendo, e estimular o debate. Críticas e sugestões são sempre bem-vindas… cartas de rejeição de editores são absolutamente improdutivas.
O benefício é algo mais amplo: esse novo conhecimento gerou algum resultado prático? algum produto? patente? foi adotado por alguma empresa? mudou a vida de alguém? Acadêmicos geralmente não estão muito preocupados com isso, mas afinal… nem tudo é ciência de base! – a ciência aplicada existe, e a academia precisa aceitar isso.
E finalmente, os critérios das agências de fomento: bem, nessa questão, acho que quem paga tem o direito de ditar as regras. Claro que´, sendo dinheiro público, o debate deve ser público. Minha maior crítica é quanto à falta de objetividade dessas agências: elas não sabem o que querem, e portanto não sabem o que exigir. Acredito que o critério mais justo e objetivo seria o crédito progressivo: no início da carreira, a “credibilidade” do cientista é pequena, e ele somente terá acesso a verbas pequenas. A cada projeto concluído e avaliado positivamente, vai abrindo o acesso para editais maiores. Essa progressão também devem iniciar em projetos de ciência aplicada, e depois abrir o acesso a pesquisa de base.