Avaliando a Produção Científica na Pós-Graduação

Há alguns dias participei do seminário de Meio-Termo organizado pela Diretoria de Avaliação (DAV) da CAPES, na área de "Biodiversidade". Realmente, como coloquei na última postagem, “A Ciência Voltou...”, e essa expressão vale tanto para o alívio que passamos a ter depois de 4 anos do (des)governo Bolsonaro, como também para a retomada com um pouco mais de tranquilidade das discussões necessárias para corrigir e melhorar o funcionamento do sistema nacional de Ciência, Tecnologia e Inovação, depois do tanto impacto.

Participação da Profa. Mercedes Bustamente (UnB, Presidente da CAPES), Paulo Santos (à direita, UFPE, Diretor de Avaliação) e Prof. Laerte Ferreira (à esquerda, UFG, Diretor de Programas e Bolsas) na reunião de meio termos da área de "Biodiversidade" da CAPES, 2 e 3 de outubro de 2023, em Brasilia.

Entendo que a reunião de Meio-Termo 2023 ocorreu exatamente nesse contexto de “retomada” e “reconstrução”. A reunião anterior, de 2019, foi bem diferente porque nela foi apresentada a nova ficha de avaliação e as métricas e indicadores que as áreas da CAPES (incluindo a Biodiversidade) estavam propondo para sua implementação, e já no início das incertezas do novo (des)governo, no MEC e na própria CAPES. Com algumas poucas modificações, essas foram as métricas e indicadores utilizados para realizar a avaliação quadrienal 2017-2020, cujo resultado foi divulgado com muito atraso e após muita confusão com o Ministério Público Federal (MPF). Por causa de toda a discussão sobre os princípios da avaliação com o MPF e o "Termo de Autorecomposição" assinado pela CAPES ano passado, a reunião de meio termo 2023 foi menos propositiva, com discussões mais gerais e com um “alvo” mais distante na próxima avaliação quadrienal (2025-2028), justamente porque não será possível mudar os critérios para este quadriênio (apesar de alguma incerteza sobre possibilidade de fazer pequenos ajustes nas métricas ou nas faixas...). De qualquer modo, é sempre uma boa boa oportunidade de rever os amigos e colegas, e discutir não só as questões da pós-graduação mas também avançar em outras ideias de pesquisa e retomar colaborações!

Não há como fazer uma revisão geral da avaliação da CAPES aqui, e os principais pontos da nova ficha já foram discutidos anteriormente, bem como toda a confusão com o MP. Quero focar em um aspecto que sempre volta nessas reuniões e discussões gerais sobre a avaliação da CAPES, referente principalmente ao “produtivismo” da avaliação, que voltei a escutar nos últimos dias... De forma resumida, quando se usa esse termo estamos falando de um maior foco na produção científica, um peso maior em indicadores de quantidade (mas eventualmente também de "qualidade"...) de artigos publicados. Mesmo considerando que a nova ficha de avaliação proposta em 2019 tentou reduzir esse componente, as pessoas continuam reclamando, em parte porque não entendem bem quais as métricas usadas nas diferentes áreas de avaliação ou porque não concordam com a ideia de que a produção científica seja tão importante (argumentando que há outros componentes mais críticos que deveriam ser considerados). Nesse sentido, tenho dois objetivos básicos nessa postagem:

• Defender que SIM, a produção científica em termos de artigos publicados em periódicos científicos é MUITO IMPORTANTE para avaliar os PPGs, pelo menos na área de Biodiversidade e nas ciências naturais em geral, e;

• Mostrar que a ficha de avaliação de 2019, tal qual implementada na área de Biodiversidade no último quadriênio, não pode ser classificada como “produtivista” (pelo menos não na minha compreensão do termo...).

O assunto é certamente complexo e polêmico, sei que nem todo mundo vai concordar, mas independente disso espero que ajude na discussão. Vou fazer um esforço para simplificar e focar nos pontos mais importantes, e apenas em termos de métricas de produção científica (e não nos principios e valores mais gerais da avaliação). Para aqueles interessados em uma análise mais detalhada da ficha de avaliação e como ela foi implementada em termos de indicadores e métricas na área, vejam o vídeo no final da postagem, que foi feito após um seminário de autoavaliação em nosso PPG em “Ecologia & Evolução” da UFG, realizado em 2022. Todo o material da última avaliação, incluindo o relatório final da quadrienal 2017-2021, encontra-se na webpage da área de Biodiversidade da CAPES.

Alguns Princípios Gerais sobre Produção Científica e sua Avaliação

Em relação ao primeiro ponto, já mostrei anteriormente que a ficha de 2019 incorporou uma série de indicadores e concepções mais amplas em termos de avaliação, pensando na formação dos discentes, destino dos egressos e no impacto do PPG na sociedade. Foi uma grande mudança em relação à ficha anterior que vinha sendo utilizada, com pequenos ajustes, há muitos anos. Vários itens dos quesitos foram avaliados de forma “subjetiva” (o que não é necessariamente um problema, claro), a partir de indicações e justificativas dos coordenadores apresentada no relatório SUCUPIRA. Houve um foco na questão da autoavaliação e no planejamento estratégico do PPG, uma sinalização clara de que é preciso que os coordenadores, junto com o corpo docente, discentes, pós-docs e técnicos administrativos estejam mais atentos ao funcionamento do PPG e pensem nas estratégias para melhorar seu funcionamento em todos os seus aspectos. Mas, claro, ainda há os indicadores de produção científica...Mas como isso REALMENTE aparece na ficha de avaliação? E qual a lógica disso?

Em primeiro lugar, sob um ponto de vista mais conceitual e mais amplo, precisamos estabelecer alguns princípios mais gerais sobre a avaliação da produção científica em um PPG:

1. O objetivo do Mestrado e Doutorado é formar pesquisadores e cientistas, ainda que os egressos nem sempre irão, no futuro, seguir uma carreira científica em um sentido estrito, essa é uma discussão importante hoje. As Universidades e Institutos de pesquisa não são capazes de absorver todos os egressos dos PPGs nas múltiplas áreas, e há muitas iniciativas que pretendem que a iniciativa privada, as empresas e organizações, absorvam esses jovens doutores e comecem a investir em pesquisa e desenvolvimento, como acontece em outros países (embora isso não ocorra na proporção como se costuma alardear...). Além disso, há muitas outras atividades e carreiras nas quais uma formação em nível de Doutorado seria importante; de fato, pensando de forma “estóica”, a ideia geral é que uma formação em alto nível e ampla em uma pós-graduação “stricto sensu” melhora toda a sociedade, forma cidadãos mais conscientes de suas responsabilidades sociais e de seu papel no desenvolvimento humano. A produção científica não deve ser o objetivo do PPG (apesar da “lei de Campbell” que discutimos anteriormente...), mas sim uma consequência do processo de formação do discente ou da discente em um contexto científico atual. Essa produção envolve não só o desenvolvimento de um projeto de pesquisa “em si”, mas sempre insistimos que, no mundo atual, discentes devem aprender a colaborar com outros pesquisadores, discutir, refletir sobre as implicações do seu trabalho em um contexto (social, político e/ou econômico) mais amplo. Em resumo, nesse sentido o artigo científico resultante da tese e sua produção científica durante sua passagem pelo PPG deve preparar esse discente para exercer as atividades científicas em um contexto contemporâneo, pensando não só na formação mais técnica. Assim, é importante avaliar a produção científica como indicador de formação;

2. De qualquer modo, uma boa formação científica, independente da atuação futura, requer que o(a) discente no PPG faça ciência da melhor forma possível, em todas as suas etapas, e isso envolve sim tornar públicos os resultados de seu trabalho do mestrado ou doutorado (que, inclusive, é financiado em grande parte por recursos públicos, nos projetos de pesquisa ou por bolsas de estudo). Claro, essa discussão vale não somente para discentes, mas para os docentes e pesquisadore(a)s nas Universidades e nos institutos de pesquisa. Na realidade isso sempre foi uma parte importante das críticas (e das tentativas de defesa) ao ensino superior público, já que a definição do que é o trabalho docente, em termos de ensino, pesquisa e extensão, não são tão claros assim (estou usando um eufemismo aqui...muitos problemas em relação a isso). A partir do momento que a ciência se torna uma atividade "profissional" e, em um contexto de ensino público, a sociedade nos paga para fazer ciência, em suas diversas formas, é preciso minimamente discutir como avaliar se o trabalho foi efetivamente realizado. Certamente há várias peculiaridades na ciência e no desenvolvimento científico tecnológico, não é tão simples “medir” esse trabalho, pois sabemos que há incertezas, tentativas frustradas de resolver problemas difíceis que podem “resistir” às soluções possíveis hoje, especialmente na fronteira do conhecimento em uma dada área. Há muitos outros problemas que levam inclusive a discussões importantes sobre o próprio funcionamento do sistema de ciência, tecnologia e inovação. De qualquer modo, é inadmissível pensar que não deve haver alguma forma de cobrança sobre o que foi feito...O que esperamos, em termos de atuação, de um Doutor em uma Universidade pública? Essa foi a questão que levantei anteriormente quando sofremos os ataques do ex-ministro Weintraub...E o que esperar de um doutorando ou pós-doutorando? Temos discutido muito, por exemplo, que o sob o novo Marco Legal da Ciência & Tecnologia, já vigente desde 2015 ou 2016, mas ainda pouco discutido e com baixa implementação e difícil operacionalização, os pesquisadores que recebem recursos públicos não deveriam gastar tanto tempo na burocracia e nas infindáveis prestações de contas, e que a cobrança deveria ser sobre os resultados alcançados. Concordo plenamente, claro, mas como vamos realmente avaliar isso? Não é tão trivial assim, e não tenho certeza de que as pessoas vão efetivamente assumir esses compromissos, visto que há tanta reclamação sobre qualquer processo avaliativo no CNPq e na CAPES...De qualquer modo, nesse contexto, e apesar das dificuldades com as métricas (que discutiremos no próximo item), é importante avaliar a produção científica nos PPGs (tanto dos discentes quanto dos discentes) como indicador de trabalho efetivamente realizado;

3. Ainda que outras atividades realizadas pelos docentes e discentes de um PPG sejam importantes em termos de formação e inserção social, elas devem ter um “lastro” na qualificação, ou seja, deve haver algum “diferencial” entre essas atividades desenvolvidas no contexto de uma extensão da Universidade, quando comparadas a outras instituições ou organizações. Desde a antiguidade a ideia é que as Universidades e instituições análogas são os “centros do conhecimento”, os lugares onde se concentram as melhores mentes daquela geração e onde podemos encontrar o que há de mais atual em termos de conhecimento, onde as ideias são debatidas em um ambiente com liberdade para discussões nas mais diferentes áreas do conhecimento humano. Sei que não é bem assim na prática, já discutimos isso aqui várias vezes...Mas, enfim, sabemos que, apesar das críticas, essa é em muitos casos a expectativa da sociedade e espera-se (ou pelo menos almeja-se, e isso ficou claro durante a pandemia, por exemplo) que a Universidade tenha credibilidade para falar sobre um dado tema e tentar ajudar a sociedade a resolver problemas. Como exemplo, temos falado muito da “curricularização“ da extensão (o que quer que isso signifique...). Mas essa ideia de reforçar a extensão e a conscientização de sua importância no corpo discente e docente (que é realmente importante) só faz sentido se essa extensão tiver o respaldo da Universidade, do seu conhecimento técnico e da credibilidade maior da sociedade em relação às pessoas que trabalham ali. Se não for isso, não sei se faz muito sentido, talvez outras organizações ou órgãos do Governo pudessem fazer extensão de forma muito mais eficiente e competente...Essa ideia da extensão é complexa e estou usando aqui só como um exemplo, há muita coisa para discutir. Na verdade, isso nos leva à discussão mais geral sobre a questão do “tripé” constitucional do Ensino, Pesquisa e Extensão e sua indissociabilidade. O resumo é que qualquer outra atividade que façamos na Universidade, para ter um “valor” maior do que a mesma atividade realizada por outras organizações ou instituições, deve se basear na maior expertise que, no caso, aparece porque o(a)s docentes e discentes seriam especialistas e conhecedores do tema. Isso, por sua vez, vai ter que estar explícito na sua produção técnica e científica...Às vezes é difícil avaliar a qualidade dessas atividades. Assim, voltando ao contexto do PPG, é importante avaliar a produção científica como um indicador da qualidade (ainda que potencial) de outras atividades de formação ou inserção social (mas reconheço que há muitas nuances aqui nesse último princípio);

Assim, entendo que a ideia de avaliar a produção científica em um PPG se sustenta com base nesses três princípios gerais. Claro, o próximo aspecto importante é pensar e refletir sobre como realizar essa avaliação, o que também não é simples. Novamente, acho que é importante pensarmos em pelo menos mais dois princípios gerais em termos de avaliação, principalmente no contexto das críticas recorrentes sobre o “produtivismo” (vou continuar a numeração a partir dos três princípios anteriores):

4. Entendo que há um consenso hoje de que “qualidade” é mais importante do que “quantidade” quando definimos métricas para avaliar a produção científica. Especialmente pensando nas áreas de ciências naturais, até para simplificar um pouco a discussão, a nossa “unidade básica” de produção científica é um artigo publicado em um periódico científico. A medida de quantidade óbvia é o número de artigos que um pesquisador publica, por ano. À primeira vista, em tese não haveria nenhum problema em usar essa métrica. O problema e a discussão surgem porque essa unidade básica é publicada em periódicos (revistas) com diferentes níveis e alcances, que poderíamos sintetizar por “qualidade” e que, em um segundo momento, se torna também um indicador de “prestígio” (para o pesquisador). Como argumentamos há algum tempo atrás, em um comentário publicado na Trends in Ecology and Evolution, em uma das primeiras discussões sobre “Slow Science” há vários nuances ai em termos de “escala” e variância do sistema, e em muitos sentidos “qualidade” só emerge se houver “quantidade” primeiro (e é sempre possível argumentar que, para uma dada janela temporal, precisamos diferenciar “slow Science” de “no Science”, o que pode não ser trivial...). Vou resistir por enquanto à tentação de avançar muito nessa discussão pois ela é extremamente complexa e envolve muitos aspectos (e isso inclui a questão do “QUALIS” da CAPES, que com certeza merece algo em separado...). Mas o ponto geral é que se assume que a “qualidade” do artigo publicado é função da “qualidade” da revista, e temos hoje muitas métricas que avaliam essa qualidade, em geral baseadas no número ou frequência com que esse artigo foi mencionado por outros pesquisadores (citado). Ao mesmo tempo, temos um problema cada mais sério ligado a questões econômicas e a uma “mercantilização” das publicações científicas (uma consequência óbvia e esperada do sistema capitalista no qual a ciência se insere...), levando a problemas de boas práticas editorais e de autoria. Isso requer uma discussão muito mais profunda, claro, em termos de detectar os problemas, propor alternativas e inclusive lidar com o desafio de como incorporar esses problemas às métricas de avaliação de qualidade. De qualquer modo, voltando ao princípio geral, a ideia é que é preciso avaliar não quantos artigos foram publicados, de forma simplista, mas principalmente onde (em que periódicos) eles foram publicados;

5. Mesmo que os problemas operacionais com as diferentes métricas de quantidade e qualidade da produção sejam resolvidos, é sempre importante manter em mente que essas métricas não devem ser pensadas de forma “absoluta” e não refletem necessariamente “qualidade” de forma objetiva e imparcial (claro, “qualidade” é algo subjetivo e contexto-dependente, e devemos para isso pensar, por exemplo, nos princípios que discutimos anteriormente). As métricas devem ser pensadas e definidas de forma contextualizada, respeitando as dinâmicas e características das diferentes áreas do conhecimento e levando em conta os objetivos da avaliação que está sendo realizada. Sempre falamos que as métricas e o contexto da avaliação são muito diferentes, por exemplo, quando pensamos em avaliar um projeto de pesquisa de um pesquisador que concorre a uma bolsa de produtividade em pesquisa (PQ) do CNPq, e avaliar um PPG pela CAPES. Além de estarmos comparando métricas individuais ou coletivas (e nem sempre, ou quase nunca, uma métrica coletiva deve ser simplesmente uma média ou mediana de métricas individuais do grupo), os objetivos da avaliação são totalmente diferentes. No caso de uma avaliação de projeto pelo CNPq, no contexto de métricos, a principal ideia seria avaliar indutivamente (é o melhor que podemos fazer, em geral...) o “potencial” do proponente de cumprir o que está sendo proposto, enquanto no caso da CAPES e do PPG precisamos voltar aos princípios 1-3 discutidos anteriormente, por exemplo, para definir o que queremos captar com as métricas em termos de trabalho realizado e formação de novas gerações de pesquisadores. Um é prospectivo e o outro é retrospectivo...Claro que há nuances aí, mas é só um exemplo da questão de que uma métrica e todo o processo de avaliação no qual ela se insere não é “real”, depende totalmente do contexto e do objetivo. É preciso que a comunidade científica pense sobre isso, discuta e chegue a um certo consenso de como essas avaliações devem ser feitas, considerando os objetivos e propósitos de forma operacional e pragmática (ou seja, não é “real”, serve a propósitos específicos).

Dados esses cinco princípios bem gerais sobre a importância de avaliar a produção científica e sobre como isso deve ser feito, quero argumentar que a avaliação dos PPGs pela área de Biodiversidade da CAPES respeita a todos eles e, portanto, é adequada. Isso não significa que essa avaliação, em um contexto mais amplo, seja “perfeita” (outro conceito que, de fato, nem faz muito sentido...), que não deve ser aperfeiçoada no sentido de considerar incertezas, nuances e particularidades, ou no sentido de incorporar ideologicamente (sem nenhum demérito no uso do termo) outros princípios e valores como redução das assimetrias regionais, correção de passivos históricos e diminuição ou eliminação de várias formas de desigualdade.

Avaliando a Produção Científica na Área de Biodiversidade

Vamos pensar agora mais especificamente sobre como a produção científica dos docentes e discentes de um PPG tem sido avaliada pela área de Biodiversidade, e quais as expectativas. Como já discutido anteriormente, a ficha de avaliação é dividida atualmente em 3 quesitos (“Programa”, “Formação” e “Impacto na Sociedade”), com igual peso, e em cada um desses quesitos há vários itens, que por sua vez são avaliados por uma ou mais métricas que são extraídas a partir das informações que são enviados pelo(a)s coordenadore(a)s por meio da plataforma SUCUPIRA. A distribuição das métricas é avaliada a partir de faixas de avaliação, que recebem conceitos de “Muito Bom, “Bom”, “Regular”, “Fraco” ou “Deficiente”, sendo que essas faixas às vezes são provenientes da própria distribuição estatística das métricas, ou são definidas “a priori” pela DAV/CAPES em geral ou pelas comissões de avaliação. Em alguns casos, principalmente na ficha de 2019, alguns dos itens são mais subjetivos e recebem conceitos de “Muito Bom” a “Deficiente” a partir de critérios gerais estabelecidos por uma subcomissão de avaliação (por exemplo, o destino dos egressos, ou a “qualidade” dos produtos técnicos indicados pelo PPG). Cada item tem um peso, e a combinação dos conceitos recebidos pelos itens em cada quesito dá uma nota geral do PPG, que varia de 3 a 7.

A ficha de avaliação é comum a todas as 50 áreas de avaliação da CAPES (isso já foi diferente no passado), mas cada área pode usar pesos um pouco diferente para os itens, variando dentro de limites pré-estabelecidos, e usar métricas diferentes como indicadores das faixas a serem definidas para atribuir os conceitos a cada um deles. De fato, há MUITA variação entre as áreas nesse sentido, o que sempre gera discussões, e de fato há vantagens e desvantagens nisso (vejam o nosso artigo publicado em 2022 ano sobre isso, liderado pela Profa. Concepta McMannus da USP/UnB, que faz uma discussão geral sobre a pós-graduação no Brasil feita por um grupo de trabalho liderado por ela e pelo Prof. Abilio Baeta na época da pandemia). Mas meu ponto aqui é focar em como a produção científica aparece nesses itens e o que se espera de um PPG na área de Biodiversidade. Há muitos detalhes sobre como calcular essas métricas, que são explicados em mais detalhes no vídeo que pode ser encontrado no final da postagem, mas meu foco aqui é na relação entre as métricas e os princípios colocados acima.

A análise da produção científica do PPG está concentrada principalmente no quesito de “formação”, e parcialmente no quesito de “impacto na sociedade” (e não aparece no quesito “programa”). Pensando primeiro na produção discente, há dois itens no qual a produção é computada. O primeiro item da “formação”, que se refere à qualidade das teses do PPG, em relação à área de concentração e linhas de pesquisa, pesa apenas 15% do quesito. O indicador utilizado é a produção total número de artigos dos discentes, dividido pelo “tamanho do corpo discente”, sendo este estimado pelo número de defesas de dissertações e teses. Nesse “tamanho” os discentes de doutorado pesam mais, pois espera-se que por ficarem mais tempo no PPG estes produzam mais. Além disso, e mais importante, os egressos do PPG continuam entrando no numerador dessa métrica, ou seja, produções de ex-alunos que terminaram seus trabalhos há 5 anos podem ser computadas. Não é bem o número total de artigos, mas sim o número relativo da produção do corpo discente, mas entendo que ainda assim seria uma métrica “produtivista” por contar artigos (no sentido pejorativo que as pessoas usam...). Há uma pequena restrição de “qualidade” dos periódicos (> QUALIS B3), mas não vou nem falar nisso por enquanto porque, de fato, esse crivo é muito pequeno...Mas, ainda assim, esse item pesa só 15% do quesito. E o que se espera do PPG para que se receba um conceito “muito bom”? Um valor total de 1,25 artigos/discente, ou seja, em média cada discente deve publicar um artigo em qualquer revista, em equilíbrio (na verdade menos, dependendo do estágio do PPG, porque egressos há 5 anos contam apenas no numerador dessa métrica...).

O segundo item do quesito “formação” pesa bem mais (30%), e possui duas métricas envolvidas. A primeira delas é igual à anterior, mas com uma restrição mais forte de “qualidade”, ou seja, é calculado o número de artigos/discente, mas considerando apenas periódicos classificados como “QUALIS A” (extratos A4-A1). Vou mais uma vez resistir à ideia de discutir em mais detalhes o QUALIS, mas é interessante pensar no que significa, de fato, essa restrição de “qualidade” do periódico. Uma boa parte das revistas publicadas pelas sociedades científicas brasileiras, por exemplo, se encontra nessa faixa entre A1-A4, além de basicamente todas as revistas científicas “medianas” ou “boas” internacionais da área. De fato, é uma restrição ainda relativamente leve de qualidade, mas está lá pelo menos...De qualquer modo, nesse caso, a expectativa para que um PPG receba o conceito “Muito Bom” é 0,95 artigos A1-A4 por discente/egresso, um pouco menor do que a da métrica de produção total.

A outra métrica que compõe esse segundo item é bem mais interessante (e mais difícil de atingir, entendo...), e refere-se à DISTRIBUIÇÃO da produção entre os discentes. Ou seja, não adianta que alguns discentes e egressos mais produtivos publiquem diversos artigos e terminem por “compensar” o número total nas duas métricas descritas acima. A expectativa para que um PPG receba um conceito “Muito Bom” é que pelo menos 45% dos discentes e egressos do PPG (isso ponderando-se pela janela de oportunidade de publicação) estejam envolvidos nessas publicações em periódicos classificados como QUALIS A.

Assim, a produção discente, com um peso total de 45% dentro do quesito “formação”, está mais focada em qualidade do que em quantidade, ainda que o crivo de qualidade seja leve e seja uma medida da produção total do corpo discente. Mais importante, o item considera fortemente a questão da equidistibuição entre os discentes. Não vejo tão claramente razão para que a crítica de “produtivismo” seja aplicada aqui, portanto. Espera-se que, em média, cada discente publique seu próprio trabalho de pesquisa em uma revista de boa qualidade, em resumo. Em termos de expectativa, entendo que seja honesto em relação ao princípio 2 acima, ou seja, precisamos justificar o investimento feito pelo Estado na formação...As duas métricas tendem a capturar isso, de diferentes formas, e isso inclusive respeitando a possibilidade de que alguns discentes, por uma questão particular ou por facilidade de subárea, por exemplo, possam ter uma produção maior do que os demais e que haja sempre alguma “compensação” nessas métricas.

Passamos então para a produção “docente”, que sempre foi o principal foco das discussões sobre produtivismo (até porque a ideia de produção discente e a coautoria entre docentes e discentes é muito variável entre as áreas de avaliação). Ainda no quesito “formação”, aparece outro item com peso de 30%, que se refere à qualidade da pesquisa e produção intelectual do corpo docente. Uma das novidades importantes da avaliação quadrienal 2017-2020 aparece justamente nesse item, que é a ideia da “produção indicada” dos docentes. Ou seja, ao invés de avaliar o total da produção dos artigos publicados pelos docentes e sua qualidade (como nos itens de produção discente discutidos acima), a ideia aqui é que o PPG selecione e indique os quatro “melhores” artigos de cada docente no quadriênio! Ou seja, não importa se o docente publicou 50 artigos nos quatro anos, só serão avaliados quatro deles, que vão conferir ao docente um máximo de 400 pontos. Claro, o desafio é estabelecer como avaliar a qualidade dos artigos indicados, e aí passamos às várias métricas de produção disponíveis (e no caso usa-se o melhor percentil do periódico nas bases da SCOPUS ou Web of Science, que de fato é a base para construir o QUALIS). Há outros pontos importantes para que o artigo indicado seja pontuado, em relação às autorias e se o artigo se enquadra nas linhas do PPG (o que é importante para caracterizar inicialmente o “pertencimento” do artigo). Nesse sentido, a restrição mais interessante para que a pontuação de um artigo do docente receba pontuação máxima refere-se à coautoria com discentes do PPG. Se o artigo indicado não tiver um discente como autor ou coautor, a pontuação dada pelo SCOPUS ou WoS é reduzida em 50%. Então, nesse item, que está no quesito maior de “formação”, mesmo a produção científica do docente é, de fato, fortemente dependente da sua inserção como orientador no PPG, publicando junto com os discentes e reforçando assim o componente de “pertencimento” do artigo e sua capacidade de ser um indicador de formação. Atende-se, portanto, nesses itens, o principio 5 acima, a avaliação é pensando explicitamente em termos do PPG e não focada na produtividade em geral do(a) docente.

Ao final, esse item importante e inovador de “produção indicada”, focado no corpo docente, mas como peso importante em termos de pertencimento e participação discente, gera uma pontuação total somando-se a pontuação dos 15 melhores docentes permanentes do PPG (e não o total de docentes). A pontuação máxima, portanto, seria igual a 15 docentes * 400 pontos, ou 6000 pontos, e para que o PPG receba o conceito “Muito Bom” nesse item é preciso atingir 3500, ou seja, 58% do máximo. E notem que a pontuação é calculada apenas para 15 docentes, ou seja, se um PPG tem por exemplo 20 docentes, há uma certa “folga” aí para atender situações particulares, docentes que tiveram algum tipo de problema no quadriênio, que tiveram que se afastar um pouco ou reduzir suas atividades por falta de financiamento, ou uma redução de orientação (claro, se o PPG só tem, por exemplo, 12 docentes, perde-se totalmente o grau de liberdade e a flexibilidade, e não há chance de atingir a pontuação máxima; essa é uma forma indireta, portanto, de definir um mínimo adequado de docentes permanentes que atuam em um PPG, algo que antes era uma métrica explicita de avaliação).

Assim, a avaliação da produção científica no item de “formação” de fato possui um peso combinado de 75%, o que é uma proporção considerável. Mas entendo que é adequado atendendo aos princípios 1-3 acima e, também respeitando os princípios 4-5, pois ela é fortemente centrada na produção dos discentes e em sua formação (não é a avaliação individual se o docente do PPG é “produtivo” ou não, como seria no CNPq, por exemplo) e possui um componente muito mais qualitativo do que quantitativo. Há flexibilidade dos PPGs indicarem os melhores artigos para os docentes que representem bem as atividades de formação, tanto em termos de indicar artigos que são oriundos explicitamente dos trabalhos de dissertação e tese dos discentes, refletindo sua boa formação como pesquisadores, quanto aqueles que se enquadrem melhor nas linhas de pesquisa do PPG.

Há ainda alguns itens de produção docente no último quesito de “Impacto na Sociedade”, que de fato talvez sejam mais polêmicos, mas ainda assim entendo que expressem alguns dos princípios gerais (especialmente 2-3). Além disso, refletem ainda mais claramente qualidade e não quantidade! O primeiro item desse quesito refere-se ao impacto e caráter inovador da produção intelectual, com um peso elevado de 40%, mas que combina diversas métricas de produção e outros indicadores de inserção e atuação dos docentes. Avalia-se a proporção de docentes do PPG que publicam 2 artigos no quadriênio em revistas A1 ou A2 (com expectativas iguais a 60% e 75% para A1 e A2), além de uma análise da métrica PROMPT (“PROMinence Percentile of Topics”, vinda da ferramenta SciVal da SCOPUS) dos tópicos dos 150 artigos mais proeminentes do programa. Esse primeiro item também inclui a avaliação “subjetiva” de 4 projetos de pesquisa dos discentes, encaminhados pelo PPG. Finalmente, mais 30% do peso do quesito de “impacto na sociedade” refere-se à internacionalização e visibilidade do PPG, que inclui, além de outras métricas e avaliações mais subjetivas de atuação e características de internacionalização do PPG, o FWCI (impacto das citações ponderado pela área, também da SciVal da SCOPUS) e a % dos docentes permanentes com estatística H de Hirsch maior do que 7 ou 10 (espera-se que, em geral, quase todos os docentes de um PPG tenham pelo menos 7 artigos citados mais de 7 vezes em toda a sua carreira – não no quadriênio...). Nesse quesito de “impacto na sociedade” é mais difícil avaliar diretamente o peso relativo da produção, já que cada um dos 2 itens que envolvem produção estão combinados com outras métricas mais gerais e subjetivas. De qualquer modo, as métricas usadas são claramente qualitativas e não quantitativas.

Concluindo...

Então, é justo dizer que, de fato, a produção científica ainda tem um bom peso na avaliação da Biodiversidade, ocupando algo como 75% do quesito de “formação” e um pouco menos (~70% no máximo) no quesito de “impacto na sociedade”. Mas somando-se a ficha como um todo, a estimativa é que explicitamente as métricas de produção respondem por algo como 48% dos pesos totais atualmente, no máximo (isso por causa da incerteza nos itens do quesito de “impacto na sociedade”). Os 52% restantes são dados por avaliações mais gerais da estrutura e do funcionamento do PPG e sua autoavaliação e planejamento estratégico (vejam que nenhuma métrica ou indicador de produção aparece no primeiro quesito, sobre o “programa”), destino dos egressos, produção técnica e seu impacto na sociedade (também indicada). Esses aspectos eram avaliados de forma bastante subliminar anteriormente, e passaram a ser mais importantes a partir de 2019.

Claro, é bem possível que as correlações da produção com outros itens da ficha gerem, ao final, um peso maior da “produção científica”, mas isso só reforçaria os princípios gerais que coloquei. De qualquer modo, não vejo como esse peso poderia ser muito diferente disso, especialmente considerando os princípios 1-3. Além disso, pensando em produtivismo, sinceramente não consigo enxergar isso, já que a maior parte das métricas, direta ou indiretamente, valoriza sim muito mais a qualidade dessa produção e sua distribuição entre os docentes e discentes do que a quantidade. Os indicadores e métricas não são gerais, mas pensados para avaliar como o PPG produz ciência, com forte componente de produção discente. Apesar dos problemas em potencial em algumas métricas e indicadores (e precisamos voltar ao QUALIS em algum momento, muita coisa para discutir...), acho que avançamos muito em relação ao que tínhamos em anos anteriores em vários aspectos. Essa perspectiva histórica é certamente negligenciada, inclusive por causa da contínua substituição e renovação dos coordenadores e dos quadros docentes. Embora eu entenda que essa perspectiva histórica de melhoria não elimine a necessidade de discussão e adequação constante, e jamais seja usada como “desculpa” para nos acomodarmos nesse sentido, é preciso tomar cuidado para não fazer críticas sem um bom embasamento sob o risco de destruirmos tudo o que foi feito ao longo dos anos (e acho que estivemos no limite disso acontecer no último quadriênio, com a questão do MPF, como já discuti anteriormente). Claro, sabemos também que diferentes áreas da CAPES podem ter feito implementações diferentes da ficha apresentada em 2019, com mais problemas em termos de fugir aos princípios 1-5 que apresentei anteriormente, mas de qualquer modo entendo que temos algo bastante coerente na Biodiversidade.

Não podemos esquecer inclusive que há uma falta generalizada de indicadores claros para muitas ações e atividades de formação, extensão, impacto, inserção e destino dos egressos e extensão, levando a problemas de operacionalização da avaliação. Podemos e devemos pensar nisso, e temos inteligência para resolver isso, como disse meu amigo Paulo Inácio Prado da USP. As pessoas sempre reclamaram da “subjetividade” da avaliação em muitas áreas e em alguns itens da nossa avaliação da Biodiversidade (o que não é, de fato, um problema, desde que essa avaliação seja bem pensada e executada de forma adequada; como dizia Popper, “...a objetividade emerge da intersubjetividade”), mas quando usam-se indicadores e métricas muitas pessoas reclamam porque querem que as essas métricas e os indicadores todos sejam “reais”, o que não faz muito sentido, como já discutimos anteriormente!

Vejam que coloquei como referência para as várias métricas que discutimos ao longo do texto os valores críticos para a faixa “Muito Bom”, ou seja, se um PPG atender as exigências acima para a maior parte dos itens (especialmente os de maior peso), ele será considerado como um PPG nota 5, consolidado!!! Ou seja, o curso é muito bom para todos os fins, e poderá inclusive passar para a outra rodada de avaliação para alcançar notas 6 e 7, os chamados “níveis de excelência”! Para que um PPG atinja esses níveis de excelência o “segundo ciclo” de avaliação na Biodiversidade considera apenas quatro métricas que se referem basicamente às métricas QUANTITATIVAS da produção docente e discente e sua distribuição (e aí as faixas são bem mais apertadas, como esperado...).

Posso estar errado e até já ouço algumas críticas chegando em relação ao meu “lugar de fala”. Já respondendo, tudo bem, faço parte e coordenei por alguns anos um PPG nota 7, mas ao mesmo tempo não esqueço que estamos em Goiás, em uma das regiões menos favorecidas do País em termos de pós-graduação, em uma IES mediana à época em que iniciamos o PPG... Essa nota foi alcançada a duras penas, com muito trabalho colaborativo, tanto em pesquisa quanto gestão dentro e fora da Universidade, esforço, negociações, isso tudo sempre gerando muito desgaste - inclusive em termos pessoais -, mas ao mesmo tempo trazendo muita satisfação e orgulho! Como ecólogos e biólogos evolutivos, sabemos do estresse em ter que lidar com a "rainha vermelha"... Mas c’est la vie.

De qualquer modo, realmente não acho que essas exigências da Biodiversidade para que um PPG chegue a nota 5 sejam abusivas, considerando os princípios discutidos e as métricas utilizadas na avaliação. Gosto da maneira como essas métricas estão amarradas entre si e geram constraints que criam realmente um espaço multidimensional da produção em termos de número, qualidade e distribuição tanto de discentes quanto docentes. Podemos mudar toda a lógica de avaliação, tudo bem, e mudamos ou ampliamos, por exemplo, os princípios 1-3 que apresentei logo no início, mas ai é outra estória...Sempre é possível aperfeiçoarmos a avaliação e tentarmos capturar outros componentes de trabalho e atuação, e principalmente de formação. Acho que um ponto que tem sido pouco discutido é que essa formação deveria ser mais ampla e não só focada em aspectos técnicos nas diferentes linhas de pesquisa dos PPGs. Sem nenhum demérito, não estamos formando técnicos de laboratório ou auxiliares de pesquisa. Não podemos esquecer que estamos em um mundo extremamente dinâmico, e que as perspectivas de trabalho e empregabilidade estão mudando muito rapidamente. Precisamos incentivar as “soft skills” que estão inerentes à formação nos PPGs e deixá-las mais explícitas! Mais importante, é preciso deixar mais claro e pensar em outros princípios e valores, como coloquei anteriormente em relação à redução de assimetrias e desigualdades de diferentes origens. Isso tem começado a aparecer em termos de fomento, esperando-se que isso reflita em um segundo momento na avaliação (pra mim faz sentido). Mas, na minha opinião, não podemos perder de vista que o objetivo do mestrado e do doutorado é formar pesquisadores de alto nível, com formação ampla, para atuar em múltiplos setores da sociedade, e para isso é preciso ter sólida formação acadêmica cuja avaliação pragmática depende sim de um bom uso de métricas de produção científica.

Reunião de Meio-Termo da DAV/Area de Biodiversidade, Brasilia, 2-3 de outubro de 2023 (perdi a foto, tive que sair um pouco antes do final...).