O "QUALIS" e a Nova Ordem da Produção Científica Global

Na última postagem discutimos com algum detalhe a questão de como avaliar a produção científica nos PPGs, com foco maior na implementação da nova ficha de avaliação proposta em 2019 pela área de Biodiversidade da CAPES. Em resumo, os dois pontos fundamentais foram mostrar que, primeiro, apesar das contínuas críticas, entendo que a produção científica é SIM um importante critério para avaliar os PPGs, considerando que ela é um indicador de formação e atuação profissional, dando credibilidade e “lastro” para outras ações de extensão, intervenção e desenvolvimento tecnológico (alguns colegas e amigos argumentaram que precisamos, de fato, de formas mais complexas de avaliação não ligadas apenas à produção científica, em algumas áreas; concordo, mas isso é outro aspecto bem mais amplo). Em segundo lugar, argumentei que a maneira como a avaliação da produção científica foi feita na área de Biodiversidade para o quadriênio anterior (2017-2020), e que deverá ser mantida no próximo quadriênio, não pode ser classificada como “produtivista”, no sentido de que priorizou qualidade sobre quantidade e tem um foco maior na produção discente como um indicar de formação em pesquisa.

A argumentação na postagem anterior estava baseada principalmente na discussão dos indicadores de produção, mas um ponto importante que propositalmente não abordei é a velha questão de “como” (e “por que”, de fato...) medir a “qualidade” das revistas científicas utilizadas para publicação dos artigos dos docentes e dos discentes (os “periódicos” científicos; para fins práticos, vamos manter o nome “revista” científica porque é de uso e compreensão mais fáceis). Por exemplo, vimos que uma das poucas métricas de produção docente utilizada na avaliação é a percentagem de docentes que publica pelo menos dois artigos A1 no quadriênio (sendo que se espera que 60% dos docentes atinjam esse critério para que o PPG receba um conceito “Muito bom” nesse item). Mas o que significa isso? Estamos falando do famoso QUALIS da CAPES, mais especificamente do chamado “QUALIS periódicos”, e há muitas coisas para discutirmos sobre esse sistema .

O Sistema QUALIS e o QUALIS periódicos

Existem hoje dezenas de métricas que avaliam, de diferentes formas, a “qualidade” das revistas científicas e que são geradas pelas bases de dados internacionais como a SCOPUS e o Web of Science (WoS), dentre outras (incluindo o Google Scholar), e a análise e discussão sobre essas métricas se constitui inclusive em uma grande área de pesquisa ("cienciometria", inclusive com várias revistas com esse foco, incluindo a Scientometrics). Em geral, essas métricas procuram capturar esse componente de “qualidade” ou “prestígio” pela frequência com que os pesquisadores citam artigos publicados nessas revistas. Entretanto, essa disponibilidade de informações é relativamente recente e, ao mesmo tempo, a cobertura dos periódicos nessas bases não é homogênea entre as diferentes áreas do conhecimento.

A preocupação da CAPES em avaliar a qualidade da produção científica é bem antiga (contradizendo em um certo sentido alguns dos argumentos mais simplista sobre “produtivismo”) e, para tentar avaliar isso, em 1988 foi criado o “QUALIS periódicos”, que posteriormente seria ampliado para um sistema com outros produtos que podem ser definidos e utilizados por diferentes áreas de avaliação (QUALIS livros, QUALIS produtos técnicos, QUALIS artístico, dentre outros). A ideia do QUALIS era que cada uma das hoje 50 áreas de avaliação da CAPES pudesse listar as revistas nas quais pesquisadores dos PPGs ligados a essa área publicaram e definir sua "importância" ou "qualidade", classificando-as em faixas ou categorias (que variaram ao longo da história da base; mas em sua última edição o QUALIS tem 8 níveis ou faixas: A1, A2, A3 e A4, e B1, B2, B3 e B4, além de C para periódicos não-classificados, e sendo A1 o nível mais alto, mas vamos discutir em mais detalhes como chegamos a essas faixas, logo abaixo).

Dada a importância da CAPES e sua “expertise” em termos de avaliação, rapidamente a lógica de utilizar o QUALIS para avaliações de forma mais geral na Academia passou a vigorar, apesar de uma série de alertas para alguns pontos importantes. O QUALIS nunca foi uma base geral de “qualidade de periódicos”, sendo na realidade uma lista de periódicos construída a partir dos artigos que os docentes e discentes dos PPGs em cada área publicaram nos últimos anos, sendo assim apenas uma forma de subsidiar uma avaliação da "qualidade" da produção científica nessas áreas de avaliação da CAPES. Assim, o fato de uma revista não estar listada no QUALIS poderia indicar que simplesmente nenhum pesquisador daquela área publicou naquela revista no período analisado (uma revista nova, por exemplo). Ao mesmo, uma mesma revista poderia receber conceitos muito diferentes nas diferentes áreas de avaliação (isso se essa revista publicasse artigos de docentes ou discentes associados a PPGs avaliados por essas diferentes áreas e, assim, entrassem nas suas listas de revistas). Mais importante, o QUALIS sempre foi pensado de forma “retrospectiva”, no sentido de que ele era divulgado e usado a partir de critérios definidos em cada um dos comitês de avaliação para uma avaliação passada, e mesmo que os critérios fossem mantidos, o nível relativo das revistas poderia, em um momento futuro, já ter mudado. Operacionalmente, a CAPES sempre divulgou uma lista do QUALIS em seus sistemas, mas nunca foi possível fazer atualizações dessa base de dados em "tempo real" (e isso nem faria sentido...). Assim, ainda que fosse possível aplicar, para fins mais gerais de avaliação em outros órgãos, agências de fomento e Universidades, os critérios do QUALIS, a lista em si não faria necessariamente sentido pois estaria em alguns casos "ultrapassada". Outro ponto importante é que o QUALIS avalia as revistas e não os pesquisadores (ou, mais especificamente, seus artigos) em si, e existem métricas mais adequadas e abrangentes para avaliações individuais (em um concurso público ou processo seletivo para o cargo de pesquisador ou docente, por exemplo), sem assumir que publicar algo em uma boa revista realmente significa que aquele é especificamente um bom trabalho (mas essa é outra discussão mais longa...).

Ao mesmo tempo, a partir do momento em que as métricas internacionais, especialmente o “Fator de Impacto” (IF) do JCR/WoS e outras similares (e.g., o CiteScores da SCOPUS/Elsevier) se tornaram mais comuns e disponíveis, com uma abrangência e cobertura cada vez maior em algumas áreas do conhecimento, várias das áreas de avaliação da CAPES começaram simplesmente a “ignorar” o QUALIS e aplicar diretamente essas métricas mais contínuas baseadas no número ou frequência de citações (que, por sua vez, apresenta uma série de outros problemas mais gerais, embora possam funcionar em avaliações mais específicas...). Algumas áreas de avaliação, por exemplo, ao invés de avaliar quantos artigos A1 ou A2 os docentes em um PPG publicaram, simplesmente somaram o IF dos artigos de cada docente (claro, nesse caso se não há filtro de valor mínimo de IF mínimo isso pode levar a uma inflação “produtivista”, assumindo uma equivalência entre publicar muitos artigos de baixa “qualidade” e poucos artigos de maior “qualidade”).

Houve, ao longo do tempo, várias discussões e atualizações do QUALIS. Mais recentemente, em 2018, iniciou-se mais uma discussão ampla sobre ele a partir de um Grupo de Trabalho (GT) liderado pelo Prof. Paulo Santos, atual Diretor de Avaliação da CAPES. O ponto mais importante desse GT foi tentar gerar um “QUALIS único”, ou mais apropriadamente um “QUALIS referência”, que pudesse ser utilizado por todas as áreas de avaliação. Essa não é uma ideia nova e já havia sido discutida e debatida algumas vezes, mas nunca havia prosperado (participei de reuniões sobre essa ideia de “QUALIS único” há muitos anos atrás, ainda quando o Prof. Renato Janine, da USP, ex-ministro da Educação da Dilma e atual presidente da SBPC, foi diretor de avaliação...) A ideia do GT que começou em 2018 (cujo relatório final está disponível aqui) foi pensar em critérios gerais mais “objetivos”, a partir das métricas internacionais ou estimadores ligados a elas, e que ao mesmo tempo pudesse absorver alguma flexibilidade dada a realidade nacional. Cada revista é analisada por uma “área-mãe”, que é a área de avaliação em que há maior frequência de publicações daquela revistao, sendo possível subir ou descer 30% das revistas em 1 nivel e 20% delas em 2 níveis (esses percentuais foram reduzidos depois). Essas regras foram definidas em uma portaria da CAPES em 2021 (portaria 145 de setembro de 2021), mas esta foi posteriormente revogada por decisão do próprio CTC da CAPES (portaria 213 de dezembro de 2021), e confesso que não sei como ficou essa situação legalmente na DAV como um todo, entendo que ainda há muita confusão jurídica envolvendo o QUALIS (adicionalmente às questões do MPF sobre a avaliação...). De qualquer modo, mesmo com as confusões, o QUALIS referência foi utilizado na última avaliação quadrienal 2017-2020. Por exemplo, de acordo com o relatório de avaliação da área de Biodiversidade, a área é responsável por uma total de 952 periódicos (incluindo Science e Nature, diga-se de passagem...), que representam cerca de 30% dos periódicos listados no QUALIS. Esses periódicos contém cerca de 75% do total de artigos publicados pelos PPGs da área de Biodiversidade, sendo que cerca de 70% dessas publicações estão em periódicos classificados de A1 a A4. Note-se que essa lógica do QUALIS não se aplica a algumas das áreas das humanidades, que resolveram estabelecer outro QUALIS, por outro GT (o “QUALIS periódicos humanidades”).

Mais pragmaticamente, a ideia do GT então foi utilizar como base para a classificação nos 8 níveis do QUALIS uma métrica "relativa" de impacto, que é a posição relativa em percentagem (o percentil) do impacto da revista considerando o total de revistas que estão classificadas em diferentes áreas e subáreas do conhecimento definidas pela SCOPUS ou pelo WoS. Por exemplo, a Hydrobiologia, uma revista muito utilizada por pesquisadores da área de ecologia aquática no Brasil, possui na SCOPUS em 2023 (ano-base de 2022) um citeScore igual a 5,1, e ela ocupa a posição 51 em uma lista de 228 periódicos que a SCOPUS inclui em uma área de “Aquatic Science”, de modo que o seu percentil é 77% (dado por [(1 - 51/228) * 100]). Essas informações podem ser facilmente obtidas buscando o nome da revista científica nos “sources” da SCOPUS (e há uma plataforma similar no WoS, mas ela é de acesso mais restrito e só pode ser acessado pelo “Portal de Periódicos” da CAPES).

Busca no "sources" da SCOPUS para os indicadores da revista Hydrobiologia

O QUALIS é construído a partir desse percentil, mais precisamente pelo melhor percentil de uma revista nas diferentes áreas da SCOPUS ou do WoS (algumas revistas aparecem nas listas de mais de uma área). Como o QUALIS possui 8 níveis (A1 a A4, e B1 a B4), a ideia é definir as faixas críticas a partir de intervalos de 12,5 pontos (8/100), de modo que uma revista será classificada como A1 se o seu percentil for maior do que 87,5%, como A2 se o seu percentil estiver entre 75,0% e 87,5%, e assim sucessivamente. Note que, nessa lógica, a divisão entre revistas “A” e “B” refere-se a revistas cujo percentil está acima (A) ou abaixo (B) da mediana da área definida pela SCOPUS ou WoS (ou seja, o percentil de 50%). A Hydrobiologia, portanto, é uma revista A2, já que seu percentil está entre 75,0 e 87,5.

É importante entender, portanto, que a dinâmica do percentil de uma revista e consequentemente sua classificação nas diferentes faixas do QUALIS ao longo do tempo vai ser governada, de fato, por dois fatores que são parcialmente independentes, ou hierarquicamente estruturados: o “impacto” da revista (o Cite Scores ou o IF), e a posição relativa dessa métrica em relação à métrica que é alcançada nas outras revistas da área. Em princípio faz bastante sentido pensar no percentil como indicador de qualidade da revista, indicando que mesmo que uma revista esteja subindo seu fator de impacto, ela pode estar “melhorando” menos do que outras revistas da área. Entender bem essa distinção vai ser importante para algumas das discussões a seguir.

O QUALIS e as Métricas de Avaliação da Pós-Graduação

Em um primeiro momento, a ideia de usar o melhor percentil da SCOPUS ou WoS para construir o QUALIS referência foi uma solução bastante adequada...Nada é perfeito, claro, mas foi um bom avanço em relação a adotar uma classificação mais geral em grande parte independente de critérios muito subjetivos que eram usados por algumas áreas de avaliação (algo que sempre foi criticado...). Ao usar o melhor percentil elimina-se em grande parte a questão das métricas mais absolutas como o IF ou similares variarem muito entre as áreas do conhecimento, em função da dinâmica de cada uma delas. Entretanto, as pessoas dão, de fato, muito importância ao QUALIS “em si”, sem entender que ele é, de fato, apenas uma “categorização” (em 8 faixas) de uma métrica contínua, que é o percentil da revista nas bases de dados internacionais. Esse número de faixas é arbitrário, claro, e a própria SCOPUS usa apenas os quartis (ou seja, 4 faixas; Q1, Q2, Q3 e Q4).

Na verdade, o ponto importante de toda a discussão da “qualidade da produção científica”, que tem sido muito pensada em função do QUALIS e que discutimos em detalhe na última postagem, está, de fato, em COMO esse QUALIS vai ser usado nos diferentes itens e quesitos da Ficha de Avaliação utilizada na Quadrienal. O que é importante, portanto, é pensar nas métricas que usam essa “qualidade” das revistas científicas utilizadas pelos docentes e discentes de um PPG. Nesse sentido, alguns pontos merecem atenção pelo impacto que causam na nota final do PPG, considerando algumas das métricas utilizadas. Essas são questões mais “operacionais” e poderiam ser resolvidas de diferentes formas, e assim devemos discuti-las, claro! Mas o mais importante é que elas, de fato, abrem espaço para discussões posteriores bem mais profundas, que serão levantadas na próxima seção...

Vamos assumir, em um primeiro momento, que a lógica da construção do QUALIS a partir das métricas de impacto e percentil realmente faz sentido (e isso é um pressuposto inicial, ok, mas há muita controvérsia sobre isso). Se esse pressuposto é válido, porque precisamos criar o QUALIS simplesmente gerando oito faixas a partir de um “continuum”? Por exemplo, definimos que uma revista A1 é aquela cujo percentil é maior do que 87,5%, mas qual a diferença de “qualidade” entre uma revista com um percentil de 88,0% (que seria A1) e uma de 87,0% (que seria A2)? Se temos um critério que exige que um pesquisador tenha 2 artigos A1 em um dado período de tempo, por que “desvalorizar” ou excluir dessa lista de docentes que atingem ese critério de "qualidade" da produção alguém que tem um artigo em uma revista com percentil de 87% e outro artigo em uma revista com 99% (portanto, um artigo A1 e outro A2), em relação a outro que tem dois artigos em revistas com 88% (dois artigos A1)? Se essa métrica é importante na avaliação na ficha, essa diferença pode ter um impacto bem grande, mas não faz muito sentido porque de fato a categorização é arbitrária e não leva em consideração a variação "dentro" das faixas. Nesse caso, seria mais interessante somar os percentis de alguns artigos, como de fato é feito em outra métrica, a de “produção indicada” (cada docente tem uma pontuação dada pela soma dos seus 4 melhores percentis, dadas algumas condições – co-autoria com discentes do PPG, por exemplo). Portanto, fica mais clara agora a ideia de que se o QUALIS é construído apenas com os percentis, por que precisamos dele? Não é tão simples assim, mas voltamos a isso ao longo do texto...

Outro ponto importante ligado à categorização do QUALIS é que os percentis podem mudar um pouco com o tempo (embora em um primeiro momento possamos dizer que esses percentis são mais estáveis do que os fatores de impacto “per se”). De qualquer modo, a partir do momento que algumas revistas estão próximas dos limiares das faixas, uma pequena mudança no percentil (de 87% para 88%) pode mudar bastante o resultado da avaliação, como no exemplo acima. Nesse sentido, um dos problemas é que o QUALIS utilizado na avaliação foi construído a partir dos valores de um único ano (foi feito em 2020, com dados de 2019). Isso leva à questão do papel “indutor” das métricas de avaliação, que sempre é muito discutido. A partir do momento que se define um critério para revistas A1, por exemplo, é natural que os pesquisadores e docentes dos PPGs passem a buscar revistas com esse perfil, para as quais possam submeter seus artigos para publicação. Entretanto, há uma grande defasagem entre a submissão e a publicação, e depois entre esses eventos e a avaliação pela CAPES, o que pode criar problemas. Suponha que, em 2020, o pesquisador escolhe uma revista da sua área cujo percentil era 88%, ou seja, pouco acima do limite do A1, e submete seu trabalho, que é publicado (com um pouco de sorte) em 2021, e nesse período o percentil ainda estava em 89%. Entretanto, quando o QUALIS foi construído para a próxima avaliação (digamos, no próximo ano, em 2025, com dados de 2024), suponha que o percentil da revista cai, em 2024, para 87%. Com um critério de número de pesquisadores que publicaram em A1, aquele docente estaria excluído e o PPG seria potencialmente prejudicado, ainda que, quando o artigo foi submetido ou publicado, a revista seria classificada como A1.

Propositalmente, claro, mostrei o citeScores e o percentil da Hydrobiologia acima, justamente porque sua colocação no QUALIS teve exatamente o comportamento que mencionei no parágrafo acima. No QUALIS anterior, utilizado na avaliação do quadriênio 2017-2020, ela foi considerada A2, pois seu percentil era 86% em 2019. Entretanto, no ano seguinte (antes do QUALIS ser divulgado), ela já havia subido seu citeScores para 5.1 e o percentil para 88% (passando a A1), com uma tendência positiva e chegando a 89% no ano seguinte. Em tese, os pesquisadores poderiam ou deveriam investir na revista. Entretanto, no último ano, em 2023 (dados de 2022), ela caiu para 77% de percentil, ainda que seu citeScores tenha se mantido no valor de 5.1. Isso foi resultado de uma mudança no sistema de classificação da SCOPUS, mas o que fica claro, de qualquer modo, é que agora a área de Aquatic Science tem outras revistas que subiram mais ou têm melhor frequencia de citações do que a Hydrobiologia. Mas isso significa que há algum problema nessa revista? Ou que as outras que subiram são “melhores”? Deixemos isso um pouco mais para a frente...

Tendências temporais do CiteScore e percentil na área de Aquatic Science da SCOPUS para a revista Hydrobiologia

Não é muito simples contornar o tipo de problema demonstrado acima a partir do QUALIS referência tal qual construído, exceto utilizando a possibilidade de uma área subir ou descer níveis (o que desagrada a várias pessoas justamente porque passa a ser subjetivo; porque deveríamos prestigiar essa revista em particular, e não outra, já que há um limite de mudanças possíveis? Mas vamos voltar a esse ponto no final da postagem). Seria possível resolver parcialmente o problema e manter essa "objetividade" se houvesse uma atualização anual e as métricas fossem baseadas na classificação no ano da publicação e não no final (ainda assim restaria a questão de quando foi feita a submissão, impossível resolver, mas enfim...). Isso seria bem complicado sob um ponto de vista operacional, e outra possibilidade seria utilizar a classificação a partir do melhor percentil dentro no período de avaliação (2020-2024, por exemplo), ou usar um percentil médio ou mediano, em uma janela móvel talvez. Alguns vão argumentar que os pesquisadores não deveriam utilizar revistas cujo percentil está “no limiar” das faixas, tudo bem (como se diz sempre, o que realmente sabemos é que “...o sarrafo sempre sobe”, então...). Isso seria um raciocínio um pouco “invertido” e de fato isso é tudo que NÃO queremos em termos de qualidade da produção científica...Idealmente, o pesquisador deve escolher as revistas com base no seu perfil, qualidade (que não seria indicada apenas pelas métricas do QUALIS...), corpo editorial, familiaridade, público-alvo, aderência à área de pesquisa e ao tema do artigo, e a métrica seria algo “secundário” a princípio, pelo menos em termos de uma decisão arbitrária ao discretizar um “continuum” como fazemos no QUALIS. Claro, queremos que essa revista que escolhemos seja considerada “boa”, de acordo com algum critério, mas é complicado ficar à mercê dessas flutuações e ter um impacto desproporcional disso na avaliação final do PPG. Como já discutido, a revista utilizada pelo pesquisador deveria ser avaliada pelo que ela apresenta “de fato”, que é o percentil, sendo uma diferença entre 87% e 88% desprezível e dificilmente justificaria a distinção de dizer que a revista com 88% é “excelente” (A1) e com 87% é “muito boa” (A2), por exemplo. Mas já discutimos isso no exemplo acima.

Há outros problemas mais ligados à classificação que é feita pela SCOPUS ou WoS. Por definição, classificações são arbitrárias em geral e dependem do objetivo, e o ponto é que o objetivo geral dessas bases pode não estar 100% alinhado com a lógica dos PPGs (especialmente aqueles nas áreas multi e interdisciplinares) e de sua classificação nas áreas de avaliação da CAPES. Por exemplo, se uma revista qualquer é utilizada por um pesquisador de um PPG em uma área de avaliação, com um artigo dentro do escopo do PPG, mas a revista utilizada, por qualquer razão, não está classificada na área geral do PPG e apenas em áreas mais “competitivas”, perturbando o seu QUALIS, teremos em uma área um pesquisador que tem artigos em revistas com um citescores mais alto mas cuja revista, de fato, tem uma classificação mais baixa no QUALIS. Claro, seria possível comparar diretamente a métrica de citação dela com o das demais revistas utilizadas mais frequentemente pela área e classificá-la de forma mais coerente, utilizando-se as faixas permitidas (o que pode ser, de fato, um critério um pouco menos subjetivo de subir ou descer níveis de revistas, se for o caso...).

De qualquer modo, diante desses problemas, voltamos à ideia de que uma solução seria utilizar métricas que usem diretamente o percentil, sem passar pela categorização do QUALIS, sendo pelo menos em parte imunes a esse tipo de problema. Claro, os percentis mudam, mas as diferenças seriam avaliadas continuamente pelo que elas são, e não de forma categórica. E no caso da métrica de produção indicada, como são solicitadas informações de 4 artigos por docente, em geral há mais “grau de liberdade” (no sentido de que um pesquisador vai ter publicado em mais revistas diferentes, o que torna a métrica final menos sensível a flutuações particulares em uma única revista). Mas, nesse caso, a questão persiste, por que precisamos do QUALIS? Muitos vão dizer que simplesmente não precisamos...Talvez, mas há alguns problemas bem mais sérios que, paradoxalmente, podem fazer com que o QUALIS seja, de fato, uma solução interessante para vários problemas no futuro próximo. O mais curioso é que, sendo assim, voltar-se-ia para a lógica original da criação do QUALIS ainda no final dos anos de 1980...

A “objetividade” do QUALIS e a Dinâmica Atual da Produção Científica Global

Com a aproximação da avaliação quadrienal 2021-2024 e as reuniões de “meio-termo” que começaram esse mês, como relatei na última postagem, voltaram as discussões sobre o QUALIS e sobre os indicadores de produção. Parte das críticas continua, como discuti anteriormente, sendo baseadas em muitos casos em uma má compreensão do modo como o QUALIS é construído e usado, bem como sobre a questão mais ampla da produção científica (a questão do “produtivismo”, por exemplo, ou de "outros critérios" para avaliar o PPG). Entretanto, mesmo tendo rebatido algumas dessas criticas antes, não podemos ignorar que houve realmente mudanças muito importantes na dinâmica global da produção científica nos últimos anos. Aparentemente, essas mudanças já podem estar começando a produzir impactos nas métricas da SCOPUS ou WoS que, de alguma forma, precisam ser analisados e eventualmente considerados. Paradoxalmente, o que pretendo argumentar aqui é que, mesmo aceitando muitas das críticas que vêm sendo feitas ao QUALIS, acho que ele pode ser justamente a solução para vários problemas que vão surgir a partir das discussões a seguir!

Voltando rapidamente à questão dos percentis, que são a base da construção do QUALIS referência, vamos entender que há pelo menos dois pressupostos para interpretá-los como “qualidade” da revista: 1) que a métrica captura prestígio, que gera atração de trabalhos inovadores que seriam filtrados por um processo adequado e rigoroso de revisão por pares, garantindo assim trabalhos de alta qualidade sendo publicados ali, e; 2) que a variação dos impactos das revistas determinados pela variação nesses itens e no mesmo processo de atração e avaliação de artigos, de modo que a posição relativa - o percentil - dependeria do desempenho da revista, não havendo outros fatores extrínsecos ou independentes dessa métrica de “qualidade”. Será que é isso mesmo? Ou há outros componentes e fatores envolvidos nesse processo? Aí começam alguns problemas que nos levam a muitas direções interessantes de discussão...

Sempre assumimos que frequência de citação é proporcional ao prestígio e qualidade da revista, o que em tese é (ou era) uma boa ideia. Se uma revista publica bons artigos, interessantes, inovadores, bem escritos e claros, que podem nos dar ideias para novas abordagens metodológicas ou que proponham novas teorias ou modelos a serem testados e aplicados, é natural que os artigos dessa revista atraiam atenção, que a comunidade científica fique atenta às suas publicações e que os seus artigos sejam citados, aumentando consequentemente o impacto da revista (ou seja, o número médio de citações dos artigos ali publicados em uma dada janela temporal). Claro, uma crítica antiga (e correta) é que esse impacto pode ser dado por uns poucos artigos da revista (a distribuição do número de citações por artigo é assimétrica) e que a “escala” do próprio fator de impacto depende da área do conhecimento, de seu tamanho e de sua dinâmica...O uso do percentil, ou de outras métricas relativas, por área do conhecimento, resolve o problema ao padronizar a escala pela área (embora a própria classificação das revistas na área possa ser, em alguns casos, questionada, mas isso também não é tão difícil de resolver...). Até aí tudo certo então.

Entretanto, toda a lógica descrita acima é difícil de ser avaliada empiricamente, e essas ideias, ainda que sejam razoáveis e plausíveis, podem estar mudando rapidamente por diversas razões...Na realidade pensar em “qualidade” a partir de métricas de citação média de uma revista é algo teórico, de fato é uma interpretação de componentes “não-observáveis” que estariam subjacentes ao “empírico” (que seria a métrica em si) e que dependeriam de muitos pressupostos (referentes à atitude científica dos pesquisadores e de práticas editoriais) e principalmente da existência de uma série de relações de causa-e-efeito que envolvem, por sua vez, valores abstratos, psicológicos e emocionais no nível individual do pesquisador e da comunidade científica, bem como de componentes sociológicos referentes às práticas científicas e sua avaliação, isso sem falar de um problema de “escala” (da avaliação do pesquisador ao artigo, e do artigo à revista). Do mesmo modo que ocorre em relação às próprias teorias científicas, como já discutimos antes, é muito ingênuo assumir que as métricas de avaliação cienciométrica têm uma interpretação “única” e que medem “objetivamente” algo tão abstrato quanto “qualidade”.

Claro, podemos assumir pragmaticamente que queremos realmente utilizar essas métricas de frequência absoluta ou relativa de citações como medida de visibilidade e utilização, e que não estamos preocupados com quaisquer interpretações sobre as razões subjacentes a esses valores. Seria uma abordagem bem instrumental/empiricista e, ademais, alguns podem argumentar que essas pequenas diferenças no QUALIS, ao final, perturbam pouco a avaliação tanto porque há diferentes métricas envolvendo produção científica, como vimos, que avaliam de fato "efeitos médios" sobre muitos autores docentes e discentes e que, como há uma grande variação entre os PPGs, os padrões gerais de "qualidade" seriam capturados. Tudo bem, até concordo, mas o que essa utilização instrumental realmente significa, e o que ela sinaliza? Quais as implicações? Os cientistas naturais tendem a ser mais “realistas” e gostamos de pensar nos “não-observáveis” e assim buscar “explicações” para os padrões empíricos que observamos ou detectamos, e isso tende a se aplicar também à própria avaliação da nossa atividade científica, em um contexto cienciométrico (na minha compreensão). Mais importante, estamos realmente dispostos a assumir uma visão pragmática e arcar com as consequências dessa decisão, uma vez que podemos hipotetizar que fatores potenciais poderiam subverter a interpretação original mais “ingênua” (mas ainda assim consistente com os nossos valores “Mertonianos” de ciência)? Não sei se, ao fazermos isso, ficaríamos confortáveis com o que podemos encontrar...Esse é um ponto delicado, como veremos.

Estamos começando a ver mais claramente que muitos outros componentes podem facilmente “subverter” uma interpretação simplista de que citação reflete qualidade...Claro, sempre soubemos que é possível "manipular" as métricas de avaliação cienciométrica como os fatores de impacto ou as estatísticas H de Hirsch, tanto em nível individual quanto coletivo (editorial). Mas isso sempre foi discutido em um contexto de más práticas acadêmicas e editoriais (e temos falado muito disso no contexto das revistas predatórias). Tivemos, por exemplo, muitos casos de editores “sugerindo” citar artigos recentes da própria revista, quase que condicionando o aceite final do artigo à essa inclusão (e assim inflando o impacto da revista). Para evitar a detecção dessa má prática de autocitação forçaca, isso foi feito também como um “cartel” por algumas revistas brasileiras há uns anos atrás (e a CAPES detectou essa má prática e eliminou as revistas do QUALIS, com impacto grande para alguns PPGs – que nem sabiam que isso acontecia, na maior parte dos casos).

Esses escândalos são denunciados quando detectados, de alguma forma se corrige o problema e se condena essas más-práticas, e confiamos nisso como uma demonstração de que o sistema de alguma forma se autorregula. Tudo bem, mas não estamos falando bem disso, temos algo mais sutil, mais sistêmico e profundo em termos de dinâmica da produção científica aparecendo nos últimos anos. O ponto central me parece ser “simplesmente” a chegada, ou dominação, de um sistema capitalista e mercantilista extremamente agressivo no sistema editorial científico, se aproveitando de uma série de distorções e políticas institucionais de avaliação mal pensadas e executadas, em todo o mundo (e, reflexivamente, posso estar sendo também ingênuo em relação a isso).

Vamos tentar entender melhor algumas das ideias e tentar imaginar que fatores poderiam então "distorcer" as métricas em relação a algumas expectativas teóricas e aos nossos valores Mertonianos idealizados. É uma discussão complexa que realmente envolve aspectos aparentemente dispares como a questão da economia das revistas e das grandes corporações editoriais (a questão do sistema de publicações de acesso aberto, ou “Open Access” - OA daqui por diante), incluindo as implicações geopolíticas que emergem disso, a questão associada (historicamente) das chamadas revistas “predatórias”, a questão das agendas de pesquisa em nível regional, nacional e internacional, as práticas de distribuição de recursos a partir de avaliação das instituições e da própria carreira dos pesquisadores, em um contexto de “publish or perish”, ou seu contraponto de “slow science”... Enfim, estamos falando de praticamente de tudo que envolve o modo como a atividade científica acontece no início do século XXI. Claro, impossível detalhar cada um desses pontos agora, mas temos que manter isso em mente e pensar no impacto que isso pode gerar nas métricas de citação...Vamos pensar em um exemplo simples, para fins ilustrativos dessa dinâmica.

O raciocínio geral seria que a partir do momento que uma dada revista científica “atrai a atenção” dos pesquisadores, por qualquer razão, ela passa a ter mais “visibilidade” e os seus artigos começam a ser mais lidos e citados. Se isso ocorre, como pensamos acima, por uma questão de “qualidade”, ótimo, mas podemos pensar em outros fatores que desencadeiam a visibilidade. Muito dessa visibilidade inicial vem das próprias tradições de pesquisa, somos formados lendo artigos de algumas revistas, publicados por pesquisadores importantes de nossa área, ou nosso orientador, que é uma pessoa mais experiente, pode sugerir leituras ou submissões a uma revista que ele ou ela aprecia. Temos um componente histórico e de tradição, portanto, e em geral esperamos ou assumimos que isso reflete uma ideia abstrata de “qualidade”. Se muitos pesquisadores têm a mesma percepção da revista, ela terá portanto mais visibilidade e mais citações (e daí o problema do impacto ser dependente do "tamanho da área de conhecimento", que já mencionei antes).

Entretanto, vamos supor que a partir de um determinado momento uma nova revista passa a receber muitos artigos porque houve uma mudança no sistema econômico editorial que cria uma “pressão” da comunidade científica para que, a partir de um determinado momento, os artigos sejam publicados em revistas OA (por causa do “plano S” da Comunidade Européia e outros países associados, por exemplo, que exige que pesquisadores que receberam recursos públicos façam isso...). Isso exigiria mais uma longa digressão aqui, mas resumindo (muito), uma coisa que estamos vendo é justamente uma tendência de deixar de publicar em revistas com acesso fechado (que estão disponíveis apenas por assinatura ou para membros das sociedades científicas) e passar a publicar em revistas OA, no qual os autores pagam pela publicação diretamente e os artigos ficam disponíveis para qualquer pessoa em qualquer lugar do mundo. Vamos supor que essa nova revista OA esteja recebendo artigos porque, nesse sistema, possui um preço atrativo (dado pelas chamadas APCs – Article Processing Charges – são menores...) e com isso ela ganha visibilidade e, a partir daí, o seu impacto começa a subir e ela é melhor avaliada, desencadeando uma retroalimentação positiva na métrica.

Em princípio, novamente, tudo certo, mas e se o processo de revisão-por-pares dessa nova revista não for tão bom assim, o que torna mais fácil publicar lá? Talvez isso seja melhor ainda na cabeça de muitos pesquisadores, até mais um incentivo na verdade, em uma lógica simples de “publish ou perish”. Isso fica claro se essa revista receber uma avaliação “razoável” em um sistema de avaliação não tão rigoroso, ou se o sistema não se importar muito com qualidade e privilegiar quantidade (e aí entram as questões ligadas às revistas predatórias, que seriam apenas um “extremo” desse gradiente de qualidade de revisão - mas isso é algo mais complexo e temos mais nuances aí...). Se os sistemas de avaliação estão minimamente atentos à questão da qualidade, essa revista vai precisar ter um mínimo para começar a melhorar...Isso não é tão difícil, e pode ser feito, em princípio, por propaganda e “marketing” agressivos e por tentativas de atrair bons editores, o que é legítimo (pelo menos dentro da lógica capitalista).

No exemplo hipotético acima, podemos pensar que o autocontrole pela comunidade científica e pelo sistema de avaliação acadêmica, ainda com uma lógica de qualidade, regularia a taxa de citações. Podemos, por exemplo, argumentar que, à medida que a nova revista OA recebe muitos artigos, ela pode restringir mais os artigos publicados e selecionar apenas artigos de maior qualidade ou mais inovadores, filtrando-os em um bom processo de revisão, se tornando assim mais rigorosa...Mas se o benefício de publicar nessa revista não é tão alto (i.e., se o sistema de avaliação não é tão rigoroso...), talvez isso afaste os pesquisadores. Ao mesmo tempo, talvez uma estratégia mais “interessante” para a revista OA fosse simplesmente aumentar sua capacidade de publicação e assim ganhar até mais dinheiro, o que é bem mais fácil hoje em um sistema digital...Na realidade, há várias direções estratégicas possíveis, incluindo tornar o processo editorial ainda menos rigoroso para atrair mais pesquisadores e se tornar, em um certo sentido, “predatória” (em longo prazo, espera-se que no nosso sistema mais estóico a revista perca citações se os pesquisadores não se interessarem pelos artigos, mas não estou certo de que isso aconteça..). Mas se ela restringe apenas um pouco as aceitações, em um ponto de equilíbrio melhor entre “qualidade” e “atratividade”, se assim ela ganha mais citações e visibilidade, continua sendo atrativa e isso se reverte em uma melhoria no sistema de avaliação e mais prestígio, de modo que a revista ou a editora como um todo poderia com mais tranquilidade aumentar as taxas de publicação e sua margem de lucro!

Na realidade, em um certo sentido, esse aumento da margem de lucro a partir do prestígio e de pontos de equilibrio bem definidos em termos de qualidade e atratividade foi o que aconteceu a partir do momento que as grandes editoras, como Wiley/Blackwell, Springer, Elsevier e Nature, dentre outras, começaram a criar suas próprias revistas OA, já que elas tinham historicamente “prestígio” para bancar isso. Por que razão a APC da Nature Communications, por exemplo, está por volta de U$ 6.000,00 (é isso mesmo, seis mil dólares, mais de R$ 30.000,00)? A maior parte das APCs das revistas mais prestigiadas hoje estão na faixa entre US$ 2000,00 e US$ 3000,00, o que é um valor considerável e, pelo que eu sei, mais do que suficiente para bancar a publicação de um artigo...Com certeza não estamos falando apenas do custo de processamento dos artigos, definitivamente! Portanto, se o sistema funciona dessa forma, essas revistas começam a ser tornar, para aqueles que têm recursos financeiros para publicar, mais atrativas, inclusive quando comparadas a revistas mais tradicionais ou de sociedades científicas que não são OA e que, por qualquer razão, resistam a esse modelo econômico (isso tem acontecido...). Mas se há uma exigência legal de que a publicação seja em revistas OA, como no "plano S", tudo isso se agrava e há poucas alternativas para essas revistas tradicionais...

Outra implicação dessa questão, para além das taxas de publicação, é que se gera um enorme problema para que pesquisadores em países com menos recursos ou com problemas de câmbio (como é o nosso caso) publiquem nessas revistas, o que amplia ainda mais as desigualdades, especialmente se as revistas de maior prestígio e maior impacto passam a ser as revistas OA das grandes editoras (isso já está acontecendo em algumas áreas). Por mais que as editoras digam que elas vão subsidiar parte disso e dar isenções ou descontos para pesquisadores em países em desenvolvimento, ou pobres mesmo, as coisas são mais complicadas...Não estamos falando de organizações sem fins lucrativos – como seriam as sociedades científicas, por exemplo -, estamos falando de corporações com margens de lucro absurdas! Nesse contexto, temos um caso “interessante” acontecendo agora no Journal of Biogeography (o JBI é uma revista pela qual tenho muito apreço, pois além de ser uma revista importante na minha área de pesquisa, foi onde comecei minha atuação como editor associado, a convite do Prof. Rob Whittaker, de Oxford, à época o editor principal). O JBI está comemorando seus 50 anos em 2023 e, infelizmente, entrou em uma crise séria exatamente porque os seus editores não concordam com sua transformação em “Open Access” proposta pela Wiley (seguindo a lógica do "Plano S") considerando a proposta de APCs bem elevadas e poucas isenções/descontos...Veja aqui a carta do editor-chefe, Mike Dawson, e outra dos editores-associados, denunciando a situação...Tomara que se chegue a uma solução “razoável”, mas isso já aconteceu há alguns anos com outra revista “irmã” da JBI, a Diversity and Distributions...

Toda essa confusão no JBI nos leva a um ponto importante sobre a questão mais ampla de devemos realmente pensar apenas em revistas menores ou editoras novas como “predatórias”, e como fica a ética e conduta editoral das grandes editoras...Estou cada vez mais convencido que são diferentes facetas de um mesmo problema, tudo isso seria simplesmente uma questão de capitalismo... Alguns colegas estão muito focados na discussão sobre revistas predatórias, por exemplo (o que é importante, certamente, e especialmente alertar os pesquisadores mais jovens e em início de carreira sobre isso!) e acham que simplesmente pensar em “listas” que excluam essas revistas ou mesmo editoras inteiras resolve o problema (do QUALIS, por exemplo). Entretanto, a situação é mais complexa e a questão das predatórias seria apenas mais uma faceta de algo mais geral, ligado a todas as transformações nos sistemas econômicos envolvendo a produção científica global também no nível das grandes editoras e corporações mais tradicionais e “respeitadas”.

Desculpem, estou um pouco pessimista em relação a tudo isso e cansado depois de 30 anos de discussão...De certa forma paradoxalmente, ainda sou editor-associado de duas revistas que estão nessa situação de OA (na nova NPJ Biodiversity, do grupo Nature, e na Ecography, que é uma revista tradicional da Sociedade Nórdica de Ecologia, mas que há alguns anos passou a ser editada pela Wiley...). Entendo que a ideia geral do sistema OA é interessante e política/socialmente correto, no contexto do "plano S", por exemplo. Podemos discutir mais muitos componentes do sistema OA, e entendo que ele só passa a ser minimamente justo se ocorrer em revistas de sociedades científicas sem fins lucrativos, ou se pelo menos se as grandes editoras estiverem dispostas a apoiar a redução das desigualdades, dar independência ao editores e promover processos de revisão de qualidade – aliás, essa foi inclusive a promessa da NPJ Biodiversity, que está sendo cumprida...). Mas quanto de margem de lucro de uma grande editora é aceitável? Capitalismo é complicado, na realidade é um problema mais geral na nossa sociedade...Enfim, temos muita coisa para discutir no contexto editorial e é fácil começar a divagar por vários temas, mas o ponto central aqui é que, com a questão das OA e dos muitos incentivos para essa mudança no sistema econômico, todas as questões de “qualidade” e todos os pressupostos idealizados ligados à dinâmica das citações ficam ainda mais comprometidos, em diferentes níveis. E assim, com isso em mente, podemos voltar agora à questão original do QUALIS!

Se o QUALIS está baseado nos percentis da SCOPUS ou WoS, o que isso significa diante de tudo isso que discutimos até aqui? Qual o balanço entre uma interpretação mais tradicional referente à “qualidade” e qual a influência dessas dinâmicas capitalistas e mercantilistas, em curto e médio prazo, sobre as métricas? A resposta honesta é que, de fato, eu não sei, precisaríamos investir muito mais tempo em tentar avaliar melhor esses balanços, se é que estamos interessados mesmo nisso (ou seja, se não vamos assumir a visão pragmática de "visibilidade", digamos assim). Ou seja, se as revistas tradicionais e das sociedades estão perdendo frequência relativa de citações, ainda que mantenham altíssimos “standards” de avaliação, e que seja muito difícil publicar ali, vamos considerá-las como revistas de “menor qualidade” em relação a uma nova revista OA que está ganhando citações por um sistema de retroalimentação positiva ligado à questões econômicas? Não estou dizendo que essa nova revista é “ruim” ou “predatória”, mas vocês vão concordar que, no mínimo, há muitas nuances e distorções potenciais aí. É dificil...Sem querer perder a generalidade (para leitores de outras áreas), American Naturalist, Evolution e Oikos, revistas tradicionalíssimas e que publicam artigos extremamente importantes em Ecologia e Evolução, são atualmente classificadas como A2! Não é nada trivial publicar um artigo nessas revistas...Será que elas perderam a atratividade justamente por causa disso? E ai ninguém estava olhando muito o que está sendo publicado ali? Seria um péssimo círculo vicioso...Não sei não...

Além disso, temos a questão das APCs. Está havendo uma grande discussão sobre isso, inclusive na CAPES, já que pagamos uma fortuna para as grandes editoras pela assinatura via “Portal de Periódicos” e ainda temos que pagar as APCs (vejam o vídeo no final da postagem sobre isso). Não faz sentido, e temos que resolver isso com urgência. Mas, em um sentido mais imediato, se os brasileiros passam a ter dificuldade em pagar APCs para as revistas que são classificadas no QUALIS como A1 e que passam a dominar as citações por causa das dinâmicas mais complexas sugeridas acima, estamos prejudicando nossos PPGs não porque eles perderam “qualidade” em termos de publicação, mas simplesmente porque estamos aceitando sem muita reflexão uma mudança na lógica do sistema econômico...Ou seja, resumindo, é só um caso clássico de “tiro no pé...”.

Aí é que voltamos, finalmente, à lógica do QUALIS, que podemos usar a nosso favor. Como já disse algumas vezes acima, se é para usar a métrica de citação diretamente, não precisamos de fato transformar um “continuum” (o percentil) em faixas discretas de QUALIS A1, A2, etc. Melhor pensar em métricas que assumam esse contínuo, como já fazemos na área de Biodiversidade no item de “produção indicada docente”. Mas se chegamos à conclusão de que a própria métrica de citação está, pelo menos em parte, “contaminada” por uma questão econômica e distorcida por tantos fatores sociológicos, aí as coisas mudam de figura e se complicam. Podemos, por exemplo, usar a liberdade de subir ou descer a classificação das revistas, em uma dada proporção, com base em outros critérios. A ideia do GT mais recente que atualizou o QUALIS é que essa proporção fosse gradualmente sendo diminuída à medida que os pesquisadores começassem a entender a lógica das métricas internacionais ou à medida que as áreas começassem a ter uma maior inserção nas bases (diminuindo a “subjetividade” do QUALIS). Tudo certo, concordo, mas isso só faz sentido se assumirmos a lógica mais idealizada do significado das frequências de citações e percentis. Diante dos potenciais problemas que coloquei acima – e como disse não sei qual o impacto real deles, precisamos investigar - talvez a ideia seja justamente o contrário, e a preocupação com a redução da subjetividade nesse caso seja apenas um resquício da nossa visão ingênua (e alguns diriam, injustamente, diga-se de passagem, “positivista”) da cienciometria...

Não estou dizendo que é uma tarefa fácil pensar dessa forma e voltar à ideia de que o QUALIS tem que ser pensado em um contexto maior e incorporar assumidamente alguma subjetividade. Tenho “mixed feelings” sobre isso, confesso...Então, em primeiro lugar, precisamos pensar na discussão acima e tentar avaliar isso melhor, empiricamente, de forma a entender (ou definir) quais são os balanços aceitáveis entre “qualidade” no sentido tradicional idealizado e essa "nova ordem" econômica. Podemos também pensar em usar o QUALIS como forma de pressão contra APCs abusivas, e temos uma excelente possibilidade de fazer isso no Brasil justamente porque a CAPES tem muito prestígio e tem a capacidade de direcionar a atenção dos pesquisadores em grande escala. A maior parte das revistas brasileiras de “boa qualidade”, editadas e mantidas pelas sociedades científicas ou pelas instituições, já estão hoje nas bases da SCOPUS ou WoS justamente porque, há muitos atrás, houve uma ação afirmativa via QUALIS em muitas áreas de avaliação para estimular os pesquisadores a submeter bons artigos para lá e aumentar suas citações, alcançando os limiares para que as bases como WoS ou SCOPUS as aceitassem como boas revistas (e lembro bem do sucesso dessa estratégia na antiga área de “Ecologia e Meio Ambiente”, que hoje compõe a “Biodiversidade”). Não é hora de pensar nisso novamente? Será que uma nova ação afirmativa via QUALIS nesse sentido não teria um efeito positivo de melhorar as revistas brasileiras (aumentando sua frequência de citações em curto/médio prazo) e, ao mesmo tempo, sinalizar para as grandes editoras (e mesmo editoras/revistas predatórias) que os pesquisadores ainda detêm, pelo menos em parte e no Brasil, a capacidade de fazer e promover boa ciência? Será que isso não ajuda a resolver o problema das APCs abusivas?

Enfim, há muita coisa para fazer e muita coisa pra discutir, mas com certeza precisamos ficar atentos e fugir de certas “armadilhas” que podem estar sendo geradas quando assumimos uma visão muito ingênua (ainda que idealizada e bem-intencionada) sobre a dinâmica da produção científica global. Talvez seja a hora de retomar as discussões sobre o QUALIS considerando outros princípios e uma lógica diferente, pensando em todas essas questões econômicas e sociais, e sempre lembrar que “qualidade”, no contexto geopolítico atual, não é algo tão simples de avaliar...O problema não é o QUALIS por si, mas sim toda essa "nova ordem" econômica que começa a se fortalecer no nosso meio acadêmico e em muitos sentido regular a dinâmica da produção científica global. Mas vamos em frente!