UFRRJ

WEBMAIL

Portal UFRRJ > INSTITUCIONAL > Notícia > Ranking para quê?

Ranking para quê?

Limites e potencialidades dos sistemas que classificam pesquisadores e instituições

Uma tabela com linhas e colunas coloridas. Muitos números e uma classificação hierárquica. Também há bandeiras de países e ícones de medalhas (ouro, prata e bronze). Nas primeiras posições, domínio incontestável de nações do Hemisfério Norte. Comparecem alguns qualificativos que denotam proeminência: “o melhor no país”, “o melhor na região”, “o segundo melhor”, “o terceiro”…

A imagem nos remete a competições esportivas, especialmente aos Jogos Olímpicos. Mas não se trata disso. Na verdade, é um ranking que classifica cientistas do mundo todo: o AD Scientific Index.

Em outubro de 2021, assessorias de comunicação de universidades, institutos ou programas de pós-graduação divulgaram notícias sobre a presença de seus docentes e pesquisadores nesse ranking (ou em subclassificações específicas dele). Entre as manchetes(*): “O ‘Programa de Pós-Graduação A’ tem 67 professores entre os 10 mil melhores cientistas da América Latina”; “Pesquisadores da ‘Universidade B’ constam no AD Scientific Index”; “Lista do ranking AD Scientific Index da América Latina tem 50 professores da ‘Universidade C’”; “Mais de 30 pesquisadores da ‘Universidade D’ figuram em ranking sobre produtividade e influência na América Latina”… E por aí vai.

Mas, lembrando o folclore esportivo do “treino é treino, jogo é jogo”… será que é adequado tratar a ciência como uma área de competição e comparação hierárquica? Até que ponto a utilização de sistemas classificatórios é saudável para pesquisadores e instituições? Podemos tirar algo de bom dos rankings acadêmicos?

Para tentar entender (um pouco) essas questões, ouvimos pesquisadores e consultamos trabalhos sobre o tema, chegando a pelo menos uma conclusão: os rankings estão aí, e é importante saber interpretá-los criticamente.

Uma história dos rankings

De acordo com Samile Vanz, autora de artigo que revisa a literatura produzida sobre o tema, a primeira classificação de universidades foi realizada em 1870, nos Estados Unidos. A pesquisadora afirma que indicadores e metodologias atuais já foram usados no passado, tais como “a análise do número de cientistas eminentes, que fundamentou o ranking de instituições criado por James Catelli em 1910; e o ranking por disciplinas, utilizado pela primeira vez em 1925”. Já a “invenção” dos rankings universitários teria ocorrido em 1983, por iniciativa da revista U.S. News & Words Reports, “com o objetivo de incentivar as matrículas nas universidades mais prestigiadas”.

No Brasil, segundo Adolfo Calderón e Carlos França, o primeiro ranking com veiculação midiática teria sido lançado pela revista Playboy, em 1982, com o nome de “As melhores faculdades do país”. Os autores citam ainda outra experiência da Editora Abril: os rankings produzidos pelo Guia do Estudante a partir de 1988.

Tanto Samile Vanz quanto Calderón & França apontam a década de 2000 como o início da expansão dos rankings acadêmicos pelo mundo. O marco seria o lançamento, em 2003, do Academic Ranking of World Universities (ARWU), conhecido como ranking da Universidade de Xangai. A partir de então, outras iniciativas foram aparecendo, como o Webometrics Ranking of World Universities, lançado em 2004 pelo Laboratorio de Cibermetría del Consejo Superior de Investigaciones Científicas (CISC), da Espanha; o World University Rankings, criado pelo suplemento Times Higher Education (THE), do jornal britânico The Times; o Leiden Ranking, da Universidade de Leiden (Holanda); o QS University Rankings; e o U-Multirank.

Gustavo Fischman (Univ. Arizona): “O ranking te permite decidir”

Segundo o professor Gustavo Fischman, da Universidade do Arizona (EUA), uma das causas que podem explicar a disseminação dos rankings é o aprofundamento da mobilidade internacional das universidades, especialmente a partir dos anos 1980, em estreita relação com o fenômeno da mundialização da economia. “Hoje o fenômeno universitário é global. Se você é de uma família de Singapura ou do México – e tem de escolher entre mandar seu filho ou filha estudar em Londres, Tóquio ou Nova York – o ranking te permite decidir onde vai fazer esse investimento”, afirma Fischman, que é especialista em Educação Comparada e estudos de políticas científicas e educacionais.

Informação útil e diversidade

Para Fischman, os rankings “sempre comunicam algo”. Nesse sentido, além de servirem para orientar a escolha de estudantes e seus familiares, podem trazer informações úteis tanto para a definição de políticas públicas quanto para a melhoria das próprias instituições.

Na mesma linha, Samile Vanz apresenta a opinião de especialistas que salientam o papel dos rankings na promoção de um debate internacional sobre a qualidade do ensino superior, com grande impacto nas sociedades civil e política. Para as universidades, por exemplo, essas classificações “são úteis para comparar o desempenho em âmbito nacional e internacional, reorganizar a estrutura e procedimentos de pesquisa e direcioná-las para áreas mais vantajosas, modernizá-las e facilitar a transparência e prestação de contas”, escreve Vanz.

Ainda no lado positivo da história, Calderón & França expõem a argumentação de Altbach, que em texto de 2006 afirmou que os rankings, desde que bem elaborados, “podem ser valiosos para consumidores, formuladores de políticas e para as próprias instituições acadêmicas, sendo inevitáveis na era da massificação, pois tanto os financiadores quanto o público querem saber quais instituições são as melhores”.

A diversidade de temas e metodologias também é um ponto ressaltado pelos estudiosos desses sistemas de hierarquização. “Olha, tem ranking para tudo. De sustentabilidade, de inovação, de responsabilidade social, produtividade, qualidade geral… tem milhões. E cada universidade decide qual vai usar”, disse Gustavo Fischman.

Entre os tipos de rankings universitários, Vanz cita os league tables (como o THE e o Ranking de Shanghai), cujo objetivo é indicar as melhores universidades; aqueles focados em performance de pesquisa (Leiden Ranking); os que usam diversos indicadores para fazer um score (caso do alemão CHE); e os rankings que mensuram a visibilidade na web (por exemplo, o Webometrics).

João Márcio Mendes Pereira (UFRRJ): “Nenhuma métrica é suficiente para, por si, informar a tomada de decisão”

Diante de tantas opções, é importante ter visão crítica para o caso de querer tomar alguma decisão com base nas informações disponíveis. Esta é a opinião do pró-reitor adjunto de Pesquisa e Pós-Graduação da UFRRJ, professor João Márcio Mendes Pereira: “Há inúmeras métricas disponíveis no mercado, feitas a partir de metodologias diversas. Elas têm a sua utilidade e, cada qual, os seus limites. Nenhuma é suficiente para, por si, informar a tomada de decisão no que tange à alocação de recursos públicos. O importante é tomá-las de forma crítica, cotejando-as entre si e, sobretudo, com a realidade local do país ou da instituição”.

Limites e críticas

De acordo com Samile Vanz, parte do sucesso dos rankings acadêmicos decorre de sua simplicidade. Tal característica, entretanto, também é apontada pelos críticos como um dos pontos falhos dessas classificações. “A escolha de quais fatores são importantes e em que proporção devem compor os indicadores é subjetiva e reflete o conceito de qualidade entendido pelos produtores do ranking”, observa Vanz. Ela cita ainda a visão de estudiosos que alertam para o caráter reducionista de quadros comparativos que “ignoram o fato de que as universidades são organizações complexas, localizadas em contextos nacionais diversos, baseadas em valores diferentes que atendem às necessidades demográficas, étnicas e culturais de populações variadas”. Além disso, há uma baixa representatividade dos rankings universitários internacionais, que, segundo Vanz, incluem apenas entre 1% e 3% das instituições – “cerca de 200 a 500 universidades, dentre um total aproximado de 17 mil universidades do mundo”.

Outro aspecto negativo é a inoculação da lógica empresarial no corpo da educação, valorizando-se a competitividade e as ações da esfera privada em detrimento do caráter colaborativo e público do conhecimento científico. Em artigo no qual analisa a utilização de fatores de impacto e rankings, David Post e mais cinco pesquisadores citam a presença do chamado “novo gerencialismo” no âmbito da educação superior, introduzindo no setor público as técnicas de gestão do setor privado. Nesse sentido, a “produtividade” da ciência passa a ser medida “não só pelo número de experimentos e investigações completadas, mas sim pelas publicações que reportam os resultados de investigação, agora concebidos como ‘produtos’”.

Embora faça uma ressalva de que os rankings são anteriores ao neoliberalismo, Gustavo Fischman observa que eles também podem servir aos interesses do sistema que coloca o mercado acima de tudo. “O neoliberalismo pode utilizar a lógica dos rankings para afirmar certos componentes. Assim, se um ranking trouxer uma medida de competição, em vez de quão competente é uma área, então pode ser usado para dizer que ‘essa universidade merece mais’, ‘essa professora merece mais porque está melhor no ranking’, etc. Mas não há uma relação causal entre neoliberalismo e rankings; e sim uma correlação”, explica o professor.

Aqui, mais uma vez, é preciso ser crítico diante de supostos “valores universais” ou “técnicas imparciais” que venham atrelados a tais ou quais sistemas de classificação, conforme salienta o professor João Márcio Pereira: “Dependendo do ranking, o enviesamento metodológico pode ser bastante alto. Por exemplo, o Banco Mundial elabora rankings internacionais sobre a qualidade do ‘ambiente institucional’, sobre a qualidade do ‘capital humano’ e sobre a facilidade ou não de se ‘fazer negócios’. São rankings bastante questionáveis. É preciso saber que, de modo geral, indicadores e métricas são apresentados como fatos puramente objetivos, mas na verdade a sua elaboração parte de critérios que espelham uma dada concepção da realidade. Nenhum deles é neutro ou puramente técnico”.

Rankings institucionais vs. rankings individuais (“de prestígio”)

José Carlos Pinto (Coppe/UFRJ): “É uma picaretagem ancorada na vaidade e no produtivismo”

Professor do Programa de Engenharia Química da Coppe/UFRJ, José Carlos Pinto fez críticas contundentes ao ranking AD Scientific, citado no início desta matéria. Em vídeo publicado em seu canal do Youtube (“Falando com ciência”), Pinto dispara sem cerimônia frases como: “[o AD Scientific] é uma picaretagem ancorada na vaidade e no produtivismo”; “em verdade, é uma lista de fatores H que está sujeita a várias deformações”; “é um negócio picareta para tirar dinheiro de pesquisadores e instituições de pesquisa”, entre outras. O docente reclama que o AD Scientific seria construído “apenas com pesquisadores que mantêm contas no Google Scholar vinculadas ao e-mail institucional e com perfis públicos”. E continua, com ironia: “Como não tenho conta no Google Scholar vinculada ao meu e-mail institucional, da mesma forma que não tenho contas no Facebook, LinkedIn e ResearchFinder, não mereço mesmo ser considerado um pesquisador importante”.

O AD Scientific (“Alper-Doger Scientific Index”) traz no nome as iniciais de seus dois criadores: os professores Murat Alper e Cihan Döğer. De acordo com a descrição disponível em seu site, trata-se de “um ranking e um sistema de análises baseado em performance científica e no valor agregado da produtividade científica individual”. Para elaborar suas tabelas, o AD Scientific usa valores dos últimos cinco anos dos índices i10 e H, além de pontuações de citações no Google Scholar (“Google Acadêmico”).

Na opinião de Fischman, se a classificação de instituições já é uma medida imperfeita e parcial, a coisa se complica com os rankings individuais — que ele também chama de “rankings de prestígio”. “Não conheço nenhum que seja muito bom”, afirma o pesquisador. Ele ainda põe em xeque o parâmetro das citações como definidor da importância de um cientista, e traz um exemplo de peso: “O Stephen Hawking, um dos físicos mais renomados da segunda metade do século XX, tem claramente uma influência gigantesca, mas o índice H de publicações dele era bastante baixo”.

O professor João Márcio Pereira também aponta falhas no AD Scientific, especialmente por estar baseado no Google Scholar. “Não há um sistema de checagem e confirmação de atribuição por outros autores. Isso gera inúmeras distorções, com pessoas com índice H altíssimo, mas sem de fato serem autoras dos trabalhos a elas atribuídos. Cabe ao pesquisador que faz o registro no Google Scholar checá-lo periodicamente”.

Sobre a questão dos registros, o pró-reitor adjunto citou a Instrução Normativa nº 1/2021, lançada pela Pró-Reitoria de Pesquisa e Pós-Graduação (PROPPG). Este documento fornece orientações para os pesquisadores da Universidade em relação à prestação de informações públicas e uso de indicadores bibliométricos. “Essa IN tem o objetivo de padronizar a maneira como os pesquisadores da UFRRJ identificam a sua filiação institucional, bem como alertar para o devido registro em bases como o Google Scholar. É positivo que mais docentes se registrem lá, mas eles precisam monitorar a autoria de trabalhos a eles atribuída, a fim de evitar falsas informações. Do mesmo modo, é interessante que se registrem em plataformas gratuitas, como o ResearchGate e o Academia.Edu”, aconselha Pereira.

E as Humanas?

Uma rápida consulta num ranking como o AD Scientific Index também revela um desequilíbrio marcante: as chamadas “ciências duras” (Ciências Biológicas/Química/Física, Tecnologias, Engenharias e Matemática) aplicam uma estrondosa “goleada” sobre as Ciências Humanas. Em pesquisa realizada num dia de dezembro de 2021, observamos o placar de 50 a 0 (!). Ou seja: nas cinquenta primeiras posições do quadro mundial, não apareceu nenhum cientista das áreas que o AD Scientific classifica como “Artes, Design e Arquitetura”, “Educação”, “História, Filosofia, Teologia”, “Direito” e “Ciências Sociais”.

Por que isso acontece? As Humanas não têm importância?

“Tais rankings captam melhor (mas ainda assim com muitas distorções) a produção científica publicada em periódicos indexados em grandes plataformas (Elsevier, Taylor & Francis, Jstor, etc.). A produção sob a forma de livros, teses e dissertações é mais difícil de ser captada. Como os livros são mais valorizados pelas Humanidades, estruturalmente elas aparecem em patamar bastante inferior ao das demais áreas de conhecimento”, explica João Márcio Pereira, que é professor do Departamento de História da UFRRJ.

“O processo de produção nas Humanidades também influencia, pois a autoria é mais individualizada, o que não ocorre nas outras áreas, em que a produção se concentra no relato e na análise de experimentos. É por isso que um pesquisador produtivo da área de Ciências Agrárias, por exemplo, sempre terá muito mais artigos publicados por ano do que um pesquisador, igualmente produtivo, da área de Ciências Humanas”, completa Pereira.

Não encarar como fetiche

Falhos, parciais, subjetivos… Úteis, diversificados, importantes para tomar decisões… Ao que parece, o debate sobre os rankings acadêmicos está longe de ser simples e superficial, ensejando, ao contrário, uma rica reflexão sobre seus limites e potencialidades. Nesse sentido, o professor Fischman rechaça qualquer visão maniqueísta sobre a questão, defendendo que o objeto seja analisado criticamente. “Essa coisa de ‘ranking sim’, ‘ranking não’… discussões muito típicas do tipo ‘branco e negro’, ‘direita e esquerda’… Nesses temas complexos, são simplificações absurdas, que não teriam de entrar na discussão universitária”, afirma.

De modo semelhante, João Márcio Pereira salienta que é preciso evitar que métricas e avaliações quantitativas sejam encarados como fetiches, mas sim como instrumentos que devem ser complementados por outros tipos de avaliação. “No caso brasileiro, que é um país em desenvolvimento profundamente desigual, há inúmeras variáveis que deveriam informar a qualidade das pesquisas e do trabalho dos pesquisadores, a fim de subsidiar a alocação de recursos públicos”, argumenta o professor.

“Por que não valorizarmos mais as parcerias público-público entre as universidades e prefeituras? Isso pode ser feito na educação (junto às redes de ensino), na saúde, na assistência social, no âmbito do fomento à produção econômica. As universidades públicas poderiam contribuir para a construção de indicadores úteis ao planejamento e à formulação de políticas públicas. Por que o poder público contrata firmas privadas de consultoria ou universidades privadas, se as universidades públicas poderiam fazer esse trabalho, articulando-o à pesquisa e à formação de recursos humanos na pós-graduação e graduação? ”, questiona Pereira.

Lúcia Helena dos Anjos: “Para além dos índices, os programas de pós devem estabelecer as suas métricas”

Pró-reitora de Pesquisa e Pós-Graduação da Rural, a professora Lúcia Helena Cunha dos Anjos parabeniza os docentes e pesquisadores que se destacaram em rankings como os citados nesta matéria. Mas também faz uma ressalva: “Para além dos índices e a ordem de colocação individual, os programas de pós-graduação stricto sensu, acadêmicos e profissionais devem estabelecer as suas métricas, em função da área de conhecimento, e promover um processo de autoavaliação. Assim, juntamente com a PROPPG, poderemos estabelecer um quadro fiel de nossas competências na pesquisa e formação, em nível de pós-graduação na UFRRJ”.

Por João Henrique Oliveira (CCS/UFRRJ)

Glossário

Cientometria
“Estudo da mensuração e quantificação do progresso científico, baseando-se em indicadores bibliométricos”. (Fonte: https://bit.ly/3FNSPE0)

Fator de impacto
“Métrica que qualifica as publicações científicas com base nas citações que ela recebe”. (Fonte: https://bit.ly/3qzis4L)

Indicadores bibliométricos
“São ferramentas que avaliam o desempenho da produção científica. Essa avaliação se baseia em indicadores de qualidade científica e/ou opinião dos pares que avaliam as publicações realizadas de acordo com o seu conteúdo”. (Fonte: https://bit.ly/31bNHdH)

Índices H e i10
O índice H considera o número de citações de artigos publicados nos últimos cinco anos; o i10 indica o número de publicações com ao menos dez citações. (Fonte: https://bit.ly/3mIDzAF).

Sobre os limites do índice H, consultar este artigo: https://revistapesquisa.fapesp.br/os-limites-do-indice-h/

(*) Omitimos os nomes reais das instituições, pois não queremos criticar as escolhas editoriais de cada uma.