Universidades brasileiras sob o microscópio

Dados do Leiden Ranking 2019 ajudam a mostrar quais são os centros de excelência em pesquisa no Brasil, mas também deixam claro que avaliar a produção científica não é tarefa simples

Qual é a melhor universidade do Brasil? Essa pergunta não tem uma resposta certa. Dependendo do critério adotado, pode ser a Universidade de São Paulo (USP), a Universidade Federal do Ceará (UFC) ou a Universidade Estadual de Maringá (UEM) – ou ainda outras instituições que são, cada uma a seu modo, centros de excelência em pesquisa.

Mas, afinal, o que é um centro de excelência? A resposta é mais complicada do que parece. Para usar uma metáfora científica, encontrar instituições de destaque é uma tarefa que exige trocar a lente do microscópio constantemente. Conforme direcionamos o olhar para uma estatística ou outra, os resultados mudam.

Para contribuir na discussão sobre a quantidade e a qualidade da produção científica brasileira, o Estadão analisou os dados do Leiden Ranking 2019, uma publicação anual que reúne indicadores sobre as principais instituições acadêmicas do mundo.

Essa análise tem uma série de complexidades que, se explicadas minuciosamente, tornariam o texto muito chato. Entretanto, elas são importantes! Sempre que este símbolo aparecer, você pode clicar nele para ver detalhes sobre a metodologia.

O levantamento é feito pelo Centro para Estudos da Ciência e Tecnologia da Universidade de Leiden, na Holanda, e contabiliza os artigos catalogados pela Web of Science (WoS) – um banco de dados que reúne o conteúdo de periódicos científicos do mundo todo.

É importante ressaltar que nem todos os artigos são catalogados pela plataforma, porém. A análise limita-se às publicações indexadas pelo banco de dados.

Alguns dos destaques mais previsíveis são as instituições do sistema estadual paulista como USP, Unicamp e Unesp. Com muitos estudantes, pesquisadores e recursos, elas são responsáveis pela maior parte dos artigos do País.

Entretanto, o volume de produção não é a única maneira de avaliar uma instituição.

Medir o impacto das publicações também é importante, assim como olhar para indicadores que não estão diretamente relacionados com pesquisas, mas que são relevantes para a missão universitária e para o desenvolvimento da ciência.

Quandos esses critérios entram na avaliação, lugares menos óbvios se destacam.

O cenário também muda quando apontamos a lente para um setor do conhecimento de cada vez. Existem universidades com pesquisas expressivas em diversos campos, mas há outras que se destacam em áreas específicas.

Nessa reportagem, encontramos universidades que se destacam sob essas diferentes lentes – e, no caminho, aproveitamos para conversar com alguns dos pesquisadores que colocam a mão na massa para que esses indicadores existam.

GIGANTES PAULISTAS: Super-universidades produzem – o maior volume de artigos

O gráfico a seguir representa todos os artigos indexados que foram publicados entre 2014 e 2017 pelas 23 universidades brasileiras que aparecem no Leiden Ranking 2019 .

O formato da “célula” indica quantos deles foram produzidos em cada uma das cinco áreas do conhecimento adotadas pelo ranking .

Ao todo, essas universidades produziram o equivalente a cerca de 71 mil publicações científicas catalogadas pela Web of Science

O tamanho da USP fica evidente quando levamos esse critério em consideração. Sozinha, produziu quase 17 mil artigos indexados, cerca de 25% do total do País

Na área de Ciências biomédicas e da saúde apenas, foram aproximadamente 8,4 mil publicações – mais do que a produção de qualquer outra instituição brasileira, somando todas as áreas do conhecimento

A segunda universidade brasileira com maior produção é a Unesp, que foi responsável por cerca de 9% da produção acadêmica do País com pouco mais de 6 mil publicações

Logo em seguida vem a Unicamp, com 7% ou 5,5 mil artigos indexados, completando assim a trinca das principais instituições de ensino superior de São Paulo

Somadas, as três são responsáveis por pouco mais de 40% dos artigos de universidades brasileiras contabilizados pelo ranking

As gigantes do sistema estadual paulista são os maiores centros de pesquisa do País quando o critério é a escala da produção.

Para André Frazão Helene, professor do Instituto de Biociências da USP que também estuda as características da produção científica brasileira, o volume de pesquisas e o tamanho de uma universidade são importantes para avaliar o papel social que elas desempenham.

De acordo com ele, uma universidade grande como a USP, com quase 100 mil alunos, além de produzir ciência de ponta, é também responsável pela prestação de serviços públicos.

O Hospital das Clínicas, um dos maiores do País, funciona em grande parte graças ao trabalho de professores, pesquisadores e estudantes da instituição, por exemplo.

Entretanto, o tamanho da área de atuação, justamente o que faz essas universidades se destacarem na contagem de artigos publicados, gera também um indicador contrastante.

Instituições de médio porte costumam se sair melhor quando o critério de avaliação não é o total de publicações, mas o porcentual de pesquisas que atinge alto impacto científico – ou seja, quando se usa uma métrica de aproveitamento.

ALTO IMPACTO: Quando o critério é aproveitamento, outros centros se destacam

Até agora, estávamos olhando para toda a produção acadêmica de uma instituição. Este é um critério comum para estimar o desempenho de um centro de pesquisa, mas não é o único possível. Outra maneira de avaliar universidades é contar quantos destes artigos atingiram um nível alto de impacto na comunidade científica.

É possível fazer isso contando as citações que uma publicação recebeu. Um número alto de referências indica que outros cientistas consideram o trabalho relevante.

Entre os indicadores do Leiden Ranking está uma métrica que possibilita esse tipo de avaliação: o número de artigos de uma universidade que estão entre os 10% mais citados em sua respectiva área do conhecimento.

Um exemplo: a USP, como vimos, publicou aproximadamente 17 mil artigos no período analisado. Destes, pouco mais de mil ficaram entre as publicações de maior impacto – ou seja, com mais citações. São para estes que vamos olhar agora.

Entretanto, considerar apenas o número absoluto de artigos causaria uma distorção. Universidades grandes, como as gigantes paulistas citadas anteriormente, produzem mais. Em consequência, produzem também uma quantidade maior de artigos de impacto.

Uma maneira de neutralizar essa problema é analisar o aproveitamento das pesquisas: dos artigos publicados por uma instituição, quantos conseguem chegar a esse patamar de excelência? O gráfico abaixo revela como o panorama se transforma sob esse critério.

As maiores universidades se posicionam à direita [→], uma vez que são as que mais produzem artigos que são indexados pela Web of Science.

Entretanto, no canto superior esquerdo [↖] aparecem instituições que publicam menos, no geral, mas que conseguem emplacar um porcentual alto de artigos de impacto.

Nessa região do gráfico estão as universidades federais do Ceará (UFC), Bahia (UFBA), São Carlos (Ufscar) e Santa Catarina (UFSC). Nelas, cerca de 7% das publicações indexadas figuram entre as mais citadas em suas respectivas áreas.

Nas três maiores universidades do País, esse desempenho costuma ser menor. Apenas a Unicamp apresentou um aproveitamento parecido. Na USP, aproximadamente 6% dos artigos produzidos ficam entre os mais citados. Na Unesp, 5%.

O gráfico abaixo mostra o desempenho das cinco universidades com o maior aproveitamento de pesquisas. O formato da “célula” é diferente, mais arredondado, porque não estamos mais olhando para o número absoluto de artigos, mas para o porcentual de publicações que atingem um grau alto de relevância em cada um dos grandes campos delimitados pelo Leiden Ranking.

Eduardo Bedê Barros é o Chefe do Departamento de Física da UFC, a universidade brasileira que, porcentualmente, tem mais publicações de alto impacto. É justamente no campo de Ciências físicas e engenharias que a instituição tem melhor aproveitamento: quase 9% dos artigos atingem esse patamar de relevância.

Barros fez praticamente toda a carreira acadêmica, desde a graduação até o doutorado, na UFC. Já no ano seguinte à defesa de tese, foi contratado como pesquisador. Saiu da instituição apenas para dois períodos de pós-doutorado: um no Massachusetts Institute of Technology (MIT) e outro na Universidade de Tohoku, no Japão.

Ele conta que começou a fazer pesquisas já no terceiro semestre de faculdade, sempre recebendo bolsas de estudo – e que esse tipo de apoio institucional é essencial para os bons resultados que a instituição colhe.

Viabilizar esse tipo de suporte exige organização e eficiência, diz.

A chave é fazer o melhor uso possível dos
recursos que temos, que não são muitos

Eduardo Bedê Barros –
CHEFE DO DEPARTAMENTO DE FÍSICA DA UFC

O pesquisador afirma ainda que o perfil do departamento também é uma influência importante. Lá, o incentivo à pesquisa começa logo que os calouros entram na faculdade.

Essa percepção ilustra que, embora seja comum pensar nas universidades como instituições monolíticas, a maneira de trabalhar de um pequeno grupo pode ter um grande efeito. Assim, também é importante olhar para instituições que se destacam em áreas específicas.

CAMPO A CAMPO
Mais especializadas, instituições
são relevantes para áreas
distintas do conhecimento

Nos dois recortes que exibimos anteriormente, a Universidade Federal de Viçosa (UFV), em Minas Gerais, é uma instituição mediana .

Se parássemos por aí, não ficaríamos sabendo que ela tem o melhor aproveitamento do País em um dos grandes campos do conhecimento.

Cerca de 14% dos artigos produzidos pela UFV na área de Ciências sociais e humanidades estão entre aqueles de maior impacto em seus respectivos campos.

Na prática, duas entre as 14 publicações indexadas da instituição atingiram este patamar de relevância . Pode parecer muito pouco, mas esta é a área do conhecimento em que menos se publicam artigos, além da indexação ser menor.

As pesquisas que se destacaram trabalham com temas multidisciplinares. Elas tratam, em linhas gerais, dos efeitos das mudanças climáticas sobre a economia rural. Na classificação do ranking, as publicações foram vinculadas tanto às Ciências sociais e humanidades como às Ciências da vida e da terra.

A interseção faz sentido: em números absolutos, a UFV é a sexta universidade do País que mais produz pesquisa em Ciências da vida e da terra, especialmente na área agrária.

O exemplo de Viçosa mostra como é difícil definir o que é excelência universitária – de vez em quando, é preciso olhar para os dados com uma lupa. Só assim é possível encontrar pesquisas que, apesar de acontecerem em menor escala, alcançam impacto alto.

O levantamento do Leiden Ranking permite fazer justamente isso. Para encontrar centros com um perfil específico, usamos os dados para identificar que universidades se destacam em cada uma das grandes áreas do conhecimento; depois, consultamos o catálogo de artigos da Web of Science para descobrir que tipo de pesquisa, especificamente, se faz por lá.

Abaixo, podemos ver as cinco universidades com melhor aproveitamento em cada campo:

ALÉM DO LATTES

Métricas diferentes revelam aspectos da vida acadêmica que não cabem nas citações
Por enquanto, nossa análise se debruçou sobre indicadores de impacto e produtividade científica. Embora úteis, eles ignoram outros aspectos da vida acadêmica.

Critérios como o estabelecimento de laços internacionais de colaboração, a difusão de conhecimento livre ou a igualdade de gênero na produção científica também são importantes para a missão universitária, embora não se traduzam, necessariamente, em números de citações ou de publicações.

Para terminar a análise, vamos descobrir quais instituições se destacam segundo critérios que medem outros tipos de impacto.

ACESSO ABERTO

As universidades do gráfico abaixo publicam uma parcela significativa de seus artigos sob um sistema de acesso aberto. Um artigo open access está disponível para leitura gratuita, seja porque está em um repositório externo ou porque foi publicada em um periódico livre.

COLABORAÇÃO INTERNACIONAL

Já nestas, quase metade dos artigos é assinada também por pesquisadores de instituições internacionais – uma característica da ciência contemporânea e globalizada.

MULHERES PESQUISADORAS

As instituições a seguir, por sua vez, têm um alto porcentual de mulheres entre os autores que assinaram artigos catalogados pelo ranking. Ao menos quanto às publicações indexadas, todas estão próximas da paridade de gênero na pesquisa científica

A Universidade Estadual de Maringá é um exemplo de instituição que se destaca por essa métrica. Lá, mulheres representam 54% dos pesquisadores que assinaram artigos.

Trata-se da universidade brasileira com mais cientistas mulheres, de acordo com o ranking – e a segunda no mundo, atrás apenas da Universidade Médica de Lublin, na Polônia.

A instituição europeia, porém, concentra em pesquisas na área de saúde, onde a presença de cientistas mulheres costuma ser maior . Já em Maringá, o porcentual é alto mesmo em ciências duras, como física e engenharia – campos em que, além de grande participação feminina, a UEM tem o segundo melhor aproveitamento em pesquisas do País.

Uma das pesquisadoras responsáveis por esse desempenho é Francielle Sato, física que se especializou em fenômenos fototérmicos – ou seja, no estudo de como a matéria reage quando exposta à luz. O tópico é bastante interdisciplinar, então ela trabalha com temas que variam do desenvolvimento de remédios ao estudo de biocombustíveis.

Francielle está na UEM desde que começou a cursar graduação, em 1999. Ela conta que, na sua turma, de 60 ingressantes, se formaram apenas seis – e quatro dos formandos foram mulheres, uma proporção rara na época.

Segundo ela, uma das grandes dificuldades para as mulheres que tentam entrar na área é conciliar a carreira científica com papéis sociais que ainda recaem majoritariamente sobre o sexo feminino, como tarefas domésticas ou o cuidado com os filhos.

O momento que a pesquisadora vive hoje é um exemplo: mesmo de licença maternidade para cuidar dos filhos gêmeos, ela segue produzindo artigos de casa. A preocupação é que, com esse intervalo fora da universidade, seus indicadores de produtividade caiam a partir do ano que vem, o que costuma acontecer com outras cientistas mulheres.

O caminho para contornar essas barreiras, afirma, passa por políticas de apoio à mulheres que pesquisam. O Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) agora permite o registro de licença maternidade e paternidade no currículo Lattes, o qual é avaliado pelas agências de financiamento.

Entretanto, o estímulo de colegas e a representatividade também são importantes – para Francielle, o exemplo e incentivo de outras colegas faz diferença e apresenta um tipo de impacto que não costuma aparecer nas tabelas estatísticas.

Muitas alunas se inspiram quando veem que
eu sou mulher, mãe e ainda assim publico

Francielle Sato – Física da UEM

NEM TUDO SÃO NÚMEROS
Posição no ranking deve ser
consequência do trabalho e não
um objetivo, diz reitor da Unicamp

Após a popularização dos rankings universitários na última década, USP, Unicamp e Unesp têm criado seus núcleos de inteligência para monitorar o próprio desempenho acadêmico. Escritórios e comissões reúnem e analisam dados e ainda fazem a interlocução com os grupos responsáveis pelas avaliações internacionais.

Além disso, as três gigantes paulistas participam de um projeto com o objetivo de criar indicadores comuns de desempenho e impacto socioeconômico, cultural e ambiental. A iniciativa tem o apoio da Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp).

Para Marcelo Knobel, Reitor da Unicamp e Presidente do Conselho de Reitores das Universidades Estaduais Paulistas (Cruesp), os rankings podem oferecer instrumentos para análise, mas não devem se tornar uma meta.

É muito difícil resumir em um número ou em uma
série de números tudo o que as universidades fazem
Marcelo Knobel –
REITOR DA UNICAMP E PRESIDENTE DO CRUESP

O que é possível analisar com base nos rankings universitários?

Knobel: Precisamos ter clareza de que a posição no ranking deve ser uma consequência do trabalho e não um objetivo do trabalho em si. Nesse sentido, as universidades do Estado de São Paulo têm geralmente boa posição nos rankings, mas são críticas a eles. É muito difícil resumir em um número ou em uma série de números tudo o que as universidades fazem. No Brasil e na América Latina, temos um papel muito importante das instituições na extensão universitária e na assistência hospitalar, o que não acontece em outros lugares. Os rankings devem ser olhados com muito cuidado e de maneira particular, olhando o que é possível melhorar, como aprimorar as práticas a partir dos resultados, mas têm muitas coisas que os rankings não conseguem identificar. A universidade no Brasil é um fenômeno recente também, mesmo quando comparado com a América Latina.

Com base nos rankings, o que faz mais sentido para a realidade brasileira?

Knobel: A produção científica é o mais fácil [de observar], mas nesse momento há um ataque forte às universidades públicas, mas se olhar para os rankings, as instituições públicas são as melhores colocadas. Temos uma excelência na América Latina. Mesmo com a visão crítica, é importante observar que temos uma posição muito boa. Quando falam que as universidades públicas são ruins ou só plantam maconha, nós temos resultados. Há critérios internacionais que chancelam as universidades.

Há uma crítica de que as universidades do Brasil não têm representante entre os 100 ou 200 primeiros ou ainda não têm Prêmio Nobel. Qual é a resposta a isso?

Knobel: Uma das primeiras universidades de pesquisa do País é a USP, de 1934. A maioria das universidades surgiu nos anos 1950, 1960. Boa parte desses processos ocorreu no período de ditadura militar, é um processo histórico muito recente. O advento dos programas de mestrado e doutorado no País é dos anos 1970. Em outros países, vem de séculos. Conseguimos avanços imensos em pouquíssimo tempo.

Estamos entre as 500 melhores universidades, sendo que no mundo há mais de 50 mil universidades. É excelente. E temos um histórico de crises políticas, econômicas no meio desse caminho. Se continuar o investimento na universidade pública, continuaremos a subir nas posições e teremos nosso Nobel.

Como tem sido o trabalho das estaduais paulistas para usar os dados de rankings?

Knobel: Nossa grande deficiência era não ter escritórios de inteligência, de analisar esses dados e aproveitar esses resultados para entender e aprimorar. Não no sentido de melhorar no ranking, mas usar como ferramenta de avaliação. E realmente ter esses dados mais centralizados e aproveitar do melhor modo possível.

A USP criou um escritório de inteligência. Unicamp e Unesp também têm esforços nesse sentido. O que tem sido feito?

Knobel: Estamos juntando os grupos de trabalho das universidades nessa área. A ideia nossa é criar, por meio do Cruesp, esse escritório de inteligência conjunto. Para poder trabalhar com esses dados e tenha também dados de permanência, evasão, inclusão social, que os rankings não têm. E estamos agregando outras universidades do Brasil também. A ideia é ser um centro que una análise de dados, pesquisa e transformar isso em melhoria das nossas atividades-fim: ensino, pesquisa e extensão. Ainda não tem uma previsão (de quando começa a funcionar), mas estamos trabalhando. Precisamos definir métricas de impacto social, regional, na área de saúde, na questão cultural.

“Nenhum ranking dá a dimensão

completa de nada”, afirma especialista

Solange Santos, Coordenadora de Produção e Publicação da biblioteca eletrônica SciELO e Coordenadora de Relações Internacionais na Rede Brasileira de Pesquisa em Rankings, Índices e Tabelas Classificatórias na Educação Superior (Rede Rankintacs), afirma que os rankings e levantamentos sobre ensino superior e pesquisa ajudam a dar mais transparência ao trabalho das universidades. Mas, pelo fato de os dados serem complexos, nem sempre são traduzidos de modo mais adequado para o grande público.

“Muitas vezes aparentam simplicidade, mas são complexos”, alerta. “Nenhum ranking dá a dimensão completa de nada. É preciso olhar para eles como se fossem um mosaico”. Levantamentos como o de Leiden, segundo ela, têm natureza mais objetiva. Não consideram, por exemplo, variáveis como reputação acadêmica ou no mercado de trabalho.

É um ranking mais técnico, por
isso outros são mais populares
Solange Santos
COORDENADORA DE PRODUÇÃO E PUBLICAÇÃO DA SCIELO E
COORDENADORA DE RELAÇÕES INTERNACIONAIS DA REDE RANKINTACS

Outra tendência, acrescenta Solange, é o surgimento de maior diversidade de recortes, como sustentabilidade, impacto social, entre outros. Ainda segundo a pesquisadora, o ranking não deve ser usado como bússola absoluta para as ações da universidade. E também é preciso evitar cobranças desproporcionais. A ausência de brasileiras no top 100, na opinião de Solange, não deve ser um peso. “Há entre 16 e 17 mil instituições de ensino superior. Não é trivial ter uma brasileira entre as 200 melhores do mundo.”

METODOLOGIA

Antes de tudo, é importante ressaltar que qualquer maneira de avaliar a produção de universidade carrega uma série de vieses.

Simplesmente contar a quantidade de artigos publicados em periódicos científicos, por exemplo, é um critério que ajuda grandes instituições como USP e Unicamp.

Contar citações, outra medida comum de impacto, favorece instituições que concentram estudos em temas de maior repercussão.

Pesquisas em ciências biológicas costumam ser mais referenciadas que pesquisas em ciências sociais, por exemplo. O problema permanece mesmo dentro de uma mesma área do conhecimento. Estudos sobre doenças tropicais tendem a ser menos citados que estudos sobre câncer, ainda que sejam igualmente importantes para a medicina brasileira.

A dinâmica de pesquisa também varia de acordo com o campo: nas ciências da saúde, por exemplo, o volume de publicações costuma ser maior.

Assim, o levantamento feito pelo Estadão decidiu usar os dados do Leiden Ranking justamente porque a compilação oferece uma série de recortes que permitem analisar as características das universidades brasileiras sob diferentes lentes.

Entretanto, algumas particularidades do levantamento precisam ser levadas em conta.

Origem dos dados. Os artigos contabilizados pelo Leiden Ranking são todos aqueles que foram publicados na coleção principal da Web of Science, um banco de dados internacional de publicações científicas. No ranking, foram considerados apenas artigos de pesquisa ou de revisão que tenham sido publicados em inglês. Livros e participação em conferências, por exemplo, não são contabilizados.

Universidades consideradas. Para uma universidade aparecer no ranking, ela precisa ter publicado ao menos mil artigos, considerando os critérios descritos acima. Artigos publicados por pesquisadores de instituições afiliadas – um hospital universitário, por exemplo – também são consideradas como artigos da universidade responsável. Ao todo, o levantamento avalia a performance de 963 universidades, distribuídas em 56 países.

Definição dos campos científicos. No ranking, os artigos são classificados em cinco grandes áreas do conhecimento: Ciências biomédicas e da saúde, Ciências da vida e terra, Ciências físicas e engenharias, Matemática e ciência da computação e Ciências sociais e humanidades. Estes campos foram definidos usando um algoritmo de computador. Em linhas gerais, foram analisadas as relações entre as citações das publicações. Com o resultado, cada artigo foi categorizado como pertencente a um microcampo científico. Esses microcampos foram, posteriormente, categorizados como pertencentes a uma ou mais das 252 categorias dos periódicos científicos da Web of Science. Por fim, cada categoria de periódico foi vinculado a uma das cinco grandes áreas do conhecimento.

Contagem fracionada. O ranking usa um método de contagem que atribui peso parcial para cada uma das universidades que participaram da produção de um artigos. Por exemplo, caso uma publicação seja assinada por cinco pesquisadores, dois deles da Universidade A e três da Universidade B, o artigo vai contar 0,4 pontos para a primeira instituição e 0,6 para a segunda. A contagem de artigos publicados em cada uma das grandes áreas também é feita usando o critério de contagem fracionada: se um artigo pertence tanto às ciências da saúde quanto às ciências humanas, por exemplo, ele conta meio ponto para cada.

Atribuição de gênero aos autores. Para descobrir a quantidade de artigos que foram assinados por pesquisadores homens ou mulheres, o levantamento usa uma abordagem computacional. O primeiro nome do cientista e sua nacionalidade são fornecidos para programas que determinam, com uma precisão de ao menos 90%, qual é o gênero do autor.

Mais informações estão disponíveis na página do Leiden Ranking.

A análise que a reportagem fez limita-se a “entrevistar” os dados para descobrir destaques nacionais no levantamento. Esse processo está documentado e disponível para revisão em repositório do Estadão no GitHub. Lá também estão disponíveis as planilhas usadas pela reportagem e o código-fonte para a elaboração dos gráficos.

Para complementar os dados brutos, foram feitas consultas à base de dados da Web of Science para identificar as pesquisas de maior repercussão e seus respectivos autores.

Por fim, registramos também um agradecimento ao pesquisador Fábio Castro Gouveia, da Fundação Oswaldo Cruz (Fiocruz), pela contribuição no delineamento da análise e por esclarecer as limitações inerentes ao levantamento.

EXPEDIENTE

EDITOR EXECUTIVO MULTIMÍDIAFabio SalesEDITORA DE INFOGRAFIA MULTIMÍDIARegina Elisabeth SilvaEDITOR ASSISTENTE MULTIMÍDIACarlos MarinEDITORA DE METRÓPOLEBia Reis

Confira matéria do site Gazeta do Povo.