Modelo da produtividade na pesquisa está esgotado, diz ex-diretora da Capes

‘Doutores estão saindo mais como técnicos do que como pensadores’, afirma Rita de Cássia Barradas Barata

CAMILLE CARDOSO,
Especial para o Direto da Ciência*

Pesquisadora na área de Saúde Pública desde os anos 1980 – quando lançou o livro “Meningite: uma Doença sob Censura”?, em que questionou se o governo negou informações a brasileiros durante uma epidemia –, a médica Rita de Cássia Barradas Barata, de 66 anos, tem também participado das discussões sobre políticas para a pesquisa no Brasil. Com isso, Rita tem ocupado funções dentro e fora de órgãos de fomento. Atualmente, ela é professora adjunta da Faculdade de Ciências Médicas da Santa Casa de São Paulo e o seu mais recente cargo na Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) foi o de diretora de avaliação, que ocupou entre agosto de 2016 e abril de 2018.

Com a base de quem já ocupou outros cargos na Capes – como os três anos em que representou o Conselho Técnico Científico da Educação Superior (CTC-ES) no Conselho Superior do órgão –, Rita defende que a avaliação da pós-graduação brasileira possibilitou que a ciência nacional colhesse bons frutos, mas precisa se preparar para uma ruptura. Para a pesquisadora, o modelo que foca na produtividade científica dos programas se esgotou e começa a criar uma distorção que se apresenta difícil de combater: docentes e discentes estão mais preocupados com a quantidade de publicações do que com a qualidade.

“Não é ‘mais’ que interessa, é ‘melhor’”, salienta. Ela reforça que se trata de uma mentalidade dura de alcançar, uma vez que leva os programas de pós-graduação a investir fortemente na qualidade dos trabalhos e no acesso a periódicos de maior relevância.

A professora, porém, sustenta que essa mudança de ponto de vista é necessária, na medida em que a avaliação parece ter chegado a um ponto em que o foco deve voltar a ser a qualidade da formação dos pesquisadores. Na visão de Rita, os doutores precisam voltar a agir como pensadores, em vez de técnicos de qualidade.

Nesta entrevista, concedida quando participou de um seminário voltado a pesquisadores em Curitiba (PR), em março deste ano, Rita levanta esses e outros aspectos da avaliação discutidos com frequência no CTC-ES nos últimos tempos, como a complexidade desafiadora da análise da pós-graduação no Brasil.

*

A avaliação da Capes teve mudanças recentes, ainda que pontuais. Deve continuar mudando, talvez de forma mais drástica?

Para compreender essas mudanças é preciso saber o histórico da avaliação no Brasil, que passou por etapas. Na pré-história da pós-graduação no país, digamos, o curso mais antigo entrou em funcionamento em 1931 e não existia regulação; a Capes é de 1951. Entre esse ano e a década de 1980, pouquíssima coisa aconteceu – alguns cursos foram criados nos anos 1960 e 1970. O impulso da pós-graduação no Brasil ocorreu na segunda metade da década de 1980. Até então, eram poucos os programas e a avaliação era desestruturada. Confiava-se no que os grupos [de pesquisa] pensavam porque todos se conheciam, então a avaliação era mais qualitativa. Por isso podia-se dizer que “esse grupo é melhor do que aquele, está mais bem constituído”. Não havia notas. À medida que a pós-graduação começa a crescer, surge a preocupação da Capes em fazer as primeiras fichas padronizadas. E, nelas, o foco é todinho na estrutura do programa: composição do corpo docente, das bancas. A preocupação era estruturar os programas, montar cursos com qualidade. Nem se falava em produção.

No começo dos anos 90, começou a preocupação com o tempo médio de titulação porque a evasão era enorme, principalmente no mestrado. A regra era que as pessoas se matriculassem, fizessem as disciplinas, mas não entregassem trabalho de conclusão. Eram alunos que procuravam a pós-graduação mais para qualificar a sua formação. Mestrados e doutorados se arrastavam e pouca gente se titulava. Como isso precisava mudar, a Capes colocou uma ênfase enorme nos tempos de titulação.

A próxima etapa da avaliação foi a de ressaltar a produção, porque era comum o pesquisador brasileiro considerar que a pesquisa estava encerrada depois da entrega do trabalho ou do relatório ao financiador. Não havia preocupação em publicar a pesquisa; o aluno fazia a tese, entregou e acabou. Mas o volume de conhecimento do mundo aumentou muito e ninguém mais tem tempo de ler uma tese ou mesmo um livro. Foi nesse cenário que a Capes enfatizou a produção e acabou mudando o caráter da pós-graduação, que era centrada na formação de professores para o ensino superior e passou a se centrar na formação de pesquisadores.

Foi o começo da fase da produtividade?

Foi como dizer “olha, não adianta fazer pesquisa sem publicar o resultado”. A partir dos anos 1990, a pós-graduação brasileira passou a ter uma influência enorme do modelo americano, em que existe foco na constituição de grupos de pesquisa e o curso de pós-graduação é do grupo de pesquisa, mais do que de qualquer coisa. A ênfase que se deu [na avaliação] à produção intelectual dos programas serviu exatamente para levá-los para essa direção. Essa parte da avaliação ficou com peso muito grande. Hoje, nas diferentes áreas, o item 4 da ficha de avaliação, que é a produção do programa, pesa de 30% a 40% da nota. Sendo mais precisa: as áreas têm a liberdade de distribuir os 70% dos itens 3 e 4 igualmente ou dando mais peso para um ou outro, então, a rigor, o item 4 geralmente equivale a 30%, 35% ou 40%, que são pesos grandes para a determinação da nota. Hoje considero que isso está superado, que é preciso mudar de novo. A ideia é voltar-se para a formação de alunos novamente.

O ciclo se fechou então?

Sim. O processo de avaliação permanece igual por 20 anos – foi desenhado em 1998 – teve pequenas mudanças na aplicação e já começa a ter efeitos adversos do próprio processo. Começa-se a induzir nos programas um comportamento que não é o desejado. Existe o Qualis [sistema de classificação de periódicos científicos], mas ainda é preciso dizer que não é quantidade [de publicações], que importa, mas a qualidade. Na época em que o Qualis foi mudado [em 2009] e começaram as travas e as restrições para qualificar os periódicos, o que a Capes fez foi dizer [aos pesquisadores]: “veja, não se preocupe, é difícil publicar artigo em periódicos A1 [a maior nota do Qualis], mas você pode conseguir pontuação publicando muito em outros estratos”.

Naquele momento de mudança isso foi necessário, mas hoje é uma distorção tremenda, porque as pessoas fazem toneladas de artigos que são publicados em revistas de pouco ou nenhum impacto, mas conseguem construir uma pontuação para o programa com isso. Para a Capes, tem sido difícil convencer os programas de que não é para continuar nessa corrida de obstáculos. Mas o pesquisador entra nessa, assim como o coordena dor que quer credenciar o orientador entra nessa. Depois reclamam que a Capes aumenta [os parâmetros de publicação], mas não é a coordenação que faz isso, são os próprios pesquisadores, porque a avaliação é comparativa.

Quando todos publicam o dobro pensando na avaliação seguinte, os pontos de corte dobram. Então é ilógico. Se a roda não for desmontada, ela não vai se desmontar sozinha, vai continuar rodando que nem doida. O sentido original da coisa se perdeu. É preciso voltar a olhar a formação, porque os doutores estão saindo mais como técnicos do que como pensadores. Sem dúvida saem bem preparados para fazer pesquisa na área deles, mas não têm a autonomia que se espera de um doutor.

Como se mede a formação de um aluno?

É um desafio. É necessário olhar o que fazem outros países. Em vários deles essas duas avaliações são separadas, feitas por órgãos diferentes: quem avalia a pesquisa é um grupo, e quem avalia a formação é outro. A Capes avalia o programa, então tem que fazer as duas coisas. Na mais recente avaliação, fizemos um estudo de egressos bem interessante, porque isso é um indicativo indireto da formação. Esse aluno que permanece no campo, como se inseriu, o que está fazendo reflete aquilo para o qual se formou, a trajetória dele como está sendo. Essa é uma das maneiras, a observação do egresso em um período de dez anos, por exemplo.

Outra forma é pedir que o programa indique os melhores alunos para que as teses e os projetos dele sejam avaliados. Outra são as próprias situações de ensino e aprendizagem que aquele programa propicia ao aluno. Levantam-se as competências que se gostaria que o doutor tivesse para que isso possa ser transformado em indicadores e categorias de análise que possibilitem ver se os programas estão ou não fazendo o que se espera. Ou seja, se abre uma perspectiva de competências: o que se deveria propiciar de experiência, situações, conteúdo para que esse aluno de fato tenha as habilidades que um doutor precisa ter.

A ficha da forma como é feita se esgotou, é preciso rever profundamente o significado da avaliação e os instrumentos todos. Não há dúvidas de que o sistema de pós-graduação no Brasil é um ganho e deve ser preservado, mas precisa de ajustes. A avaliação tem que acompanhar as mudanças.

Onde seria possível começar com mudanças?

Os programas precisam ser mais ativos na avaliação. Eles têm que poder dizer o que acham terem feito de melhor, seja em termos de publicação, formação, inserção social. Assim pode-se avaliar os programas pelo melhor deles, sem ter que olhar tudo. [A avaliação] é um negócio monstruoso, ninguém acredita na complexidade do sistema brasileiro, na quantidade de dados, no tamanho do processamento desses dados. Estrangeiros nem conseguem entender o volume de informações que a avaliação levanta no Brasil. Nem têm referencial para nós, porque o Brasil é grande demais, complicado demais, diferente demais; eles dizem “nem sei o que falar para você”. Como o Coleta [portal da Plataforma Sucupira, da Capes, que reúne os dados para a avaliação] precisa atender a diversidade das 49 áreas, ele é exaustivo.

Hoje os programas precisam informar dados que não usam, mas cada área pede coisas diferentes. É preciso esforço para simplificar e convencer os coordenadores que com cinco ou dez indicadores se chega à mesma conclusão de com 50. Muitos indicadores são colineares, medem a mesma coisa. É importante ter uma qualidade melhor dos dados e poder selecionar melhor também.

CAMILLE CARDOSO é jornalista da área de ciência baseada em Curitiba, PR.
Na imagem acima, A médica Rita de Cássia Barradas Barata, pesquisadora em medicina preventiva e professora adjunta da Faculdade de Ciências Médicas da Santa Casa de São Paulo e ex-diretora de avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes). Foto: Imagem capturada do vídeo “Seminário – Orientação para a Elaboração de Propostas de Cursos Novos”, do canal da Capes no YouTube.

* Os textos de colaboradores não exprimem necessariamente a opinião de Direto da Ciência, e são publicados com os objetivos de promover o debate sobre a ciência, a cultura, o meio ambiente e o ensino superior e de refletir a pluralidade de ideias sobre esses temas.


Você acha importante o trabalho deste site?

Independência e dedicação têm custo. Com seu apoio produziremos mais análises e reportagens investigativas. Clique aqui para apoiar.


Receba avisos de posts de Direto da Ciência.

Informe seu e-mail para receber avisos. Ele não será fornecido a terceiros.

Para sua segurança, você receberá uma mensagem de confirmação. Ao abri-la, basta clicar em Confirmar, e sua inscrição já estará concluída. Você sempre poderá, se quiser, cancelar o recebimento dos avisos.


Todos os direitos reservados. Não é permitida a reprodução de conteúdos de Direto da Ciência.
Clique aqui para saber como divulgar.

9 Comentários

  1. Pingback: Ano 6 – Nº 212 / quinta-feira, 06 de setembro de 2018 – Jornal Pensar a Educação em Pauta

  2. Pingback: Modelo da produtividade na pesquisa está esgotado, diz ex-diretora da Capes | Blog do Professor Fred

  3. Pingback: Ciência e Tecnologia, edição 212 – Jornal Pensar a Educação em Pauta

  4. anonimo said:

    Lamentável uma página que se propõe ajudar a Ciência Brasileira provocar uma discussão como esta que servirá certamente para o governo golpista de Temer e cães midiáticos como Rede Globo, Folha de São Paulo e Antagonista justificarem menos recursos para as Universidades Federais.

  5. CientistaDr said:

    Muito correta a leitura. Eu meus 6 anos de pós-graduação (mestrado/doutorado) em universidade pública federal, a grande maioria dos doutores egressos eram técnicos de laboratório de mão cheia, que obviamente dominavam o tópico de suas pesquisas. Mas sentia que muitos ali não tinham mérito pra ter o título de doutor na sua essência (apesar de conquistar o diploma), ou acabaram na pós principalmente por falta de perspectiva em outra atividade.

  6. Assim caminha-se na humanidade said:

    uma fez que salário começa ficar razoável com doutorado, por isso se faz até as piores porcarias e se submete até aos atos mais sádicos.

  7. Fabiano Caruso said:

    A grande pergunta que fica é: o que é mais significativo é possível avaliar baseado em métricas – sejam quantitativas ou qualitativas? As métricas no final da contas são mais sobre a avaliação da performance do que efetivamente avaliação de impacto? Justamente porque a quantidade de citações pode dar a impressão de que é mais importante ser popular e citado do que relevante – e muitas vezes a relevância é justamente derivada de abordagens mais etnográficas que são complicadas mensurar? Não deveria ser justamente alterado o modelo de progressão de carreira (remuneração dos pesquisadores) da quantidade da sua produção – e talvez levar em consideração uma série de outras questões: como por exemplo, a capacidade de abrir e ampliar a participação de cada vez mais pessoas desvinculadas da própria academia na cultura do ensino superior?

    Nós temos, por exemplo, uma plataforma como o currículo lattes, baseado em uma premissa de que tudo tem que ser centralizado, controlado, administrado, medido, avaliado – por organizações que podem estar pensando pesquisa em comunicação científica a partir de critérios e modelos datados do século XX em detrimento aos desafios reais em uma sociedade que tem cada vez mais acesso e cada vez menos compreensão? Ou melhor, uma aprendizagem na academia que orienta melhor quem entra aos desafios e diferentes linhas e possibilidades para a pesquisa – em detrimento da gincana que vincula a orientação a apenas os pesquisadores doutores dentro do contexto departamental?

    Faz sentido as universidades continuarem divididas em áreas e departamentos e linhas, como uma grande fábrica? E nem estou falando em interdisciplinariedade, mas justamente na possibilidade de abordagens completamente antidisciplinares e modelos mais abertos sem a preocupação com a aferição de títulos e certificações? Nós não fazemos pesquisa e pensamos em experiências neste sentido? Se elas foram realizadas, porque não estão sendo amplamente discutidas e divulgadas para a população – que continua culturalmente projetado na instituição universitária muitas vezes esperanças que não costumam mais ser entregues?

  8. pesquisadora said:

    A meu ver o diagnóstico está certo. Basta constatar que publicações sob suspeição por práticas predatórias aparecem avaliadas no Qualis da Capes. Ainda, esta situação se repete nos comitês ad-hoc do CNPq na avaliação da produtividade dos pesquisadores, onde muitas das vezes as publicações em revistas de alto impacto recebem tanto peso quanto publicações sem relevância. O problema é que muitos desses comitês são majoritariamente formados por pessoas que publicam pouco em periódicos de baixo impacto. Para essas pessoas não interessam critérios de qualidade.

*

Top