Alunas do Programa de Pós-Graduação em Biologia de Sistemas produziram a análise para a disciplina Tópicos Avançados em Biologia de Sistemas II, que visa estimular a reflexão sobre temas da atualidade na ciência.
As alunas Alícia Moraes Tamais, Carolina Zerbini e Katia Sakimi Nakadeira, pós-graduandas da Disciplina de Tópicos Avançados em Biologia de Sistemas II, oferecida no segundo semestre de 2023, apresentam abaixo o resultado de uma das atividades desenvolvidas por elas na disciplina: uma análise sobre a DORA – San Francisco Declaration on Research Assessment, um documento que critica o fator de impacto como principal métrica para definir a importância de trabalhos científicos. A disciplina, coordenada pelas Profas. Maria Luiza Barreto-Chaves e Patrícia Gama, junto ao Programa de Biologia de Sistemas do ICB, tem como objetivo induzir a reflexão por parte dos estudantes de temas da atualidade que, muitas vezes, passam despercebidos durante a pós-graduação. Confira:
DORA na teoria — Uma das principais métricas utilizadas para avaliar a qualidade de um trabalho científico é o fator de impacto da revista em que este foi publicado. O fator de impacto é calculado por meio da média de citações recebidas em um determinado ano pelos artigos publicados na revista nos dois anos precedentes. Isso significa, por exemplo, que o fator de impacto de uma revista para o ano de 2022 é calculado a partir da divisão do número de citações que os artigos publicados nos anos de 2020 e 2021 receberam em 2022 pelo número de artigos publicados nos anos de 2020 e 2021. A princípio, o fator de impacto era uma métrica utilizada apenas pelos bibliotecários, de forma a auxiliar na escolha das revistas a serem adquiridas. No entanto, nas últimas décadas, o fator de impacto tem sido utilizado para avaliar a produção científica a nível de indivíduos. E, como o fator de impacto é uma medida, que assim como qualquer outra, pode ser manipulada por meio de políticas editoriais, ela tem sido muito criticada quanto ao seu uso para medir a qualidade da produção científica dos pesquisadores. É nesse contexto que surge a DORA ou San Francisco Declaration on Research Assessment.
Concebida no ano de 2012, no Annual Meeting of The American Society for Cell Biology (ASCB), em São Francisco (EUA), a declaração tem como público-alvo pesquisadores, revisores, agências de fomento científico e instituições. Nesse documento, o uso do fator de impacto como métrica da qualidade de uma pesquisa é criticado veementemente. Além disso, fica evidente o posicionamento a favor da migração de parâmetros de avaliação quantitativos para parâmetros qualitativos, que levam em conta características pessoais dos indivíduos analisados nos processos de recrutamento, avaliação e seleção, por exemplo.
DORA na prática — Segundo o documento, um indivíduo acadêmico pode trilhar seu caminho de diferentes modos além do que é tradicionalmente feito (trabalho de pesquisa e publicação de artigos). Um exemplo é a divulgação científica. Tal atividade normalmente não afeta seu índice-h ou número de citações científicas, mas tem imenso valor para a ciência e, sendo assim, deve ser levado em consideração quando o indivíduo for avaliado, seja para conseguir financiamento, seja num processo de seleção. Outros exemplos de atividades que impactam o desenvolvimento científico de um pesquisador e não são considerados atualmente também são apresentados na DORA, como a atuação de pesquisadores em discussões de equidade de gênero e raça, e a atuação de pesquisadores no ensino em universidade.
Para contornar essa supremacia dos fatores quantitativos, então, a DORA dá diversas dicas do que pode ser feito. O primeiro passo para a adesão à DORA é a discussão do problema e a divulgação das diretrizes da DORA. São sugeridas palestras, uso da comunicação interna das instituições e de promoção de mesas redondas ou debates. Ainda, há a presença de estudos de caso, com laboratórios que já aderiram ao documento.
Além da DORA, há também o Manifesto de Leiden, que é um documento organizado durante a 19th International Conference on Science and Technology Indicators, no ano de 2014, e que propõe dez princípios para guiar a avaliação da pesquisa científica. Esse manifesto apresenta algumas sugestões práticas que complementam as ideias concebidas na DORA. Dentre elas, há a recomendação de se considerar diferentes tipos de produção, dependendo da área em que o pesquisador está inserido. Por exemplo, na área de humanidades, é comum que a produção científica seja na forma de livros e até mesmo de artigos na língua portuguesa. Além disso, dependendo da linha de pesquisa, o tema pode ser relacionado a uma questão regional, e que dificilmente terá destaque internacional como nos artigos publicados nos grandes periódicos de língua inglesa. Dessa forma, colocar a qualidade da produção científica em primeiro lugar, – como pontuado tanto pela DORA quanto pelo Manifesto de Leiden – é essencial para que os pesquisadores possam se libertar da pressão de ter que publicar muito, e para que possam fazer o que realmente importa: ciência.
DORA na pós-graduação — Como as ideias contidas nesses documentos poderiam ser aplicadas no contexto da pós-graduação? Pensando no cenário de pós-graduação da USP e, mais especificamente, no programa de Biologia de Sistemas (BioS), palestras sobre a DORA e mesas redondas com os estudantes do programa seriam um excelente jeito de abordar a necessidade de diferentes métodos de avaliação científica. Esse tipo de prática é importante para a formação de futuros profissionais que, por exemplo, aplicarão esses métodos de avaliação em futuras bancas de concurso. Além do mais, pensar sobre a avaliação científica é uma oportunidade de pensar sobre o próprio projeto de pesquisa e avaliar se o que o aluno está fazendo pode ser considerado relevante ou não. É importante ressaltar que essas mudanças não vão ocorrer de uma hora para outra, mas dependem de uma gradual transformação na cultura acadêmica. Nesse sentido, é importante pontuar que os atuais professores dos programas de pós-graduação possuem um importante papel nessa transformação cultural, visto que, primeiro, são eles que vão formar as próximas gerações de pesquisadores, e, segundo, são eles que vão avaliar esses alunos, seja no final do curso ou seja em futuras bancas para novos professores.
Em outras palavras, não basta as novas gerações de alunos entenderem as diferentes formas de contribuir para a ciência – as quais vão muito além de publicar um artigo -, é preciso que elas sejam avaliadas nesse contexto. Nesse sentido, é problemático, por exemplo, a existência de programas na universidade que exigem a publicação de um artigo científico ao final do curso. Além de estar indo contra ao que é recomendado pelo DORA, essa prática amplifica a crise de reprodutibilidade que vivemos hoje em dia, pode promover a má conduta científica e estimula a publicação de artigos muitas vezes de baixa qualidade científica, apresentando resultados preliminares e de pouca significância biológica e sendo frequentemente publicados em revistas predatórias.
Considerando tais pontos, a análise de currículo deve ser sempre repensada no contexto da pós-graduação. Ainda, alinhar os objetivos humanos do Instituto com os alunos ingressantes é importante: a exemplo, podemos considerar novamente que a divulgação científica, que tanto trouxe visibilidade para o ICB e para a pesquisa brasileira durante a pandemia, poderia ser um critério de favorecimento do candidato em diferentes editais. Trabalhos voluntários voltados para o “ensinar”, como a vivência em cursinhos populares e projetos sociais, poderiam ser também colocados como pontos importantes em editais, de modo a favorecer o ingresso de estudantes mais humanos e preocupados com os objetivos de desenvolvimento social. Assim, o aluno seria avaliado como um pesquisador de uma forma mais completa, não apenas baseado no número de artigos publicados.
Portanto, é importante que, no contexto da pós-graduação, não apenas os alunos, mas também os professores discutam isso e trabalhem em conjunto para promover essa transformação na cultura acadêmica. Dessa forma, poderíamos começar a pensar em humanizar nossa torre de marfim, e gerar pesquisadores mais engajados em trabalhar de forma científica e não mecânica, onde as pesquisas em si teriam mais valor do que suas citações ou locais de publicação.
Texto: Alícia Moraes Tamais, Carolina Zerbini e Katia Sakimi Nakadeira | Editado por NUCOM
