Reflexões sobre a inserção da Política de Autoavaliação na Pós-Graduação Brasileira: o olhar de EspecialistasResumo
As recentes transformações no modelo de avaliação empregado pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) presumem, entre outros sentidos, a ponderação sobre a necessidade de novas formas avaliativas que contemplem um envolvimento mais ativo da comunidade acadêmica. Desse modo, a partir de 2018, a autoavaliação passou a compor a estrutura fundamental dentro desse modelo. Nessa seara, este artigo objetiva compreender a inserção da Política de Autoavaliação no Sistema de Avaliação da CAPES, refletindo acerca das possíveis interlocuções e significados que emergem nesse cenário. Trata-se de um artigo teórico-empírico, de abordagem qualitativa, que recorre à pesquisa documental e entrevistas com especialistas que atuaram no Grupo de Trabalho (GT) de Autoavaliação da CAPES. Os resultados possibilitam apreender sobre antecedentes, aspectos conceituais e motivacionais da implantação dessa prática, bem como depreender outras possíveis articulações, como aprendizagem e inovação e elementos que configuram um contexto emergente. A pesquisa promove contribuições, ainda que introdutórias, para as discussões sobre essa prática no contexto da pós-graduação brasileira, constatando um campo fértil para estimular outras pesquisas.
Palavras-chave: avaliação educacional; política de autoavaliação; sistema de avaliação da pósgraduação brasileira
Resumen
Las recientes transformaciones en el modelo de evaluación utilizado por la Coordinación de Perfeccionamiento del Personal de Educación Superior (CAPES) suponen, entre otras cosas, considerar la necesidad de nuevas formas de evaluación que incluyan una participación más activa de la comunidad académica. Por ello, a partir de 2018 la Autoevaluación comenzó a constituir la estructura fundamental dentro de este modelo. En este ámbito, este artículo tiene como objetivo comprender la inserción de la Política de Autoevaluación en el Sistema de Evaluación CAPES, reflexionando sobre los posibles diálogos y significados que emergen en ese escenario. Se trata de un artículo teórico-empírico, con enfoque cualitativo, que utiliza investigación documental y entrevistas con expertos que trabajaron en el Grupo de Trabajo de Autoevaluación (GT) de la CAPES. Los resultados permiten conocer los antecedentes, aspectos conceptuales y motivacionales de la implementación de esta práctica, así como comprender otras posibles articulaciones, como el aprendizaje y la innovación y elementos que configuran un contexto emergente. La investigación promueve contribuciones, aunque sean introductorias, a las discusiones sobre esta práctica en el contexto de los estudios de posgrado brasilehos, estableciendo un campo fértil para estimular otras investigaciones.
Palavras clave: evaluación educativa; política de autoevaluación; sistema brasileho de evaluación de posgrado
Abstract
Recent changes in the assessment model used by the Coordination for the Improvement of Higher Education Personnel (CAPES) assume, among other things, the consideration of the need for new assessment methods that include a more active involvement of the academic community. As of 2018, Self-Assessment has become the fundamental structure within this model. This article aims to understand the integration of the Self-Assessment Policy in the CAPES Assessment System, reflecting on the possible interactions and implications that arise in this context. It is a theoretical-empirical article with a qualitative approach, using documental research and interviews with experts who were part of the CAPES Self-Assessment Working Group (WG). The results shed light on the antecedents, conceptual and motivational aspects of implementing this practice, as well as suggest other potential connections, such as learning, innovation, and elements shaping an emerging context. The research provides preliminary insights for discussions on this practice within the Brazilian graduate studies landscape, offering a fertile ground to inspire further research endeavors.
Keywords: educational assessment; self-assessment policy; brazilian postgraduate assessment system
1 Introdução
No transcurso histórico de cerca de quarenta anos de existência, diferentes mudanças incrementais têm sido realizadas no Sistema de Avaliação da Pós-Graduação (PG) brasileira, conduzido sistematicamente pela Coordenação de Pessoal de Nível Superior (CAPES), com vistas ao seu contínuo aprimoramento. Tais transformações buscam garantir o desenvolvimento qualificado e o fortalecimento do Sistema Nacional de Pós-Graduação (SNPG), mediante a criação de novos cursos e Programas de Pós-Graduação (PPG) (Vogel, 2015; Ferreira; Ferenc; Wassem, 2018), que contabiliza, atualmente, 4.559 Programas1, e o progresso da produção do conhecimento científico e tecnológico (Magalhães; Real, 2018).
No cenário da construção histórica do campo da Avaliação Educacional, há esforços significativos pela democratização das decisões públicas imbricadas em "mudanças estruturais na concepção e posicionamento da avaliação, expressando seu predicado polissêmico e os múltiplos interesses em torno de suas práticas" (Silva; Gomes, 2018, p. 352). No caso do Sistema de Avaliação da CAPES, as diferentes discussões e questionamentos sobre distorções e inconsistências da avaliação externa, fundamentadas, entre outras coisas, na necessidade de os programas serem reconhecidos, valorizados e avaliados conforme suas particularidades (Magalhães; Real, 2018; Patrus, 2018; Barata, 2019), foram condutoras de reflexões sobre a carência de outras abordagens e modelos avaliativos que assegurassem um maior envolvimento da comunidade acadêmica, não apenas como avaliados, mas como agentes ativos no procedimento de avaliação externa (Leite et al., 2020).
As recentes mudanças envolvem, em especial, a inserção, desde 2018, da autoavaliação como componente da avaliação externa (CAPES, 2019a; Leite et al., 2020). Isso significa que a autoavaliação passará, paulatinamente, a figurar como um elemento expressivo dentro da avaliação da PG brasileira, sendo, então, os programas condicionados a implementarem uma política de autoavaliação e realizarem um processo sistemático de análise interna envolvendo distintos atores organizacionais (Barata, 2019; Leite et al., 2020).
Ainda que seja apenas um dos itens avaliados no domínio do tópico "Programa" da nova Ficha de Avaliação, correspondendo a 10% da nota do quesito (CAPES, 2020), trata-se de uma prática complexa, pois seu propósito está direcionado a um processo autogerenciado de análise, avaliação e reflexão interna com vistas ao aprimoramento do programa (CAPES, 2019b), onde os sujeitos envolvidos exercem papeis enquanto agentes avaliados e avaliadores dentro da sua dimensão de atuação, trazendo rebatimentos para toda a estrutura política e gerencial de um PPG.
Estudos sobre a autoavaliação na PG (Saul, 2002; Hortale; Moreira, 2008) já abordaram acerca da sistemática desse mecanismo avaliativo no âmbito de PPGs, ressaltando-a como ferramenta de reflexão sobre as atividades de ensino e pesquisa para o desenvolvimento do programa, além das características e limitações dessa prática com vistas a análise crítica e tomada de decisões. Contudo, essas investigações não estiveram atreladas aos aspectos regulatórios da CAPES quanto à exigência de os programas implementarem a avaliação interna, o que demonstra uma lacuna teórica importante a ser preenchida.
Mais recentemente, Leite et al. (2020) realizaram uma pesquisa sobre "A autoavaliação na Pós-Graduação (PG) como componente do processo avaliativo CAPES", apresentando diferentes nuances sobre a importância da autoavaliação como ferramenta de aprimoramento do Sistema de Avaliação, a valorização da prática democrática e a agenda de melhorias no contexto da PG. Em suas palavras, a "autoavaliação torna-se um ato empreendedor quando, após debates e análises, for sucedida por ações de melhoria" (p. 348). Buscando colaborar com essas discussões introdutórias sobre a autoavaliação no âmbito da PG brasileira, este artigo objetiva compreender a inserção da Política de Autoavaliação no Sistema de Avaliação da CAPES, refletindo acerca das possíveis interlocuções e significados que emergem nesse cenário.
A discussão está estruturada, além desta introdução, em quatro seções: na segunda parte, apresentam-se os aspectos teóricos acerca da Avaliação Educacional, Política de Autoavaliação e sua relação com o cenário da PG; na terceira parte, versase sobre os aspectos metodológicos da pesquisa; em seguida, constroem-se as reflexões a partir das evidências; para, na última seção, apresentar as considerações finais.
2 Avaliação Educacional e Política de Autoavaliação: movimentos e regulação no Sistema de Avaliação da CAPES
No contexto educacional brasileiro, as políticas de avaliação são embasadas, segundo Belloni (1999), em duas tendências principais: a) controle e hierarquização, onde predomina a lógica da regulação e do controle quanto ao cumprimento de requisitos e normas, objetivando a construção de rankings por meio da seleção das "melhores" instituições baseada na análise do desempenho, no estabelecimento de padrões de excelência e em aspectos meritocráticos; e b) melhoria e mudança, que é orientada por uma perspectiva de transformação, onde se busca a efetividade científica e social da instituição mediante a identificação de acertos e dificuldades, com vistas a melhoria da qualidade e excelência institucional.
A avaliação do ensino superior em nível de graduação possui um breve percurso de sucessos, ainda que seja marcada por diferentes críticas. Já no nível de PG, embora possua um percurso amplo e consolidado, há uma recorrente problematização acerca do modelo de avaliação (Leite et al., 2020). Conforme a literatura, a avaliação externa da CAPES, tem sido praticada satisfatoriamente do ponto de vista da regulação, apesar das diferentes críticas da comunidade científica (Alves; Oliveira, 2014; Vogel, 2015; Magalhães; Real, 2018; Patrus, 2018; Barata, 2019).
Todavia, considerando o amadurecimento do modelo de avaliação ao longo da história do SNPG e das tensões provocadas por essa comunidade, a CAPES corroborou a necessidade de, entre outras mudanças, inserir a autoavaliação no Sistema de Avaliação (CAPES, 2019b; Leite et al., 2020), pois se reconheceu que a avaliação externa não é formativa (Patrus; Shigaki; Dantas, 2018; Maldonado; Bitencourt, 2019), ainda que assegure respostas aos parâmetros básicos.
Essa mudança, em particular, contribui para superar a concepção de avaliação somativa, a qual resulta na geração de rankings a partir de indicadores essencialmente quantitativos, e vai de encontro ao que é posto por Leite et al. (2020) quando defendem a necessidade de empreender outras práticas autônomas e formativas, envolvendo ativamente a comunidade acadêmica em diferentes níveis. Apesar de as experiências acerca da autoavaliação já existirem no ensino superior, mais especificamente no âmbito do Sistema Nacional de Avaliação da Educação Superior (SINAES) (Griboski; Peixoto; Hora, 2018), isso não era observado no processo de avaliação da PG (Leite et al., 2020). Há, portanto, um progresso nesse sentido, podendo configurar, inclusive, um componente de autonomia (Leite; Pinho, 2017), para os PPGs stricto sensu.
Desse modo, demanda-se que os programas definam suas políticas de autoavaliação, seus procedimentos e usos, compreendendo-a enquanto processo avaliativo de reflexão interna, planejado e autogerenciado pelos sujeitos que o compõem, envolvendo atores em diferentes níveis (CAPES, 2019b). Toma-se como verdade que a autoavaliação está associada aos costumes acadêmicos que presumem a garantia dos princípios da autonomia e das práticas da colegialidade e democráticas institucionais, o que implica dizer que, além de estimular e reconhecer as particularidades e a qualidade fundamentadas nas diferenças de cada programa (Leite, 2006), a autoavaliação como política implementada nos PPGs, pode fomentar uma "[...] reorientação com vistas a ampliar a cultura da diversidade, da inclusão e dos contextos emergentes na formação pós-graduada" (Leite et al., 2020, p. 347).
Isso porque, da forma como foi constituído, o Sistema de Avaliação da CAPES pouco considera as particularidades dos programas e os contextos emergentes no processo de avaliação externa (Verhine; Dantas, 2009; Patrus, 2018), impondo quesitos e parâmetros que conformam um ambiente capaz de submeter as organizações a condições de uniformidade, limitando sua atuação frente as suas próprias identidades (Andrade et al., 2018). Em contrapartida, admite-se que, a implantação da autoavaliação fortalece as concepções acerca do exercício da democracia por meio da avaliação, pressupondo o esforço pela defesa da qualidade representada nas distinções entre os PPGs (Belloni, 1999; Leite, 2006). Nessa direção, considera-se que:
De uma autoavaliação bem executada resultam conhecimentos sobre uma dada realidade, vista pelo olhar daqueles sujeitos que estão em relação e a constituem, naquele lugar, contexto e tempo histórico. A produção deste conhecimento, o ato de conhecer é, em si, uma responsabilidade social, profissional e pública do programa ou instituição (Leite et al., 2020, p. 343).
Reforçam ainda que a reflexão sobre os resultados obtidos é elemento central na condução do processo (Leite et al., 2020). Assim, a operacionalização de um processo autoavaliativo viabiliza a construção de um conhecimento aprofundado sobre os programas que pode viabilizar ações mais assertivas, ou seja, "[...] a autoavaliação deverá resultar em tomadas de decisão que, em última análise, implicarão mudanças" (CAPES, 2019b, p. 8). Dito de outra forma, a avaliação "[...] deve ser empregada por avaliadores e avaliados, com vistas à tomada de decisões, e não apenas para configurar um ato formal e técnico, e ser engavetado" (Andriola; Souza, 2010, p. 47).
Nessa rota, não se pode perder de vista que, a finalidade da avaliação perpassa o âmbito institucional no sentido de ser compreendida como um artifício estratégico para promover uma relação efetiva entre a instituição educacional e a realidade social, que reafirme o compromisso com a reconstrução do espaço social e a democratização da educação (Belloni, 1999). Logo, a autoavaliação pode compreender um processo fundamental para que os PPGs possam apresentar à comissão de avaliação um diagnóstico dos seus contextos e trajetórias (Barata, 2019) e, para além disso, pode configurar "[...] um momento de parada para refletir, analisar e avançar em direção a inovadores projetos futuros" (Leite et al., 2020, p. 351).
3 Escolhas Metodológicas
Tendo em vista a proposta de compreender a inserção da Política de Autoavaliação no Sistema de Avaliação da CAPES, refletindo acerca das possíveis interlocuções e significados que emergem nesse cenário, assumiu-se o paradigma interpretativista (Burrell; Morgan, 1979) para abordar o fenômeno estudado por meio da apreciação dos sentidos atribuídos pelos sujeitos da pesquisa e da leitura de documentos, considerando os aspectos subjetivos desse movimento.
A pesquisa possui abordagem qualitativa e tem por fim a descrição e interpretação do fenômeno, onde as reflexões foram produzidas e estimuladas ao "[...] explorar as experiências das pessoas e suas visões e perspectivas sobre essas experiências" (Gray, 2012, p. 38), de modo a evidenciar a forma pela qual as coisas estão relacionadas (Marconi; Lakatos, 2007). Desse modo, construiu-se as reflexões mediante as percepções de especialistas sobre avaliação educacional, enquanto representantes do GT de Autoavaliação da CAPES, e mediante a interpretação de documentos.
Para a seleção dos sujeitos da pesquisa e realização das entrevistas, levou-se em conta o critério de disponibilidade, uma vez que os dez membros do GT de Autoavaliação da CAPES foram contatados via e-mail, conforme informações disponíveis na Plataforma Sucupira, obtendo-se o retorno positivo de dois deles. Assim, as duas entrevistas foram realizadas por meio da ferramenta Google Meet, ancoradas nas premissas da chamada pesquisa social online (Flick, 2013), sendo gravadas, mediante o consentimento dos sujeitos, e, posteriormente, transcritas e analisadas. A proteção dos entrevistados e os procedimentos éticos da pesquisa foram assegurados mediante a assinatura do Termo de Consentimento Livre e Esclarecido (TCLE) pelos sujeitos e a aprovação do projeto de pesquisa, ao qual este estudo está relacionado, pelo Comitê de Ética em Pesquisa (CEP) - Certificado de Apresentação para Apreciação Ética (CAAE) n.° 40448520.3.0000.5546. Nesta pesquisa, os sujeitos foram identificados como Entrevistado A e Entrevistada B.
No tocante aos documentos, acessou-se o Relatório do GT de Autoavaliação de PPGs e o Documento Final da Comissão Nacional de Acompanhamento do PNPG 2011-2020, que contribuíram para a construção da narrativa acerca da inserção da autoavaliação no cenário da PG brasileira.
Por fim, utilizou-se a técnica de Análise de Conteúdo para o tratamento das evidências, seguindo as três etapas estabelecidas por Bardin (2016) - pré-análise; exploração do material; e tratamento dos resultados -, objetivando viabilizar uma análise de maneira sistemática. No primeiro momento, realizou-se a seleção e tratamento dos registros documentais e entrevistas transcritas, que constituíram o corpus de análise da pesquisa, procedendo-se também uma leitura flutuante; posteriormente, os materiais foram explorados, possibilitando a definição dos eixos temáticos ou categorias analíticas; e, no terceiro momento, realizou-se a descrição e análise das evidências (inferência e interpretação), culminando na discussão apresentada na próxima seção deste artigo, mediante as seguintes categorias: Antecedentes; Conceito e Política de Autoavaliação; Motivações; Aprendizagem e inovação; e Contexto emergente. Cabe salientar que tais categorias emergem do processo de idas e vindas ao campo, conforme preconiza o processo de análise.
4 Inserção da Política de Autoavaliação na Pós-Graduação brasileira sob a ótica de especialistas
Subdividida em duas partes, esta seção apresenta a construção da narrativa a partir das evidências, contemplando as cinco categorias analíticas, anteriormente, mencionadas.
4.1 Compreendendo a Política de Autoavaliação no cenário da Pós-Graduação brasileira: antecedentes, conceito e motivações
a) Antecedentes
As ideias que fundamentaram a inserção da autoavaliação no âmbito da PG stricto sensu estão associadas às práticas de avaliação da Educação Superior brasileira advindas, principalmente, do SINAES, que já possuía uma vasta experiência acerca dos processos de avaliação e autoavaliação institucional, como explicou o Entrevistado A. O SINAES evoluiu a partir dos avanços das políticas de Avaliação Educacional, tendo como uma das frentes de atuação a autoavaliação, conduzida pelas Comissões Próprias de Avaliação (CPA) de cada Instituição de Ensino Superior (IES) em conformidade com as diretrizes e as normas da Avaliação Institucional da Comissão Nacional de Avaliação da Educação Superior (CONAES) (Griboski; Peixoto; Hora, 2018).
A Entrevistada B lembrou que essas experiências progrediram a partir das práticas originárias do Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), da década de 1990, que "[...] foi um Programa que é de dentro das Universidades e as Universidades, os reitores das Universidades e entidades, e nós, os docentes que trabalhavam em avaliação, fizemos o Programa pensando no envolvimento dos atores, na participação dos atores". Ou seja, objetivava a construção de um modelo de avaliação coletivo, confiável, ajustável e transparente, com foco na avaliação qualitativa e autoavaliação, dentro das IES (Griboski; Peixoto; Hora, 2018).
Ao longo dos anos de 2012 e 2013, a CONAES promoveu uma série de seminários sobre autoavaliação, buscando enfatizar a relevância desse processo no ensino superior, especialmente, no âmbito da graduação, haja vista certa fragilidade observada. "O ENADE [Exame Nacional de Desempenho dos Estudantes] funcionava, essas visitas funcionavam, mas a avaliação institucional, autoavaliação institucional, era o ponto fraco e deveria ser o ponto central" (Entrevistado A).
Isso porque a avaliação institucional, implementada nas IES, não se esgota em si mesma, deve ser concebida como uma parte importante de um conjunto de políticas públicas que contribuem com um processo mais abrangente voltado à revalorização da educação de nível superior e ao desenvolvimento social brasileiro (Falleiros; Pimenta; Valadão Júnior, 2016).
Nesse contexto, umas das vias de transposição desse know-how se deu por meio de profissionais especialistas em Avaliação Educacional, como os Entrevistados A e B e seus pares, que transitaram entre as experiências de avaliação do ensino superior em nível de graduação e de pós-graduação, atuando nesse segundo momento, especialmente, no âmbito do Sistema de Avaliação e/ou no próprio GT de Autoavaliação da CAPES.
Em 2015, a CAPES estruturou uma Comissão para repensar o seu processo de avaliação externa. Observando as deficiências que tal processo possuía diante das diferentes críticas da comunidade acadêmica e considerando as experiências exitosas observadas no SINAES, a Comissão passou a promover a ideia da autoavaliação. Nas palavras do Entrevistado A,
[...] em 2015, eu fui convidado para participar numa Comissão que a CAPES criou, naquela época, para repensar a avaliação da CAPES [...] e nessa Comissão [...] resolvemos "vamos promover esta ideia de autoavaliação?" [...]. E a gente... [...] promoveu essa ideia [que] ficou como parte do relatório da Comissão que foi concluído em 2016.
O relatório final da Comissão foi apresentado e apreciado pelo Ministério da Educação (MEC), contudo, devido ao cenário político da época2, esses resultados se perderam, tendo em vista a reorganização política nas frentes de atuação governamentais na esfera pública.
Posteriormente, em 2018, com a modificação da Diretoria de Avaliação e presidência do Conselho Técnico-Científico da Educação Superior (CTC) da CAPES, abriu-se espaço para que profissionais e especialistas pudessem retomar as discussões acerca da autoavaliação, considerando a visão já constituída em momentos anteriores. Foi neste momento, que a CAPES instituiu, entre outros grupos de trabalho, o GT de Autoavaliação, designando uma equipe composta por dez profissionais com experiências voltadas à área de Avaliação Educacional, como os Entrevistados A e B.
Nessa rota, o GT trabalhou no desenvolvimento de um estudo de forma contributiva para a construção das concepções e diretrizes da autoavaliação. Para tanto, por meio dos seminários, diferentes pesquisadores e especialistas sugeriram melhorias que foram analisadas ao longo das reuniões do grupo. Inclusive, patrocinados pela CAPES, alguns coordenadores estiveram na Alemanha e Holanda, com o intuito de explorar as práticas internacionais acerca da avaliação na pós-graduação, como relatou a Entrevistada B.
O resultado desses esforços culminou na elaboração de um documento que indicava a importância da inserção da autoavaliação como política no âmbito dos PPGs. Considerando o cenário de mudanças no Sistema de Avaliação da CAPES e como outros GTs estavam trabalhando em outras frentes, como na reformulação da própria Ficha de Avaliação, houve o alinhamento para a inserção desse elemento na nova ficha. Ou seja, "[...] foram muitas questões para chegar a esta confluência de sair a autoavaliação dentro da ficha" (Entrevistada B).
Em consulta ao relatório final do GT de Autoavaliação, constatou-se os argumentos em defesa da inserção da autoavaliação como componente da avaliação externa, como expresso nos seguintes trechos:
[...] com o amadurecimento do seu processo de avaliação, a CAPES entende ser necessário ampliar o foco, reconhecendo que é a autoavaliação, hoje muito utilizada nas experiências internacionais, que pode trazer mais subsídios para o desenvolvimento do Sistema com qualidade (CAPES, 2019b, p. 4-5).
Sem dúvida, a avaliação externa assegura padrões básicos, o que é importante em um país continental, mas tem limitações. Uma delas é o fato de não ser formativa, em que os que estão no processo se envolvam também na solução dos problemas identificados (CAPES, 2019b, p. 5).
Assim, a autoavaliação, desenvolvida de forma sistemática e contínua, é a abordagem a ser enfatizada, pois assegura proximidade entre avaliador e avaliado e permite aprofundamentos de natureza qualitativa e contextualizada (CAPES, 2019b, p. 5).
Em paralelo às atividades do GT, considerando que o PNPG 2011 -2020 (CAPES, 2010) estava sendo finalizado, a comissão responsável pelo seu acompanhamento também tinha a incumbência de propor melhorias na Ficha de Avaliação e no processo avaliativo. Então, diferentes reuniões foram realizadas e a comissão recebeu sugestões de entidades como a Associação Nacional dos Dirigentes das Instituições Federais de Ensino Superior (ANDIFES), o Sindicato Nacional dos Docentes das Instituições de Ensino Superior (ANDES), dentre outras instituições. Conforme destacou a Entrevistada B, "[...] por incrível que pareça, todas [as sugestões] falavam em autoavaliação". À vista disso, a comissão responsável pelo acompanhamento do PNPG também produziu um estudo que resultou em um documento aprovado pela CAPES, naquele mesmo ano, que também promovia a ideia de autoavaliação.
Em acesso ao Documento Final da Comissão Nacional de Acompanhamento do PNPG 2011-2020, contendo a proposta de aprimoramento do modelo de avaliação da PG, identificou-se, de fato, a autoavaliação como um dos temas convergentes propostos por pelo menos 75% das entidades consultadas, conforme expresso no seguinte trecho:
O sistema de avaliação da pós-graduação deve usar a autoavaliação do programa como aspecto fundamental do processo avaliativo. Ainda que atualmente a CAPES incentive as autoavaliações dos programas, as mesmas não são demandadas oficialmente, não são valorizadas pelo processo avaliativo formal e não são subsidiadas por orientações fornecidas externamente, pela CAPES ou qualquer outra entidade especializada no assunto. Recomenda-se, assim, que a autoavaliação tenha caráter regular e que os programas recebam orientações e instrumentos que os ajudem a concretizá-la com êxito (CAPES, 2018, p. 19).
Ressalta-se que, mesmo antes dessas discussões, já existia no Relatório Sucupira um campo direcionado à inclusão de informações acerca da autoavaliação. Contudo, o Entrevistado A ponderou que os programas, de um modo geral, apresentavam resultados poucos sistematizados, sem muita reflexão, compreendendo uma ação apenas com o objetivo de realizar o preenchimento desse campo obrigatório no relato. No sentido contrário, como observado na literatura, a perspectiva central promovida pela agência é a definição de uma política de autoavaliação enquanto instrumento de melhoria interna para cada programa em particular (CAPES, 2019b; Leite et al. 2020). Nas palavras do Entrevistado A,
a gente não quer saber os resultados, a gente quer saber se o programa tem uma política, um projeto de autoavaliação, se eles conseguem conceituar autoavaliação. Eles podem conceituar o que é sua visão de qualidade, eles podem conceituar os seus instrumentos e procedimentos que vão utilizar, periodicidade etc., os resultados e usos dos resultados [...].
Dessa forma, as evidências direcionam para uma compreensão de que a ideia é, por um lado, avaliar se existe uma política institucionalizada de autoavaliação no âmbito dos PPGs lidando com tais elementos, e, por outro lado, promover avanços em conformidade com melhores práticas de Avaliação Educacional por meio da participação da comunidade acadêmica mais ativamente (Leite et al., 2020). Ou seja, enquanto item a ser julgado na avaliação externa da PG, busca-se com o processo de autoavaliação realçar o caráter qualitativo, onde serão analisadas a transparência e consistência de aspectos acerca das políticas, procedimentos e usos da autoavaliação implementados por cada programa (CAPES, 2020).
Isso remonta as concepções acerca dos fundamentos das práticas democráticas de avaliação (Leite, 2006) e a reflexão acerca da constituição de um processo avaliativo em que avaliador e avaliado direcionam esforços em busca de mudanças qualitativas (Andriola; Souza, 2010).
b) Conceito e Política de Autoavaliação
A concepção acerca da autoavaliação observada nas evidências vai em direção aos sentidos vistos na literatura. A percepção de autoavaliação está ancorada na compreensão da avaliação interna enquanto um processo construído pela própria organização - entidade, instituição, programa ou curso -, podendo haver diferentes níveis de avaliação, "[... ] com a busca de identificar problemas e identificar soluções e acompanhar essas soluções para ver se elas estão dando o efeito desejado" (Entrevistado A), ou, em outras palavras, para possibilitar a "[... ] melhoria da qualidade do seu fazer institucional" (Leite, 2006, p. 466). Ou seja, adota-se o conceito da autoavaliação como um processo autogerido de reflexão interna que deve resultar na construção de conhecimentos sobre o programa e suas diferentes interlocuções, permitindo a identificação de fragilidades, potencialidades e propostas de melhorias, sob o prisma dos atores organizacionais (CAPES, 2019b; Leite et al. 2020; Entrevistados A e B).
As evidências apontam alguns aspectos a serem observados no processo de implantação da política de autoavaliação. Um deles é que os programas devem produzir suas políticas de autoavaliação, criar suas comissões para coordenar o processo autoavaliativo e estabelecer seus procedimentos, instrumentos e discussões acerca dos resultados (CAPES, 2019b). De maneira articulada, é importante estabelecer um contato direto com as pró-reitorias de PG, para o alinhamento acerca das políticas institucionais, e as CPAs das IES, haja vista a vasta experiência na condução de processos avaliativos em nível institucional, como observado na fala do Entrevistado A:
Essa CPA que vocês têm desde 2004, 2005 lá na sua instituição, já tem uma grande experiência fazendo autoavaliação em nível da instituição, mas a gente tem que trazer isso para os programas e também para os cursos, porque, normalmente, esses CPAs não estão promovendo autoavaliação a nível do curso, estão apenas trabalhando com autoavaliação em nível da instituição. Então, essa interação com a pró-reitoria e essa interação com a CPA também é muito importante [...].
Da mesma forma, salienta-se a relevância do compartilhamento de experiências junto a outros PPGs, principalmente com aqueles que possuem uma aproximação maior com a temática, como a área de Administração, como exemplificado pela Entrevistada B, e, assim, um know-how a ser compartilhado.
Pondera-se, ainda, a relevância de se construir um processo participativo, incluindo atores internos e externos ao programa para contemplar diferentes olhares. Além de considerar essas organizações como ponto de referência, internamente se reforça a importância do papel do aluno e do egresso, ao observar as suas trajetórias. As informações advindas desses dois atores compõem aspectos fundamentais para aferir a qualidade do programa, capaz de absorver diferentes perspectivas contributivas para o desenvolvimento institucional.
Outro aspecto essencial diz respeito à articulação da autoavaliação ao planejamento estratégico, tendo em vista que esses dois mecanismos atuam em conjunto com a finalidade da busca de melhorias e qualidade por parte dos programas, como revela a fala do Entrevistado A:
[... ] com o planejamento você está incluindo a autoavaliação como elemento do plano, usando autoavaliação para acompanhar o plano e para até construir o plano. Autoavaliação serve para fazer o diagnóstico. [... ] ao invés de ser cobrado esta melhoria, através de uma avaliação externa, você, internamente, busca sua melhoria a partir de uma compreensão de sua realidade própria e você faz isto em conjunto com o plano e essas duas coisas em conjunto, nós achamos que é fundamental para a melhoria dos programas.
Uma vez estabelecida claramente sua missão, objetivos, metas e seu compromisso institucional, os programas adquirem condições qualificadas para realizar uma análise da sua realidade, o que está relacionado ao planejamento estratégico. Em consonância, a ideia é que os PPGs tenham autonomia para definir sua missão e trabalhar de forma sistemática para o seu alcance, visto que, por meio da autoavaliação, eles contextualizarão suas realidades em função da sua missão.
Assim como a educação, a avaliação se constitui enquanto um ato político que influencia a vida daqueles que estão sendo avaliados, desde sujeitos a programas ou políticas públicas (Leite et al., 2020). Esse processo pode ser constituído sob o ponto de vista da manifestação autoritária do poder de julgar ou, em contrapartida, pode representar a busca por avanços qualitativos mediante a colaboração entre avaliador e avaliado (Andriola; Souza, 2010).
Frente a essas considerações e ao observar relatório final da comissão do PNPG 2011-2020, destaca-se, por fim, a relevância de fortalecer essa articulação entre programas e Universidade, como expresso no trecho do documento:
Também houve convergência no entendimento que as Universidades devem ser mais protagonistas de seu próprio planejamento e avaliação da PG, inserida em seu contexto e no seu território de atuação (auto avaliação é importante, mas deve obrigatoriamente referir-se e referenciar-se ao plano estratégico institucional da respectiva instituição), promovendo e valorizando parcerias estratégicas e arranjos institucionais para aumentar a qualidade, eficiência e eficácia do SNPG, gerando estímulos para a organização de PPGs mais robustos e com atuação conectada, simultaneamente, com as políticas institucionais e as políticas de desenvolvimento das regiões onde atuam (CAPES, 2018, p. 9).
Nessa seara, o Entrevistado A avaliou que a expectativa é que as experiências concretas comecem a emergir a partir de 2022, tendo em vista a condução da Avaliação Quadrienal (2017-2020) em 2021. Isso justifica o fato de a autoavaliação, como visto em CAPES (2019b), compor um peso relativamente baixo na Ficha de Avaliação, variando entre 10% e 20% a depender da área do conhecimento. A tendência é que, ao longo do tempo, esse peso aumente e a autoavaliação passe a ser cada vez mais enfatizada (Barata, 2019).
c) Motivações
Conforme observado ao longo da análise das entrevistas, as motivações para a inserção da autoavaliação no Sistema de Avaliação da CAPES estão associadas, à princípio, a fatores que têm o intuito de impulsionar o desenvolvimento qualitativo dos PPGs. Além de possibilitar uma agenda de melhorias nos programas, a autoavaliação surge como instrumento de aprimoramento do Sistema de Avaliação, bem como a valorização da prática democrática, ao ampliar o papel de participação da comunidade acadêmica (Leite et al., 2020).
A avaliação interna lida com questões que a avaliação externa não consegue alcançar, como o próprio processo de formação, as relações em sala de aula, as práticas entre alunos e orientadores e o desenvolvimento de pesquisas científicas, que são aspectos essencialmente qualitativos. A avaliação externa da CAPES avalia produtos, em grande escala, e não processos. Essa perspectiva reponde, justamente, às críticas relacionadas à ênfase da avaliação externa aos indicadores quantitativos, considerando seu uso indiscriminado como meio de avaliar a qualidade dos processos formativos, das produções científicas e do impacto à sociedade (Verhine; Dantas, 2009; Alves; Oliveira, 2014). Contudo, ambas as formas avaliativas podem funcionar em conjunto como a melhor forma de realizar uma avaliação, como defende o Entrevistado A:
Avaliação interna pode lidar com processos, avaliação externa não consegue lidar com processos. Um processo mais importante em um Programa de Pós-Graduação é a questão de formação, e formação é um processo, mas essa avaliação externa da CAPES não capta processos, né?! Capta produtos. Então, você não sabe o que acontece na sala de aula, você não sabe o que acontece na relação entre aluno e orientador etc. Essas coisas você não sabe a partir de um relatório que você apresenta para a CAPES, mas você pode saber isso internamente. E se você está preocupado com a sua qualidade, então você vai estar tentando melhorar o ensino, melhorar a orientação, melhorar a pesquisa, a oportunidade de pesquisa, os incentivos para a pesquisa, mas tudo de uma forma interna. Agora, nós entendemos que as duas coisas funcionam em conjunto.
Logo, depreende-se que há a emergência da valorização dos processos, em especial o da formação, no âmbito da avaliação externa. E, como visto a partir das evidências, a autoavaliação possui um potencial para contribuir nesse sentido, como é ressaltado no relatório final do GT de Autoavaliação: "[...] a avaliação deve captar essa dimensão, que é essencialmente um processo e não só um produto" (CAPES, 2019b, p. 5).
Considerando a perspectiva futura de que a autoavaliação se torne muito mais importante no cenário da PG brasileira, exemplifica-se que em muitos países, como nos Estados Unidos, a avaliação externa costuma ocorrer a cada dez anos, enquanto a avaliação interna compreende um processo constante, pois há uma preocupação primeira das instituições em manterem seus padrões de qualidade (Barata, 2019). Desse modo, estabelece-se uma crítica de que a "autoavaliação como sendo o elemento central da avaliação de cursos de Pós-Graduação [...] existe mundialmente, é o Brasil que está atrasado nesse sentido, de começar a enfatizar a autoavaliação agora" (Entrevistado A).
Em acordo, a Entrevistada B afirmou que a autoavaliação é utilizada em diferentes países para a acreditação, diferente, talvez, da perspectiva que a CAPES está adotando. No exterior, existem agências acreditadoras, não há controle governamental da PG e todos os programas são autônomos, mas se quiserem acreditar-se é sine qua non a elaboração de um relatório de autoavaliação. Ela conclui que "[... ] como essa característica brasileira acredita, financia e avalia e... tudo uma única instituição, é um pouco complicada", contudo, essa reflexão acerca da autoavaliação já demonstra um certo avanço no âmbito do SNPG brasileiro (Entrevistada B).
Você pode ver que no SINAES, [...] a autoavaliação é muito enfatizada. O PAIUB [... ] enfatiza a autoavaliação, mas a CAPES nunca enfatizou a autoavaliação porque usou a avaliação para distribuir recursos e prezava por uma escala para distribuir recursos. E a autoavaliação não tem essa finalidade de colocar programas em uma escala, tem a finalidade apenas de identificar problemas e soluções para os problemas (Entrevistado A).
Ainda que já tenha se passado cerca de quarenta anos de existência do SNPG, essa problemática é observada desde a criação do Sistema de Avaliação, na década de 1970, onde o objetivo principal era o estabelecimento de critérios para orientar a distribuição de bolsas de estudo (Castro; Soares, 1983; Balbachevsky, 2005). Ou seja, com vistas à concessão de recursos públicos para estimular a produção científica por meio do ranqueamento dos PPGs, o processo avaliativo assumiu uma natureza somativa (Patrus; Shigaki; Dantas, 2018; Maldonado; Bitencourt, 2019). O resultado disso, foi a ampliação das assimetrias regionais e a institucionalização dos "centros de excelência" e dos "cursos periféricos" (Verhine; Dantas, 2009; Alves; Oliveira, 2014; Nobre; Freitas, 2017; Tavares, 2019).
4.2 Outras possíveis interlocuções no campo: Aprendizagem e Inovação e Contexto Emergente
a) Aprendizagem e Inovação
A observância dessa articulação emergiu a partir da leitura do relatório final do GT de Autoavaliação da CAPES, compreendendo os resultados que a autoavaliação poderia propor em termos de geração do conhecimento e observando nuances que indicavam a associação a aspectos de Aprendizagem e Inovação Organizacional.
Quando questionados acerca da contribuição do processo de autoavaliação para a aprendizagem e inovação no âmbito dos programas, os Entrevistados A e B revelaram uma associação factível. De acordo com o Entrevistado A, tanto a aprendizagem quanto a inovação são vertentes apropriadas a serem discutidas nesse contexto, visto que a ênfase da autoavaliação está, justamente, direcionada à aprendizagem dos programas, assim como a geração de insumos que permitam a tomada de decisões de melhorias, o que tende a ser construída ao longo das experiências. Em suas palavras,
[...] nossa esperança [...] é a criação de uma cultura que valorize a autoavaliação como forma de captar aprendizagem [... ] e também a forma de fornecer subsídios para tomada de decisões de melhorias. Então, suas duas vertentes [... ] são muito apropriadas (Entrevistado A).
Diante disso, a Entrevistada B concebeu a autoavaliação como um "organizador qualificado" à medida que auxilia a construção de um conhecimento sobre o programa e para o programa a partir do levantamento de dados e informações, o que tende a culminar em um conhecimento compartilhado no interior dos PPGs. Em outras palavras, viabiliza a coleta e sistematização de dados em função dos interesses daqueles que produzem e participam do processo avaliativo e com "[... ] esses dados tu produzes uma informação e dessa informação tu faz um conhecimento. Isso que eu chamo da sequência de aprendizagem" (Entrevistada B).
Dessa forma, "[...] a gente acha a autoavaliação importante para captar aprendizagem porque aprendizagem é um processo que a gente não capta bem a partir de uma avaliação externa, principalmente, o tipo de avaliação da CAPES" (Entrevistado A). Portanto, o objetivo da autoavaliação é formativo, conforme CAPES (2019b), e deve auxiliar as reflexões acerca do contexto e políticas adotadas, além da sistematização de dados que subsidiem processos decisórios, o que vem a balizar, talvez, o caráter somativo da avaliação externa, como já problematizado por Patrus, Shigaki e Dantas (2018) e Maldonado e Bitencourt (2019).
Ainda no que concerne à aprendizagem, a Entrevista B acrescentou que:
Eu acho que a principal aprendizagem é a aprendizagem de democracia, a gente tem que escutar o outro para pode chegar a uma conclusão, como é que vai fazer uma avaliação. A gente tem que ouvir o outro, tem que ouvir o estudante, tem que ouvir o funcionário, os técnicos que estão conosco, se possível nossos empregadores, e tem que ouvir os nossos egressos.
Ou seja, tanto a autoavaliação quanto a Aprendizagem Organizacional possuem a premissa básica do envolvimento de diferentes agentes no desenvolvimento do conhecimento, uma vez que a Aprendizagem Organizacional pode ser compreendida como uma prática que articula a criação, apreensão e institucionalização do conhecimento no nível organizacional (Basten; Haamann, 2018; Patky, 2020), baseada nas interações entre os sujeitos (Abel, 2015). O relatório final do GT da Autoavaliação, inclusive, ao tratar da operacionalização técnica da autoavaliação, considerando-a como um processo de aprendizagem, no âmbito da etapa de Meta-avaliação, direciona o entendimento quanto ao uso dos resultados voltados à identificação de um "[... ] rol de mudanças e inovações a serem implementadas" (CAPES, 2019b, p. 15).
No que tange às inovações, conforme Damanpour (2014), as organizações, enquanto sistemas adaptativos, tendem a realizar mudanças organizacionais tanto em resposta a pressões externas quanto de acordo com suas expectativas internas em busca de melhorias em desempenho. Dito de outro modo, a adoção de inovações objetiva garantir o comportamento adaptativo para assegurar a eficácia. Assim, observa-se uma relação fundamental a partir da aproximação entre avaliador, avaliado e tomador de decisão para o impulsionamento de mudanças organizacionais. Isto é,
[... ] nós estamos entendendo que a forma melhor para provocar mudanças é através da autoavaliação porque o próprio programa percebe seus problemas, percebe e constrói coletivamente não apenas a visão do problema, mas a visão da solução. E tendo a visão da solução construída em comum, a probabilidade de, realmente, realizar essa solução fica bem maior (Entrevistado A).
[... ] com essa informação, nós vamos conseguir entender alguma coisa que está acontecendo. Então, esse novo conhecimento ele vai nos ajudar a enxergar uma situação. Quando a gente enxerga alguma situação, [... ] a gente começa a ver as fragilidades (Entrevistada B).
Essas fragilidades, normalmente, estão relacionadas ao próprio desempenho do programa mediante seus processos internos, o que só pode ser identificado a partir da observação das experiências concretas no âmbito dos PPGs. Dessa forma, a compreensão é que:
[... ] os próprios programas tenham uma noção do que eles estão buscando. [... ] se eles estão conseguindo alcançar o que eles estão buscando e, se não estão alcançando, como é que você pode identificar esses entraves que estão limitando esse alcance e como é que você pode quebrar os entraves para aumentar o desempenho do programa (Entrevistado A).
A partir dessas nuances que as inovações podem emergir nos PPGs, visto que a "[... ] aprendizagem injeta novas ideias para a organização [...], ou seja, favorece a presença de inovação" (Padilha et al., 2016, p. 329).
Antes de tudo, a Entrevistada B destacou a questão da mudança de paradigma no Sistema de Avaliação da CAPES no tocante à implementação da própria política de autoavaliação. Quer dizer, há um choque de paradigmas, o paradigma de cima para baixo, do controle explícito do poder executivo de um país em controlar suas instituições, passa a dar espaço, ainda que de forma tímida, a um paradigma de participação democrática, que vem de baixo para cima, como reflexo da autoanálise das pessoas e dos atores em função da busca pela compreensão da sua própria condição enquanto organização. E, dessa forma, quando há uma mudança paradigmática, abre-se um caminho para outro processo de criação de novas possibilidades, como expressou a Entrevistada B:
Então, a autoanálise que precisa fazer, os diagnósticos que são necessários serem feitos, eles introduzem uma outra maneira de pensar, eles invertem... uma coisa é responder um questionário feito, outra coisa é tu estruturar esta situação e tu organizar a situação, aí é outro paradigma. E neste paradigma que entra o processo democrático (Entrevistada B, grifos nossos).
Além disso, considerando que os objetivos acerca da formação de docentes e pesquisadores no Brasil, como previsto no Parecer Sucupira (Brasil, 1965), já foram alcançados, a Entrevistada B observou que é necessário ir além das áreas sociais e direcionar ações para a formação pós-graduada que contemplem outras áreas como as empresariais, de negócios e as industriais. Ou seja, chega-se a uma fase, inclusive, em termos das necessidades sociais, econômicas e culturais, e isso vem sendo, paulatinamente, pontuado pela comunidade acadêmica, em que a CAPES precisa realizar mudanças de forma a ampliar a atuação e objetivos do SNPG. E uma das vias para isso, é que a autoavaliação possa contribuir para promover essa evolução, no sentido de direcionar estratégias que contemplem outros processos para além da formação de pessoal para as IES.
Na trilha desses fatos, quanto às perspectivas para a inovação, evidencia-se uma relação plausível com a autoavaliação, uma vez que aqueles programas que se apoderarem desse processo de autoanálise podem chegar a um resultado superior àquele exigido na Ficha de Avaliação da CAPES. Ou seja, a questão central está em como cada PPG desenvolverá sua política para o benefício próprio, de modo a identificar oportunidades de melhorias e desenvolver mudanças inovadoras no programa, como realçou a Entrevistada B.
b) Contexto Emergente
Diferentes argumentações proferidas pelos Entrevistados A e B convergiram para uma compreensão acerca da importância do contexto particular de cada PPG, que pode ser evidenciado a partir da autoavaliação. Essas evidências foram organizadas de forma representativa nesta categoria denominada Contexto Emergente.
Inicialmente, o Entrevistado A ponderou que é necessária a compreensão da existência de apenas um sistema de PG no Brasil, ao contrário do ensino superior, que possui dois (federal e estadual), e da educação básica, que existem vários. Portanto, há padrões mínimos de qualidade para a avaliação de todos os PPGs, "[...] porque [...] aquele diploma que cada aluno recebe tem o mesmo valor em qualquer lugar do país. Então, você não pode imaginar que a gente vai dar um conceito maior para um programa ruim só porque existe um lugar mais difícil, né?! Isso não faz sentido". Todavia, a avaliação externa foi concebida assentada em um padrão unificado que pouco considera as particularidades regionais e os contextos emergentes de diferentes programas (Verhine; Dantas, 2009; Patrus, 2018), o que, segundo Patrus (2018), acentua as desigualdades observadas no SNPG até os dias atuais.
Há expectativas de que, por meio de autoavaliação, os PPGs possam evidenciar suas realidades e suas contribuições dentro do seu contexto de atuação "[... ] porque com a autoavaliação você vai contextualizar sua realidade [... ] em função de sua missão" (Entrevistado A), de modo que a CAPES possa captar as dificuldades enfrentadas em diferentes regiões e direcione ações mais específicas no sentido de contribuir com o desenvolvimento desses programas e localidades. Em contrapartida, a Entrevistada B avaliou que não sabe se a autoavaliação poderia contribuir para a diminuição das desigualdades na PG e exemplificou sua fala ilustrando a experiência vivenciada junto a um PPG em Educação, no interior do estado do Mato Grosso. Em função da sua missão, o programa desenvolvia diferentes ações
[... ] trabalhando com ribeirinhos, trabalhando com as necessidades daquela comunidade, trabalhando com escolas dentro dos assentamentos, um problema de educação, trabalhando com docentes das escolas indígenas, com toda aquela dificuldade. É uma instituição que tem vários campi pelo interior do estado [...]. Então, para atingir um campus e voltar, por exemplo, para uma reunião da pós-graduação, que na época se fazia presencial, um docente tinha que, muitas vezes, viajar de barco, viajar pela estrada, às vezes de avião, às vezes não chegava a tempo... quer dizer, todas as dificuldades que se pode imaginar para poder fazer o ensino nesse país se apresentavam naquele Programa de Pós-Graduação. Inclusive, posso te contar, assim, que até a língua indígena, as línguas indígenas, porque não há uma só, são várias, poderiam ser dificultosas para quem queria fazer um programa de educação adequado (Entrevistada B).
Mediante esse contexto, os produtos resultantes dessas ações, além do próprio processo formativo para o desenvolvimento das comunidades, eram, por exemplo, as cartilhas em diferentes línguas indígenas. "Então tu podes imaginar o que é esse trabalho, fazer uma cartilha na língua indígena, decifrar, fazer adequado" (Entrevistada B).
A Entrevistada B avaliou que, embora o PPG desenvolvesse um trabalho totalmente integrado à comunidade, isso não era reconhecido pelo Sistema de Avaliação da CAPES, tendo em vista os critérios estabelecidos em uma Ficha de Avaliação, que, muitas vezes, os PPGs de instituições do interior dificilmente conseguem alcançar. E por essa falta de reconhecimento, a pontuação dos docentes, da produção intelectual, da produção dos estudantes, sempre esteve abaixo daquilo que se esperava ser "meritada", tendo em vista que aquele produto não consistia em "[...] uma publicação de tantas páginas, quanto a CAPES poderia exigir, não era uma publicação em língua inglesa, como a CAPES poderia exigir, não era uma publicação internacional, como a CAPES poderia exigir", criticou a Entrevistada B. Ou seja, "[...] a avaliação é algo muito chocante porque ela pode, muitas vezes, não reconhecer uma realidade que é riquíssima e passar sobre ela e ignorá-la" (Entrevistada B).
Rememora-se que, ao observar a literatura acerca dos fundamentos das políticas de Avaliação Educacional, Belloni (1999) as apresenta sob duas tendências: avaliação como melhoria e mudança; e avaliação como controle e hierarquização. Verifica-se na avaliação da CAPES um alinhamento à tendência da política de avaliação como controle e hierarquização, fazendo predominar a lógica da regulação e do controle quanto ao cumprimento de requisitos e normas. Isso reflete, inclusive, a problematização trazida por Bertero (2009), quanto ao papel coercitivo da CAPES, ao considerar a possibilidade de descredenciamento de um programa, haja vista todas as consequências associadas a essa ação, especialmente, a perda do suporte da própria agência para o seu progresso.
Diante disso, as evidências apontam para a necessidade de a CAPES realizar investimentos diretos na melhoria dos programas, especialmente de regiões mais problemáticas, e a autoavaliação pode contribuir para evidenciar esses contextos. Assim, o Entrevistado A afirmou,
[... ] eu acho que a CAPES deveria estar desvinculando esse financiamento, que eles fazem, da avaliação. Quer dizer, eles criam uma situação em que você faz os programas fortes mais fortes, os programas fracos mais fracos porque você dá mais dinheiro para os fortes e menos dinheiro para os fracos.
E sugeriu que esse financiamento aos programas pudesse estar ligado a projetos de melhorias, ou seja, "[...] um projeto de consolidação que o programa apresente para a CAPES, em que ele, o programa, concebe o que precisa fazer para se consolidar e a CAPES financia esse projeto a partir de uma avaliação, evidentemente, para garantir que o projeto é bem-conceituado etc." (Entrevistado A).
Pelo contrário, pode-se depreender que, ainda que o processo autoavaliativo venha a evidenciar essas nuances, não se chegou ainda a um modelo de avaliação que balize as desigualdades observadas no cenário da PG brasileira, apesar das ações empreendidas nesse sentido, a exemplo dos mestrados e doutorados interinstitucionais (MINTER e DINTER), como colocado por Verhine e Dantas (2009), Vogel (2015) e Patrus (2018). Dessa maneira, a Entrevistada B não se demonstrou muito esperançosa e ponderou que os comitês avaliadores seguem uma lógica das ciências "duras", mas nutre a expectativa da mudança do olhar para as diferenças, no sentido de que se possa valorizar as particularidades de formas diferentes, como questão central. Nas palavras da Entrevistada B,
[... ] eu tenho expectativa de que os grupos avaliadores, os nossos colegas avaliadores sejam sensíveis à diferença. Nós estamos vivendo um momento em que... por favor, é a televisão batendo na diferença... todas as entidades mostrando as diferenças. Vai ser somente na pós-graduação que nós não vamos notar que existem diferenças? É impossível!
Esses aspectos podem apontar uma importante oportunidade com relação à valorização das identidades organizacionais de cada programa, haja vista a possibilidade de os PPGs expressarem, mediante seus processos de autoavaliação, suas particularidades, individualidades e contextos em função da sua missão e objetivos institucionais. Além disso, a autoavaliação pode conformar um componente essencial para o processo de reconstrução das identidades dos programas.
Portanto, faz-se necessário reavaliar o Sistema de Avaliação da CAPES, com base nos fundamentos das políticas de Avaliação Educacional, uma vez que, como posto por Belloni (1999, p. 38), a avaliação de instituições educacionais está associada à análise do seu desempenho em função dos seus objetivos e missão, observando-se o contexto social, econômico, político e cultural em que a organização está inserida, e com o objetivo de identificar "[... ] os fatores favoráveis ao bom andamento e aqueles responsáveis pelas dificuldades, com vistas à sua superação".
Por fim, o Quadro 1 apresenta uma síntese acerca dos principais achados da pesquisa.
5 Considerações Finais
Diferentes mudanças têm marcado o contexto contemporâneo do Sistema de Avaliação da CAPES, com vistas a atenuar históricos obstáculos que compreendem a necessidade da institucionalização de novos modelos de avaliação frente aos desafios contextuais. Nessa via, a inserção da autoavaliação pode significar um avanço importante no que tange aos aspectos qualitativos, à ampliação do envolvimento dos PPGs no processo de avaliação externa e ao reconhecimento da natureza formativa dessa prática, presumindo o fator de qualidade ancorado na valorização e respeito à diversidade dos processos formativos, da produção científica e do impacto promovido à sociedade.
As reflexões empreendidas possibilitaram compreender, a partir das percepções de representantes do GT de Autoavaliação da CAPES e análise documental, o contexto, as motivações, assim como outras possíveis interlocuções que trouxeram ao campo as discussões sobre a política de autoavaliação na PG. Nesse ponto, constatou-se que, apesar de se reconhecer as experiências já encontradas no âmbito do ensino superior brasileiro, mediante as políticas de avaliação do SINAES, e as diferentes experiências internacionais acerca da autoavaliação, a CAPES não a enfatizava no processo de avaliação da PG. Assim, oportunizado pelo cenário de mudanças e frente às diferentes críticas da comunidade acadêmica, conformou-se a ideia de promover a autoavaliação nesse nível de formação. A verdade é que, considerando a natureza desse processo, há diferentes caminhos que podem favorecer a melhoria de inconsistências historicamente estabelecidas no modelo de avaliação, abrindo espaço para que as diferentes identidades institucionais e contextos sejam refletidos no processo de avaliação externa.
Tal como posto por Silva e Gomes (2018), discutir, problematizar e entender o controle empreendido pela avaliação em suas atribuições de avaliar, regular, justificar ou mesmo desacreditar programas e políticas públicas, bem como os seus efeitos, compreendem esforços importantes e urgentes, em especial, no campo da educação. Dada a novidade da autoavaliação para o nível da PG, há a necessidade de estudos que conformem um conhecimento necessário à compreensão dos efeitos de tal prática no âmbito do SNPG. Portanto, esta pesquisa promove contribuições, ainda que introdutórias, para as discussões e reflexões acerca da autoavaliação no cenário da PG brasileira, além de descortinar pistas e estimular possíveis interlocuções com outras temáticas, constatando um campo fértil para incentivar novas pesquisas para o avanço do conhecimento.
-
1
Dados conforme GeoCAPES, considerando os indicadores atualizados em 05 de novembro de 2021. Para mais informações acesse: https://geocapes.capes.gov.br/geocapes/.
-
2
O governo Dilma Rousseff (PT) foi destituído em agosto de 2016, mediante a sua condenação pelo considerado "crime de responsabilidade por delito fiscal", após cerca de três meses de tramitação do processo de impeachment no Senado Federal do Brasil, fazendo assumir o cargo o vice-presidente da época Michel Temer (PMDB).
Referências
-
ABEL, M-H. Knowledge map-based web platform to facilitate organizational learning return of experiences. Computers in Human Behavior, EUA, v. 51, p. 960-966, oct. 2015. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0747563214005354 Acesso em: 22 abr. 2022.
» https://www.sciencedirect.com/science/article/abs/pii/S0747563214005354 -
ALVES, M. F.; OLIVEIRA, J. F. Pós-graduação no Brasil: do Regime Militar aos dias atuais. Revista B. Política e Administração da Educação, Goiânia, v. 30, n. 2, p. 351-376, maio/ago. 2014. Disponível em: https://seer.ufrgs.br/index.php/rbpae/article/view/53680/33095 Acesso em: 22 abr. 2022.
» https://seer.ufrgs.br/index.php/rbpae/article/view/53680/33095 -
ANDRADE, E. F. S. et al. Inovação em um contexto isomórfico nos Programas De Pós-Graduação Stricto Sensu em administração. Revista Gestão & Tecnologia, Pedro Leopoldo, v. 18, n. 2, p. 100-127, maio/ago. 2018. Disponível em: https://doi.org/10.20397/2177-6652/2018.v18i2.1415 Acesso em: 22 abr. 2022.
» https://doi.org/10.20397/2177-6652/2018.v18i2.1415 -
ANDRIOLA, W. B.; SOUZA, L. A. Representações sociais dos gestores e dos técnicos das unidades acadêmicas da Universidade Federal do Ceará (UFC) acerca da Autoavaliação Institucional. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 15, n. 2, p. 45-72, jul. 2010. Disponível em: https://www.scielo.br/j/aval/a/yBQXMMzNYbMBrLTKBqmtQjK/?lang=pt Acesso em: 22 abr. 2022.
» https://www.scielo.br/j/aval/a/yBQXMMzNYbMBrLTKBqmtQjK/?lang=pt - BALBACHEVSKY, E. A pós-graduação no Brasil: novos desafios para uma política bem sucedida. In: BROCK, C.; SCHWARTZMAN, S. (org.). Os desafios da educação no Brasil. Rio de Janeiro: Nova Fronteira, 2005. p. 275-304.
-
BARATA, R. C. B. Mudanças necessárias na avaliação da pós-graduação brasileira. Interface – Comunicação, Saúde, Educação, Botucatu, v. 23, 2019. Disponível em: https://www.scielo.br/j/icse/a/gBkWRwqC5svbVNL3R8QN4sx/ Acesso em: 22 abr. 2022.
» https://www.scielo.br/j/icse/a/gBkWRwqC5svbVNL3R8QN4sx/ - BARDIN, L. Análise de conteúdo. São Paulo: Edições 70, 2016.
-
BASTEN, D.; HAAMANN, T. Approaches for organizational learning: a literature review. SAGE Open – Literature Review, EUA, p. 1-20, jul./sep. 2018. Disponível em: https://journals.sagepub.com/doi/10.1177/2158244018794224 Acesso em: 22 abr. 2022.
» https://journals.sagepub.com/doi/10.1177/2158244018794224 -
BELLONI, I. Avaliação institucional: um instrumento de democratização da educação. Linhas Críticas, Brasília, v. 5, n. 9, p. 31-58, jul./dez. 1999. Disponível em: https://periodicos.unb.br/index.php/linhascriticas/article/view/2752 Acesso em: 22 abr. 2022.
» https://periodicos.unb.br/index.php/linhascriticas/article/view/2752 - BERTERO, C. O. Ensino e pesquisa em administração. São Paulo: GVPesquisa, 2009.
-
BRASIL. Ministério da Educação. Conselho Federal de Educação. Parecer n. 977, 03 de dezembro de 1965. Definição dos cursos de pós-graduação. Brasília, 1965. Disponível em: https://www.scielo.br/j/rbedu/a/NsLTtFBTJtpH3QBFhxFgm7L/?format=pdf&msclkid=0f232296c26a11ecab0a0c078fce7c66 Acesso em: 22 abr. 2022.
» https://www.scielo.br/j/rbedu/a/NsLTtFBTJtpH3QBFhxFgm7L/?format=pdf&msclkid=0f232296c26a11ecab0a0c078fce7c66 - BURRELL, G.; MORGAN, G. Sociological paradigms and organizational analisys: elements of the sociology of corporate life. London: Heinemann, 1979.
-
CAPES - COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR. Plano Nacional de Pós-Graduação (PNPG) 2011-2020. Brasília: Ministério da Educação, 2010. v. 1. Disponível em: https://www.gov.br/capes/pt-br/acesso-a-informacao/institucional/plano-nacional-de-pos-graduacao-pnpg/plano-nacional-de-pos-graduacao-pnpg-2011 -2020 Acesso em: 22 abr. 2022.
» https://www.gov.br/capes/pt-br/acesso-a-informacao/institucional/plano-nacional-de-pos-graduacao-pnpg/plano-nacional-de-pos-graduacao-pnpg-2011 -2020 -
CAPES - COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR. Proposta de Aprimoramento do Modelo de Avaliação da PG. Documento Final da Comissão Nacional de Acompanhamento do PNPG 2011 -2020. Brasília: Ministério da Educação, 2018. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/2018-pnpg-cs-avaliacao-final-10-10-18-cs-final-17-55-pdf?msclkid=f5f827d7c26b11ec851ce8f372d3c165 Acesso em: 22 abr. 2022.
» https://www.gov.br/capes/pt-br/centrais-de-conteudo/2018-pnpg-cs-avaliacao-final-10-10-18-cs-final-17-55-pdf?msclkid=f5f827d7c26b11ec851ce8f372d3c165 -
CAPES - COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR. Processo de avaliação da pós-graduação é aprimorado. Brasília: Ministério da Educação, 2019a. Disponível em: https://www.gov.br/capes/pt-br/assuntos/noticias/processo-de-avaliacao-da-pos-graduacao-e-aprimorado Acesso em: 22 abr. 2022.
» https://www.gov.br/capes/pt-br/assuntos/noticias/processo-de-avaliacao-da-pos-graduacao-e-aprimorado -
CAPES - COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR. Autoavaliação de Programas de Pós-Graduação. Relatório Grupo de Trabalho. Ministério da Educação: Brasília, 2019b. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/10062019-autoavaliacao-de-programas-de-pos-graduacao-pdf?msclkid = 1d8912ccc26d11 ec81 ed8f633b63351f Acesso em: 22 abr. 2022.
» https://www.gov.br/capes/pt-br/centrais-de-conteudo/10062019-autoavaliacao-de-programas-de-pos-graduacao-pdf?msclkid = 1d8912ccc26d11 ec81 ed8f633b63351f -
CAPES - COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR. Ficha de Avaliação. Área 27: Administração Pública e de Empresas, Ciências Contábeis e Turismo. Brasília: Ministério da Educação, 2020. Disponível em: https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/avaliacao/FICHA ADMINISTRACAO P ATUALIZADA.pdf?msclkid=3f6405c7c26d 11 eca4f12057ebacae3a Acesso em: 22 abr. 2022.
» https://www.gov.br/capes/pt-br/centrais-de-conteudo/documentos/avaliacao/FICHA ADMINISTRACAO P ATUALIZADA.pdf?msclkid=3f6405c7c26d 11 eca4f12057ebacae3a -
CASTRO, C. M.; SOARES, G. A. D. Avaliando as avaliações da Capes. Revista de Administração de Empresas, Rio de Janeiro, v. 23, n. 3, p. 113-73, jul./set. 1983. Disponível em: https://periodicos.fgv.br/rae/article/view/39515/38257 Acesso em: 22 abr. 2022.
» https://periodicos.fgv.br/rae/article/view/39515/38257 -
DAMANPOUR, F. Footnotes to Research on Management Innovation. Organization Studies, v. 35, n. 9, p. 1265-1285, 2014. Disponível em: https://doi.org/10.1177/0170840614539312 Acesso em: 22 abr. 2022.
» https://doi.org/10.1177/0170840614539312 -
FALLEIROS, A. E. S.; PIMENTA, M. L.; VALADÃO JÚNIOR, V. M. O significado da autoavaliação institucional na perspectiva de técnicos-administrativos de uma universidade pública. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 21, n. 2, p. 593-618, 2016. Disponível em: https://www.scielo.br/j/aval/a/YZW4pnFB9MgY8xr9FTkcgtx/?lang=pt Acesso em: 22 abr. 2022.
» https://www.scielo.br/j/aval/a/YZW4pnFB9MgY8xr9FTkcgtx/?lang=pt -
FERREIRA, A. C. S. P.; FERENC, A. V. F.; WASSEM, J. Teaching Work and Capes Assessment: estrangement and naturalization. Educação & Realidade, Porto Alegre, v. 43, n. 4, p. 1321-1341, oct./dec. 2018. Disponível em: https://doi.org/10.1590/2175-623684892 Acesso em: 22 abr. 2022.
» https://doi.org/10.1590/2175-623684892 - FLICK, U. Introdução à metodologia de pesquisa: um guia para iniciantes. Porto Alegre: Penso, 2013.
- GRAY, D. E. Pesquisa no mundo real. Porto Alegre: Penso, 2012.
-
GRIBOSKI, C. M.; PEIXOTO, M. C. L.; HORA, P. M. Avaliação externa, autoavaliação e o PDI. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 23, n. 1, p. 178-197, mar. 2018. Disponível em: https://www.scielo.br/j/aval/a/NctWXzzfBGWJ5YCTnk846xS/abstract/?lang=pt Acesso em: 22 abr. 2022.
» https://www.scielo.br/j/aval/a/NctWXzzfBGWJ5YCTnk846xS/abstract/?lang=pt -
HORTALE, V. A.; MOREIRA, C. O. F. Auto-avaliação nos programas de pós-graduação na área da saúde coletiva: características e limitações. Ciência & Saúde Coletiva, Rio de Janeiro, v. 13, n. 1, p. 223-233, 2008. Disponível em: https://doi.org/10.1590/S141381232008000100026 Acesso em: 22 abr. 2022.
» https://doi.org/10.1590/S141381232008000100026 - LEITE, D. Avaliação da Educação Superior. In: MOROSINI, Marilia Costa. Enciclopédia de Pedagogia Universitária. Glossário. Brasília: INEP/RIES, 2006. v. 2.
- LEITE, D.; PINHO, I. Concluding remarks: evaluation and collaboration. In: LEITE, D.; PINHO, I. Evaluating collaboration networks in higher education research. Drivers of excellence. Cham: Palgrave MacMillan, 2017. p. 103-107.
-
LEITE, D. et al. A autoavaliação na Pós-Graduação (PG) como componente do processo avaliativo CAPES. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, v. 25, n. 02, p. 339-353, jul. 2020. Disponível em: https://www.scielo.br/j/aval/a/whfJzmNx7Vgpcr7c6Zj5kXz/?format=html Acesso em: 22 abr. 2022.
» https://www.scielo.br/j/aval/a/whfJzmNx7Vgpcr7c6Zj5kXz/?format=html -
MAGALHÃES, A. M. S.; REAL, G. C. M. Situando os debates sobre a avaliação da pós-graduação: os estudos do campo pelo campo. EccoS: Revista Científica, São Paulo, n. 46, p. 131-148, maio/ago. 2018. Disponível em: https://doi.org/10.5585/eccos.n46.7947 Acesso em: 22 abr. 2022.
» https://doi.org/10.5585/eccos.n46.7947 -
MALDONADO, M. M. C.; BITENCOURT, L. P. Impasses e desafios para uma avaliação formativa em Programas de Pós-graduação. Revista de Educação Pública, Cuiabá, v. 28, n. 68, p. 429-439, maio/ago. 2019. Disponível em: https://periodicoscientificos.ufmt.br/ojs/index.php/educacaopublica/article/view/8400 Acesso em: 22 abr. 2022.
» https://periodicoscientificos.ufmt.br/ojs/index.php/educacaopublica/article/view/8400 - MARCONI, M. A.; LAKATOS, E. M. Metodologia do trabalho científico: procedimentos básicos, pesquisa bibliográfica, projeto e relatório, publicações e trabalhos científicos. São Paulo: Atlas, 2007.
-
NOBRE, L. N.; FREITAS, R. R. A evolução da pós-graduação no Brasil: histórico, políticas e avaliação. B. Journal of Production Engineering, São Mateus, v. 3, n. 2, p. 18-30, 2017. Disponível em: https://periodicos.ufes.br/bjpe/article/view/v3n2 3 Acesso em: 22 abr. 2022.
» https://periodicos.ufes.br/bjpe/article/view/v3n2 3 -
PADILHA, C. K. et al. Capacidade de aprendizagem organizacional e desempenho inovador: percepção dos atores de uma empresa têxtil. Race, Joaçaba, v. 15, n. 1, p. 327-350, 2016. Disponível em: https://doi.org/10.18593/race.v15i1.7911 Acesso em: 22 abr. 2022.
» https://doi.org/10.18593/race.v15i1.7911 -
PATKY, J. The influence of organizational learning on performance and innovation: a literature review. Journal of Workplace Learning, EUA, v. 32, n. 3, p. 229-242, 2020. Disponível em: https://doi.org/10.1108/JWL-04-2019-0054 Acesso em: 22 abr. 2022.
» https://doi.org/10.1108/JWL-04-2019-0054 -
PATRUS, R. Desigualdade social e pós-graduação em Administração: o papel da avaliação. Revista de Administração de Empresas, São Paulo, v. 58, n. 5, p. 506-510, set./out. 2018. Disponível em: https://doi.org/10.1590/S0034-759020180506 Acesso em: 22 abr. 2022.
» https://doi.org/10.1590/S0034-759020180506 -
PATRUS, R.; SHIGAKI, H. B.; DANTAS, D. C. Quem não conhece seu passado está condenado a repeti-lo: distorções da avaliação da pós-graduação no Brasil à luz da história da Capes. Cadernos EBAPE.BR, Rio de Janeiro, v. 16, n. 4, out./dez. 2018. Disponível em: https://www.scielo.br/j/cebape/a/TGP3X57NqRVfnt4xnydbH5g/ Acesso em: 22 abr. 2022.
» https://www.scielo.br/j/cebape/a/TGP3X57NqRVfnt4xnydbH5g/ -
SAUL, A. M. A sistemática de auto-avaliação do Programa de Pós-Graduação em Educação (currículo) da PUC/SP. Estudos em Avaliação Educacional, São Paulo, v. 26, p. 97-110, 2002. Disponível em: https://publicacoes.fcc.org.br/eae/article/view/2187 Acesso em: 22 abr. 2022.
» https://publicacoes.fcc.org.br/eae/article/view/2187 -
SILVA, A. L.; GOMES, A. M. Avaliação Educacional: concepções e embates teóricos. Estudos em Avaliação Educacional, São Paulo, v. 29, n. 71, p. 350-384, maio/ago. 2018. Disponível em: https://doi.org/10.18222/eae.v29i71.5048 Acesso em: 22 abr. 2022.
» https://doi.org/10.18222/eae.v29i71.5048 - TAVARES, F. F. Análise da instrumentação da ação pública na pós-graduação stricto sensu por meio dos Planos Nacionais de Pós-Graduação. 2019. Dissertação (Mestrado em Desenvolvimento, Sociedade e Cooperação Internacional) - Centro de Estudos Avançados Multidisciplinares, Universidade de Brasília, Distrito Federal, 2019.
-
VERHINE, R. E.; DANTAS, L. M. V. Reflexões sobre o sistema de avaliação da capes a partir do V Plano Nacional de Pós-graduação. Revista de Educação Pública, Cuiabá, v. 18, n. 37 p. 295-310, maio/ago. 2009. Disponível em: https://periodicoscientificos.ufmt.br/ojs/index.php/educacaopublica/article/view/481 Acesso em: 22 abr. 2022.
» https://periodicoscientificos.ufmt.br/ojs/index.php/educacaopublica/article/view/481 - VOGEL, M. J. M. Avaliação da Pós-Graduação Brasileira: análise dos quesitos utilizados pela CAPES e das críticas da comunidade acadêmica. 2015. Tese (Doutorado em Ciência da Informação) - Escola de Comunicações e Artes, Universidade de São Paulo, São Paulo, 2015.
-
Editores de Seção: André Pires; Milena Pavan Serafim | Editora de Layout: Silmara Pereira da Silva Martins
Datas de Publicação
-
Publicação nesta coleção
19 Ago 2024 -
Data do Fascículo
2024
Histórico
-
Recebido
08 Ago 2022 -
Aceito
22 Mar 2024 -
Revisado
26 Jun 2024
