Quién no conoce su pasado está condenado a repetirlo: distorsiones de la evaluación del posgrado en Brasil a la luz de la historia de Capes

cebape Cadernos EBAPE.BR Cad. EBAPE.BR 1679-3951 Fundação Getulio Vargas, Escola Brasileira de Administração Pública e de Empresas Resumen Este artículo tiene como objetivo señalar algunas distorsiones en el sistema de evaluación de la Capes, específicamente en el área de Administración, Ciencias Contables y Turismo, desde la historia de la propia Capes. El análisis de esta historia lleva a la conclusión de que el cambio de atribución de notas de 1 a 5 a de 1 a 7, realizado en los años 1990, no fue acompañado por un cambio en el sistema de evaluación de la Capes, que todavía se vale de notas de 1 a 5 para evaluar los programas en cada una de sus cuestiones. Tal distorsión es incompatible con un sistema de evaluación sumativa, clasificatoria. En consecuencia, se confunde productividad con productivismo, se compromete el rigor metodológico para la evaluación de los programas y se abandona el carácter educativo de una evaluación formativa. INTRODUÇÃO O sistema de avaliação da Campanha Nacional de Aperfeiçoamento de Pessoal de Nível Superior - nome original da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) -, implantado em 1976, surgiu com o intuito de estabelecer o padrão de qualidade exigido dos cursos de mestrado e doutorado no Brasil. Focava originalmente a formação de quadros de professores e pesquisadores para as universidades brasileiras. A partir de 1988 houve uma mudança de prioridade, da formação para a avaliação, com expressiva valorização da pesquisa e da publicação científica. As atividades de extensão, ensino e cooperação, por exemplo, foram negligenciadas no processo de avaliação do professor e dos programas de pós-graduação (PPG) stricto sensu (HORTA e MORAES, 2005; KUENZER e MORAES, 2005). A cultura de produtivismo transformou o processo de conhecimento em mercadoria, limitando-o a produtos, a níveis de desempenho e a padrões de qualidade (MOREIRA, 2009). Cabe ressaltar, aqui, que a Capes não avalia o desempenho individual dos professores, mas o desempenho dos PPG. Entretanto, na prática, são os critérios da Capes que mais pressionam o professor a aumentar seu desempenho individual (NASCIMENTO, 2010). Diante disso, mostra-se relevante estudar a contribuição desse sistema na academia. A avaliação da pós-graduação brasileira, apesar de amplamente debatida (MATTOS, 2008; 2012; BIANCHETTI e MACHADO, 2009; MOREIRA, 2009; NASCIMENTO, 2010; TREIN e RODRIGUES, 2010; MASCARENHAS, ZAMBALDI e MORAES, 2011; ALCADIPANI, 2011), não tem produzido soluções para as contradições apontadas pelos professores e pesquisadores. Este estudo tem por objetivo trazer à tona a história da Capes e como a avaliação dos PPG, no Brasil, modificou-se ao longo dos anos e transformou-se no que é hoje. Do ponto de vista prático, este estudo se justifica por estudar a influência do sistema de avaliação da Capes nos programas de mestrado e doutorado. Do ponto de vista teórico, permite aprofundar o debate, trazendo os elementos históricos que permeiam o processo atual de avaliação institucional. Afinal, quem não conhece seu passado está condenado a repeti-lo. Este ensaio divide-se em 4 partes, além desta introdução. A segunda parte corresponde à descrição do estado da arte da Capes, dividida em 3 momentos (início, amadurecimento e divisor de águas). A terceira relata o sistema de avaliação da pós-graduação no Brasil e como a avaliação da Capes influencia as instituições. Por fim, temos as considerações finais. A CAPES E SUA HISTÓRIA A Capes, criada em 11 de julho de 1951, surgiu com o objetivo de garantir a formação de pessoal especializado em quantidade e qualidade suficientes para atender às necessidades dos empreendimentos públicos e privados, com vistas ao desenvolvimento do país (MACCARI, RODRIGUES, ALESSIO et al., 2008; VIANA, MANTOVANI e VIEIRA, 2008; CAPES, 2012). Dentre suas principais atividades, a Capes é responsável pela avaliação da pós-graduação stricto sensu, acesso e divulgação da produção científica, investimentos na formação de recursos de alto nível no país e no exterior, promoção da cooperação científica internacional, indução e fomento da formação inicial e continuada de professores (VIANA, MANTOVANI e VIEIRA, 2008). A pressão institucional por publicação, advinda da regulamentação, é tida como propulsora da cultura de produtivismo, provocando mudanças em rotinas e normas, queixas (MATTOS, 2008), objeções pelas partes interessadas e alterações das atividades dos docentes. Os envolvidos passam a se preocupar com a lógica do sistema, questionando a cultura do produtivismo (LUIZ, 2006), ou desenvolvendo as atividades para melhorar sua avaliação e garantir seu recredenciamento como professor do PPG. Para compreender o cerne das causas e oferecer elementos úteis à reflexão sobre o sistema de avaliação da pós-graduação, a história da Capes foi dividida em 3 momentos: a) início (1951 a 1981): primazia pela qualidade do ensino; b) amadurecimento (1982 a 1989): consolidação do modelo de avaliação da pós-graduação; e c) divisor de águas (1990 até hoje): foco na avaliação do professor-pesquisador, e não somente no professor, como ilustra a Figura 1. Figura 1 Linha do tempo - Capes Fonte: Elaborada pelos autores. Início: 1951 a 1981 Antes mesmo da criação da Capes houve a criação do Sistema Nacional de Pós-Graduação (SNPG), em 1950, impulsionado por 2 razões: a primeira referente à carência de pessoal altamente qualificado para o mercado; e a segunda referente à necessidade de qualificação do corpo docente (SGUISSARDI, 2006). Desse modo, um grupo inicial de especialistas permitiu a criação de um sistema de pós-graduação, que foi se consolidando, principalmente, devido ao investimento do Estado na titulação de professores brasileiros em universidades da América do Norte e da Europa, bem como na presença de professores desses países no Brasil (MOREIRA, 2009). Com isso, o SNPG tinha como missão a qualificação de professores e pesquisadores (CAPES, 2010). Em 1952, o Brasil passou a conferir importância estratégica ao desenvolvimento científico e tecnológico, além do crescimento industrial. Nesse período surgiu o Banco Nacional de Desenvolvimento Econômico (BNDE), que passou a atuar como órgão de fomento (CAPES, 2010). Em 1953 foi implantado o programa universitário nas Instituições de Ensino Superior (IES). Nessa mesma ocasião, o então dirigente Anísio Teixeira contratou professores visitantes estrangeiros, estimulando as atividades de intercâmbio e cooperação internacional entre instituições, além de conceder 79 bolsas de estudos (no Brasil e no exterior) e apoiar eventos de natureza científica (CAPES, 2012). Em 1954, a concessão aumentou para 155 bolsas. Em 1960, a pós-graduação surgiu como uma forma de proporcionar um diferencial competitivo para o país. Já em 1961, a Capes passou a se subordinar à Presidência da República. Contudo, em 1964, voltou a se subordinar ao Ministério da Educação (MEC). Nessa mesma data, a Capes, junto com outros órgãos públicos, foi incumbida de consolidar a política de pós-graduação (CURY, 2005; BIANCHETTI e SGUISSARDI, 2009; NASCIMENTO, 2010; DANTAS, 2012). Com a chegada da nova dirigente, Susana Gonçalves, em 1965 houve a primeira classificação de 38 cursos de Pós-Graduação no Brasil, sendo 27 de mestrado e 11 de doutorado (CAPES, 2012). Nessa mesma data, o Parecer n. 977, inspirado no modelo de estrutura da universidade norte-americana e aprovado pelo Conselho Federal de Educação (CFE) regulamentou a pós-graduação no Brasil quanto à sua definição, sua finalidade e seus níveis de mestrado e doutorado (DANTAS, 2012). Em 1966, o governo apresentou o Plano de Desenvolvimento Institucional (PDI) a partir do qual a Capes ganhou novas atribuições e meios orçamentários para multiplicar suas ações e intervir na qualificação do corpo docente das universidades brasileiras, tendo papel de destaque na formulação da nova política para a pós-graduação (CAPES, 2012). Já a normatização do credenciamento dos cursos de pós-graduação stricto sensu foi estabelecida por meio de outro parecer do CFE, em 1969 (CURY, 2005; MACEDO e SOUZA, 2010, NASCIMENTO, 2010; DANTAS, 2012). Fonte: Elaborada pelos autores. Com a criação de um programa de avaliação de cursos de pós-graduação em 1976, pela Capes, foram traçados alguns objetivos para justificar a concepção e adoção de tais programas: a) facilitar a distribuição de bolsas de estudo para mestrandos e doutorandos; b) orientar o investimento das agências federais na formação de recursos humanos de alto nível; c) subsidiar a política educacional relativa à pós-graduação e à universidade, assim como suas relações com a educação básica; d) criar um sistema permanente de informações sobre a pós-graduação brasileira (MACCARI, LIMA e RICCIO, 2009); e) regular a expansão da pós-graduação, recomendando o apoio aos cursos novos e os incorporando, progressivamente, ao sistema de avaliação e acompanhamento; e f) credenciar esses cursos, tornando válidos, em plano nacional, os certificados por eles expedidos (MACCARI, LIMA e RICCIO, 2009). Os resultados do processo, desde a implementação da Capes, fundamentam a deliberação sobre quais cursos obteriam a renovação de reconhecimento ou não, a vigorar no triênio subsequente (CAPES, 2006; VIANA, MANTOVANI e VIEIRA, 2008). No entanto, foi a partir de 1980 que a sistemática de avaliação da pós-graduação, no Brasil se firmou, com a introdução de formulários para obtenção de dados dos programas e com a progressiva informatização, como a criação de comissões de especialistas para cada área de conhecimento e a prática de visitas in loco aos programas (KUENZER e MORAES, 2005). Amadurecimento: 1982 a 1989 Entre 1982 e 1989, a Capes vivenciou um período de estabilidade, quando a transição para a Nova República, em 1985, não trouxe modificações para ela e para a sociedade. O Decreto n. 86.816/1982 (BRASIL, 1982) alterou as funções da Capes atribuindo-lhe as seguintes finalidades: a) elaborar o Plano Nacional de Pós-Graduação (PNPG) e coordenar a sua execução; b) acompanhar e avaliar os cursos de pós-graduação e a interação entre ensino e pesquisa; e c) manter intercâmbio e contato com outros órgãos da administração pública ou entidades privadas, internacionais ou estrangeiras, visando à celebração de convênios, acordos, contratos e ajustes relativos à pós-graduação e ao aperfeiçoamento de pessoal de nível superior (CURY, 2005; KUENZER e MORAES, 2005; MACEDO e SOUZA, 2010; NASCIMENTO, 2010; DANTAS, 2012). No II PNPG (CAPES, 1982), com data de execução prevista para início em 1982 e término em 1985, a proposição foi a institucionalização da avaliação como instrumento de controle da qualidade do ensino (CAPES, 2004) e na formação de recursos humanos qualificados para atividades de docência e de pesquisa (CAPES, 1982). Nesse contexto, tornam-se prioridades a institucionalização e o aperfeiçoamento da avaliação já formulada (KUENZER e MORAES, 2005). Embora esse tenha sido um período de estabilidade, houve um momento de agitação na comunidade acadêmica brasileira, provocado pela publicação da lista dos 56 cursos de pós-graduação que obtiveram o pior conceito na avaliação da Capes. Essa informação, à época veiculada pelo jornal Estado de S. Paulo, culminou em um debate que obteve considerável espaço na imprensa (CASTRO e SOARES, 1983). Com isso, algumas universidades passaram a divulgar as notas de seus cursos. Posteriormente, a Capes tornou pública a listagem com todas as notas das IES. Observa-se que a avaliação de 1985 levou em consideração apenas a quantidade de publicações; já as avaliações a partir de 1989 levaram em consideração tanto quantidade como qualidade das publicações (STRATHERN, 1997; FONSECA, 2001). O III PNPG (CAPES, 1985), com execução em 1986 e término em 1989, teve como principal diretriz a institucionalização da pesquisa científica nas universidades (CAPES, 2004), além de consolidar e melhorar o desempenho dos cursos de pós-graduação e integrá-los ao sistema de ciência e tecnologia, inclusive com o setor produtivo (CAPES, 1985). Com vistas a cumprir tal meta, o III PNPG priorizou a pesquisa nas universidades, enfatizando seu papel no desenvolvimento nacional e a integração da pós-graduação ao sistema de ciência e tecnologia (CAPES, 1985). Essa intenção, contudo, não foi suficiente para superar a tradição da pós-graduação, fortemente centrada na docência. Até a década de 1990, a Capes (2004) implantou e consolidou a pós-graduação brasileira com foco no avanço científico na fronteira do conhecimento, embora tenha recebido a efetiva colaboração do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e da Financiadora de Estudos e Projetos (FinEP). Divisor de águas: 1990 até hoje O modelo introduzido pela Capes para avaliar a pós-graduação brasileira no biênio 1996-1997 se consolidou nos triênios subsequentes, aprofundando mudanças na concepção e no direcionamento das políticas para esse nível de ensino no país (HORTA e MORAES, 2005). No governo Collor, a medida Provisória n. 150/1990 extinguiu a Capes, desencadeando intensa mobilização (BRASIL, 1990a). As pró-reitorias de pesquisa e pós-graduação das universidades mobilizaram as opiniões acadêmicas e científicas que, com o apoio do MEC, conseguiram reverter a medida em 12 de abril do mesmo ano pela Lei n. 8.028/1990 (CAPES, 2012; BRASIL, 1990b). Nesse período, a Capes teve por objetivo manter as ênfases do plano anterior e acrescentar a qualidade nas atividades da pós-graduação, tendo como instrumento a avaliação, que já existia, em estado embrionário, desde 1976 e que foi então aperfeiçoada e institucionalizada. Adicionalmente, houve melhor divisão das áreas do conhecimento, além da adoção de critérios mais rígidos para atribuição de notas aos cursos (MACCARI, LIMA e RICCIO, 2009). No início dos anos 1990, tornavam-se claros, tanto para a agência de fomento como para a comunidade acadêmica, o esgotamento dos paradigmas vigentes da avaliação e a urgência de criar um novo modelo avaliativo (KUENZER e MORAES, 2005). A Lei n. 8.405/1992 autorizou o poder público a instituir a Capes como fundação, tornando-a principal subsidiária do MEC no que concerne à formulação de políticas para a área de pós-graduação, conferindo novo vigor à instituição (BRASIL, 1992). Desde então, compete a ela o desenvolvimento, a avaliação e a observância dos padrões de qualidade da pós-graduação stricto sensu no país (CAPES, 2004; MACCARI, RODRIGUES, ALESSIO et al., 2008). Em 1995, a Capes passou por uma reestruturação, fortalecida como instituição responsável pelo acompanhamento e avaliação desses cursos (CAPES, 2012). Nesse mesmo período, o sistema de pós-graduação ultrapassou a marca de 1.000 cursos de mestrado e 600 de doutorado. Desde então, a Capes vem se consolidando como agência de fomento, inclusive concedendo bolsas de estudo, auxílios e desenvolvendo outros mecanismos que viabilizam a formação de cientistas e recursos humanos altamente qualificados, para atender às necessidades das instituições de pesquisa e Ensino Superior (MACCARI, RODRIGUES, ALESSIO et al., 2008; CAPES, 2012). O primeiro modelo de avaliação da Capes tinha foco na visita de comissões de consultores aos programas para aferir seu funcionamento e assessorá-los em ações de aperfeiçoamento. Já o atual modelo Capes de avaliação pode ser visto como vinculado ao processo de regulação e controle (SGUISSARDI, 2006). A Capes entendia que não era mais possível continuar avaliando a pós-graduação com os mesmos critérios aplicados na década de 1970. O elevado crescimento do número de programas tornava inviável o modelo de visita de comissões de consultores para proceder à avaliação. A mudança radical almejada tinha por objetivo permitir maior discriminação entre os programas, formulando, então, um novo paradigma de avaliação (introduzido para o biênio 1996-1997). A partir de 1998, certas mudanças foram introduzidas na avaliação. A Capes decidiu, entre outras reformulações, que o sistema de avaliação: a) focalizaria os PPG, e não o desempenho individual dos cursos por eles oferecidos (mestrados e doutorados); b) expressaria o conceito obtido por uma escala de 1 a 7 sem frações (no qual 5 seria equivalente ao antigo conceito A e programas com essa nota poderiam passar por critérios de excelência para, excepcionalmente, ser classificados como 6 ou 7) (FONSECA, 2001); c) deveria refletir a preocupação em atingir um alto nível de qualidade, em consonância com padrões internacionais; d) procuraria estimular a flexibilização dos modelos de pós-graduação e o oferecimento, em tempo médio adequado, de uma formação de qualidade; e) verificaria a relação entre o projeto do programa e o impacto efetivo de sua atuação para sua instituição e para a sociedade, incentivando a permanente autoavaliação de cada programa; e f) tentaria conciliar a utilização de indicadores quantitativos e critérios padronizados com a ponderação de aspectos relacionados à dinâmica e à especificidade de cada programa (CAPES, 1998; MOREIRA, 2009). O IV PNPG (CAPES, 2004), com previsão de execução entre 2005 e 2010, reafirmou que a avaliação deveria ser baseada na qualidade e excelência dos resultados, na especificidade das áreas de conhecimento e no impacto desses resultados na comunidade acadêmica, empresarial e na sociedade (CAPES, 2004), além da institucionalização da pesquisa, nas universidades, para assegurar o funcionamento da pós-graduação (CAPES, 2004). Quanto ao método de avaliação, o IV PNPG registra que a Capes e o CNPq criaram, ao longo de suas trajetórias, 2 importantes sistemas nacionais de avaliação acadêmica: a) avaliação da qualidade dos programas de formação de recursos humanos - pós-graduados; e b) avaliação individual dos pesquisadores e dos líderes de grupos de pesquisa (CAPES, 2004; DANTAS, 2012). A Lei n. 11.502/2007 criou, assim, a nova Capes - que, além de coordenar o alto padrão do SNPG, também passou a induzir e fomentar a formação inicial e continuada de professores para a educação básica (BRASIL, 2007). Tal atribuição foi consolidada pelo Decreto n. 6.755/2009, que instituiu a Política Nacional de Formação de Profissionais do Magistério da Educação Básica (CAPES, 2012; BRASIL, 2009). Até o momento, cabe afirmar que a pós-graduação se consolidou, aos poucos, como o espaço privilegiado da pesquisa, núcleo aglutinador das atividades de ensino e de orientação, bem como diretriz das publicações de docentes e discentes (MOREIRA, 2009). O V PNPG (CAPES, 2010), com data de execução prevista para início em 2011 e término em 2020, é responsável pela continuidade dos planos anteriores, principalmente do IV PNPG - que não foi executado como plano efetivo devido a problemas de várias ordens - além de ter introduzido novas e importantes inflexões, no qual o horizonte temporal é mais vasto que o anterior (CAPES, 2010). O novo modelo de avaliação, considerado por alguns autores um divisor de águas (SOUSA, 2008; CAPES, 2010; DANTAS, 2012), desloca a centralidade da docência para a centralidade na pesquisa. A partir do novo instrumento de avaliação, alguns indicadores foram evidenciados, a saber: a) introdução da ideia de programa e não mais de cursos de mestrado e doutorado avaliados isoladamente; e b) atenção especial às linhas de pesquisa e à sua organicidade com as disciplinas, os projetos e os produtos de pesquisa, teses e dissertações. As linhas, e não mais as preferências dos docentes, passaram a definir: a) os percursos curriculares, organizados a partir da pesquisa, e não mais das disciplinas; b) os seminários de pesquisa e de dissertação; c) a definição dos orientadores já no início dos cursos; e d) os objetos de investigação como determinantes do percurso curricular, agora flexibilizado. Nesse modelo de pós-graduação voltado à pesquisa e à produção intelectual, bibliográfica, ganha importância e justifica-se como indicador de avaliação (FONSECA, 2001; CURY, 2005; BIANCHETTI e SGUISSARDI, 2009; MACEDO e SOUZA, 2010; NASCIMENTO, 2010; ALCADIPANI, 2011; MACHADO e BIANCHETTI, 2011; DANTAS, 2012). Com isso, a mudança radical almejada pela Capes tinha por objetivo corrigir a pirâmide, o que permitiria maior discriminação entre os programas (FONSECA, 2001), uma vez que muitos cursos estavam tendo a nota 5, máxima, até então. A inserção social, no sentido de servir às regiões com públicos menos favorecidos, e a internacionalização passaram a ser fatores importantes para a distinção entre os programas 5, 6 e 7. Em 2011 foi lançado o programa Ciência sem Fronteiras, interrompido parcialmente em 2016. Ainda em 2016 havia previsão de lançamento do Portal EduCapes, com o objetivo de proporcionar conhecimento por meio de acesso livre e gratuito para alunos e professores de educação básica e educação superior. Atualmente, a coleta de dados do PPG é anual e on-line, via Plataforma Sucupira. As instituições de ensino são responsáveis pelo preenchimento dos dados e a plataforma tem integração com a Plataforma Lattes. A avaliação trienal deu lugar, a partir do período de 2013-2016, à avaliação quadrienal. As visitas de comissões avaliadoras em algumas IES ocorreram apenas em situações especiais ou quando houve alguma diligência solicitada pelo Comitê de Área. Os programas com conceitos 1 e 2 não são reconhecidos pelo MEC, e os programas com conceitos 6 e 7 são ditos programas de excelência (LEITE, VIANA e PEREIRA, 2006). O modelo Capes de avaliação possui a legitimidade da Instituição e tantas outras agências reguladoras do Estado brasileiro. Entretanto, esse modelo é de profunda ambiguidade. Ao mesmo tempo que as IES o reconhecem como legítimo, também o temem por sua natureza de regulação e controle em nome do Estado (SGUISSARDI, 2006). Embora bastante questionado pelos critérios empregados, ele é visto como fator decisivo na manutenção do elevado nível da pós-graduação no Brasil e no incremento da pesquisa (SOUZA e BIANCHETTI, 2007; MOREIRA, 2009). Como postulado nas considerações finais deste artigo, parte da controvérsia em relação a esse modelo se origina do fato de que a avaliação é feita com o paradigma antigo (um modelo com notas de 1 a 5), mesmo depois da mudança nos critérios de avaliação (biênio 1996-1997), que buscou distinguir os programas nota 5, reclassificando-os em notas 5, 6 e 7. O sistema da Plataforma Sucupira, utilizado durante a semana de avaliação, calcula as notas dos programas dentro desse intervalo. Na área de Administração, a classificação de notas 5, 6 e 7 se dá entre os programas que obtiveram nota 5, depois que as avaliações são lançadas na Plataforma Sucupira. Nossa posição é a de que aí está uma origem importante das contradições da avaliação da pós-graduação e das polêmicas observadas na comunidade acadêmica. Por esse motivo, este recorrido histórico se justifica e mostra-se importante para a reflexão sobre o tema. O SISTEMA DE AVALIAÇÃO DA PÓS-GRADUAÇÃO NO BRASIL REALIZADO PELA CAPES O sistema de avaliação coordenado pela Capes é utilizado como padrão de qualidade no ensino público e privado de pós-graduação stricto sensu, abrangendo todas as áreas de conhecimento em todos os estados do Brasil. Nesta seção, a apresentação dos critérios e dados relativos aos programas é limitada aos programas de mestrado acadêmico e doutorado em Administração. Os mestrados profissionais não foram contemplados nessa abordagem. Para realizar a avaliação, a Capes conta com o auxílio de consultores designados que se baseiam nos relatórios produzidos pela Plataforma Sucupira a partir do preenchimento feito nos programas, sob responsabilidade de seu coordenador. A avaliação do quadriênio 2013-2016 se baseia, segundo documento de área (CAPES, 2017), em 5 critérios, quais sejam: a) proposta do programa (peso 0); b) corpo docente (peso 20); c) corpo discente, teses e dissertações (peso 35); d) produção intelectual (peso 35); e) inserção social (peso 10). Para cada item há subitens, que os compõem com os respectivos pesos, como ilustra a Quadro 1. Quadro 1 Critérios de avaliação - Capes (1 a 5) Fonte: Adaptado de Capes (2017). Tendo em vista que o modelo de avaliação tem notas de 1 a 5, primeiramente, os programas são incluídos nos 5 primeiros níveis da escala e aqueles com doutorado que foram classificados com nota 5 são avaliados com novos critérios referenciados em padrão internacional e de excelência, indicando aqueles que têm condições de alcançar o nível 6 ou 7. Os programas com nota inferior a 3 são descredenciados do sistema (HORTA e MORAES, 2005). Nessa segunda fase de avaliação, os programas com doutorado recomendados com notas até o valor máximo 5 são indicados e avaliados, de forma criteriosa, a fim de verificar os níveis de qualidade associados aos indicadores de inserção internacional, para as áreas e outros indicadores diferenciais para os programas pretendentes a 1 desses 2 níveis (6 ou 7). Segundo o regulamento da Quadrienal 2017, serão considerados para as notas 6 e 7 os PPG que receberem nota 5 e conceitos MB (muito bom) em todos os quesitos da ficha de avaliação (CAPES, 2017). Vale dizer que são 5 os conceitos, cada um correspondente a uma nota. Na avaliação dos itens e quesitos, o conceito MB corresponde à nota 5, e assim sucessivamente: B (bom) = 4; R (regular) = 3; F (Fraco) = 2; e D (Deficiente) = 1. Para a nota 6 é necessário predomínio de conceito MB nos itens de todos os quesitos da ficha de avaliação, mesmo com eventual conceito B em alguns itens e para nota 7, conceito MB em todos os itens de todos os quesitos da ficha de avaliação. Além disso, é necessário, segundo o mesmo regulamento, que os PPG apresentem desempenho equivalente àquele de centros de internacionais de referência na formação de pessoal em nível de doutorado na área, tenham nível de desempenho diferenciado em relação aos demais PPG da área e caracterizem sua solidariedade e nucleação (CAPES, 2017). Segundo o mais recente documento de área (CAPES, 2017), os PPG que atingirem o perfil nota 5 precisam apresentar os seguintes elementos qualificadores para a candidatura às notas 6 e 7: a) núcleo docente permanente (NDP) estável; b) produção científica em periódicos com fator de impacto ou livros classificados pela área como L4; c) histórico consolidado na formação de doutores; d) fluxo regular recente de formação de doutores; e e) distribuição adequada entre os docentes das atividades de cooperação com grupos atuando fora do Brasil, produção científica, formação de alunos e de liderança acadêmica, indicando que o PPG não depende da contribuição de um ou poucos docentes, assegurando, dessa forma, seu desempenho em alto nível ao longo do tempo. A liderança do PPG, no ambiente nacional, é analisada a partir: a) do percentual de doutores egressos atuando no corpo docente de outras instituições de pós-graduação ou IES do país; b) do impacto do PPG na gestão de organizações públicas ou privadas; c) de não titulados no PPG que realizaram pós-doutoramento nele; d) da liderança de entidades nacionais relacionadas à área de conhecimento; e) da atração de estudantes de diferentes regiões do país; f) do número de alunos de outros PPG do país realizando disciplinas ou estágios sanduíches no PPG; g) da liderança de projetos de pesquisa financiados por agências públicas ou privadas em parceria de docentes de outros PPG nacionais; h) da participação de docentes permanentes em comitês de áreas de agências reguladoras e de amparo à pesquisa; i) das premiações de docentes permanentes ou discentes e egressos premiados por entidades nacionais; e j) da participação e liderança em programas de regiões pouco atendidas na formação de pessoal qualificado na área (CAPES, 2017), como, por exemplo, Minter (mestrado interinstitucional) e Dinter (doutorado interinstitucional). Além da verificação da liderança nacional do PPG, avalia-se o grau de inserção internacional do PPG como forma de avaliar seu grau de equivalência aos centros localizados no exterior, em termos da qualidade da formação discente. Na área de Administração, esse critério tem como principais indicadores (CAPES, 2017): egressos do PPG atuando no estrangeiro; docentes que foram diretores ou presidentes de sociedade científica internacional; docentes com participação em comitê editorial de periódico editado no estrangeiro presente nas bases SCOPUS ou Web of Science; participação em convênio ou projeto de pesquisa com financiamento internacional; reuniões científicas internacionais organizadas pelo PPG; participação em bancas/comitês de acompanhamento de pós-graduando no exterior; alunos de doutorado do exterior que vieram desenvolver parte de seu projeto no PPG; alunos de doutorado do PPG que foram desenvolver parte de seu projeto em IES do estrangeiro; artigos em coautoria com pesquisadores de instituições estrangeiras; livros ou capítulos de livro de editoras internacionais renomadas; participação em redes internacionais da área de conhecimento; cursos ministrados por pesquisadores estrangeiros no PPG; palestras/seminários ou equivalentes ministradas por pesquisadores estrangeiros no PPG; orientação ou co-orientação de aluno do PPG por professores estrangeiros; orientação ou co-orientação de aluno de curso do exterior por docente permanente do PPG; estágio pós-doutoral no PPG de titulados no doutorado no exterior; discentes que participaram de eventos científicos no exterior; discentes e egressos premiados por entidades internacionais, por trabalhos realizados no PPG; discentes que participaram de cursos no exterior; alunos estrangeiros matriculados em disciplinas do PPG; docentes permanentes que realizaram pós-doutoramento em instituição estrangeira no quadriênio; recrutamento de pesquisadores estrangeiros para corpo docente do PPG; acordos entre a instituição do PPG e um parceiro do exterior para cooperação; acordos para dupla titulação com Instituições internacionais; disciplinas em outro idioma; escritórios de recepção de pesquisadores; acreditações internacionais; espaço no PPG para acomodar docentes e discentes vindos do exterior. Quatro conclusões podem ser depreendidas do sistema de avaliação da pós-graduação realizada pela Capes. Em primeiro lugar, observa-se que são realizadas 2 avaliações subsequentes: a avaliação dos programas, com notas distribuídas até 5; e uma segunda avaliação dos programas nota 5, para selecionar os candidatos às notas 6 e 7. O conhecimento do histórico da Capes e da forma como foi estruturada a avaliação da pós-graduação ajudam a compreender a razão dessa dupla avaliação. Com a mudança empreendida a partir dos anos 1990, a avaliação que era feita com notas até 5 passou a avaliar até a nota 7. Entretanto, o sistema de avaliação até a nota 5 continuou existindo, sendo criados novos critérios para um eventual upgrade na avaliação dos PPG com nota 5. Essa constatação produz uma distorção na curva normal de distribuição dos PPG em Administração, fazendo com que haja maior concentração nos cursos de menor conceituação, como ilustra a Figura 2. Figura 2 Distribuição dos programas de pós-graduação em Administração/nota Fonte: Elaborada pelos autores, a partir de dados do Documento de Área 2017 (Capes, 2017). A segunda conclusão apreendida dessa análise é a necessidade de distinguir a produtividade acadêmica do produtivismo acadêmico. A explicitação dos critérios de avaliação da pós-graduação, em seus 5 quesitos (Quadro 1), demonstra que a produção intelectual é apenas um dos critérios de avaliação e representa 35% do conceito. Shigaki e Patrus (2016) demonstraram objetivamente que a produção intelectual não é requisito suficiente para alcançar nota 5 na avaliação de PPG acadêmicos na área de Administração. Focar apenas a publicação não significa a nota máxima. Número de dissertações e teses aprovadas, tempo de conclusão do mestrado e do doutorado, qualidade e participação do NDP são variáveis importantes para a nota final, Sem contar a importância que a avaliação fornece à proposta do programa, sua coerência e articulação entre pesquisas, publicações e trabalhos de conclusão com as linhas de pesquisa. Em terceiro lugar, vale observar o papel da avaliação e o seu propósito. Com Scriven (1967), a avaliação de um currículo foi classificada como somativa ou formativa. A primeira tem por propósito prover informações quanto ao uso ou não do modelo avaliado para um sistema educacional. A avaliação formativa, por sua vez, tem o propósito de aperfeiçoar o currículo continuamente. Poucos anos depois de Scriven (1967), Bloom, Hasting e Madaus (1971) estenderam esses conceitos para a avaliação da aprendizagem, sendo a primeira somativa, utilizada para a progressão ou retenção do aluno, como em um vestibular, e a segunda formativa, utilizada ao longo do processo de ensino-aprendizagem como diagnóstico e prognóstico de aperfeiçoamento. A comunidade acadêmica da pós-graduação brasileira precisa responder a essa pergunta: Qual avaliação queremos, somativa ou formativa? Como a publicação se tornou, também, uma condição para obtenção de financiamento de pesquisas e certos recursos, como bolsa-produtividade, melhores notas no ranking da pós-graduação, prestígio junto aos pares, participação em eventos acadêmicos nacionais e internacionais, dentre outros (TREIN e RODRIGUES, 2010; RODRIGUES, 2007), parece que o paradigma da avaliação da pós-graduação é somativo. Se ela fosse formativa, os critérios seriam definidos a priori, para nortear o aperfeiçoamento do PPG e não a posteriori, para classificá-lo competitivamente entre os outros. Dessa forma, a ciência, cujo resultado advém de colaboração, cooperação e pesquisas, passa a ceder lugar à competição (FREITAS, 1998). Relacionando a primeira conclusão com a terceira, tem-se uma quarta conclusão que merece atenção: admitindo-se que a avaliação dos PPG feita pela Capes é de caráter somativo, a dupla avaliação apontada na primeira conclusão direciona para uma falha metodológica na forma como as notas são atribuídas aos programas, comprometendo o rigor científico da avaliação. Tal falha decorre justamente da dupla avaliação para os programas nota 5 e não de uma classificação entre todos os programas. Como vimos, a segunda avaliação para os programas nota 5 não tem o viés quantitativo presente nos indicadores por meio de métricas e médias, mas sim os critérios e sua avaliação com caráter subjetivo. E mais: ela é feita durante a semana de avaliação, em Brasília, somente depois que os programas são avaliados e classificados. A primeira avaliação é feita pelos consultores previamente, que elaboram um relatório e uma nota que serão confrontados, discutidos, ratificados ou retificados, inicialmente por dois consultores e depois em plenário. Enfim, é preciso repensar a avaliação da Capes e suas distorções. Muitas delas decorrem de sua história, descrita neste artigo. A Capes, a partir da década de 1990, mudou o sistema de avaliação, deixando de valorizar o ensino e passando a dar primazia à pesquisa. As visitas in loco aos programas, feita por consultores, deram lugar a um sistema complexo de avaliação. A necessidade de maior distinção entre programas nota 5 fez a Capes introduzir os critérios de internacionalização, liderança e solidariedade, promovendo a ampliação das notas para 6 e 7. O modelo de avaliação permaneceu com o paradigma de notas de 1 a 5, o que levou as trienais, hoje quadrienais, a realizar uma dupla avaliação dos programas nota 5 para avaliar os que podem ser 6 ou 7. Está aí, pensamos, uma das origens da distorção do modelo de avaliação atual. Finalmente, a avaliação assume um caráter somativo, classificatório, com o objetivo de ranquear programas candidatos às verbas públicas de pesquisa, deixando de lado o caráter formativo da avaliação, o que perverte o sistema, inclusive com a definição de metas e classificação de periódicos a posteriori, com avaliação retroativa. Mesmo aceitando a avaliação somativa como critério de distribuição de recursos escassos, ela se mostra comprometida pelo fato de não se basear em uma curva normal distribuída entre as notas 1 a 7. CONSIDERAÇÕES FINAIS Ainda que possamos lamentar a pouca atenção dispensada ao ensino, à extensão, à cooperação com setores empresariais e governamentais (SPAGNOLO e SOUZA, 2004), é preciso admitir a prioridade da pesquisa sobre o ensino no processo de avaliação da pós-graduação brasileira. Essa mudança de paradigmas (um “divisor de águas”, segundo especialistas) possui, no entanto, contradições em um sistema que exige, ao mesmo tempo, integração da pós-graduação stricto sensu com a graduação. Resta valermo-nos das contribuições advindas do percurso histórico, aqui retratado, para fazer duas proposições. Em primeiro lugar, é preciso pensar um sistema de pós-graduação que respeite a diversidade. Não nos referimos à diversidade regional, presente em um país de tanta desigualdade, mas à diversidade de vocação de cada PPG em Administração. Há programas que não têm vocação para a internacionalização. E, legitimamente, pode ser que essa meta não esteja no horizonte de seu planejamento estratégico. Dito de outra forma, há programas que não almejam a nota 7, até porque não dispõem de recursos para pleiteá-la. Entretanto, as métricas de itens e quesitos da avaliação pontuam somente até a nota 5. Para ser nota 5, pelo menos na última avaliação trienal (2011-2013), era necessário ter avaliação global MB e, ainda, no mínimo conceito B em Corpo Docente e em Corpo Discente, com nenhum conceito R nos itens desses quesitos. Era preciso também ter conceito MB em Produção Intelectual e em todos os seus itens. Essas exigências explicam a distorção da curva normal, abordada na seção anterior, cuja causa não está apenas na qualidade dos cursos, mas no dado histórico de que as pontuações foram alteradas sem que o modelo de avaliação o fosse. Ocorre, aqui, o que Pena (2003) chamou de continuidade subjacente ao processo de mudança de paradigma. Houve a mudança de conceitos de até 5 para até 7, mas se manteve o modelo de avaliação vigente, com nota até 5, criando-se outra avaliação para os programas nota 5. Segundo Pena (2003), ainda que a revolução copernicana seja o grande exemplo de uma mudança de paradigma, o modelo de Copérnico preservava os pressupostos platônicos para a investigação astronômica, entre eles a concepção de que todos os movimentos celestes são circulares e a noção de que a velocidade dos corpos celestes é invariável. Reconhece-se, assim, a continuidade, mesmo em um processo tido como revolucionário. Foi preciso que Johannes Kepler (1571-1630) descobrisse as leis que levam seu nome para jogar por terra a ideia de que o círculo e a não variação eram a perfeita expressão da ordem cósmica. No âmbito da pós-graduação, já vivemos a revolução copernicana, passando da primazia do ensino para a primazia da pesquisa. Entretanto, falta-nos uma contribuição, como a de Johannes Kepler para a astronomia, que nos permita formular um novo modelo de avaliação que incorpore os critérios de inserção internacional, liderança e solidariedade aos quesitos de Núcleo Docente, Produção Docente, Produção Discente e Inserção Social. Os critérios apresentados para um programa ser 6 e 7 podem muito bem ser incorporados nesses quesitos. A segunda proposição contributiva desse artigo é uma reflexão sobre o significado de NDP. Trata-se de um corpo de professores, que se espera estável. Como corpo, ele dá identidade a um conjunto de sistemas, que são coordenados por uma cabeça pensante. Um corpo de professores não pode ter pessoas com o mesmo perfil, assim como o corpo humano não pode ter membros ou órgãos com as mesmas funções. O que dá organicidade a um corpo é a capacidade de integrar os diferentes órgãos e membros. Em um corpo, cada célula é importante. O crescimento desproporcional de células iguais é como um câncer a impedir o exercício da diversidade. Dada essa metáfora, é relevante conceber no processo de avaliação de um PPG a importância do respeito à diversidade dos docentes. Há professores com vocação para a sala de aula, outros para a internacionalização da pesquisa e outros para atividades de gestão. O que é melhor para um PPG: ter um professor sênior que não leciona na graduação, mas de alta produtividade intelectual e ótima inserção internacional, ou deixar de tê-lo, se a primeira exigência for universal? É melhor para um PPG ter ou não ter um professor vocacionado para a sala de aula, com competência para escrever livros didáticos e elevada competência para fazer a gestão do programa, mas que não publica seus artigos em periódicos internacionais do primeiro escalão? Essa reflexão acentua a importância da avaliação da distribuição dos itens avaliados entre os professores do NDP. É preciso pensar o programa a partir de seu grupo de professores, como corpo, como equipe, não como um agrupamento de indivíduos que idealizam determinado perfil de pesquisador. Fazemos coro a Nascimento (2010), que aponta o risco do sistema induzir os pesquisadores a participarem apenas de atividades que somam pontos na avaliação da Capes, levando os cursos e programas ao que vem sendo denominado produtivismo acadêmico. REFERÊNCIAS ALCADIPANI, R. Resistir ao produtivismo: uma ode à perturbação acadêmica. Cadernos Ebape.BR, v. 9, n. 4, p. 1174-1178, 2011. ALCADIPANI R Resistir ao produtivismo: uma ode à perturbação acadêmica Cadernos Ebape.BR 9 4 1174 1178 2011 BIANCHETTI, L.; MACHADO, A. Trabalho professor no stricto sensu: publicar ou perecer? In: FIDALGO, F.; OLIVEIRA, M. A.; FIDALGO, N. (Orgs.). A intensificação do trabalho professor: tecnologias e produtividade. Campinas: Papirus, 2009. p. 49-89. BIANCHETTI L. MACHADO A Trabalho professor no stricto sensu: publicar ou perecer? FIDALGO F. OLIVEIRA M. A. FIDALGO N A intensificação do trabalho professor: tecnologias e produtividade Campinas Papirus 2009 49 89 BIANCHETTI, L.; SGUISSARDI, V. Desafios e dilemas da gestão e da avaliação da pós-graduação. Campinas: Autores Associados, 2009. BIANCHETTI L. SGUISSARDI V Desafios e dilemas da gestão e da avaliação da pós-graduação Campinas Autores Associados 2009 BLOOM, B.; HASTINGS, J.; MADAUS, G. Handbook of formative and summative evaluation of student learning. New York: McGraw-Hill, 1971. BLOOM B. HASTINGS J. MADAUS G Handbook of formative and summative evaluation of student learning New York McGraw-Hill 1971 BRASIL. Decreto n. 86.816, de 5 de janeiro de 1982. Dispõe sobre a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), e dá outras providências. 1982. Disponível em: <Disponível em: http://www2.camara.leg.br/legin/fed/decret/1980-1987/decreto-86816-5-janeiro-1982-436737-publicacaooriginal-1-pe.html >. Acesso em: 30 abr. 2018. BRASIL Decreto n. 86.816, de 5 de janeiro de 1982 Dispõe sobre a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), e dá outras providências 1982 Disponível em: Disponível em: http://www2.camara.leg.br/legin/fed/decret/1980-1987/decreto-86816-5-janeiro-1982-436737-publicacaooriginal-1-pe.html Acesso em: 30 abr. 2018 BRASIL. Medida Provisória n. 150, de 15 de março de 1990 convertida na Lei n. 8.028 de 1990. Dispõe sobre a organização da Presidência da República e dos Ministérios, e dá outras providências. 1990a. Disponível em:<Disponível em:http://www.planalto.gov.br/ccivil_03/mpv/1990-1995/150.htm >. Acesso em: 30 abr. 2018. BRASIL Medida Provisória n. 150, de 15 de março de 1990 convertida na Lei n. 8.028 de 1990 Dispõe sobre a organização da Presidência da República e dos Ministérios, e dá outras providências 1990a Disponível em: Disponível em:http://www.planalto.gov.br/ccivil_03/mpv/1990-1995/150.htm Acesso em: 30 abr. 2018 BRASIL. Lei n. 8.028, de 12 de abril de 1990. Dispõe sobre a organização da Presidência da República e dos Ministérios, e dá outras providências. 1990b. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l8028.htm >. Acesso em: 30 abr. 2018. BRASIL Lei n. 8.028, de 12 de abril de 1990 Dispõe sobre a organização da Presidência da República e dos Ministérios, e dá outras providências 1990b Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l8028.htm Acesso em: 30 abr. 2018 BRASIL. Lei n. 8.405, de 9 de janeiro de 1992. Autoriza o Poder Executivo a instituir como fundação pública a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e dá outras providências. 1992. Disponível em:<Disponível em:http://www.planalto.gov.br/ccivil_03/leis/l8405.htm >. Acesso em: 30 abr. 2018. BRASIL Lei n. 8.405, de 9 de janeiro de 1992 Autoriza o Poder Executivo a instituir como fundação pública a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e dá outras providências 1992 Disponível em: Disponível em:http://www.planalto.gov.br/ccivil_03/leis/l8405.htm Acesso em: 30 abr. 2018 BRASIL. Lei n. 11.502, de 11 de julho de 2007. Modifica as competências e a estrutura organizacional da fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES, de que trata a Lei n. 8.405, de 9 de janeiro de 1992; e altera as Leis n. 8.405, de 9 de janeiro de 1992, e 11.273, de 6 de fevereiro de 2006, que autoriza a concessão de bolsas de estudo e de pesquisa a participantes de programas de formação inicial e continuada de professores para a educação básica. 2007. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/lei/l11502.htm> . Acesso em: 30 abr. 2018. BRASIL Lei n. 11.502, de 11 de julho de 2007 Modifica as competências e a estrutura organizacional da fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES, de que trata a Lei n. 8.405, de 9 de janeiro de 1992; e altera as Leis n. 8.405, de 9 de janeiro de 1992, e 11.273, de 6 de fevereiro de 2006, que autoriza a concessão de bolsas de estudo e de pesquisa a participantes de programas de formação inicial e continuada de professores para a educação básica 2007 Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/lei/l11502.htm> Acesso em: 30 abr. 2018 BRASIL. Decreto n. 6.755, de 29 de janeiro de 2009. Institui a Política Nacional de Formação de Profissionais do Magistério da Educação Básica, disciplina a atuação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES no fomento a programas de formação inicial e continuada, e dá outras providências. 2009. Disponível em:<Disponível em:https://www.capes.gov.br/images/stories/download/legislacao/Decreto-6755-2009.pdf >. Acesso em: 30 abr. 2018. BRASIL Decreto n. 6.755, de 29 de janeiro de 2009 Institui a Política Nacional de Formação de Profissionais do Magistério da Educação Básica, disciplina a atuação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES no fomento a programas de formação inicial e continuada, e dá outras providências 2009 Disponível em: Disponível em:https://www.capes.gov.br/images/stories/download/legislacao/Decreto-6755-2009.pdf Acesso em: 30 abr. 2018 COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Plano Nacional de Pós-Graduação, 1982. 1982. Disponível em:<Disponível em:http://www.capes.gov.br/images/stories/download/editais/II_PNPG.pdf >. Acesso em:15 fev. 2016. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES) Plano Nacional de Pós-Graduação, 1982 1982 Disponível em: Disponível em:http://www.capes.gov.br/images/stories/download/editais/II_PNPG.pdf Acesso em: 15 fev. 2016 COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Plano Nacional de Pós-Graduação, 1985. 1985. Disponível em: <Disponível em: http://www.capes.gov.br/images/stories/download/editais/III_PNPG.pdf >. Acesso em: 15 fev. 2016. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES) Plano Nacional de Pós-Graduação, 1985 1985 Disponível em: Disponível em: http://www.capes.gov.br/images/stories/download/editais/III_PNPG.pdf 15 fev. 2016 COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES).Reformulação do sistema de avaliação da pós-graduação: o modelo a ser implantado na avaliação de 1998. Brasília, DF: Capes, 1998. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES) Reformulação do sistema de avaliação da pós-graduação: o modelo a ser implantado na avaliação de 1998 Brasília, DF Capes 1998 COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Plano Nacional de Pós-Graduação, 2004. 2004. Disponível em:<Disponível em:http://www.Capes.gov.br/avaliacao/avaliacao-da-pos-graduacao >. Acesso em: 15 fev. 2016. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES) Plano Nacional de Pós-Graduação, 2004 2004 Disponível em: Disponível em:http://www.Capes.gov.br/avaliacao/avaliacao-da-pos-graduacao Acesso em: 15 fev. 2016 COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Relatório de avaliação 2007-2009. 2006. Disponível em:<Disponível em:http://trienal.Capes.gov.br/?page_id=100 >. Acesso em: 15 fev. 2016. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES) Relatório de avaliação 2007-2009 2006 Disponível em: Disponível em:http://trienal.Capes.gov.br/?page_id=100 Acesso em: 15 fev. 2016 COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Plano Nacional de Pós-Graduação (PNPG): 2011-2020. Brasília, DF: Capes, 2010. 1 v. Disponível em:<Disponível em:http://www.capes.gov.br/images/stories/download/Livros-PNPG-Volume-I-Mont.pdf >. Acesso em: 15 fev. 2016. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES) Plano Nacional de Pós-Graduação (PNPG): 2011-2020 Brasília, DF Capes 2010 1 Disponível em: Disponível em:http://www.capes.gov.br/images/stories/download/Livros-PNPG-Volume-I-Mont.pdf Acesso em: 15 fev. 2016 COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). História e missão. 2012. Disponível em: <Disponível em: http://www.Capes.gov.br/sobre-a-Capes/historia-e-missao >. Acesso em: 15 fev. 2016. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES) História e missão 2012 Disponível em: Disponível em: http://www.Capes.gov.br/sobre-a-Capes/historia-e-missao Acesso em: 15 fev. 2016 COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Documento de Área 2016. 2017. Disponível em:<Disponível em:http://capes.gov.br/images/documentos/Documentos_de_area_2017/27_ADMI_doc_area_2016_final_20jan2017.pdf >. Acesso em: 15 fev. 2016. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES) Documento de Área 2016 2017 Disponível em: Disponível em:http://capes.gov.br/images/documentos/Documentos_de_area_2017/27_ADMI_doc_area_2016_final_20jan2017.pdf Acesso em: 15 fev. 2016 CASTRO, C. M.; SOARES, G. A.D. Avaliando as avaliações da Capes. Revista de Administração de Empresas, v. 23, n. 3, p. 63-73, 1983. CASTRO C. M. SOARES G. A. Revista de Administração de Empresas, v. 23 , n. 3 , p. 63 73 , 1983 . CURY, C. R. J. Quadragésimo ano do parecer CFE n. 977⁄65. Revista Brasileira de Educação, v. 30, p. 7-30, 2005. CURY C. R. J . Quadragésimo ano do parecer CFE n. 977⁄65. Revista Brasileira de Educação 30 7 30 2005 DANTAS, D. C. Dimensões da pós-graduação e o modelo Capes de avaliação: uma discussão sobre critérios e sua mensuração. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 36., 2012, Rio de Janeiro. Anais...Rio de Janeiro: Anpad, 2012. DANTAS D. C Dimensões da pós-graduação e o modelo Capes de avaliação: uma discussão sobre critérios e sua mensuração ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 36 2012 Rio de Janeiro Anais... Rio de Janeiro Anpad 2012 FONSECA, C. Avaliação dos programas de pós-graduação: do ponto de vista de um nativo. Horizontes Antropológicos, v. 7, n. 16, p. 261-275, 2001. FONSECA C Horizontes Antropológicos 7 16 261 275 2001 FREITAS, M. Avaliação da produção científica: considerações sobre alguns critérios. Psicologia Escolar e Educacional, v. 2, n. 3, p. 211-228, 1998. FREITAS M Avaliação da produção científica: considerações sobre alguns critérios Psicologia Escolar e Educacional 2 3 211 228 1998 HORTA, J. S. B.; MORAES, M. C. M. O sistema Capes de avaliação da pós-graduação: da área de educação à grande área de ciências humanas. Revista Brasileira de Educação, v. 30, p. 95-181, 2005. HORTA J. S. B. MORAES M. C. M O sistema Capes de avaliação da pós-graduação: da área de educação à grande área de ciências humanas Revista Brasileira de Educação 30 95 181 2005 KUENZER, A. Z.; MORAES, M. C. M. Temas e tramas na pós-graduação em educação. Educação e Sociedade, v. 93, n. 26, p. 1341-1362, 2005. KUENZER A. Z. MORAES M. C. M Temas e tramas na pós-graduação em educação Educação e Sociedade 93 26 1341 1362 2005 LEITE, M. F. B.; VIANA, A. B. N.; PEREIRA, G. G. Métodos quantitativos na avaliação da CAPES: uma pesquisa bibliográfica. Facef Pesquisa, v. 9, n. 2, p. 166-174, 2006. LEITE M. F. B. VIANA A. B. N. PEREIRA G. G Métodos quantitativos na avaliação da CAPES: uma pesquisa bibliográfica Facef Pesquisa 9 2 166 174 2006 LUIZ, R. R. Avaliação de produtividade acadêmica: uma proposta de quantificação. Revista Brasileira de Pós-Graduação, v. 3, n. 6, p. 300-312, 2006. LUIZ R. R Avaliação de produtividade acadêmica: uma proposta de quantificação Revista Brasileira de Pós-Graduação 3 6 300 312 2006 MACCARI, E. A.; LIMA, M. C.; RICCIO, E. L. Uso do sistema de avaliação da Capes por programas de pós-graduação em administração no Brasil. Revista de Ciências da Administração, v. 11, n. 25, p. 68-96, 2009. MACCARI E. A. LIMA M. C. RICCIO E. L Uso do sistema de avaliação da Capes por programas de pós-graduação em administração no Brasil Revista de Ciências da Administração 11 25 68 96 2009 MACCARI, E. A. et al. Sistema de avaliação da pós-graduação da Capes: pesquisa-ação em um programa de pós-graduação em Administração. Revista Brasileira de Pós-Graduação, v. 9, n. 5, p. 171-205, 2008. MACCARI E. A. Sistema de avaliação da pós-graduação da Capes: pesquisa-ação em um programa de pós-graduação em Administração Revista Brasileira de Pós-Graduação 9 5 171 205 2008 MACEDO, E.; SOUZA, C. P. A pesquisa em educação no Brasil. Revista Brasileira de Educação, v. 43, n. 15, p. 166-176, 2010. MACEDO E. SOUZA C. P A pesquisa em educação no Brasil Revista Brasileira de Educação 43 15 166 176 2010 MACHADO, A. M. N.; BIANCHETTI, L. (Des)fetichização do produtivismo acadêmico: desafios para o trabalhador-pesquisador. Revista de Administração de Empresas, v. 51, n. 3, p. 244-254, 2011. MACHADO A. M. N. BIANCHETTI L (Des)fetichização do produtivismo acadêmico: desafios para o trabalhador-pesquisador Revista de Administração de Empresas 51 3 244 254 2011 MASCARENHAS, A.; ZAMBALDI, F.; MORAES, E. Rigor, relevância e desafios da academia em administração: tensões entre pesquisa e formação profissional. Revista de Administração de Empresas, v. 51, n. 3, p. 265-279, 2011. MASCARENHAS A. ZAMBALDI F. MORAES E Rigor, relevância e desafios da academia em administração: tensões entre pesquisa e formação profissional Revista de Administração de Empresas 51 3 265 279 2011 MATTOS, P. Nós e os índices: a propósito da pressão institucional por publicação. Revista de Administração de Empresas, v. 48, p. 144-149, 2008. MATTOS P Nós e os índices: a propósito da pressão institucional por publicação Revista de Administração de Empresas 48 144 149 2008 MATTOS, P. Pés de barro do texto “produtivista” na academia. Revista de Administração de Empr esas, v. 52, n. 5, p. 566-573, 2012. MATTOS P Pés de barro do texto “produtivista” na academia Revista de Administração de Empr esas 52 5 566 573 2012 MOREIRA, A. F. A A cultura da performatividade e a avaliação da pós-graduação em educação no Brasil. Educação em Revista, v. 25, n. 3, p. 23-42, 2009. MOREIRA A. F A A cultura da performatividade e a avaliação da pós-graduação em educação no Brasil Educação em Revista 25 3 23 42 2009 NASCIMENTO, L. F. Modelo Capes de avaliação: quais as consequências para o triênio 2010-2012?. Administração: Ensino e Pesquisa, v. 4, n. 11, p. 579-600, 2010. NASCIMENTO L. F Modelo Capes de avaliação: quais as consequências para o triênio 2010-2012? Administração: Ensino e Pesquisa 4 11 579 600 2010 PENA, R. P. M. A ciência como jogo. Belo Horizonte: Com Arte, 2003. PENA R. P. M A ciência como jogo Belo Horizonte Com Arte 2003 RODRIGUES, L. O. C. Publicar mais, ou melhor? O Tamanduá Olímpico. Revista Brasileira de Ciência e Esporte, v. 29, n. 1, p. 35-48, 2007. RODRIGUES L. O. C Publicar mais, ou melhor? O Tamanduá Olímpico Revista Brasileira de Ciência e Esporte 29 1 35 48 2007 SCRIVEN, M. The metodology of evaluation. In: TYLER, R.; GAGNÉ, R. M. Y; SCRIVEN, M. (Ed.). Perspectives of curriculum evaluation. Chicago: Rand Mac Nally, 1967. p. 39-83. SCRIVEN M The metodology of evaluation TYLER R. GAGNÉ R. M. Y SCRIVEN M Perspectives of curriculum evaluation Chicago Rand Mac Nally 1967 39 83 SGUISSARDI, V. A avaliação defensiva no “modelo Capes de avaliação”: é possível conciliar avaliação educativa com processos de regulação e controle do Estado?. Perspectiva, v. 24, n. 1, p. 49-88, 2006. SGUISSARDI V A avaliação defensiva no “modelo Capes de avaliação”: é possível conciliar avaliação educativa com processos de regulação e controle do Estado? Perspectiva 24 1 49 88 2006 SHIGAKI, H. B.; PATRUS, R. Avaliação de Artigos Científicos em Administração: Critérios e Modelos de Avaliadores Experientes. Teoria e Prática em Administração, v. 6, p. 107-135, 2016. SHIGAKI H. B. PATRUS R Avaliação de Artigos Científicos em Administração: Critérios e Modelos de Avaliadores Experientes Teoria e Prática em Administração 6 107 135 2016 SOUSA, E. F. O discurso da Capes para a avaliação dos programas de pós-graduação: da (des)fragmentação à comunicação em rede. 2008. 306 f. Tese (Doutorado em Linguística) - Universidade de Brasília, Brasília. SOUSA E. F O discurso da Capes para a avaliação dos programas de pós-graduação: da (des)fragmentação à comunicação em rede 2008 306 f. Doutorado em Linguística Universidade de Brasília Brasília SOUZA, S. Z.; BIANCHETTI, L. Pós-graduação e pesquisa em educação no Brasil: o protagonismo da ANPEd. Revista Brasileira de Educação, v. 36, n. 12, p. 389-409, 2007. SOUZA S. Z. BIANCHETTI L Pós-graduação e pesquisa em educação no Brasil: o protagonismo da ANPEd Revista Brasileira de Educação 36 12 389 409 2007 SPAGNOLO, F.; SOUZA, V. C. Modelo Capes de avaliação. Revista Brasileira de Pós-Graduação, v. 2, p. 8-33, 2004. SPAGNOLO F. SOUZA V. C Modelo Capes de avaliação Revista Brasileira de Pós-Graduação 2 8 33 2004 STRATHERN, M. “Improving ratings”: audit in the British University System. European Review, v. 3, n. 5, p. 305-321, 1997. STRATHERN M “Improving ratings”: audit in the British University System European Review 3 5 305 321 1997 TREIN, E.; RODRIGUES, J. O mal-estar na academia: produtivismo científico, o fetichismo do conhecimento mercadoria. Revista Brasileira de Educação, v. 16, n. 48, p. 769-819, 2010. TREIN E. RODRIGUES J O mal-estar na academia: produtivismo científico, o fetichismo do conhecimento mercadoria Revista Brasileira de Educação 16 48 769 819 2010 VIANA, A. B. N.; MANTOVANI, D. M. N.; VIEIRA, A. R. Análise dos programas de pós-graduação avaliados pela Capes: relação entre conceitos dos programas e índice de publicação. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 32., 2008, Rio de Janeiro. Anais... Rio de Janeiro: Anpad , 2008. VIANA A. B. N. MANTOVANI D. M. N. VIEIRA A. R Análise dos programas de pós-graduação avaliados pela Capes: relação entre conceitos dos programas e índice de publicação ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 32 2008 Rio de Janeiro Anais... Rio de Janeiro Anpad 2008 1 Os autores agradecem à Capes e à Fapemig pelo apoio financeiro. Article He who ignores the past is doomed to repeat it: distortions of postgraduate evaluation in Brazil based on Capes’ history Patrus Roberto ¹ Shigaki Helena Belintani ² Dantas Douglas Cabral 1 ¹ Pontifícia Universidade Católica de Minas Gerais (PUC Minas) / Programa de Pós-graduação em Administração, Belo Horizonte - MG, Brazil ² Universidade Federal de Minas Gerais (UFMG) / Centro de Pós-graduação e Pesquisas em Administração, Belo Horizonte - MG, Brazil Roberto Patrus - Ph.D. in Philosophy at Universidad Complutense de Madrid, validated in Brazil at the Universidade Federal de Minas Gerais as Ph.D. in Business Administration; Professor at Pontifícia Universidade Católica de Minas Gerais (PUC Minas), Belo Horizonte - MG, Brazil. E-mail: [e-mail] Helena Belintani Shigaki - M.Sc. in Business Administration at Pontifícia Universidade Católica de Minas Gerais (PUC Minas); Ph.D. candidate in Business Administration at Universidade Federal de Minas Gerais (UFMG), Belo Horizonte - MG, Brazil. E-mail: [e-mail] Douglas Cabral Dantas - Ph.D. in Business Administration at Pontifícia Universidade Católica de Minas Gerais (PUC Minas); Professor at Pontifícia Universidade Católica de Minas Gerais (PUC Minas), Belo Horizonte - MG, Brazil. E-mail: [e-mail] Abstract This paper aims to highlight some distortions in the Capes evaluation system, particularly in the area of Administration, Accounting and Tourism, starting from the history of Capes in Brazil. Through this analysis, it was possible to conclude that the change in the assignment of grades from 1 to 5 to 1 to 7 in the 1990s was not followed by a change in the Capes evaluation system, which still uses scores from 1 to 5 to evaluate the programs in each of their requirements. Such distortion becomes incompatible with an evaluation system that is summative and classificatory. As a consequence, productivity is confused with productivism, methodological rigor for the evaluation of programs is jeopardized, and the educational character of a formative evaluation is abandoned. Keywords: Postgraduate Teaching Research Capes Evaluation. INTRODUCTION The National Campaign for the Improvement of Higher Education Personnel (Capes) evaluation system was implemented in 1976 with the goal of establishing the quality standard expected from Master’s and Doctoral courses in Brazil. It originally aimed to train professors and researchers for Brazilian universities. In 1988, there was a shift in priority from training to evaluation with a clear focus on research and scientific publications. Activities related to extension, teaching, and cooperation, for instance, were neglected in the evaluation process of professors and stricto sensu Post-Graduation Programs (PGP) (HORTA and MORAES, 2005; KUENZER and MORAES, 2005). Productivistic culture has transformed the process of knowledge into a commodity, limiting it to products, performance levels, and quality standards (MOREIRA, 2009). It is important to point out Capes does not evaluate the professors’ individual performance, but rather the PGP’s. However, in reality Capes’ criteria pressure the professors to better their individual performance (NASCIMENTO, 2010). Therefore, it is important to study academically the contributions of this system. Evaluation of Brazilian post-grad programs, despite being thoroughly debated (MATTOS, 2008, 2012; BIANCHETTI and MACHADO, 2009; MOREIRA, 2009; NASCIMENTO, 2010; TREIN and RODRIGUES, 2010; MASCARENHAS, ZAMBALDI and MORAES, 2011; ALCADIPANI, 2011), has not generated solutions to the contradictions pointed out by professors and researchers. This study aims to unearth the history of Capes and how the PGP’s evaluation in Brazil has changed throughout the years into what it is today. From a practical point of view, it is justified because it studies the influence of Capes’ evaluation system on Master’s and Doctoral programs. From a theoretical point of view, it allows for a deeper debate, bringing historical elements that permeated the current process of institutional evaluation. After all, those who do not know their history are doomed to repeat it. This essay is divided in four parts, the first being this introduction. The second is the description of the state of the art Capes, divided in three moments (beginning, maturity, and turning point). The third describes the Post-Graduation evaluation system in Brazil and how Capes’ evaluation influences institutions. At the end, you will find the final considerations. CAPES AND ITS HISTORY Capes was created in 11 July 1951 with the goal of training enough qualified professionals to answer the needs of public and private enterprises in order to aid in the development of the country (MACCARI, RODRIGUES, ALESSIO et al., 2008; VIANA, MANTOVANI and VIEIRA, 2008; CAPES, 2012). Among its main activities, Capes is responsible for the evaluation of stricto sensu Post-Grad programs, scientific production access and dissemination, investment in the creation of high level resources in the country and abroad, the promotion of international scientific cooperation, and the induction and fomentation of professors’ initial and continued formation (VIANA, MANTOVANI and VIEIRA, 2008). Institutional pressures for publication created by regulations are seen as the driving force behind productivistic culture, causing changes in routine and norms, complaints (MATTOS, 2008), objections from the interested parties, and alterations in the professors’ activities. Those concerned start worrying about the logic of the system, questioning productivistic culture (LUIZ, 2006), or developing activities to better their evaluation and ensure their reaccreditation as a PGP professor. To understand the causes and offer resources to consider the Post-Grad evaluation system, Capes’ history was divided in three moments: (a) beginning (1951 to 1981): quality teaching as a priority; (b) maturity (1982 to 1989): consolidation of the Post-Graduation evaluation model; and (c) turning point (1990 to present day): focus on the evaluation of the professor-researcher, and not only the professor, as shown in Figure 1. Figure 1 Timeline - Capes Source: Elaborated by the authors based on literary review. Beginning: 1951 to 1981 Before even Capes, it was created the national system of Post-Graduation, in 1950, guided by two main reasons: the need for highly qualified personnel in the market and the need for highly qualified faculty members (SGUISSARDI, 2006). In this manner, an initial group of specialists allowed for the creation of a system of Post-Graduation that consolidated itself mainly through the State’s investment in professors being formed in North American and European universities, as well as having professors from these countries in Brazil (MOREIRA, 2009). With that, the National System of Post-Graduation had the mission of training professors and researchers (PNPG, 2010). In 1952, Brazil starts seeing a strategic importance in scientific and technological development, as well as industrial development. It is in this moment that the Brazilian Development Bank (BNDE) was created and started acting as a financing agency (PNPG, 2010). In 1953 was created the University Program for Higher Education Institutions (HEI). At that same time, the then head of the program Anísio Teixeira hired foreign visiting professors, fostering exchange programs and international cooperation between institutions, aside from granting 79 scholarships (in the country and abroad) and supporting scientific events (CAPES, 2012). In 1954, this concession was expanded to 155 scholarships. Post-Graduation programs were created in 1960 as a way of allowing the country to have a competitive edge. In 1961 Capes became subordinate to the Presidency. But in 1964 it falls once again under the jurisdiction of the Ministry of Education (MEC). On that same year, Capes and other public organs were given the mission of consolidation the Post-Graduation policy (CURY, 2005; BIANCHETTI and SGUISSARDI, 2009; NASCIMENTO, 2010; DANTAS, 2012). The first classification of 38 Post-Graduation courses - 27 Masters programs and 11 Doctoral programs - in Brazil happened with the arrival of the new director Susana Gonçalves in 1965 (CAPES, 2012). In that same year, Report 977, inspired by the American university structural model and approved by the Federal Education Council (CFE), regulated Post-Graduation in Brazil considering its definition, objective, and the levels of Master and Doctor (DANTAS, 2012). In 1966, the government presented the Institutional Development Plan (PDI), which gave Capes new duties and budgetary options to multiply its actions and intervene in the qualification of faculty members of Brazilian universities. Capes became a central figure in the development of the new policy for Post-Graduation (CAPES, 2012). Licensing standardization for stricto sensu Post-Graduation courses was established by another CFE report in 1969 (CURY, 2005; MACEDO and SOUZA, 2010; NASCIMENTO, 2010; DANTAS, 2012). With the creation of the Evaluation Program for Post-Graduation Courses in 1976 by Capes, some goals were defined to justify the conception and adoption of these programs: (a) facilitating the distribution of scholarships for Masters’ and Doctoral students; (b) guiding the investment of federal agencies in the creation of high-level human resources; (c) subsidizing educational policy related to Post-Graduation and to universities as well as their relationship to basic education; (d) creating a permanent system of information on Brazilian Post-Graduation (MACCARI, LIMA and RICCIO, 2009); (e) regulating the expansion of Post-Graduation programs, recommending support to new programs and progressively incorporating them to the evaluation and monitoring system; and (f) certifying these courses, validating at a national level the diplomas they grant (MACCARI, LIMA and RICCIO, 2009). The results of this process since the creation of Capes are the basis for the discussion of which programs would have their certification renewed for the next three years (CAPES, 2006; VIANA, MANTOVANI and VIEIRA, 2008). However, it was from the 1980s onward that the system of Post-Graduation evaluation in Brazil took root with the introduction of forms for obtaining the programs’ data and with continuous informatization, such as the addition of specialists in each area of knowledge for in loco visits to the Programs (KUENZER and MORAES, 2005). Maturity: 1982 to 1989 Between 1982 and 1989 Capes experienced a period of stability, since the transition to the New Republic in 1985 did not cause major changes in it or in society in general. In 1982 Decree 86,816 (BRASIL, 1982) altered Capes’ functions, defining its goals as: (a) elaborating the National Post-Graduation Plan (PNPG) and coordinating its execution; (b) following up on and evaluating Post-Graduation programs as well as the interaction between teaching and research; and (c) maintaining exchanges and contact with other public administration or private organs, national or foreign, aiming to celebrate agreements, concords, contracts, and adjustments related to Post-Graduation and the improvement of higher-education personnel (CURY, 2005; KUENZER and MORAIS, 2005; MACEDO and SOUZA, 2010; NASCIMENTO, 2010; DANTAS, 2012). The II PNPG (1982) was expected to be put in practice between 1982 and 1985 and proposed the institutionalization of evaluation as an instrument for controlling the quality of teaching (CAPES, 2004) and for creating human resources qualified for teaching and research activities (PNPG, 1982). In this context, institutionalization and improvement of this evaluation become paramount (KUENZER and MORAES, 2005). Although this was a period of stability, there was a moment of agitation in the Brazilian academic community due to the publication of the list of 56 Post-Graduation programs that had been given the worst possible grade in Capes’ evaluation. This information was at the time printed at the Estado de São Paulo newspaper and led to a debate that got considerable attention from the press (CASTRO and SOARES, 1983). That led universities to display their programs’ grade. Later, Capes made public the list of all the HEI’ grades. Capes’ evaluation in 1985 took into consideration only the number of publications; evaluations from 1989 onwards took into consideration both the number and the quality of publications (STRATHERN, 1997; FONSECA, 2001). The III PNPG (1985), executed between 1986 and 1989, had as its guideline the institutionalization of scientific research at universities (CAPES, 2004) as well as the consolidation and improvement of the Post-Graduation programs performance and their integration to the system of science and technology, including the productive sector (PNPG, 1985). Aiming to fulfil this ambition, the III PNPG prioritized research at the universities, emphasizing their role in national development and the integration of Post-Graduation to the system of science and technology (PNPG, 1985). This was not enough, however, to overcome the tradition of Post-Graduation being intensively centered on teaching. Up until the 1990s, Capes (2004) implemented and consolidated Brazilian Post-Graduation focusing on scientific advancement at the fringes of knowledge, though it received effective collaboration from the National Council for Scientific and Technological Development (CNPq) and from the Funding Authority for Studies and Projects (FinEP). Turning point: 1990 to present days The model introduced by Capes to evaluate Brazilian Post-Graduation in 1996 and 1997 consolidated itself in the following triennium, further effecting change in the conception and direction of politics for this level of education in the country (HORTA and MORAES, 2005). In 1990, during the Collor administration, Provisional Measure 150 extinguished Capes, causing intense mobilization (BRASIL, 1990). Research and Post-Graduation Dean’s Office in universities mobilized academic and scientific opinions, who, aided by the Ministry of Education, managed to revert the measure in April 12th of that same year through Law 8028 (CAPES, 2012; BRASIL, 1990). During that time, Capes aimed to keep focusing on its previous plan and add quality to Post-Graduation activities, using the evaluation process that was already there in a developing state since 1976 and which was perfected and institutionalized. There was also a better division of the areas of knowledge as well as the adoption of stricter criteria for assigning grades to the programs (MACCARI, LIMA and RICCIO, 2009). In the early 1990s, it became clear both to the agency and to the academic community that the current evaluation paradigms had been exhausted and that a new evaluation model was urgently needed (KUENZER and MORAES, 2005). In 1992, Law 8405 authorized public power to institute Capes as a Foundation, making it a main subsidiary of the Ministry of Education for creating politics for Post-Graduation and giving the Institution a new beginning (BRASIL, 1992). Since then, it is in Capes’ authority to develop, evaluate, and observe quality standards for stricto sensu Post-Graduation in the country (CAPES, 2004; MACCARI, RODRIGUES, ALESSIO et al., 2008). In 1995, Capes was restructured, gaining strength as the institution responsible for monitoring and evaluating these programs (CAPES, 2012). During that same period, the Post-Graduation system had over 1000 Masters programs and 600 Doctoral programs. Since then, Capes has been consolidating its position as a promotion agency, even granting scholarships and grants and developing other mechanisms to enable to formation of highly qualified scientists and human resources to answer the demands of research and higher education institutions (MACCARI, RODRIGUES, ALESSIO et al., 2008; CAPES 2012). Capes’ first evaluation model focused on the visitation of consulting commissions to the programs to assess their workings and offer assistance in perfecting them. Capes’ current evaluation model can be seen as linked to the regulation and control process (SGUISSARDI, 2006). The institution understood it could not still use the same criteria to evaluate Post-Graduation programs as it did in the 1970s. The intense growth of programs rendered the consulting commission visitation evaluation model unfeasible. This radical change aimed to allow greater discrimination between the programs, leading to a new evaluation paradigm introduced in 1996-1997. From 1998 onwards, certain changes were made to the evaluation process. Capes decided that, among other changes, the evaluation system would: (a) focus on the PGP, not on the performance of each individual program they offered (Masters and Doctoral); (b) express a grade in a scale of 1 to 7 without fractions (5 being the equivalent of the old A grade and programs with that grade being able to match excellence criteria to be graded as 6 or 7 exceptionally (FONSECA, 2001); (c) have to reflect the concern with a high level of quality in accordance with international standards; (d) attempt to stimulate flexibilization of the Post-Graduation models and the offer of quality education with adequate average duration; (e) verify the relationship between the program’s project and the effective impact of their actions on the institution and on society, promoting permanent self-evaluation in each program; and (f) try to reconcile the use of quantitative indicators and standardized criteria with the appraisal of aspects related to the dynamics and specificity of each program (CAPES, 1998; MOREIRA, 2009). The fourth PNPG (2004), to be executed between 2005 and 2010, reaffirmed that evaluation should be based on quality and excellence of the results, in the specificity of the areas of knowledge, and in the impact these results have in the academic and corporate communities as well as in society (CAPES, 2004), and that research should be institutionalized in universities, to ensure Post-Graduation programs function properly (PNPG, 2004). As for the evaluation model, the fourth PNPG registers that Capes and CNPq have created along their trajectories two important systems for national academic evaluation: (a) quality evaluation in the programs of human resources (post-graduates) generation; and (b) individual evaluation of the researchers and research groups’ leaders (CAPES, 2004; DANTAS, 2012). In 2007 the National Congress approved Law 11502, thus creating the new Capes, which not only coordinated the high standard for the Brazilian National Post-Graduation System, but also started to induce and promote initial and continued formation of teachers for basic education (BRASIL, 2007). This was consolidated by 2009’s Decree 6755, which instituted the National Policy for the Formation of Teaching Professionals for Basic Education (CAPES, 2012; BRASIL, 2009). It is important to note that up until this point Post-Graduation has consolidated itself little by little with the privileged area of research, which joins teaching and guidance activities, as well as guidelines for publications by professors and students (MOREIRA, 2009). The fifth PNPG (2010), to be executed between 2011 and 2020, is responsible for continuing previous plans, especially those of the fourth PNPG - which was not executed properly due to problems of several kinds - as well as introducing new and important inflections, lasting longer than the previous PNPG (PNPG, 2010). The new evaluation model, considered by some a turning point (SOUZA, 2008; PNPG, 2010; DANTAS, 2012), changes the focus from teaching to research. With this new evaluation instrument, some indicators became evident: (a) the introduction of the idea of whole programs being evaluated, instead of separating between Masters and Doctoral programs; and (b) special attention being given to research lines and their organicity with subjects, projects, and research products, theses, and dissertations. Instead of the professors’ preferences, research lines now define: (a) curricular pathways, organized based on research and not on subjects; (b) seminars for research and dissertation; (c) the definition of tutors at the beginning of the courses; and (d) the objects of investigation as determiners of curricular pathways, which is now more flexible. In this model of Post-Graduation focused on research, intellectual, bibliographic production is now more important and justified as an evaluation indicator (FONSECA, 2001; CURY, 2005; BIANCHETTI and SGUISSARDI, 2009; MACEDO and SOUZA, 2010; NASCIMENTO, 2010; ALCADIPANI, 2011; MACHADO and BIANCHETTI, 2011; DANTAS, 2012). With this, the radical changed Capes aimed for had the goal of correcting the pyramid, which would allow discrimination between programs (FONSECA, 2001) given that many courses had been achieving the maximum grade of 5 at that moment. Social insertion, meaning serving regions of less favored public, and internationalization started being important factors for the distinction between programs graded 5, 6, and 7. In 2011 the Ciência sem Fronteiras (Science Without Borders) program was launched. It was partially interrupted in 2016. Still in 2016 Portal EduCapes was to be launched aiming to promote knowledge through free access to basic and higher education students, teachers, and professors. The PGPs data is currently collected annually through an online platform called Sucupira. Teaching institutions are responsible for filling in the data and the Sucupira is integrated with the Lattes Platform. From the period of 2013-2016 evaluation started occurring every four years instead of every three years. Visitations by evaluation committees to HEIs only happened in special occasions or when the Area’s Committee required diligence. Programs with grades 1 and 2 are not recognized by MEC and programs with grades 6 and 7 are considered excellence programs (LEITE, VIANA and PEREIRA, 2006). The Capes evaluation model is legitimized by the Institution and many other Brazilian official regulation agencies. This model, however, is profoundly ambiguous. At the same time the HEIs recognized it as legitimate, they also fear it because of its nature of regulation and control in the name of the Government (SGUISSARDI, 2006). Although severely questioned due to its criteria, it is seen as a decisive factor in maintaining a high level in post-graduation programs in Brazil and in increasing research (SOUZA and BIANCHETTI, 2007; MOREIRA, 2009). As postulated in the final considerations of this article, this model’s controversy is partially created by the fact that evaluation is made based on an old paradigm, with grades ranging from 1 to 5, even after evaluation criteria were changed (in 1996-1997) in an attempt to distinguish programs with the highest grade, introducing grades 6 and 7. The Sucupira Platform system, used during evaluation week, calculates the programs inside this interval. At the area of Administration, programs which have achieved a grade of 5 are once again graded from 5 to 7 after evaluations are uploaded to Sucupira. We believe that this is an important contributor to contradiction in the evaluation of Post-Graduation and to the polemic present in the academic community. For this reason, this historical record is justified and important when considering this theme. POST-GRADUATION PROGRAMS EVALUATION SYSTEM AS CONDUCTED BY CAPES The evaluation system coordinated by Capes is used as a quality standard in public and private stricto sensu Post-Graduation teaching, encompassing all areas of knowledge in every Brazilian state. In this section, the presentation of criteria and data relative to the Programs is limited to Masters and Doctoral Programs in Administration. Professional Masters Programs were not considered in this approach. To perform this evaluation, Capes counts on the support of appointed consultants who base their decisions based on the reports produced by the Sucupira Platform from data sent by the programs under the responsibility of their Coordinator. The evaluation of 2013-2016, according to Capes’ Area Document (CAPES, 2017), is based on five criteria: program’s proposition (weight 0), teaching staff (weight 20), student body, theses and dissertations (weight 35), intellectual production (weight 35) and social insertion (weight 10). Each of the items is composed by subitems with their respective weights as shown on Box 1 . Box 1 Evaluation Criteria - Capes (1 to 5)Source: Administration Area Document (CAPES, 2017) Source: Administration Area Document (CAPES, 2017). Given that the evaluation model is graded from 1 to 5, at first the programs are included in these five levels and those with Doctoral courses graded 5 are evaluated using new criteria based on international and excellence standards indicating those capable of being raised to levels 6 or 7. Programs graded under 3 are de-accredited from the system (HORTA and MORAES, 2005). In this second phase of the evaluation, programs with Doctoral courses given the highest grade (5) are nominated and carefully evaluated in order to verify quality levels associated to international insertion indicators for their areas and other differential indicators as applicants for one of these two levels (6 or 7). According to the 2017 Four Year regulation, only PGPs graded 5 and VG (Very Good) concepts in all aspects of the evaluation form will be considered for the grades 6 and 7 (CAPES, 2017). It is important to point out that there are five concepts, each representing a grade. In the evaluation of items and aspects, the VG concept corresponds to grade 5, and thus respectively: G (Good) = 4; R (Regular) = 3; W (Weak) = 2; and D (Deficient) = 1. For a grade 6, a PGP needs to have predominantly VG concepts in all items of an aspect of the evaluation form, even with the eventual G concept in some items, and for grade 7, a VG concept in every item of all aspects of the evaluation form. The same rules demand that the PGPs perform as well as international reference centers forming doctors in their areas, have a differentiated performance level in relation to other PGPs in their areas, and characterize their solidarity and nucleation (CAPES, 2017). According to the most recent document in the area (CAPES, 2017), the PGPs which reach a grade of 5 must present the following qualifiers to be eligible for grades 6 or 7: (a) a stable Permanent Faculty Nucleus (PFN); (b) scientific publications in journals with impact factor or books classified by the area as L4; (c) consolidated history in the formation of doctors; (d) regular recent flow in the formation of doctors; and (e) adequate distribution between professors of cooperation with groups acting outside of Brazil, scientific production, formation of students, and academic leadership, showing that the PGP is not dependent on the contribution of one or a few professors, thus ensuring its high level performance for a period of time. The PGPs leadership in the national environment is analyzed based on: (a) the percentage of doctoral alumni acting in the faculty staff in other Post-Graduation institutions or HEIs in the country; (b) the PGP’s impact in the management of public or private organizations; (c) post-doctoral students who were not doctoral students at the PGP; (d) the leadership of national entities related to their area of knowledge; (e) how many students from different regions of the country it attracts; (f) the number of students from other national PGPs enrolled in its subjects or in partial stages of their research; (g) leadership in research projects financed by public or private agencies in cooperation with professors of other national PGPs; (h) the participation of permanent professors in committees of research regulation and support agencies; (i) awards given to permanent professors or students and alumni who received awards from national entities; and (j) participation and leadership in programs in regions with little to offer in the formation of qualified personnel in their area (CAPES, 2017) such as, for instance, Minter and Dinter. Aside from checking the PGP’s national leadership, their degree of international insertion is also verified as a way of evaluation their degree of equivalence to centers located abroad, regarding the quality of their teaching. In the area of Administration, this criterium has as its main indicators (CAPES, 2017): PGP’s alumni acting abroad; professors who were directors or presidents of the international scientific society; professors who participate in editorial committees of journals edited abroad and part of Scopus or Web of Science; participation in agreement or research project with international financing; international scientific meetings organized by the PGP; participation in Post-graduation monitoring panels/committees abroad; foreign doctoral students who partially develop their projects at the PGP; Brazilian doctoral students who partially develop their projects at the a foreign HEI; articles written with researchers from foreign institutions; books or book chapters published by renowned international publishing houses; participation in international networks in their areas; courses ministered at the PGP by foreign researchers; workshops or seminars ministered at the PGP by foreign researchers; tutoring or co-tutoring of a student from the PGP by foreign professors; tutoring or co-tutoring of a foreign student by a permanent professor of the PGP; post-doctoral internship of foreign doctors at the PGP; professors who have participated in scientific events abroad; professors and alumni who received awards from international entities for work conducted at the PGP; students who have taken courses abroad; foreign students enrolled on subjects at the PGP; permanent professors who have attended post-doctoral programs abroad during those four years; recruitment of foreign researchers for the PGP’s faculty body; cooperation agreements between the PGP and foreign partners; double titulation agreements with international institutions; subjects in other languages; offices to receive researchers; international accreditations; room at the PGP to house foreign professors and students. Four conclusions can be derived from the Capes’ Post-graduation Programs Evaluation System. Firstly, there are two sequential evaluations: the first one with grades up to 5; and the second one for programs graded 5 in order to select candidates for grades 6 or 7. Knowing the history behind Capes and the way Post-Graduation evaluation was structured help understand why. With the change that came in 1990, the highest grade went from 5 to 7. However, the evaluation system grading up to 5 still exists while new criteria were created for an eventual upgrade in the evaluation of PGP’s graded 5. This creates a distortion on the normal distribution curve of the PGPS in Administration, leading to a higher concentration of courses with lower grades, as can be seen on Figure 2. Figure 2 Distribution of Post-Grad programs in Administration/Grade Source: Elaborated by the authors based on data collected from Documento de Área 2017 (Capes, 2017). Secondly, there is a need to distinguish academic productivity from academic productivism. The Post-Graduation evaluation criteria in their five aspects (Box 1) show that intellectual production is just one of the evaluation criteria and represents 35% of the concept. Shigaki and Patrus (2012) have objectively shown that intellectual production is not enough to reach grade 5 on the evaluation of academic PGPS on the area of Administration. Focusing only on publication does not guarantee the highest grade. The number of approved dissertations and theses, the time of conclusion for Masters and Doctoral programs, and the quality and participation of the PFN are important variables in the final grade, not to mention the importance that evaluation places on the Program’s proposition, its coherence, and the articulation between researches, publications, and conclusion papers with research lines. Thirdly, it is important to note the evaluation’s role and purpose. Scriven (1967) classifies evaluation as either summative or formative. The first aims to provide information as to the use of the evaluated model for an educational system. Formative evaluation, however, aims to continuously perfect the curriculum. A few years after Scriven, authors Bloom, Hasting, and Madaus (1971) extended these learning evaluation concepts: the first, summative, was used to either move the student forward or to hold them back, such as the SATs, and the second, formative, was used during the process of teaching-learning as diagnosis and prognosis for perfecting. The Brazilian Post-Graduation academic community must answer this question: what form of evaluation do we want, summative or formative? Since publication has also become a condition for obtaining financing for research and resources, such as productivity grants, better grades in Post-Graduation ranking, prestige among peers, participation in national and international academic events, among others (TREIN and RODRIGUES, 2011; RODRIGUES, 2007), it seems Post-Graduation’s evaluation paradigm is summative. If it were formative, criteria would be defined a priori to guide the perfecting of the PGP and not a posteriori to classify it competitively among others. In this way, science, which brings results through collaboration, cooperation, and research, is replaced by competition (FREITAS, 2011). By relating the first and the third conclusions, we arrive at a fourth conclusion that deserves attention: if the PGP’s evaluation conducted by Capes is summative, the double evaluation presented in the first conclusion points to a methodological flaw in the way the grades are attributed to programs, compromised the evaluation’s scientific rigor. This flaw is derived precisely from the double evaluation for programs graded 5 and not a classification among all programs. As seen before, the second evaluation for programs graded 5 is not quantitative, present on the indicators through metric and averages, but rather on criteria and their subjective evaluation. Not only that: it is done during the evaluation week in Brasília, only after the programs are evaluated and classified. The first evaluation previously conducted by consultants, who write a report and give a grade that will be confronted, discussed, endorsed, ratified, or rectified initially by two consultants and later in plenary. It is, therefore, important to reconsider Capes’ evaluation and its distortions. Many of them arise from its history, here described. Capes back in the 1990s changed its evaluation system, removing importance from teaching and prioritizing research. In loco visitations by consultants gave way to a complex evaluation system. The need for greater distinction between programs graded 5 led Capes to introduce criteria such as internationalization, leadership, and solidarity, leading to the higher grades, 6 and 7. The evaluation model kept its grade paradigm from 1 to 5, leading to each three-year (now for-year) period having a double evaluation for programs graded 5 to find possible candidates for grades 6 and 7. Therein lies, in our opinion, one of the origins of the distortion of the current evaluation model. Finally, evaluation takes on a summative, qualifying, aimed at ranking programs that compete for public research grant, abandoning the evaluation’s formative character, perverting the system. This includes the definition of goals and the classification of journals a posteriori with a retroactive evaluation. Even accepting summative evaluation as a criterium for scarce resources, it has been compromised by the fact that it is not based on a normal curve distributed between grades 1 to 7. FINAL CONSIDERATIONS Even if we regret the lack of attention given to teaching, extension, cooperation with the business and government sectors (SPAGNOLO and SOUZA, 2004), we must admit research’s priority over teaching in the evaluation process of Brazilian Post-Graduation programs. This paradigm shift (a “turning point”, according to specialists) however brings contradictions in a system that demands at the same time integration of stricto sensu Post-Graduation and Graduation programs. We can only focus on contributions from this historical journey to propose two things. The first is that we must think of a Post-Graduation system that respects diversity. We are not talking about regional diversity present in a country with such levels of inequality, but to the diversity of vocations in each PGP in Administration. There are programs that have no vocation for internationalization. And this goal may legitimately not be in their strategic planning for the foreseeable future. To put it in another way, there are programs that do not aim for a score of 7 because they do not have the resources to fight for it. However, items and aspects metric grade up only to a score of 5. To achieve this score of 5, at least in the last triennial evaluation (2011-2013), a program needed a global VG (Very Good) evaluation and at least a G (Good) concept in Faculty Members and Student Body, with no R (regular) concept in the items of these aspects. It also needed a VG concept in Intellectual Production and in all its items. These requirements explain the distortion of the normal curve seen in the previous section, which is caused not only by the quality of the courses, but also by the historical fact that the scores were altered without the evaluation being altered. This is an example of what Pena (2003) calls subjacent continuity of the paradigm shift. There was a change in the scoring of concepts from 5 to 7, but the evaluation model remained for scores up to 5 and another evaluation process was created for programs with a score of 5. According to Pena (2013), even if the Copernican revolution remains the best example of a paradigm shift, the Copernican model preserved Platonic presuppositions for astronomical investigation including the ideas that all celestial movements are circular and that the speed of celestial bodies does not change. We can then recognize continuity even in a process considered revolutionary. It took Kepler’s Laws for us to overcome the idea that the circle, and not variation, was the perfect expression of cosmic order. In the Post-Graduation world, we have already experienced a Copernican revolution by changing our priority from teaching to research. However, we must contribute as Kepler did, in a way that allows us to structure a new model of evaluation that incorporates criteria such as international insertion, leadership, and solidarity to the aspects of Faculty Members, Professors’ Production, Students’ Production, and Social Insertion. The criteria presented here for a program to be given a score of 6 or 7 can be incorporated in these aspects. The second proposition this article contributes is a reflection on the meaning of PFN. It is a body of professors considered stable. As a body, it gives identity to a set of systems coordinated by a thinking head. A body of professors must not have only people with similar profiles, just as the human body must not have members or organs with the same functions. What gives a body organicity is the ability to integrate different organs and members. In a body, each cell matters. Disproportional growth of similar cells is like a cancer that prevents the exercise of diversity. Considering this metaphor, it is important to conceive in the evaluation process of a PGP the importance of respecting the diversity of professors. Some professors are better suited to teaching, other to research internationalization, and others for managerial activities. What is best for a PGP: to have a senior professor that does not teach Grad students, but has high intellectual productivity and great international insertion, or not having them if the first demand is universal? Is it best for the PGP to have or not to have a professor with teaching skills, the ability to write textbooks, and expertise to manage the program, but who does not publish their articles in well-known international journals? This reflection highlights the need for considering the distribution of items evaluated among the professors of the PFN. The program must be considered from its group of professors as a body, as a team, not as a group of individuals with a specific profile as researchers. We add our voices to that of Nascimento (2010), who points out the risk of the system leading researchers to participate only in activities that add points to their Capes’ evaluation, directing the programs and courses towards what is being called academic productivism. 8 The authors would like to thank Capes and Fapemig for the financial support. {Translated version} Note: All quotes in English translated by this article’s translator.