Quem não conhece seu passado está condenado a repeti-lo: distorções da avaliação da pós-graduação no Brasil à luz da história da Capes

Quién no conoce su pasado está condenado a repetirlo: distorsiones de la evaluación del posgrado en Brasil a la luz de la historia de Capes

Resumo

Este artigo tem por objetivo apontar algumas distorções no sistema de avaliação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) no Brasil, em particular na área de Administração, Ciências Contábeis e Turismo, a partir da história da própria Capes. A análise dessa história possibilitou concluir que a mudança da atribuição de notas de 1 a 5 para 1 a 7, adotada nos anos 1990, não se fez acompanhar de uma mudança do sistema de avaliação da Capes, que ainda se vale de notas de 1 a 5 para avaliar os programas em cada um de seus quesitos. Tal distorção se mostra incompatível com um sistema de avaliação somativo, classificatório. Como consequência, confunde-se produtividade com produtivismo, compromete-se o rigor metodológico para a avaliação dos programas e abandona-se o caráter educativo de uma avaliação formativa.

Palavras-chave:
Pós-graduação; Ensino; Pesquisa; Capes; Avaliação

Resumen

Este artículo tiene como objetivo señalar algunas distorsiones en el sistema de evaluación de la Capes, específicamente en el área de Administración, Ciencias Contables y Turismo, desde la historia de la propia Capes. El análisis de esta historia lleva a la conclusión de que el cambio de atribución de notas de 1 a 5 a de 1 a 7, realizado en los años 1990, no fue acompañado por un cambio en el sistema de evaluación de la Capes, que todavía se vale de notas de 1 a 5 para evaluar los programas en cada una de sus cuestiones. Tal distorsión es incompatible con un sistema de evaluación sumativa, clasificatoria. En consecuencia, se confunde productividad con productivismo, se compromete el rigor metodológico para la evaluación de los programas y se abandona el carácter educativo de una evaluación formativa.

Palabras clave:
Posgrado; Enseñanza; Investigación; Capes; Evaluación

Abstract

This paper aims to highlight some distortions in the Capes evaluation system, particularly in the area of Administration, Accounting and Tourism, starting from the history of Capes in Brazil. Through this analysis, it was possible to conclude that the change in the assignment of grades from 1 to 5 to 1 to 7 in the 1990s was not followed by a change in the Capes evaluation system, which still uses scores from 1 to 5 to evaluate the programs in each of their requirements. Such distortion becomes incompatible with an evaluation system that is summative and classificatory. As a consequence, productivity is confused with productivism, methodological rigor for the evaluation of programs is jeopardized, and the educational character of a formative evaluation is abandoned.

Keywords:
Postgraduate; Teaching; Research; Capes; Evaluation.

INTRODUÇÃO

O sistema de avaliação da Campanha Nacional de Aperfeiçoamento de Pessoal de Nível Superior - nome original da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) -, implantado em 1976, surgiu com o intuito de estabelecer o padrão de qualidade exigido dos cursos de mestrado e doutorado no Brasil. Focava originalmente a formação de quadros de professores e pesquisadores para as universidades brasileiras. A partir de 1988 houve uma mudança de prioridade, da formação para a avaliação, com expressiva valorização da pesquisa e da publicação científica. As atividades de extensão, ensino e cooperação, por exemplo, foram negligenciadas no processo de avaliação do professor e dos programas de pós-graduação (PPG) stricto sensu (HORTA e MORAES, 2005; KUENZER e MORAES, 2005).

A cultura de produtivismo transformou o processo de conhecimento em mercadoria, limitando-o a produtos, a níveis de desempenho e a padrões de qualidade (MOREIRA, 2009). Cabe ressaltar, aqui, que a Capes não avalia o desempenho individual dos professores, mas o desempenho dos PPG. Entretanto, na prática, são os critérios da Capes que mais pressionam o professor a aumentar seu desempenho individual (NASCIMENTO, 2010). Diante disso, mostra-se relevante estudar a contribuição desse sistema na academia.

A avaliação da pós-graduação brasileira, apesar de amplamente debatida (MATTOS, 2008; 2012; BIANCHETTI e MACHADO, 2009; MOREIRA, 2009; NASCIMENTO, 2010; TREIN e RODRIGUES, 2010; MASCARENHAS, ZAMBALDI e MORAES, 2011; ALCADIPANI, 2011), não tem produzido soluções para as contradições apontadas pelos professores e pesquisadores. Este estudo tem por objetivo trazer à tona a história da Capes e como a avaliação dos PPG, no Brasil, modificou-se ao longo dos anos e transformou-se no que é hoje. Do ponto de vista prático, este estudo se justifica por estudar a influência do sistema de avaliação da Capes nos programas de mestrado e doutorado. Do ponto de vista teórico, permite aprofundar o debate, trazendo os elementos históricos que permeiam o processo atual de avaliação institucional. Afinal, quem não conhece seu passado está condenado a repeti-lo.

Este ensaio divide-se em 4 partes, além desta introdução. A segunda parte corresponde à descrição do estado da arte da Capes, dividida em 3 momentos (início, amadurecimento e divisor de águas). A terceira relata o sistema de avaliação da pós-graduação no Brasil e como a avaliação da Capes influencia as instituições. Por fim, temos as considerações finais.

A CAPES E SUA HISTÓRIA

A Capes, criada em 11 de julho de 1951, surgiu com o objetivo de garantir a formação de pessoal especializado em quantidade e qualidade suficientes para atender às necessidades dos empreendimentos públicos e privados, com vistas ao desenvolvimento do país (MACCARI, RODRIGUES, ALESSIO et al., 2008; VIANA, MANTOVANI e VIEIRA, 2008; CAPES, 2012). Dentre suas principais atividades, a Capes é responsável pela avaliação da pós-graduação stricto sensu, acesso e divulgação da produção científica, investimentos na formação de recursos de alto nível no país e no exterior, promoção da cooperação científica internacional, indução e fomento da formação inicial e continuada de professores (VIANA, MANTOVANI e VIEIRA, 2008).

A pressão institucional por publicação, advinda da regulamentação, é tida como propulsora da cultura de produtivismo, provocando mudanças em rotinas e normas, queixas (MATTOS, 2008), objeções pelas partes interessadas e alterações das atividades dos docentes. Os envolvidos passam a se preocupar com a lógica do sistema, questionando a cultura do produtivismo (LUIZ, 2006), ou desenvolvendo as atividades para melhorar sua avaliação e garantir seu recredenciamento como professor do PPG. Para compreender o cerne das causas e oferecer elementos úteis à reflexão sobre o sistema de avaliação da pós-graduação, a história da Capes foi dividida em 3 momentos: a) início (1951 a 1981): primazia pela qualidade do ensino; b) amadurecimento (1982 a 1989): consolidação do modelo de avaliação da pós-graduação; e c) divisor de águas (1990 até hoje): foco na avaliação do professor-pesquisador, e não somente no professor, como ilustra a Figura 1.

Figura 1
Linha do tempo - Capes

Início: 1951 a 1981

Antes mesmo da criação da Capes houve a criação do Sistema Nacional de Pós-Graduação (SNPG), em 1950, impulsionado por 2 razões: a primeira referente à carência de pessoal altamente qualificado para o mercado; e a segunda referente à necessidade de qualificação do corpo docente (SGUISSARDI, 2006). Desse modo, um grupo inicial de especialistas permitiu a criação de um sistema de pós-graduação, que foi se consolidando, principalmente, devido ao investimento do Estado na titulação de professores brasileiros em universidades da América do Norte e da Europa, bem como na presença de professores desses países no Brasil (MOREIRA, 2009). Com isso, o SNPG tinha como missão a qualificação de professores e pesquisadores (CAPES, 2010).

Em 1952, o Brasil passou a conferir importância estratégica ao desenvolvimento científico e tecnológico, além do crescimento industrial. Nesse período surgiu o Banco Nacional de Desenvolvimento Econômico (BNDE), que passou a atuar como órgão de fomento (CAPES, 2010). Em 1953 foi implantado o programa universitário nas Instituições de Ensino Superior (IES). Nessa mesma ocasião, o então dirigente Anísio Teixeira contratou professores visitantes estrangeiros, estimulando as atividades de intercâmbio e cooperação internacional entre instituições, além de conceder 79 bolsas de estudos (no Brasil e no exterior) e apoiar eventos de natureza científica (CAPES, 2012). Em 1954, a concessão aumentou para 155 bolsas.

Em 1960, a pós-graduação surgiu como uma forma de proporcionar um diferencial competitivo para o país. Já em 1961, a Capes passou a se subordinar à Presidência da República. Contudo, em 1964, voltou a se subordinar ao Ministério da Educação (MEC). Nessa mesma data, a Capes, junto com outros órgãos públicos, foi incumbida de consolidar a política de pós-graduação (CURY, 2005; BIANCHETTI e SGUISSARDI, 2009; NASCIMENTO, 2010; DANTAS, 2012).

Com a chegada da nova dirigente, Susana Gonçalves, em 1965 houve a primeira classificação de 38 cursos de Pós-Graduação no Brasil, sendo 27 de mestrado e 11 de doutorado (CAPES, 2012). Nessa mesma data, o Parecer n. 977, inspirado no modelo de estrutura da universidade norte-americana e aprovado pelo Conselho Federal de Educação (CFE) regulamentou a pós-graduação no Brasil quanto à sua definição, sua finalidade e seus níveis de mestrado e doutorado (DANTAS, 2012). Em 1966, o governo apresentou o Plano de Desenvolvimento Institucional (PDI) a partir do qual a Capes ganhou novas atribuições e meios orçamentários para multiplicar suas ações e intervir na qualificação do corpo docente das universidades brasileiras, tendo papel de destaque na formulação da nova política para a pós-graduação (CAPES, 2012). Já a normatização do credenciamento dos cursos de pós-graduação stricto sensu foi estabelecida por meio de outro parecer do CFE, em 1969 (CURY, 2005; MACEDO e SOUZA, 2010, NASCIMENTO, 2010; DANTAS, 2012). Fonte: Elaborada pelos autores.

Com a criação de um programa de avaliação de cursos de pós-graduação em 1976, pela Capes, foram traçados alguns objetivos para justificar a concepção e adoção de tais programas: a) facilitar a distribuição de bolsas de estudo para mestrandos e doutorandos; b) orientar o investimento das agências federais na formação de recursos humanos de alto nível; c) subsidiar a política educacional relativa à pós-graduação e à universidade, assim como suas relações com a educação básica; d) criar um sistema permanente de informações sobre a pós-graduação brasileira (MACCARI, LIMA e RICCIO, 2009); e) regular a expansão da pós-graduação, recomendando o apoio aos cursos novos e os incorporando, progressivamente, ao sistema de avaliação e acompanhamento; e f) credenciar esses cursos, tornando válidos, em plano nacional, os certificados por eles expedidos (MACCARI, LIMA e RICCIO, 2009).

Os resultados do processo, desde a implementação da Capes, fundamentam a deliberação sobre quais cursos obteriam a renovação de reconhecimento ou não, a vigorar no triênio subsequente (CAPES, 2006; VIANA, MANTOVANI e VIEIRA, 2008). No entanto, foi a partir de 1980 que a sistemática de avaliação da pós-graduação, no Brasil se firmou, com a introdução de formulários para obtenção de dados dos programas e com a progressiva informatização, como a criação de comissões de especialistas para cada área de conhecimento e a prática de visitas in loco aos programas (KUENZER e MORAES, 2005).

Amadurecimento: 1982 a 1989

Entre 1982 e 1989, a Capes vivenciou um período de estabilidade, quando a transição para a Nova República, em 1985, não trouxe modificações para ela e para a sociedade. O Decreto n. 86.816/1982 (BRASIL, 1982) alterou as funções da Capes atribuindo-lhe as seguintes finalidades: a) elaborar o Plano Nacional de Pós-Graduação (PNPG) e coordenar a sua execução; b) acompanhar e avaliar os cursos de pós-graduação e a interação entre ensino e pesquisa; e c) manter intercâmbio e contato com outros órgãos da administração pública ou entidades privadas, internacionais ou estrangeiras, visando à celebração de convênios, acordos, contratos e ajustes relativos à pós-graduação e ao aperfeiçoamento de pessoal de nível superior (CURY, 2005; KUENZER e MORAES, 2005; MACEDO e SOUZA, 2010; NASCIMENTO, 2010; DANTAS, 2012). No II PNPG (CAPES, 1982), com data de execução prevista para início em 1982 e término em 1985, a proposição foi a institucionalização da avaliação como instrumento de controle da qualidade do ensino (CAPES, 2004) e na formação de recursos humanos qualificados para atividades de docência e de pesquisa (CAPES, 1982). Nesse contexto, tornam-se prioridades a institucionalização e o aperfeiçoamento da avaliação já formulada (KUENZER e MORAES, 2005).

Embora esse tenha sido um período de estabilidade, houve um momento de agitação na comunidade acadêmica brasileira, provocado pela publicação da lista dos 56 cursos de pós-graduação que obtiveram o pior conceito na avaliação da Capes. Essa informação, à época veiculada pelo jornal Estado de S. Paulo, culminou em um debate que obteve considerável espaço na imprensa (CASTRO e SOARES, 1983). Com isso, algumas universidades passaram a divulgar as notas de seus cursos. Posteriormente, a Capes tornou pública a listagem com todas as notas das IES. Observa-se que a avaliação de 1985 levou em consideração apenas a quantidade de publicações; já as avaliações a partir de 1989 levaram em consideração tanto quantidade como qualidade das publicações (STRATHERN, 1997; FONSECA, 2001).

O III PNPG (CAPES, 1985), com execução em 1986 e término em 1989, teve como principal diretriz a institucionalização da pesquisa científica nas universidades (CAPES, 2004), além de consolidar e melhorar o desempenho dos cursos de pós-graduação e integrá-los ao sistema de ciência e tecnologia, inclusive com o setor produtivo (CAPES, 1985). Com vistas a cumprir tal meta, o III PNPG priorizou a pesquisa nas universidades, enfatizando seu papel no desenvolvimento nacional e a integração da pós-graduação ao sistema de ciência e tecnologia (CAPES, 1985). Essa intenção, contudo, não foi suficiente para superar a tradição da pós-graduação, fortemente centrada na docência.

Até a década de 1990, a Capes (2004) implantou e consolidou a pós-graduação brasileira com foco no avanço científico na fronteira do conhecimento, embora tenha recebido a efetiva colaboração do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e da Financiadora de Estudos e Projetos (FinEP).

Divisor de águas: 1990 até hoje

O modelo introduzido pela Capes para avaliar a pós-graduação brasileira no biênio 1996-1997 se consolidou nos triênios subsequentes, aprofundando mudanças na concepção e no direcionamento das políticas para esse nível de ensino no país (HORTA e MORAES, 2005). No governo Collor, a medida Provisória n. 150/1990 extinguiu a Capes, desencadeando intensa mobilização (BRASIL, 1990a). As pró-reitorias de pesquisa e pós-graduação das universidades mobilizaram as opiniões acadêmicas e científicas que, com o apoio do MEC, conseguiram reverter a medida em 12 de abril do mesmo ano pela Lei n. 8.028/1990 (CAPES, 2012; BRASIL, 1990b). Nesse período, a Capes teve por objetivo manter as ênfases do plano anterior e acrescentar a qualidade nas atividades da pós-graduação, tendo como instrumento a avaliação, que já existia, em estado embrionário, desde 1976 e que foi então aperfeiçoada e institucionalizada. Adicionalmente, houve melhor divisão das áreas do conhecimento, além da adoção de critérios mais rígidos para atribuição de notas aos cursos (MACCARI, LIMA e RICCIO, 2009). No início dos anos 1990, tornavam-se claros, tanto para a agência de fomento como para a comunidade acadêmica, o esgotamento dos paradigmas vigentes da avaliação e a urgência de criar um novo modelo avaliativo (KUENZER e MORAES, 2005).

A Lei n. 8.405/1992 autorizou o poder público a instituir a Capes como fundação, tornando-a principal subsidiária do MEC no que concerne à formulação de políticas para a área de pós-graduação, conferindo novo vigor à instituição (BRASIL, 1992). Desde então, compete a ela o desenvolvimento, a avaliação e a observância dos padrões de qualidade da pós-graduação stricto sensu no país (CAPES, 2004; MACCARI, RODRIGUES, ALESSIO et al., 2008). Em 1995, a Capes passou por uma reestruturação, fortalecida como instituição responsável pelo acompanhamento e avaliação desses cursos (CAPES, 2012). Nesse mesmo período, o sistema de pós-graduação ultrapassou a marca de 1.000 cursos de mestrado e 600 de doutorado. Desde então, a Capes vem se consolidando como agência de fomento, inclusive concedendo bolsas de estudo, auxílios e desenvolvendo outros mecanismos que viabilizam a formação de cientistas e recursos humanos altamente qualificados, para atender às necessidades das instituições de pesquisa e Ensino Superior (MACCARI, RODRIGUES, ALESSIO et al., 2008; CAPES, 2012).

O primeiro modelo de avaliação da Capes tinha foco na visita de comissões de consultores aos programas para aferir seu funcionamento e assessorá-los em ações de aperfeiçoamento. Já o atual modelo Capes de avaliação pode ser visto como vinculado ao processo de regulação e controle (SGUISSARDI, 2006). A Capes entendia que não era mais possível continuar avaliando a pós-graduação com os mesmos critérios aplicados na década de 1970. O elevado crescimento do número de programas tornava inviável o modelo de visita de comissões de consultores para proceder à avaliação. A mudança radical almejada tinha por objetivo permitir maior discriminação entre os programas, formulando, então, um novo paradigma de avaliação (introduzido para o biênio 1996-1997).

A partir de 1998, certas mudanças foram introduzidas na avaliação. A Capes decidiu, entre outras reformulações, que o sistema de avaliação: a) focalizaria os PPG, e não o desempenho individual dos cursos por eles oferecidos (mestrados e doutorados); b) expressaria o conceito obtido por uma escala de 1 a 7 sem frações (no qual 5 seria equivalente ao antigo conceito A e programas com essa nota poderiam passar por critérios de excelência para, excepcionalmente, ser classificados como 6 ou 7) (FONSECA, 2001); c) deveria refletir a preocupação em atingir um alto nível de qualidade, em consonância com padrões internacionais; d) procuraria estimular a flexibilização dos modelos de pós-graduação e o oferecimento, em tempo médio adequado, de uma formação de qualidade; e) verificaria a relação entre o projeto do programa e o impacto efetivo de sua atuação para sua instituição e para a sociedade, incentivando a permanente autoavaliação de cada programa; e f) tentaria conciliar a utilização de indicadores quantitativos e critérios padronizados com a ponderação de aspectos relacionados à dinâmica e à especificidade de cada programa (CAPES, 1998; MOREIRA, 2009).

O IV PNPG (CAPES, 2004), com previsão de execução entre 2005 e 2010, reafirmou que a avaliação deveria ser baseada na qualidade e excelência dos resultados, na especificidade das áreas de conhecimento e no impacto desses resultados na comunidade acadêmica, empresarial e na sociedade (CAPES, 2004), além da institucionalização da pesquisa, nas universidades, para assegurar o funcionamento da pós-graduação (CAPES, 2004). Quanto ao método de avaliação, o IV PNPG registra que a Capes e o CNPq criaram, ao longo de suas trajetórias, 2 importantes sistemas nacionais de avaliação acadêmica: a) avaliação da qualidade dos programas de formação de recursos humanos - pós-graduados; e b) avaliação individual dos pesquisadores e dos líderes de grupos de pesquisa (CAPES, 2004; DANTAS, 2012).

A Lei n. 11.502/2007 criou, assim, a nova Capes - que, além de coordenar o alto padrão do SNPG, também passou a induzir e fomentar a formação inicial e continuada de professores para a educação básica (BRASIL, 2007). Tal atribuição foi consolidada pelo Decreto n. 6.755/2009, que instituiu a Política Nacional de Formação de Profissionais do Magistério da Educação Básica (CAPES, 2012; BRASIL, 2009). Até o momento, cabe afirmar que a pós-graduação se consolidou, aos poucos, como o espaço privilegiado da pesquisa, núcleo aglutinador das atividades de ensino e de orientação, bem como diretriz das publicações de docentes e discentes (MOREIRA, 2009).

O V PNPG (CAPES, 2010), com data de execução prevista para início em 2011 e término em 2020, é responsável pela continuidade dos planos anteriores, principalmente do IV PNPG - que não foi executado como plano efetivo devido a problemas de várias ordens - além de ter introduzido novas e importantes inflexões, no qual o horizonte temporal é mais vasto que o anterior (CAPES, 2010).

O novo modelo de avaliação, considerado por alguns autores um divisor de águas (SOUSA, 2008; CAPES, 2010; DANTAS, 2012), desloca a centralidade da docência para a centralidade na pesquisa. A partir do novo instrumento de avaliação, alguns indicadores foram evidenciados, a saber: a) introdução da ideia de programa e não mais de cursos de mestrado e doutorado avaliados isoladamente; e b) atenção especial às linhas de pesquisa e à sua organicidade com as disciplinas, os projetos e os produtos de pesquisa, teses e dissertações. As linhas, e não mais as preferências dos docentes, passaram a definir: a) os percursos curriculares, organizados a partir da pesquisa, e não mais das disciplinas; b) os seminários de pesquisa e de dissertação; c) a definição dos orientadores já no início dos cursos; e d) os objetos de investigação como determinantes do percurso curricular, agora flexibilizado. Nesse modelo de pós-graduação voltado à pesquisa e à produção intelectual, bibliográfica, ganha importância e justifica-se como indicador de avaliação (FONSECA, 2001; CURY, 2005; BIANCHETTI e SGUISSARDI, 2009; MACEDO e SOUZA, 2010; NASCIMENTO, 2010; ALCADIPANI, 2011; MACHADO e BIANCHETTI, 2011; DANTAS, 2012). Com isso, a mudança radical almejada pela Capes tinha por objetivo corrigir a pirâmide, o que permitiria maior discriminação entre os programas (FONSECA, 2001), uma vez que muitos cursos estavam tendo a nota 5, máxima, até então. A inserção social, no sentido de servir às regiões com públicos menos favorecidos, e a internacionalização passaram a ser fatores importantes para a distinção entre os programas 5, 6 e 7.

Em 2011 foi lançado o programa Ciência sem Fronteiras, interrompido parcialmente em 2016. Ainda em 2016 havia previsão de lançamento do Portal EduCapes, com o objetivo de proporcionar conhecimento por meio de acesso livre e gratuito para alunos e professores de educação básica e educação superior.

Atualmente, a coleta de dados do PPG é anual e on-line, via Plataforma Sucupira. As instituições de ensino são responsáveis pelo preenchimento dos dados e a plataforma tem integração com a Plataforma Lattes. A avaliação trienal deu lugar, a partir do período de 2013-2016, à avaliação quadrienal. As visitas de comissões avaliadoras em algumas IES ocorreram apenas em situações especiais ou quando houve alguma diligência solicitada pelo Comitê de Área. Os programas com conceitos 1 e 2 não são reconhecidos pelo MEC, e os programas com conceitos 6 e 7 são ditos programas de excelência (LEITE, VIANA e PEREIRA, 2006).

O modelo Capes de avaliação possui a legitimidade da Instituição e tantas outras agências reguladoras do Estado brasileiro. Entretanto, esse modelo é de profunda ambiguidade. Ao mesmo tempo que as IES o reconhecem como legítimo, também o temem por sua natureza de regulação e controle em nome do Estado (SGUISSARDI, 2006). Embora bastante questionado pelos critérios empregados, ele é visto como fator decisivo na manutenção do elevado nível da pós-graduação no Brasil e no incremento da pesquisa (SOUZA e BIANCHETTI, 2007; MOREIRA, 2009).

Como postulado nas considerações finais deste artigo, parte da controvérsia em relação a esse modelo se origina do fato de que a avaliação é feita com o paradigma antigo (um modelo com notas de 1 a 5), mesmo depois da mudança nos critérios de avaliação (biênio 1996-1997), que buscou distinguir os programas nota 5, reclassificando-os em notas 5, 6 e 7. O sistema da Plataforma Sucupira, utilizado durante a semana de avaliação, calcula as notas dos programas dentro desse intervalo. Na área de Administração, a classificação de notas 5, 6 e 7 se dá entre os programas que obtiveram nota 5, depois que as avaliações são lançadas na Plataforma Sucupira. Nossa posição é a de que aí está uma origem importante das contradições da avaliação da pós-graduação e das polêmicas observadas na comunidade acadêmica. Por esse motivo, este recorrido histórico se justifica e mostra-se importante para a reflexão sobre o tema.

O SISTEMA DE AVALIAÇÃO DA PÓS-GRADUAÇÃO NO BRASIL REALIZADO PELA CAPES

O sistema de avaliação coordenado pela Capes é utilizado como padrão de qualidade no ensino público e privado de pós-graduação stricto sensu, abrangendo todas as áreas de conhecimento em todos os estados do Brasil. Nesta seção, a apresentação dos critérios e dados relativos aos programas é limitada aos programas de mestrado acadêmico e doutorado em Administração. Os mestrados profissionais não foram contemplados nessa abordagem.

Para realizar a avaliação, a Capes conta com o auxílio de consultores designados que se baseiam nos relatórios produzidos pela Plataforma Sucupira a partir do preenchimento feito nos programas, sob responsabilidade de seu coordenador. A avaliação do quadriênio 2013-2016 se baseia, segundo documento de área (CAPES, 2017), em 5 critérios, quais sejam: a) proposta do programa (peso 0); b) corpo docente (peso 20); c) corpo discente, teses e dissertações (peso 35); d) produção intelectual (peso 35); e) inserção social (peso 10). Para cada item há subitens, que os compõem com os respectivos pesos, como ilustra a Quadro 1.

Quadro 1
Critérios de avaliação - Capes (1 a 5)

Tendo em vista que o modelo de avaliação tem notas de 1 a 5, primeiramente, os programas são incluídos nos 5 primeiros níveis da escala e aqueles com doutorado que foram classificados com nota 5 são avaliados com novos critérios referenciados em padrão internacional e de excelência, indicando aqueles que têm condições de alcançar o nível 6 ou 7. Os programas com nota inferior a 3 são descredenciados do sistema (HORTA e MORAES, 2005).

Nessa segunda fase de avaliação, os programas com doutorado recomendados com notas até o valor máximo 5 são indicados e avaliados, de forma criteriosa, a fim de verificar os níveis de qualidade associados aos indicadores de inserção internacional, para as áreas e outros indicadores diferenciais para os programas pretendentes a 1 desses 2 níveis (6 ou 7). Segundo o regulamento da Quadrienal 2017, serão considerados para as notas 6 e 7 os PPG que receberem nota 5 e conceitos MB (muito bom) em todos os quesitos da ficha de avaliação (CAPES, 2017). Vale dizer que são 5 os conceitos, cada um correspondente a uma nota. Na avaliação dos itens e quesitos, o conceito MB corresponde à nota 5, e assim sucessivamente: B (bom) = 4; R (regular) = 3; F (Fraco) = 2; e D (Deficiente) = 1.

Para a nota 6 é necessário predomínio de conceito MB nos itens de todos os quesitos da ficha de avaliação, mesmo com eventual conceito B em alguns itens e para nota 7, conceito MB em todos os itens de todos os quesitos da ficha de avaliação. Além disso, é necessário, segundo o mesmo regulamento, que os PPG apresentem desempenho equivalente àquele de centros de internacionais de referência na formação de pessoal em nível de doutorado na área, tenham nível de desempenho diferenciado em relação aos demais PPG da área e caracterizem sua solidariedade e nucleação (CAPES, 2017).

Segundo o mais recente documento de área (CAPES, 2017), os PPG que atingirem o perfil nota 5 precisam apresentar os seguintes elementos qualificadores para a candidatura às notas 6 e 7: a) núcleo docente permanente (NDP) estável; b) produção científica em periódicos com fator de impacto ou livros classificados pela área como L4; c) histórico consolidado na formação de doutores; d) fluxo regular recente de formação de doutores; e e) distribuição adequada entre os docentes das atividades de cooperação com grupos atuando fora do Brasil, produção científica, formação de alunos e de liderança acadêmica, indicando que o PPG não depende da contribuição de um ou poucos docentes, assegurando, dessa forma, seu desempenho em alto nível ao longo do tempo.

A liderança do PPG, no ambiente nacional, é analisada a partir: a) do percentual de doutores egressos atuando no corpo docente de outras instituições de pós-graduação ou IES do país; b) do impacto do PPG na gestão de organizações públicas ou privadas; c) de não titulados no PPG que realizaram pós-doutoramento nele; d) da liderança de entidades nacionais relacionadas à área de conhecimento; e) da atração de estudantes de diferentes regiões do país; f) do número de alunos de outros PPG do país realizando disciplinas ou estágios sanduíches no PPG; g) da liderança de projetos de pesquisa financiados por agências públicas ou privadas em parceria de docentes de outros PPG nacionais; h) da participação de docentes permanentes em comitês de áreas de agências reguladoras e de amparo à pesquisa; i) das premiações de docentes permanentes ou discentes e egressos premiados por entidades nacionais; e j) da participação e liderança em programas de regiões pouco atendidas na formação de pessoal qualificado na área (CAPES, 2017), como, por exemplo, Minter (mestrado interinstitucional) e Dinter (doutorado interinstitucional).

Além da verificação da liderança nacional do PPG, avalia-se o grau de inserção internacional do PPG como forma de avaliar seu grau de equivalência aos centros localizados no exterior, em termos da qualidade da formação discente. Na área de Administração, esse critério tem como principais indicadores (CAPES, 2017):

1. egressos do PPG atuando no estrangeiro;

2. docentes que foram diretores ou presidentes de sociedade científica internacional;

3. docentes com participação em comitê editorial de periódico editado no estrangeiro presente nas bases SCOPUS ou Web of Science;

4. participação em convênio ou projeto de pesquisa com financiamento internacional;

5. reuniões científicas internacionais organizadas pelo PPG;

6. participação em bancas/comitês de acompanhamento de pós-graduando no exterior;

7. alunos de doutorado do exterior que vieram desenvolver parte de seu projeto no PPG;

8. alunos de doutorado do PPG que foram desenvolver parte de seu projeto em IES do estrangeiro;

9. artigos em coautoria com pesquisadores de instituições estrangeiras;

10. livros ou capítulos de livro de editoras internacionais renomadas;

11. participação em redes internacionais da área de conhecimento;

12. cursos ministrados por pesquisadores estrangeiros no PPG;

13. palestras/seminários ou equivalentes ministradas por pesquisadores estrangeiros no PPG;

14. orientação ou co-orientação de aluno do PPG por professores estrangeiros;

15. orientação ou co-orientação de aluno de curso do exterior por docente permanente do PPG;

16. estágio pós-doutoral no PPG de titulados no doutorado no exterior;

17. discentes que participaram de eventos científicos no exterior;

18. discentes e egressos premiados por entidades internacionais, por trabalhos realizados no PPG;

19. discentes que participaram de cursos no exterior;

20. alunos estrangeiros matriculados em disciplinas do PPG;

21. docentes permanentes que realizaram pós-doutoramento em instituição estrangeira no quadriênio;

22. recrutamento de pesquisadores estrangeiros para corpo docente do PPG;

23. acordos entre a instituição do PPG e um parceiro do exterior para cooperação;

24. acordos para dupla titulação com Instituições internacionais;

25. disciplinas em outro idioma;

26. escritórios de recepção de pesquisadores;

27. acreditações internacionais;

28. espaço no PPG para acomodar docentes e discentes vindos do exterior.

Quatro conclusões podem ser depreendidas do sistema de avaliação da pós-graduação realizada pela Capes. Em primeiro lugar, observa-se que são realizadas 2 avaliações subsequentes: a avaliação dos programas, com notas distribuídas até 5; e uma segunda avaliação dos programas nota 5, para selecionar os candidatos às notas 6 e 7. O conhecimento do histórico da Capes e da forma como foi estruturada a avaliação da pós-graduação ajudam a compreender a razão dessa dupla avaliação. Com a mudança empreendida a partir dos anos 1990, a avaliação que era feita com notas até 5 passou a avaliar até a nota 7. Entretanto, o sistema de avaliação até a nota 5 continuou existindo, sendo criados novos critérios para um eventual upgrade na avaliação dos PPG com nota 5. Essa constatação produz uma distorção na curva normal de distribuição dos PPG em Administração, fazendo com que haja maior concentração nos cursos de menor conceituação, como ilustra a Figura 2.

Figura 2
Distribuição dos programas de pós-graduação em Administração/nota

A segunda conclusão apreendida dessa análise é a necessidade de distinguir a produtividade acadêmica do produtivismo acadêmico. A explicitação dos critérios de avaliação da pós-graduação, em seus 5 quesitos (Quadro 1), demonstra que a produção intelectual é apenas um dos critérios de avaliação e representa 35% do conceito. Shigaki e Patrus (2016) demonstraram objetivamente que a produção intelectual não é requisito suficiente para alcançar nota 5 na avaliação de PPG acadêmicos na área de Administração. Focar apenas a publicação não significa a nota máxima. Número de dissertações e teses aprovadas, tempo de conclusão do mestrado e do doutorado, qualidade e participação do NDP são variáveis importantes para a nota final, Sem contar a importância que a avaliação fornece à proposta do programa, sua coerência e articulação entre pesquisas, publicações e trabalhos de conclusão com as linhas de pesquisa.

Em terceiro lugar, vale observar o papel da avaliação e o seu propósito. Com Scriven (1967), a avaliação de um currículo foi classificada como somativa ou formativa. A primeira tem por propósito prover informações quanto ao uso ou não do modelo avaliado para um sistema educacional. A avaliação formativa, por sua vez, tem o propósito de aperfeiçoar o currículo continuamente. Poucos anos depois de Scriven (1967), Bloom, Hasting e Madaus (1971) estenderam esses conceitos para a avaliação da aprendizagem, sendo a primeira somativa, utilizada para a progressão ou retenção do aluno, como em um vestibular, e a segunda formativa, utilizada ao longo do processo de ensino-aprendizagem como diagnóstico e prognóstico de aperfeiçoamento. A comunidade acadêmica da pós-graduação brasileira precisa responder a essa pergunta:

Qual avaliação queremos, somativa ou formativa?

Como a publicação se tornou, também, uma condição para obtenção de financiamento de pesquisas e certos recursos, como bolsa-produtividade, melhores notas no ranking da pós-graduação, prestígio junto aos pares, participação em eventos acadêmicos nacionais e internacionais, dentre outros (TREIN e RODRIGUES, 2010; RODRIGUES, 2007), parece que o paradigma da avaliação da pós-graduação é somativo. Se ela fosse formativa, os critérios seriam definidos a priori, para nortear o aperfeiçoamento do PPG e não a posteriori, para classificá-lo competitivamente entre os outros. Dessa forma, a ciência, cujo resultado advém de colaboração, cooperação e pesquisas, passa a ceder lugar à competição (FREITAS, 1998).

Relacionando a primeira conclusão com a terceira, tem-se uma quarta conclusão que merece atenção: admitindo-se que a avaliação dos PPG feita pela Capes é de caráter somativo, a dupla avaliação apontada na primeira conclusão direciona para uma falha metodológica na forma como as notas são atribuídas aos programas, comprometendo o rigor científico da avaliação. Tal falha decorre justamente da dupla avaliação para os programas nota 5 e não de uma classificação entre todos os programas. Como vimos, a segunda avaliação para os programas nota 5 não tem o viés quantitativo presente nos indicadores por meio de métricas e médias, mas sim os critérios e sua avaliação com caráter subjetivo. E mais: ela é feita durante a semana de avaliação, em Brasília, somente depois que os programas são avaliados e classificados. A primeira avaliação é feita pelos consultores previamente, que elaboram um relatório e uma nota que serão confrontados, discutidos, ratificados ou retificados, inicialmente por dois consultores e depois em plenário.

Enfim, é preciso repensar a avaliação da Capes e suas distorções. Muitas delas decorrem de sua história, descrita neste artigo. A Capes, a partir da década de 1990, mudou o sistema de avaliação, deixando de valorizar o ensino e passando a dar primazia à pesquisa. As visitas in loco aos programas, feita por consultores, deram lugar a um sistema complexo de avaliação. A necessidade de maior distinção entre programas nota 5 fez a Capes introduzir os critérios de internacionalização, liderança e solidariedade, promovendo a ampliação das notas para 6 e 7. O modelo de avaliação permaneceu com o paradigma de notas de 1 a 5, o que levou as trienais, hoje quadrienais, a realizar uma dupla avaliação dos programas nota 5 para avaliar os que podem ser 6 ou 7. Está aí, pensamos, uma das origens da distorção do modelo de avaliação atual. Finalmente, a avaliação assume um caráter somativo, classificatório, com o objetivo de ranquear programas candidatos às verbas públicas de pesquisa, deixando de lado o caráter formativo da avaliação, o que perverte o sistema, inclusive com a definição de metas e classificação de periódicos a posteriori, com avaliação retroativa. Mesmo aceitando a avaliação somativa como critério de distribuição de recursos escassos, ela se mostra comprometida pelo fato de não se basear em uma curva normal distribuída entre as notas 1 a 7.

CONSIDERAÇÕES FINAIS

Ainda que possamos lamentar a pouca atenção dispensada ao ensino, à extensão, à cooperação com setores empresariais e governamentais (SPAGNOLO e SOUZA, 2004), é preciso admitir a prioridade da pesquisa sobre o ensino no processo de avaliação da pós-graduação brasileira. Essa mudança de paradigmas (um “divisor de águas”, segundo especialistas) possui, no entanto, contradições em um sistema que exige, ao mesmo tempo, integração da pós-graduação stricto sensu com a graduação. Resta valermo-nos das contribuições advindas do percurso histórico, aqui retratado, para fazer duas proposições.

Em primeiro lugar, é preciso pensar um sistema de pós-graduação que respeite a diversidade. Não nos referimos à diversidade regional, presente em um país de tanta desigualdade, mas à diversidade de vocação de cada PPG em Administração. Há programas que não têm vocação para a internacionalização. E, legitimamente, pode ser que essa meta não esteja no horizonte de seu planejamento estratégico. Dito de outra forma, há programas que não almejam a nota 7, até porque não dispõem de recursos para pleiteá-la. Entretanto, as métricas de itens e quesitos da avaliação pontuam somente até a nota 5. Para ser nota 5, pelo menos na última avaliação trienal (2011-2013), era necessário ter avaliação global MB e, ainda, no mínimo conceito B em Corpo Docente e em Corpo Discente, com nenhum conceito R nos itens desses quesitos. Era preciso também ter conceito MB em Produção Intelectual e em todos os seus itens.

Essas exigências explicam a distorção da curva normal, abordada na seção anterior, cuja causa não está apenas na qualidade dos cursos, mas no dado histórico de que as pontuações foram alteradas sem que o modelo de avaliação o fosse. Ocorre, aqui, o que Pena (2003) chamou de continuidade subjacente ao processo de mudança de paradigma. Houve a mudança de conceitos de até 5 para até 7, mas se manteve o modelo de avaliação vigente, com nota até 5, criando-se outra avaliação para os programas nota 5. Segundo Pena (2003), ainda que a revolução copernicana seja o grande exemplo de uma mudança de paradigma, o modelo de Copérnico preservava os pressupostos platônicos para a investigação astronômica, entre eles a concepção de que todos os movimentos celestes são circulares e a noção de que a velocidade dos corpos celestes é invariável. Reconhece-se, assim, a continuidade, mesmo em um processo tido como revolucionário. Foi preciso que Johannes Kepler (1571-1630) descobrisse as leis que levam seu nome para jogar por terra a ideia de que o círculo e a não variação eram a perfeita expressão da ordem cósmica.

No âmbito da pós-graduação, já vivemos a revolução copernicana, passando da primazia do ensino para a primazia da pesquisa. Entretanto, falta-nos uma contribuição, como a de Johannes Kepler para a astronomia, que nos permita formular um novo modelo de avaliação que incorpore os critérios de inserção internacional, liderança e solidariedade aos quesitos de Núcleo Docente, Produção Docente, Produção Discente e Inserção Social. Os critérios apresentados para um programa ser 6 e 7 podem muito bem ser incorporados nesses quesitos.

A segunda proposição contributiva desse artigo é uma reflexão sobre o significado de NDP. Trata-se de um corpo de professores, que se espera estável. Como corpo, ele dá identidade a um conjunto de sistemas, que são coordenados por uma cabeça pensante. Um corpo de professores não pode ter pessoas com o mesmo perfil, assim como o corpo humano não pode ter membros ou órgãos com as mesmas funções. O que dá organicidade a um corpo é a capacidade de integrar os diferentes órgãos e membros. Em um corpo, cada célula é importante. O crescimento desproporcional de células iguais é como um câncer a impedir o exercício da diversidade.

Dada essa metáfora, é relevante conceber no processo de avaliação de um PPG a importância do respeito à diversidade dos docentes. Há professores com vocação para a sala de aula, outros para a internacionalização da pesquisa e outros para atividades de gestão. O que é melhor para um PPG: ter um professor sênior que não leciona na graduação, mas de alta produtividade intelectual e ótima inserção internacional, ou deixar de tê-lo, se a primeira exigência for universal? É melhor para um PPG ter ou não ter um professor vocacionado para a sala de aula, com competência para escrever livros didáticos e elevada competência para fazer a gestão do programa, mas que não publica seus artigos em periódicos internacionais do primeiro escalão?

Essa reflexão acentua a importância da avaliação da distribuição dos itens avaliados entre os professores do NDP. É preciso pensar o programa a partir de seu grupo de professores, como corpo, como equipe, não como um agrupamento de indivíduos que idealizam determinado perfil de pesquisador. Fazemos coro a Nascimento (2010), que aponta o risco do sistema induzir os pesquisadores a participarem apenas de atividades que somam pontos na avaliação da Capes, levando os cursos e programas ao que vem sendo denominado produtivismo acadêmico.

REFERÊNCIAS

• ALCADIPANI, R. Resistir ao produtivismo: uma ode à perturbação acadêmica. Cadernos Ebape.BR, v. 9, n. 4, p. 1174-1178, 2011.
• BIANCHETTI, L.; MACHADO, A. Trabalho professor no stricto sensu: publicar ou perecer? In: FIDALGO, F.; OLIVEIRA, M. A.; FIDALGO, N. (Orgs.). A intensificação do trabalho professor: tecnologias e produtividade. Campinas: Papirus, 2009. p. 49-89.
• BIANCHETTI, L.; SGUISSARDI, V. Desafios e dilemas da gestão e da avaliação da pós-graduação. Campinas: Autores Associados, 2009.
• BLOOM, B.; HASTINGS, J.; MADAUS, G. Handbook of formative and summative evaluation of student learning. New York: McGraw-Hill, 1971.
• BRASIL. Decreto n. 86.816, de 5 de janeiro de 1982. Dispõe sobre a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes), e dá outras providências. 1982. Disponível em: <Disponível em: http://www2.camara.leg.br/legin/fed/decret/1980-1987/decreto-86816-5-janeiro-1982-436737-publicacaooriginal-1-pe.html >. Acesso em: 30 abr. 2018.
  » http://www2.camara.leg.br/legin/fed/decret/1980-1987/decreto-86816-5-janeiro-1982-436737-publicacaooriginal-1-pe.html
• BRASIL. Medida Provisória n. 150, de 15 de março de 1990 convertida na Lei n. 8.028 de 1990. Dispõe sobre a organização da Presidência da República e dos Ministérios, e dá outras providências. 1990a. Disponível em:<Disponível em:http://www.planalto.gov.br/ccivil_03/mpv/1990-1995/150.htm >. Acesso em: 30 abr. 2018.
  » http://www.planalto.gov.br/ccivil_03/mpv/1990-1995/150.htm
• BRASIL. Lei n. 8.028, de 12 de abril de 1990. Dispõe sobre a organização da Presidência da República e dos Ministérios, e dá outras providências. 1990b. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/leis/l8028.htm >. Acesso em: 30 abr. 2018.
  » http://www.planalto.gov.br/ccivil_03/leis/l8028.htm
• BRASIL. Lei n. 8.405, de 9 de janeiro de 1992. Autoriza o Poder Executivo a instituir como fundação pública a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) e dá outras providências. 1992. Disponível em:<Disponível em:http://www.planalto.gov.br/ccivil_03/leis/l8405.htm >. Acesso em: 30 abr. 2018.
  » http://www.planalto.gov.br/ccivil_03/leis/l8405.htm
• BRASIL. Lei n. 11.502, de 11 de julho de 2007. Modifica as competências e a estrutura organizacional da fundação Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES, de que trata a Lei n. 8.405, de 9 de janeiro de 1992; e altera as Leis n. 8.405, de 9 de janeiro de 1992, e 11.273, de 6 de fevereiro de 2006, que autoriza a concessão de bolsas de estudo e de pesquisa a participantes de programas de formação inicial e continuada de professores para a educação básica. 2007. Disponível em: <Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/lei/l11502.htm> Acesso em: 30 abr. 2018.
  » http://www.planalto.gov.br/ccivil_03/_ato2007-2010/2007/lei/l11502.htm>
• BRASIL. Decreto n. 6.755, de 29 de janeiro de 2009. Institui a Política Nacional de Formação de Profissionais do Magistério da Educação Básica, disciplina a atuação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES no fomento a programas de formação inicial e continuada, e dá outras providências. 2009. Disponível em:<Disponível em:https://www.capes.gov.br/images/stories/download/legislacao/Decreto-6755-2009.pdf >. Acesso em: 30 abr. 2018.
  » https://www.capes.gov.br/images/stories/download/legislacao/Decreto-6755-2009.pdf
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Plano Nacional de Pós-Graduação, 1982. 1982. Disponível em:<Disponível em:http://www.capes.gov.br/images/stories/download/editais/II_PNPG.pdf >. Acesso em:15 fev. 2016.
  » http://www.capes.gov.br/images/stories/download/editais/II_PNPG.pdf
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Plano Nacional de Pós-Graduação, 1985. 1985. Disponível em: <Disponível em: http://www.capes.gov.br/images/stories/download/editais/III_PNPG.pdf >. Acesso em: 15 fev. 2016.
  » http://www.capes.gov.br/images/stories/download/editais/III_PNPG.pdf
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES).Reformulação do sistema de avaliação da pós-graduação: o modelo a ser implantado na avaliação de 1998. Brasília, DF: Capes, 1998.
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Plano Nacional de Pós-Graduação, 2004. 2004. Disponível em:<Disponível em:http://www.Capes.gov.br/avaliacao/avaliacao-da-pos-graduacao >. Acesso em: 15 fev. 2016.
  » http://www.Capes.gov.br/avaliacao/avaliacao-da-pos-graduacao
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Relatório de avaliação 2007-2009. 2006. Disponível em:<Disponível em:http://trienal.Capes.gov.br/?page_id=100 >. Acesso em: 15 fev. 2016.
  » http://trienal.Capes.gov.br/?page_id=100
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Plano Nacional de Pós-Graduação (PNPG): 2011-2020. Brasília, DF: Capes, 2010. 1 v. Disponível em:<Disponível em:http://www.capes.gov.br/images/stories/download/Livros-PNPG-Volume-I-Mont.pdf >. Acesso em: 15 fev. 2016.
  » http://www.capes.gov.br/images/stories/download/Livros-PNPG-Volume-I-Mont.pdf
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). História e missão. 2012. Disponível em: <Disponível em: http://www.Capes.gov.br/sobre-a-Capes/historia-e-missao >. Acesso em: 15 fev. 2016.
  » http://www.Capes.gov.br/sobre-a-Capes/historia-e-missao
• COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (CAPES). Documento de Área 2016. 2017. Disponível em:<Disponível em:http://capes.gov.br/images/documentos/Documentos_de_area_2017/27_ADMI_doc_area_2016_final_20jan2017.pdf >. Acesso em: 15 fev. 2016.
  » http://capes.gov.br/images/documentos/Documentos_de_area_2017/27_ADMI_doc_area_2016_final_20jan2017.pdf
• CASTRO, C. M.; SOARES, G. A.D. Avaliando as avaliações da Capes. Revista de Administração de Empresas, v. 23, n. 3, p. 63-73, 1983.
• CURY, C. R. J. Quadragésimo ano do parecer CFE n. 977⁄65. Revista Brasileira de Educação, v. 30, p. 7-30, 2005.
• DANTAS, D. C. Dimensões da pós-graduação e o modelo Capes de avaliação: uma discussão sobre critérios e sua mensuração. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 36., 2012, Rio de Janeiro. Anais...Rio de Janeiro: Anpad, 2012.
• FONSECA, C. Avaliação dos programas de pós-graduação: do ponto de vista de um nativo. Horizontes Antropológicos, v. 7, n. 16, p. 261-275, 2001.
• FREITAS, M. Avaliação da produção científica: considerações sobre alguns critérios. Psicologia Escolar e Educacional, v. 2, n. 3, p. 211-228, 1998.
• HORTA, J. S. B.; MORAES, M. C. M. O sistema Capes de avaliação da pós-graduação: da área de educação à grande área de ciências humanas. Revista Brasileira de Educação, v. 30, p. 95-181, 2005.
• KUENZER, A. Z.; MORAES, M. C. M. Temas e tramas na pós-graduação em educação. Educação e Sociedade, v. 93, n. 26, p. 1341-1362, 2005.
• LEITE, M. F. B.; VIANA, A. B. N.; PEREIRA, G. G. Métodos quantitativos na avaliação da CAPES: uma pesquisa bibliográfica. Facef Pesquisa, v. 9, n. 2, p. 166-174, 2006.
• LUIZ, R. R. Avaliação de produtividade acadêmica: uma proposta de quantificação. Revista Brasileira de Pós-Graduação, v. 3, n. 6, p. 300-312, 2006.
• MACCARI, E. A.; LIMA, M. C.; RICCIO, E. L. Uso do sistema de avaliação da Capes por programas de pós-graduação em administração no Brasil. Revista de Ciências da Administração, v. 11, n. 25, p. 68-96, 2009.
• MACCARI, E. A. et al. Sistema de avaliação da pós-graduação da Capes: pesquisa-ação em um programa de pós-graduação em Administração. Revista Brasileira de Pós-Graduação, v. 9, n. 5, p. 171-205, 2008.
• MACEDO, E.; SOUZA, C. P. A pesquisa em educação no Brasil. Revista Brasileira de Educação, v. 43, n. 15, p. 166-176, 2010.
• MACHADO, A. M. N.; BIANCHETTI, L. (Des)fetichização do produtivismo acadêmico: desafios para o trabalhador-pesquisador. Revista de Administração de Empresas, v. 51, n. 3, p. 244-254, 2011.
• MASCARENHAS, A.; ZAMBALDI, F.; MORAES, E. Rigor, relevância e desafios da academia em administração: tensões entre pesquisa e formação profissional. Revista de Administração de Empresas, v. 51, n. 3, p. 265-279, 2011.
• MATTOS, P. Nós e os índices: a propósito da pressão institucional por publicação. Revista de Administração de Empresas, v. 48, p. 144-149, 2008.
• MATTOS, P. Pés de barro do texto “produtivista” na academia. Revista de Administração de Empr esas, v. 52, n. 5, p. 566-573, 2012.
• MOREIRA, A. F. A A cultura da performatividade e a avaliação da pós-graduação em educação no Brasil. Educação em Revista, v. 25, n. 3, p. 23-42, 2009.
• NASCIMENTO, L. F. Modelo Capes de avaliação: quais as consequências para o triênio 2010-2012?. Administração: Ensino e Pesquisa, v. 4, n. 11, p. 579-600, 2010.
• PENA, R. P. M. A ciência como jogo. Belo Horizonte: Com Arte, 2003.
• RODRIGUES, L. O. C. Publicar mais, ou melhor? O Tamanduá Olímpico. Revista Brasileira de Ciência e Esporte, v. 29, n. 1, p. 35-48, 2007.
• SCRIVEN, M. The metodology of evaluation. In: TYLER, R.; GAGNÉ, R. M. Y; SCRIVEN, M. (Ed.). Perspectives of curriculum evaluation. Chicago: Rand Mac Nally, 1967. p. 39-83.
• SGUISSARDI, V. A avaliação defensiva no “modelo Capes de avaliação”: é possível conciliar avaliação educativa com processos de regulação e controle do Estado?. Perspectiva, v. 24, n. 1, p. 49-88, 2006.
• SHIGAKI, H. B.; PATRUS, R. Avaliação de Artigos Científicos em Administração: Critérios e Modelos de Avaliadores Experientes. Teoria e Prática em Administração, v. 6, p. 107-135, 2016.
• SOUSA, E. F. O discurso da Capes para a avaliação dos programas de pós-graduação: da (des)fragmentação à comunicação em rede. 2008. 306 f. Tese (Doutorado em Linguística) - Universidade de Brasília, Brasília.
• SOUZA, S. Z.; BIANCHETTI, L. Pós-graduação e pesquisa em educação no Brasil: o protagonismo da ANPEd. Revista Brasileira de Educação, v. 36, n. 12, p. 389-409, 2007.
• SPAGNOLO, F.; SOUZA, V. C. Modelo Capes de avaliação. Revista Brasileira de Pós-Graduação, v. 2, p. 8-33, 2004.
• STRATHERN, M. “Improving ratings”: audit in the British University System. European Review, v. 3, n. 5, p. 305-321, 1997.
• TREIN, E.; RODRIGUES, J. O mal-estar na academia: produtivismo científico, o fetichismo do conhecimento mercadoria. Revista Brasileira de Educação, v. 16, n. 48, p. 769-819, 2010.
• VIANA, A. B. N.; MANTOVANI, D. M. N.; VIEIRA, A. R. Análise dos programas de pós-graduação avaliados pela Capes: relação entre conceitos dos programas e índice de publicação. In: ENCONTRO DA ASSOCIAÇÃO NACIONAL DE PÓS-GRADUAÇÃO E PESQUISA EM ADMINISTRAÇÃO, 32., 2008, Rio de Janeiro. Anais... Rio de Janeiro: Anpad , 2008.

• 1
  Os autores agradecem à Capes e à Fapemig pelo apoio financeiro.

Datas de Publicação

• Publicação nesta coleção
  Oct-Dec 2018
• Data do Fascículo
  Dez 2018

Histórico

• Recebido
  01 Mar 2017
• Aceito
  08 Maio 2018