Produção acadêmica em avaliação do ensino superior no Brasil¹

Academic production in higher education evaluation in Brazil

Resumos

A avaliação do ensino superior no Brasil se mostra recorrente nas pesquisas na área de Educação, sendo diversos os pesquisadores que a buscam compreender, pelo impacto que esta possui quanto as reformas educacionais. O objetivo geral da presente pesquisa consiste em investigar a distribuição da produção acadêmica relacionada ao tema “Avaliação do Ensino Superior no Brasil”, no que tange características como: autoria, vínculos institucionais, regionalidade, fator de impacto, palavras-chave e metodologias. Trata-se de um estudo quantitativo, caracterizado como pesquisa exploratória e descritiva que se utiliza da bibliometria. Analisou-se 222 artigos publicados em doze periódicos nacionais de Qualis A1 e A2 no quesito Educação. Os resultados mostraram uma diminuição da produção nos últimos anos acerca do tema, o que evidencia que a produção acompanha as mudanças políticas e sociais do país. De forma mais pontual, verificou-se uma tendência maior a coautorias, uma predominância de trabalhos teóricos e uma alta concentração de fator de impacto em poucos autores.

Palavras-chave:
Bibliometria; Avaliação do ensino superior; Avaliação institucional; Produção científica; Educação. Ensino

Higher education evaluation in Brazil has become an increasingly popular topic in education research, with a great number of researchers that try to understand it, because of the impact it has on the educational reforms. The objective of this research consist in the investigation of the academic production, with respect to the theme “Higher Education Evaluation in Brazil”, regarding characteristics such as authorship, institutional link, regionalism, impact factor, keywords and methodologies. It consists in a quantitative work, characterized as an exploratory and descriptive, which applies bibliometric methods. It was analyzed 222 articles, published in twelve Brazilian journals, ranked on Qualis A1 and A2 on Education. The results show a decrease on the publishing about the subject on recent years, and that the production keep up with the social and political changes on the country. In a more punctual tendency, it was observed an increase in co-autorship, a predominance in theoretic works and a high concentration of impact factor in a few authors.

Key words:
Biblimometry; Higher education evaluation; Institutional evaluation; Scientific production; Education. Teaching

1 Introdução

Desde 1980 observam-se uma mudança relacionada a administração pública no Brasil e no mundo, cuja reforma deriva de um discurso que se utiliza de estratégias do setor privado como benchmark para a formulação do setor público. Alguns acontecimentos que modificaram tal cenário seriam: a crise fiscal do Estado; a crescente competição territorial pelos investimentos privados e mão de obra qualificada; a ascensão de valores pluralistas e neoliberais; e o aumento de complexidade social (SECCHI, 2009).

Com base no trabalho de Andion (2012), é possível a observação dos paradigmas (formulações metateóricas elaboradas por Thomas Khun, cujas bases axiomáticas desenham a visão de mundo de uma comunidade científica e seu método de atuação) da administração pública brasileira: O modelo Estadocêntrico (EC), Pluralista (PL), Nova Administração Pública (NAP) e Novo Serviço Público (NSP). Tais paradigmas desempenham um papel de alto impacto perante as políticas de avaliação do ensino superior e de maneira breve, serão especificados.

O paradigma Estadocêntrico, predominante no Brasil desde antes do surgimento da administração pública e vigorando fortemente até a década de 1970, tem o Estado sob o papel de promotor do desenvolvimento, cujo caráter é centralizador, unificador e tecnicista (KEINERT, 1994). O Estado toma-se como único planejador, operacionalizador e avaliador das políticas públicas, estas definidas como diretrizes elaboradas para enfrentar problemas públicos, em formato de cima para baixo, predominando a orientação racional-instrumental, voltada a eficiência e eficácia (ANDION, 2012).

Com a crise de 1980, que diminui a soberania do Estado Nação, ocorre uma aproximação da administração pública com a ciência política, dando origem à corrente Pluralista. Nessa visão, a política pública é vista como um processo político incremental, que envolve diversos autores e sua maior conquista foi a promoção da importância da sociedade civil, ou seja, da participação popular (ANDION, 2012; PAULA, 2005).

Em 1990, tem-se as novas propostas da Nova Administração Pública (NAP) em resposta a crise do Estado de Bem-Estar. O NAP se utiliza de abordagens do setor privado, junto a uma lógica de mercado, composto por uma série de valores e princípios administrativos voltados a eficiência, a descentralização e a excelência do serviço público (DENHARDT, 2012). Sendo assim a base para terceira grande Reforma Administrativa Brasileira, implantada pelo ministro Bresser Pereira, sob a gestão de Fernando Henrique Cardoso. Uma das principais críticas referentes a NAP dá-se em torno de seu viés economicista e administrativo, que desconsidera a dimensão política e institucional (ANDION, 2012).

No Novo Serviço Público, surgido como um contraponto às correntes EC e NAP junto a consolidação democrática a partir da segunda metade dos anos 1990, tem-se a perspectiva de melhorar não somente o desempenho do Estado, mas também criar novos padrões entre a sociedade e o mesmo, retornando à arena as dimensões política e institucional (DENHARDT, 2012). Suas bases são: as teorias democráticas e de cidadania; modelos de comunidade e sociedade civil; humanismo organizacional; e a teoria do discurso. Assim, “ENT#091;...ENT#093; o cidadão torna-se um protagonista na prestação do serviço público e na promoção da transformação social” (ANDION, 2012, p. 10).

Observa-se então o predomínio de uma perspectiva que visa o desempenho, a eficiência e a eficácia, no que a administração pública brasileira, tomada primariamente pela corrente Estadocêntrica e pelo NAP, estas que não tomam como base a historicidade, o conflito e a subjetividade dos atores, como nas perspectivas subsidiadas pelas correntes Pluralista e NSP (ANDION, 2012). Tal que se observa tais características no histórico da avaliação do ensino superior, pois esta tende a ensejar sempre uma visão do paradigma político vigente sobre a educação.

Porém, tais paradigmas citados não devem ser analisados como uma progressão linear, relacionada a ascensão, declínio e predomínio. Devem ser analisados perante toda a complexidade da sociedade atual (MORIN, 2007), onde o devir não incide necessariamente em um desenvolvimento, devido ao fator de contínua incerteza, incerteza essa que promove a necessidade de uma percepção que respeite o contexto onde se situa as instituições. Desse modo, todos os paradigmas, ou pelo menos fragmentos destes, podem ser contemplados em uma análise do cenário brasileiro (MORIN; KERN, 2003).

Apresenta-se, num primeiro momento, um breve histórico das políticas de avaliação do ensino superior no Brasil. Para então discutir a respeito da produção acadêmica relacionada ao tema, sendo esta pesquisa análoga a outras realizadas anteriormente por Amboni, Caminha e Andrade (2012) e Rothen e Barreyro (2011a), por exemplo.

2 Breve Histórico de Avaliação do Ensino Superior

Tomado como uma “ENT#091;...ENT#093; ferramenta principal da organização e implementação das reformas educacionais” (DIAS SOBRINHO, 2010, p. 195), a avaliação do ensino superior possui uma rica trajetória, cuja estruturação em um modelo de avaliação nacional se dá apenas após a década de 1990. Tal trajetória é impactada pelas correntes paradigmáticas da administração pública em voga, estas que suscitam sobre a avaliação o teor político e social de seu contexto devido a relação direta entre a avaliação e a regulação do ensino superior.

Quanto a estruturação do histórico da avaliação do ensino superior, Polidori et al. (2011) o separam em quatro ciclos:

• Primeiro Ciclo (1986 a 1992) - Envolve as primeiras iniciativas de organização de um processo de avaliação, caracterizada por avaliações isoladas que compreendem o Programa de Avaliação da Reforma Universitária (PARU) e o Grupo Executivo da Reforma do Ensino Superior (GERES);

• Segundo Ciclo (1993 a 1995) - Envolve a formulação de políticas e a instalação do Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB);

• Terceiro Ciclo (1996 a 2003) - Envolve a consolidação da proposta governamental de avaliação, caracterizado pelo Exame Nacional de Cursos e Avaliação das Condições de Oferta (ACO), que passa a ser posteriormente Avaliação das Condições de Ensino (ACE);

• Quarto Ciclo (2003 a atual) - Envolve a construção de uma avaliação emancipatória que remete a implantação do Sistema Nacional de Avaliação da Educação Superior (SINAES).

Antes mesmo do primeiro ciclo, em 1977, os debates acerca da avaliação se iniciam pela a instituição de cursos de pós-graduação, especialmente dos cursos de mestrado e doutorado pela Coordenadoria de Aperfeiçoamento do Pessoal de Nível Superior (CAPES) (ZANDAVALLI, 2009). E a discussão somente toma forma na década de 1980, com a instituição do PARU (1983), da “Comissão de Notáveis” (1985), e do GERES (1986). Porém, seu foco não era situado sobre a avaliação propriamente tida, esta era considerada apenas como um elemento de um conjunto maior chamado política. O que veio a se alterar na década de 1990, com o PAIUB (1993), o ENC-Provão (1997) e na década de 2000, com o SINAES (2003), quando a avaliação começa a ganhar espaço nas discussões, ao tomar forma e receber metodologias próprias (ROTHEN; BARREYRO, 2011a).

Discutido ao longo de 2003 pela proposta da Comissão Especial de Avaliação (criada pelo SESu), o SINAES é implantado em 2004 pela lei 10.861, em 14 de abril de 2004. O objetivo do sistema era prover uma avaliação que sanasse os problemas do Provão (ENC) referentes a seu caráter fragmentário e estacionário, por meio de uma avaliação global e integradora (DIAS SOBRINHO, 2010), concebido a partir de ideias que visavam a participação e a integração em três processos, originalmente coordenados pela CONAES (Comissão Nacional de Avaliação da Educação Superior):

• Avaliação das IES (AVALIES) - que trabalha com o perfil e objetivo da Instituição, formada pela autoavaliação e pela Comissão Própria de Avaliação (CPA), que trabalha em dez dimensões de avaliação e a avaliação externa in loco;

• Avaliação dos Cursos de Graduação (ACG) - que analisa fatores como infraestruturas físicas, recursos humanos por uma comissão de avaliadores;

• Avaliação do desempenho dos estudantes (ENADE) - que estabelece indicadores de desempenho dos estudantes no que concerne as diretrizes curriculares, habilidades e competências mínimas requeridas para a constituição profissional (LACERDA, 2015).

Tal multiplicidade de perspectivas (AVALIES, CPA e ENADE) justifica-se pela complexidade da educação superior, que ao utilizar-se de diversos indicadores garante a coerência epistemológica e conceitual do processo. O maior desafio do SINAES era a sua articulação de duas dimensões avaliativas, a educativa, de caráter formativo, e a de regulação, de caráter somativo, tais que requerem lógicas de organização e interpretação distintas. A primeira pressupõe um objetivo a priori a ser alcançado, e a segunda assemelha-se a um processo de auditoria. O trabalho com ambas as perspectivas de avaliação, (formativa e somativa), de modo não excludente, requer tanto amadurecimento (dos processos) quanto preparo técnico, condição de difícil realização no curto prazo, tal como era promovido pelo SINAES (RIBEIRO, 2015).

Entre os anos 2004 e 2007, a preocupação ainda era quanto a função educativa e formativa da avaliação. A partir de 2007, há um novo direcionamento do SINAES com o estabelecimento de suas bases, em características como a definição de ciclo avaliativo, a introdução de índices de qualidade e a culminação do ENADE como elemento disparador do ciclo avaliativo. Também a partir de 2007, a lógica somativa de avaliação é acentuada, que relega a auto avaliação segundo plano, tornando o desempenho da instituição atrelado, em maior peso, a opinião do aluno sobre alguns insumos da instituição junto aos resultados do ENADE, desestabilizando assim as conquistas anteriores (FRANCO, 2012; POLIDORI et al., 2011; RIBEIRO, 2015).

Nesse quadro eivado de discussões, avanços e retrocessos, essa pesquisa busca identificar a produção acadêmica relacionada a avaliação do ensino superior, nos últimos vinte anos no Brasil.

3 Percurso Metodológico

Esta seção caracteriza a classificação e delineamento dos procedimentos metodológicos utilizados na construção da pesquisa. Sendo este estudo alinhado com pesquisas realizadas anteriormente por Hayashi e Ferreira Junior (2010), Bittar, Silva e Hayashi (2011), Amboni, Caminha e Andrade (2012), Bach, Domingues e Walter (2013) e Rothen e Barreyro (2011a).

O estudo apoia-se em uma pesquisa de natureza teórica/empírica, bibliográfico devido a análise de estudos já publicados quanto ao tópico especificado. O objetivo é exploratório e descritivo, e possui caráter quantitativo, devido ao abranger de questões referentes a bibliometria, como por exemplo, a quantidade de artigos produzidos e o impacto dos mesmos (ARAÚJO, 2006; CRESWELL, 2014).

A bibliometria foi escolhida como ferramenta pois, como fala Araújo (2006, p. 13), esta consiste na “ENT#091;...ENT#093; aplicação de técnicas estatísticas e matemáticas para descrever aspectos da literatura e de outros meios de comunicação (análise quantitativa da informação) ”, e a “ENT#091;...ENT#093; diferença essencial entre a tradicional bibliografia e a bibliometria é que esta utiliza mais métodos quantitativos do que discursivos. Assim, a utilização de métodos quantitativos na busca por uma avaliação objetiva da produção científica é o ponto central da bibliometria”.

Quanto a escolha dos periódicos, esta foi feita segundo os conceitos do sistema Qualis da Capes vigentes em 2015. Dos quais foram analisados periódicos classificados segundo os conceitos A1 e A2 na área de “Educação”, o que parametriza um perfil qualitativo ao campo selecionado.

Dentre tal universo de periódicos, escolheu-se, de acordo com a linha editorial, um total de 12 periódicos, que podem ser observados na tabela 1. Tais revistas possuem um banco de dados próprio, além de indexação na base de dados Scielo e Scielo Educa (da Fundação Carlos Chagas), que possibilitam a pesquisa por descritores, porém, observa-se que algumas revistas cadastradas na Scielo Educa e Scielo não possuem todos os seus artigos indexados de maneira que permite a pesquisa por descritores, o que levou a uma pesquisa manual, edição por edição nas mesmas.

Os descritores utilizados para pesquisa foram: “Avaliação do Ensino Superior”, “Avaliação da Educação Superior”, “Avaliação Institucional”, “Avaliação Externa”, “Auto-avaliação”, “Avaliação Interna”, “Políticas de Avaliação” e “Avaliação de Instituições do Ensino (da Educação) Superior”, todos remetendo a temática do Ensino Superior. Ressalte-se que outros descritores poderiam ter sido utilizados na busca sistemática. O total de artigos consultados foi de 7.125. Deste total, foram selecionados 379 para uma primeira análise por meio da leitura dos resumos, das palavras chave e dos títulos. Uma segunda análise foi realizada, de maneira mais profunda, muitas vezes remetendo a leitura completa do artigo, que veio a descartar 157 documentos pelos seguintes critérios:

• Não relação com o tema pesquisado;

• Conter menos de 7 páginas; e

• Não conter referências bibliográficas.

• Ao final, tem-se 222 artigos correspondentes a temática “Avaliação do Ensino Superior”. A tabela 1 sintetiza a classificação dos periódicos selecionados, a faixa temporal condizente a pesquisa e o total de artigos selecionados de cada periódico.

Tabela 1
Categorização dos periódicos pesquisados - Qualis, Faixa Temporal, Artigos Consultados e Artigos selecionados do universo estudado

Periódicos	Qualis	Faixa Temporal	Total de artigos selecionados	Porcentagem
Avaliação (Campinas)	A1	1996-2014	136	61,26%
Cadernos CEDES	A2	1997-2014	1	0,45%
Cadernos de Pesquisa	A1	1994-2014	3	1,35%
Educar em Revista	A1	1994-2014	2	0,90%
Educação e Pesquisa	A1	1999-2014	5	2,25%
Educação e Realidade	A1	2000-2014	2	0,90%
Educação e Sociedade	A1	1997-2014	7	3,15%
Educação em Revista	A1	1994-2014	1	0,45%
Ensaio	A1	1994-2014	31	13,96%
Estudos em Avaliação Educacional	A2	1994-2014	25	11,26%
Revista Brasileira de Educação	A1	1995-2014	3	1,35%
Revista Diálogo Educacional	A2	2000-2014	6	2,70%
Total			222	100,00%

• Fonte: Elaborado pelos autores (2015)

Em relação a terceira e quarta etapa, que compreende a análise e interpretação das informações e a apresentação dos resultados, ambos foram realizados utilizando-se do software Excel 2013, objetivando a compilação dos dados em gráficos e elaboração de tabelas.

4 Apresentação dos Dados

4.1 Distribuição Cronológica da Amostra

Durante o período 1994-2014, é possível observar uma média de 11,10 artigos por ano distribuídos conforme o gráfico 1.

Gráfico 1
Produção acadêmica de todos os periódicos da amostra (1994-2014)

O gráfico 1 abrange desde o primeiro artigo publicado, obtido segundo as especificações metodológicas desse trabalho, de 1994, intitulado “Avaliação Institucional da Universidade Brasileira: questões polarizadoras” de Antônio Amorin e Sandra Maria Zákian Lian Souza no periódico “Estudos em Avaliação Educacional”, até a produção acadêmica de diversas revistas nos anos de 2014, passando por picos de produção nos anos de 2003 e 2006.

A maior parte da produção a despeito do tema, observada na tabela 1, concentra-se na revista Avaliação (Campinas), com 136 artigos (61,26% da produção acadêmica), seguida pela revista Ensaio, com 31 artigos (13,96% da produção acadêmica), e pela revista Estudos em Avaliação Educacional, com 25 artigos (11,26% da produção acadêmica). As demais revistas (30 artigos, ou 13,51% da produção acadêmica), são caracterizadas por uma produção esporádica quanto ao tema, caracterizada muitas vezes por edições especiais concernentes a avaliação, ou políticas do ensino superior.

As mudanças nos três principais periódicos são apresentadas no gráfico 2, de modo que se observa uma concentração da produção sobre o tema na revista Avaliação (Campinas) de 1997 a 2004, sendo o pico de publicações em 2003, com 18 artigos, impulsionada por eventos como a troca de governo e início do processo de criação do SINAES. A partir de 2005, tem-se uma queda na produção acerca do tema, que culmina no menor número de publicações sobre o tema, em 2014. Os outros. As outras duas revistas que mais publicaram (Ensaio e Estudos em Avaliação Educacional), se caracterizam por uma produção variável e instável acerca do tema desde 1994, além de também apresentar um menor número de publicações no período de 2013 a 2014.

Gráfico 2
Distribuição cronológica da produção dos três artigos com o maior número de artigos da amostra - Avaliação, Ensaio e Estudos em Avaliação Educacional

Como exemplificação de alguns dos possíveis eventos que impactaram a produção acadêmica, tem-se:

• A criação do Provão (ENC) em 1995 (lei 9.131/95) e efetivado como instrumento de avaliação da Educação Superior a partir de 1996;

• O Plano Nacional de Educação (PNE) de 2001 (Lei 10.172/2001;

• A troca de presidência em 2003, onde o SINAES inicia seu processo de criação a partir da Comissão Especial de Avaliação do Ensino Superior (CEA),

• A transformação do SINAES em lei, em 2004 (Lei 10.861);

• As mudanças nos órgãos operacionais e regulatórios do INEP, SESu, SETEC e SEED, em 2005, além de mudanças na concepção do SINAES;

• A instituição do Decreto nº 5.773 em 2006, que organiza o ensino superior em três categorias (Faculdades, Centros Universitários e Universidades);

• Instauração de dois novos indicadores no SINAES, o Conceito Preliminar de Curso (CPC) e o Índice Geral de Cursos da Instituição de Educação Superior (IGC) em 2008.

• A instauração da Portaria nº40/2007, versão 2010, onde os estudantes ingressantes não fariam mais as provas específicas, mas sim as provas gerais, com base na matriz do Exame Nacional do Ensino Médio (ENEM) (BARREYRO; ROTHEN, 2014; POLIDORI et al., 2011; DIAS SOBRINHO, 2010; ZANDAVALLI, 2009).

Ao observar o gráfico 2, é possível constatar que certos eventos suscitaram reações do meio acadêmico. Desta forma, tem-se uma produção que atua como fonte de reação da academia às mudanças políticas e sociais decorrentes. Reação essa que defendeu uma avaliação completa que respeitasse o contexto e objetivo das instituições diante da mercantilização do ensino (DIAS SOBRINHO, 2010).

4.2 Autoria e Vínculo Institucional dos Autores

No que tange à autoria dos artigos, verifica-se um total de 302 autores envolvidos na produção dos artigos da amostra. Muitos autores produziram mais de um artigo, desse modo, cada autor pode ter mais de um vínculo à produção, sendo tal distribuição exposta na tabela 2. O número de vínculos institucionais é obtido ao multiplicar a quantidade de autores pelo número de artigos que publicaram, gera um total de 413 vínculos institucionais, ou seja, 413 instâncias autorais foram encontradas nos artigos.

Tabela 2
Quantidade de artigos produzidos por autor da amostra

Quantidade de Artigos	Quantidade de Autores	Percentual (%)	Vínculos
1	245	81,13%	245
2	31	10,26%	62
3	16	5,30%	48
4	4	1,32%	16
5	1	0,33%	5
6	2	0,66%	12
7	1	0,33%	7
9	2	0,66%	18
Total	302	100,00%	413

• Fonte: Elaborado pelos autores (2015)

Quanto aos autores que mais produziram a despeito do tema, ao total onze, são apresentados de maneira ranqueada na tabela 3, autores estes que publicaram, individualmente ou em coautoria, a maior quantidade de artigos na amostra sob o período analisado.

Tabela 3
Ranking dos onze autores com o maior número de artigos publicados da amostra - Distribuídos por número de estudos - Quantidade e Proporção (%)

Ordem	Autor	Quantidade	Proporção (%)
1º	Barreyro, Gladys Beatriz	9	4,05%
2º	Rothen, José Carlos	9	4,05%
3º	Dias Sobrinho, José	7	3,15%
4º	Polidori, Marlis Morosini	6	2,70%
5º	Catani, Afrânio Mendes	6	2,70%
6º	Andriola, Wagner Bandeira	5	2,25%
7º	Rodrigues, Francisco De Paula Marques	4	1,80%
8º	Meneghel, Stela Maria	4	1,80%
9º	Sousa, Sandra Maria Zákia Lian	4	1,80%
10º	Cunha, Maria Isabel da	4	1,80%

• Fonte: Elaborado pelos autores (2015)

Além dos autores, é de alto pertinência o levantamento das Instituições de Ensino Superior (IES) de origem dos pesquisadores que publicaram na amostra analisada, estas apresentadas de modo ranqueado na tabela 4. Os vínculos institucionais correspondem ao número bruto de autores citados, vale ressaltar que 84 IES nacionais representam 378 dos vínculos, 9 IES internacionais (representadas por instituições de Portugal e Espanha) representam 10 dos vínculos e 15 instituições são proeminentes de outros vínculos (públicos ou privados) e representam 25 vínculos, totalizando os 413 vínculos de publicações.

Tabela 4
Ranking das IES com as maiores quantidades de autores de artigos participantes da amostra, distribuídas pelo número de autores - Quantidade, UF e Proporção (%)

Ordem	IES	UF	Quant. de Vínculos	Prop. (%)	Prop. Acum. (%)
1º	Universidade de São Paulo	SP	27	6,54%	6,54%
2º	Universidade Estadual de Campinas	SP	25	6,05%	12,59%
3º	Universidade de Brasília	DF	15	3,63%	16,22%
4º	Universidade Federal de Santa Maria	RS	13	3,15%	19,37%
5º	Universidade Federal do Ceará	CE	12	2,91%	22,28%
6º	Universidade Católica de Pelotas	RS	11	2,66%	24,94%
7º	Pontifícia Universidade Católica de São Paulo	SP	11	2,66%	27,60%
8º	Pontifícia Universidade Católica do Rio Grande do Sul	RS	11	2,66%	30,27%
9º	Universidade Federal de Goiás	GO	11	2,66%	32,93%
10º	Universidade Federal do Rio Grande do Sul	RS	10	2,42%	35,35%
11º	Pontifícia Universidade Católica de Campinas	SP	10	2,42%	37,77%
12º +	Outros		257	62,23%
	Total		413	100,00%

• Fonte: Elaborado pelos autores (2015)

A regionalidade dos vínculos institucionais da amostra é apresentada no gráfico 3, este que revela a proeminência da região Sudeste - com 42,13% da produção - como principal região conveniente ao tema. Seguido pela região Sul - com 28,09% -, da região Nordeste - com 10,17% -, da região Centro-Oeste - com 8,72% e a região Norte - com apenas 2,42% da produção. Vale ressaltar que 35 vínculos não foram computados no gráfico por pertencerem a instituições não ligadas ao ensino, ou por ser de origem estrangeira, que comportam 8,47% dos vínculos. Uma possível razão a distribuição regional deve-se ao fato de que, das instituições que mais produziram, apresentadas na tabela 4, quatro são da região sudeste, três da região sul, duas da região centro-oeste e duas são da região nordeste. Além de que 36 instituições da amostra são da região Sudeste, 24 são da região Sul, 8 são da região Centro-Oeste, 11 são da região Nordeste e 5 são região Norte.

Quanto a cooperação entre IES, constata-se que 31 artigos foram produzidos com base na cooperação entre duas IES e apenas 4 artigos contam com três ou mais IES juntas de um total de 113 artigos que possuem dois ou mais autores, indicando que 78 artigos, com dois ou mais autores, procedentes de trabalhos de mesmas instituições. Este critério revela uma falta contato entre as instituições perante ao tema, contatos estes que auxiliam numa maior interação entre os autores e instituições, e visa a melhoria na qualidade dos artigos pelo intercâmbio de informações (AMBONI; CAMINHA; ANDRADE, 2012; BERTERO; VASCONCELOS; BINDER, 2003; LUCA et al., 2014).

Gráfico
3 - Regionalidade dos vínculos institucionais da amostra

4.3 Fator de Impacto

Quanto aos autores mais influentes, no que tange o nível de impacto, a tabela 5 apresenta os quinze autores que mais foram utilizados em trabalhos posteriores, além de apresentar o número de publicações e a média de vezes que este foi citado.

Tabela 5
Ranking de autores que mais foram citados em trabalhos acadêmicos, número de artigos publicado pela amostra e média de vezes que foram citados

Ordem	Autor(a)	Nº de Artigos	Vezes citado	Média
1º	Dias Sobrinho, José	7	355	51
2º	Dourado, Luiz Fernandes	2	284	142
3º	Barreyro, Gladys Beatriz	9	279	31
4º	Sousa, Sandra Maria Zákia Lian	4	212	53
5º	Catani, Afrânio Mendes	6	203	34
6º	Cunha, Luiz Antônio	1	198	198
7º	Rothen, José Carlos	9	167	19
8º	Polidori, Marlis Morosini	6	142	24
9º	Oliveira, Romualdo Portela De	1	127	127
10º	Cunha, Maria Isabel da	4	121	30
11º	Sguissardi, Valdemar	2	110	55
12º	Azevedo, Mário Luiz Neves De	1	105	105
13º	Lima, Licínio C.	1	105	105
14º	Silva Júnior, João Dos Reis	1	90	90
15º	Oliveira, João Ferreira de	3	89	30

• Fonte: Elaborado pelos autores (2015)

No que tange os principais artigos, a tabela 6 apresenta os dez artigos mais influentes, ou seja, que mais foram citados em trabalhos posteriores, portanto, possuem maior “fator de impacto”, este último obtido pelo Google Scholar em 23 de setembro de 2015.

Tabela 6
Ranking dos artigos com o maior número de citações (fator de impacto) da amostra, com espectivos primeiro autor, periódico e ano - Distribuído por número de citações

Ordem	Primeiro Autor(a)	Título	Periódico	Impacto	Ano
1º	Dourado, Luiz Fernandes	Reforma do estado e as políticas para a educação superior no brasil nos anos 90	Educação & Sociedade	230	2002
2º	Cunha, Luiz Antônio	O ensino superior no octênio FHC	Educação & Sociedade	198	2003
3º	Souza, Sandra Zákia Lian De	Políticas de avaliação da educação e quase mercado no Brasil	Educação & Sociedade	127	2003
4º	Lima, Licínio C.	O processo de Bolonha, a avaliação da educação superior e algumas considerações sobre a Universidade Nova	Avaliação: Revista da Avaliação da Educação Superior (Campinas)	105	2008
5º	Cunha, Maria Isabel da	Docência na universidade, cultura e avaliação institucional: saberes silenciados em questão	Revista Brasileira de Educação	92	2006
6º	Silva Júnior, João Dos Reis	A nova lei de educação superior: fortalecimento do setor público e regulação do privado/mercantil ou continuidade da privatização e mercantilização do público?	Revista Brasileira de Educação	90	2005
7º	Dias Sobrinho, José	Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao SINAES	Avaliação: Revista da Avaliação da Educação Superior (Campinas)	81	2010
8º	Dias Sobrinho, Dias	Avaliação educativa: produção de sentidos com valor de formação	Avaliação: Revista da Avaliação da Educação Superior (Campinas)	74	2008
9º	Dias Sobrinho, José	Avaliação institucional: marcos teóricos e políticos	Avaliação: Revista da Avaliação da Educação Superior (Campinas)	72	1996
10º	Verhine, Robert Evan	Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro	Ensaio: Avaliação e Políticas Públicas em Educação	70	2006

• Fonte: Elaborado pelos autores (2015)

Vale ressaltar que, quanto ao fator de impacto dos artigos, 36 (16,22%) artigos possuem zero número de citações, 150 (67,57%) possuem de um a vinte, 17 (7,66) possuem de vinte e um a quarenta, 5 (2,25%) possuem de quarenta e um a sessenta, 7 (3,15%) possuem de sessenta e um a oitenta e 7 (3,15% possuem mais de 81 citações, como pode ser observado no gráfico 4. O que apresenta uma disparidade quanto a relevância de tal amostra de trabalhos acadêmicos, dos quais 83,79% são pouco ou nem são citados (0 a 20 citações), ou seja, são pouco utilizados como base para trabalhos posteriores dos pares. Tem-se então uma média de 14,86 citações por artigo, inferindo assim que poucos são os artigos que realmente impactam sobre trabalhos posteriores, estes concentrados em 36 artigos (que acima de 20 citações).

Gráfico 4
Fator de Impacto dos artigos pelo número de artigos da amostra

4.4 Autoria de Artigos

No que tange a autoria de artigos, verifica-se que 50,45% foram desenvolvidos em coautoria, cuja distribuição pode ser observada no gráfico 5. A produção individual é predominante na área, com 49,54% dos artigos (110). A média de autores por artigo situa-se em 1,86 autores, tal que é obtida ao se dividir o número de vínculos (413) pelo número de artigos (222).

A predominância individual ou em duplas caracteriza a temática em um processo de desenvolvimento, o que corresponde a vida ainda curta atribuída ao tema, vide que o interesse pelo tema se sobressai na década de 80, com o início das propostas políticas acerca do tema (ZANDAVALLI, 2009). De modo que os achados corroboram com os trabalhos de outros autores em outras áreas, os quais encontram uma predominância de trabalhos individuais (AMBONI; CAMINHA; ANDRADE, 2012; BERTERO; VASCONCELOS; BINDER, 2003; BITTAR; SILVA; HAYASHI, 2011).

Gráfico 5
Número de autores por quantidade de artigos da amostra

O gráfico 6 indica a evolução da média de autores ao longo do tempo, lembrando que o primeiro ano se caracteriza por apenas um artigo com 2 autores e os últimos anos (2013 e 2014) caracterizam-se por uma baixa produção com muitos autores, que acabam por inflar a média, tornando-se “outliers”. Desconsiderando-se tais anos, tem-se um aumento na média, que passa de 1,2 autores em 5 artigos em 1995, para 1,85 autores em 13 artigos, em 2012.

Gráfico 6
Média de autores por artigo (1994-2014)

4.5 Palavras-chave

Quanto as palavras chave que permeiam os principais temas dos artigos, pode-se observar as quinze mais utilizadas, de modo ranqueado, na tabela 7. O total de palavras chave encontrado nos artigos da amostra totalizam 867, sendo 390 palavras-chave diferentes. Observa-se a predominância da temáticas relacionadas a avaliação institucional, assim como especificadamente do SINAES.

Tabela 7
Ranking das quinze palavras-chave mais utilizadas nos artigos da amostra, distribuídas pelo número de artigos - Quantidade e Proporção de artigos que a possuem (%)

Ordem	Palavra-Chave	Quantidade	Proporção (%)
1º	Avaliação institucional	98	44,14%
2º	Educação superior	56	25,23%
3º	Avaliação	39	17,57%
4º	SINAES	31	13,96%
5º	Ensino superior	27	12,16%
6º	Avaliação da educação superior	24	10,81%
7º	Universidade	16	7,21%
8º	Auto-avaliação	13	5,86%
9º	Qualidade	10	4,50%
10º	PAIUB	10	4,50%
11º	ENADE	10	4,50%
12º	Avaliação educacional	9	4,05%
13º	Exame nacional de cursos	9	4,05%
14º	Avaliação da educação	8	3,60%
15º	Auto-avaliação institucional	8	3,60%

• Fonte: Elaborado pelos autores (2015)

4.6 Tipo de Pesquisa e Abordagem

Quanto as características metodológicas dos artigos da amostra, apresentadas na tabela 8, verifica-se uma predominância de trabalhos teóricos na amostra. Tal classificação se utiliza dos conceitos de Demo (2000) a despeito de pesquisa teórica e empírica. A pesquisa teórica tem por objetivo a articulação, a reconstrução de teorias e conceitos para aprimorar os fundamentos teóricos. A pesquisa empírica trabalha com a análise fatual da realidade, ou seja, contempla a produção e análise de dados com controle empírico. A classificação teórico-empírico confere trabalhos que abarcam ambos, ou seja, reconstroem a teoria ao mesmo tempo que analisam a realidade.

Tabela 8
Tipo de pesquisa apresentada nos artigos da amostra - Quantidade e proporção (%)

Foco	Quantidade	Percentual
Teórico	162	73%
Empírico	39	18%
Teórico/Empírico	21	9%
Total	222	100%

• Fonte: Elaborado pelos autores (2015)

Quanto a abordagem do problema dos artigos, este trabalho as classifica seguindo a abordagem de Creswell (2014) em quantitativo, qualitativo e quali-quantitativo. A abordagem quantitativa trabalha sob alegações pós-positivistas, utilizando-se da mensuração por instrumentos estatísticos. Já na abordagem qualitativa o investigador faz alegações de conhecimento com base em perspectivas construtivistas ou reivindicatórias, não se utilizando de instrumentos estatísticos para o mesmo. A abordagem quali-quantitativo abrange elementos pragmáticos, que se utiliza de ambas as metodologias para a abordagem do problema da pesquisa. Tal classificação pode ser visualizada na tabela 9.

Tabela 9
Distribuição quantitativa dos artigos quanto à abordagem do problema da amostra - Quantidade e proporção (%)

Abordagem	Quantidade	Percentual
Qualitativo	193	87%
Quantitativo	23	10%
Quali-Quantitativo	6	3%
Total	222	100%

• Fonte: Elaborado pelos autores (2015)

É possível observar a disparidade quanto a abordagem utilizada nos trabalhos, onde maior parte apresenta características teóricas e uma abordagem qualitativa, sendo a maior parte constituída de ensaios, análises históricas e revisões da literatura. Tal característica convém a uma temática fundamentada em análises das transformações da avaliação perante as mudanças sociais e políticas do país, fundamentados em uma constante dialética entre “ser” e “dever ser”, que objetiva a contemplação de todo o potencial da avaliação do ensino superior, e dessa maneira, da educação perante a sociedade, como se observa no trabalho de autores como Dias Sobrinho (2010), Barreyro e Rothen (2008), Rothen e Barreyro (2011), Polidori (2009) ou Polidori, Marinho-Araújo e Barreyro (2006).

5 Considerações Finais

O objetivo da presente pesquisa constituiu em investigar a distribuição da produção acadêmica relacionada a Avaliação do Ensino Superior no Brasil, em uma pesquisa bibliométrica constituída de doze periódicos nacionais, Qualis A1 e A2 em Educação. De forma pontual, procurou-se identificar as características no que tange a autoria dos artigos, os vínculos institucionais, a regionalidade, o fator de impacto e as palavras-chaves presente nos artigos.

Os resultados da pesquisa evidenciam um substancial decréscimo quanto a produção acerca do tema, principalmente nos principais periódicos que trabalham com o mesmo, tendo picos de produção no momento de mudanças políticas quanto ao tema em 2003, com a implantação do SINAES, em 2006, onde observa-se os primeiros resultados acerca de mudança no sistema e em 2008-2009, onde se instaura a criação de novos indicadores a serem monitorados pela avaliação (CPC e IGC). Desde 2009, observa-se uma queda brusca na quantidade de publicações, o que vem a confirmar o caráter reativo dos pares.

Quanto as parecerias, observa-se um aumento no número de artigos em coautoria, que passa de 1,20 em 1995 para 1,85 em 2013. Observa-se também uma menor predominância de trabalhos com mais de duas instituições envolvidas, o que vem a revelar certa ausência de conexões entre as universidades, tal que caso sanada, proporcionaria uma troca de experiências ainda mais rica para a academia.

No que concerne as participações das Instituições de Ensino Superior, observa-se uma predominância da região Sudeste, com 42,13% dos vínculos de autores, e poucas instituições oriundas do Norte, com apenas 2,42% dos vínculos, que transmite uma percepção de regionalismo quanto ao tema, centralizado na região Sudeste/Sul.

Em relação ao fator de impacto, observa-se uma ampla quantidade de artigos dos quais não se tem um total aproveitamento pelos pares acadêmicos, cerca de 83,79% dos artigos são muito pouco citados e as citações concentram-se em cerca de vinte autores e em 14 trabalhos distintos, que se tornam os principais expoentes da área. A concentração do impacto em poucos autores parece revelar o favorecimento de certas perspectivas e a replicação de estilos, o que pode vir a engessar os padrões predominantes na área.

Quanto aos aspectos metodológicos, tem-se uma predominância de trabalhos teóricos e qualitativos, predominando uma análise de devir que emerge com o passar das mudanças, prioritariamente influenciada pelas mudanças sociais e políticas, tal que é averiguada na análise temporal das publicações.

Os resultados apresentados neste estudo autorizam a inferir algumas tendências e perspectivas quanto às pesquisas do tema. Desse modo, contribui para futuras pesquisas acadêmicas, pois serve de referência para pesquisadores interessados no panorama geral da produção científica sobre a Avaliação do Ensino Superior no Brasil, e também toma caráter crítico ao proporcionar a própria sociedade acadêmica uma reflexão acerca de seus passos e do delinear histórico do tema.

Considerando as limitações do trabalho, recomenda-se uma expansão dos descritores para trabalho com periódicos de Qualis B1, B2 e B3, além de uma possível ampliação para a comparação entre a produção científica estrangeira e a brasileira acerca do tema. Pois precisa-se de pesquisadores que reflitam constantemente acerca do tema e de sua posição perante ao mesmo, para assim alcançar um estado de crítica que possibilite um transcender aos problemas educacionais presentes.

Referências

• AMBONI, Nerio; CAMINHA, Daniel Ouriques; ANDRADE, Rui Otavio Bernardes de. Produção acadêmica em Teoria Neo-Institucional no Brasil: 1990 a 2010. Revista Gestão e Planejamento, Salvador, v. 13, n. 2, p. 212-231, 2012.
• ANDION, Carolina. Por uma nova interpretação das mudanças de paradigma na administração pública. Cadernos EBAPE.BR, Rio de Janeiro, v. 10, n. 1, p. 01-19, 2012.
• ARAÚJO, Carlos Alberto. Bibliometria: evolução histórica e questões atuais. Em Questão, Porto Alegre, v. 12, n. 1, p. 11-32, 2006.
• BACH, Tatiana Marceda; DOMINGUES, Maria José Carvalho De Souza; WALTER, Silvana Anita. Tecnologias da informação e comunicação no ensino: Um estudo bibliométrico e sociométrico de 1997-2011. Avaliação, Campinas; Sorocaba, v. 18, n. 2, p. 393-416, 2013.
• BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. Para uma história da avaliação da educação superior brasileira: análise dos documentos do PARU, CNRES, GERES e PAIUB. Avaliação, Campinas; Sorocaba, v. 13, n. 1, p. 131-152, 2008.
• BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. Percurso da avaliação da educação superior nos Governos Lula. Educação e Pesquisa, São Paulo, v. 40, n. 1, p. 61-76, 2014.
• BERTERO, Carlos Osmar; VASCONCELOS, Flávio Carvalho; BINDER, Marcelo Pereira. Estratégia empresarial: a produção científica brasileira entre 1991 e 2002. Revista de Administração de Empresas, São Paulo, v. 43, n. 4, p. 48-62, 2003.
• BITTAR, Marisa; SILVA, Márcia Regina Da; HAYASHI, Maria Cristina Piumbato Innocentini. Produção científica em dois periódicos da área de educação. Avaliação, Campinas; Sorocaba, v. 16, n. 3, p. 655-674, 2011.
• CRESWELL, J. W. Research Design: qualitative, quantitative and mixed methods approaches. 4. ed. Thousand Oaks: SAGE Publications, 2014.
• DEMO, Pedro. Metodologia do conhecimento científico. São Paulo: Atlas, 2000.
• DENHARDT, Robert B. Teorias da administração pública. Wadsworth: Cengage Learning, 2012.
• DIAS SOBRINHO, José Dias. Avaliação e transformações da educação superior brasileira (1995-2009): do provão ao SINAES. Avaliação, Campinas; Sorocaba, v. 15, n. 1, p. 195-224, 2010.
• FRANCO, Sérgio Roberto Kieling. O Sinaes em seu processo de implementação: desafios e perspectivas. EntreIdeias, Salvador, v. 1, n. 2, p. 9-25, 2012.
• HAYASHI, Carlos Roberto Massao; FERREIRA JUNIOR, Amarílio. O campo da história da educação no Brasil: um estudo baseado nos grupos de pesquisa. Avaliação, Campinas; Sorocaba, v. 15, n. 3, p. 167-184, 2010.
• KEINERT, Tania Margarete Mezzomo. Os paradigmas da administração pública no Brasil (1900-92). Revista de Administração de Empresas, São Paulo, v. 34, n. 3, p. 41-48, 1994.
• LACERDA, Leo Lynce Valle De. SINAES, teoria e prática: pressupostos epistemológicos em oposição. Avaliação, Campinas; Sorocaba, v. 20, n. 1, p. 87-104, 2015.
• LUCA, Márcia Martins Mendes de et al. Análise da produção científica referente à tematica de sustentabilidade em pesquisas da administração. Administração: Ensino e Pesquisa, Rio de Janeiro, v. 15, n. 3, p. 469-500, 2014.
• MORIN, Edgar. Introdução ao pensamento complexo. Porto Alegre: Sulina, 2007.
• MORIN, Edgar; KERN, Anne Brigitte. Terra-Pátria. Porto Alegre: Sulina , 2003.
• PAULA, Ana Paula Paes de. Por uma nova gestão pública. Rio de Janeiro: FGV, 2005.
• POLIDORI, Marlis Morosini et al. Políticas de avaliação da educação superior brasileira. Educação e Realidade, Porto Alegre, v. 36, n. 1, p. 253-278, 2011.
• POLIDORI, Marlis Morosini. Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e... outros índices. Avaliação, Campinas; Sorocaba, v. 14, n. 2, p. 439-452, 2009.
• POLIDORI, Marlis Morosini; MARINHO-ARAUJO, Claisy; BARREYRO, Gladys Beatriz. SINAES: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 14, n. 53, p. 425-436, 2006.
• RIBEIRO, Jorge Luiz Lordêlo de Sales. SINAES : o que aprendemos acerca do modelo adotado para avaliação do ensino superior no Brasil. Avaliação, Campinas; Sorocaba, v. 20, n. 1, p. 143-161, 2015.
• ROTHEN, José Carlos; BARREYRO, Gladys Beatriz. A “RAIES” e a Revista Avaliação a construção de um marco teórico, político e metodológico. Avaliação, Campinas; Sorocaba, v. 16, n. 2, p. 267-290, 2011a.
• ROTHEN, José Carlos; BARREYRO, Gladys Beatriz. Avaliação da educação superior no segundo governo lula: “Provão II” ou a reedição de velhas práticas? Educação & Sociedade, Campinas, v. 32, n. 114, p. 21-38, 2011b.
• SECCHI, Leonardo. Modelos organizacionais e reformas da administração pública. Revista de Administração Pública, Rio de Janeiro, v. 43, n. 2, p. 347-369 , 2009.
• ZANDAVALLI, Carla Busato. Avaliação da educação superior no Brasil: os antecedentes históricos do SINAES. Avaliação, Campinas; Sorocaba, v. 14, n. 2, p. 385-438, 2009.

• 1
  Este trabalho foi possível graças ao auxílio da CAPES e FAPESC.

Datas de Publicação

• Publicação nesta coleção
  Sep-Dec 2017

Histórico

• Recebido
  03 Nov 2015
• Aceito
  06 Jun 2017