Análise epistemológica da avaliação institucional da educação superior brasileira: reflexões sobre a transposição de paradigmas

Epistemological analysis of institutional evaluation of brazilian higher education: reflections on the incorporation of paradigms

Resumo

O artigo traz uma análise epistemológica da avaliação da educação superior no Brasil, promovendo uma reflexão que visa discutir o viés regulador, além de propor uma alteração no paradigma somativo para o emancipatório, atendendo os ensejos da comunidade acadêmica e do conglomerado institucional brasileiro. Sob a orientação da revisão sistemática, a investigação contou com uma análise dos diversos trabalhos publicados que discutiram a avaliação da educação superior em todos os modelos preconizados, confrontando-os com o pensamento predominante em sua estrutura e apresentando as principais características, diretrizes e consequências de cada modelo. Em seguida, há uma reflexão epistemológica-conceitual do modelo atual, apresentando o paradigma vigente da avaliação institucional, suas consequências, os impactos no processo de consolidação da epistemologia do campo científico da gestão da educação superior e as possibilidades que podem colaborar para a transposição de uma visão somativa para uma visão emancipatória do processo. Após as discussões das possibilidades apresentadas, as considerações finais sugerem um aprofundamento das questões que podem consolidar o pensamento dialético, emancipador e democrático no processo de avaliação institucional da educação superior no Brasil.

Palavras-chave
Avaliação institucional; Epistemologia; Educação superior

Abstract

The paper presents an analysis of the epistemological evaluation of higher education in Brazil, promoting reflection that aims to discuss its regulatory bias, and propose a change in paradigm from summative to emancipatory, serving the academic community and the Brazilian institutional conglomerate. Under the guidance of systematic review, the investigation included a review of several studies that discussed the evaluation of higher education in all models advocated by confronting them with the prevailing thought in its structure and presenting the main features, guidelines and consequences of each model. Then there is an epistemological and conceptual reflection on the current model, with the current paradigm of institutional assessment, consequences, impacts on consolidation of the epistemology of scientific field of management of higher education and the opportunities that can contribute toward moving from the current summative view to an emancipatory process. After discussing the possibilities presented, the final considerations suggest that further discussions of the issues can consolidate dialectical thinking, democratic and emancipatory processes of institutional evaluation of higher education in Brazil.

Keywords
Institutional evaluation; Epistemology; Higher education

1 Introdução


Ao acompanhar a proposta de construção de um sistema de educação superior no Brasil, sobretudo a partir de 1968, é possível perceber que a avaliação institucional se tornou um mecanismo que orientou as políticas públicas para o segmento. O processo, além de se constituir em uma ferramenta de controle estatal das atividades de instituições e cursos, contribuiu com o fomento de políticas estratégicas, as quais foram substantivas para impedir que a educação superior observasse apenas os critérios vinculados a uma lógica mercantilista.


As diversas tentativas de se constituir um sistema democrático de avaliação esbarraram no pensamento dialético promovido dentro de cada instituição. O papel da expansão do modelo brasileiro, considerado complexo, difuso e competitivo, estava atrelado quase que exclusivamente às atividades internas de cada instituição. A educação superior era vista como uma ferramenta de modernização do país, e ao prever um crescimento relevante de instituições, a avaliação passou a compor a estrutura estratégica e política do segmento, sendo utilizada como referencial básico para o acompanhamento do cenário educacional.


Em função desses direcionamentos, em conjunto com a constante busca de uma epistemologia para o campo científico da educação superior, a avaliação se constituiu sob os moldes de um viés somativo-regulador, impondo questões operacionais que impediam o desenvolvimento pleno das ações institucionais. Entre outros aspectos, os diversos modelos preconizados para o processo ensejaram um controle fiscalizador ao invés de promover a reflexão orientada à expansão, e isso atrapalhou o desenvolvimento do complexo cenário educacional brasileiro, prejudicando a constituição, o posicionamento e, até mesmo, as estratégias de diversas instituições. 


Na contemporaneidade, ao se alinhar com os direcionamentos e orientações estratégicas atreladas a um projeto institucional, a avaliação passa a ganhar uma nova roupagem e gera expectativa de alterações epistemológicas em sua estrutura, e ao se posicionar com novos instrumentos e mecanismos democráticos tinha a intenção de alterar o seu viés controlador para uma orientação formativa. A avaliação passaria a se tornar um mecanismo baseado no pensamento dialético, ensejando reflexões constantes aplicadas à construção do epistemio institucional, promovendo inovações de base conceitual para todo o escopo da educação superior brasileira. Porém, em função de diversas intempéries, o que se viu foi a manutenção da epistemologia reguladora, centralizadora e baseada no pensamento racionalista, funcional, pragmático e cartesiano.


Com base nessas considerações, o artigo em tela se propõe a realizar uma análise epistemológica da avaliação da educação superior no Brasil, refletindo sobre seu viés somativo-regulador e sugerindo ações para a consolidação da visão emancipatória do processo. Após o capítulo introdutório, são descritos os procedimentos metodológicos, com base nas evidências da revisão sistemática que congregam os principais trabalhos que versam sobre o tema. Em seguida, apresenta-se a análise do resgate histórico dos modelos de avaliação institucional no Brasil, destacando o posicionamento do modelo e o respectivo pensamento que orientou cada processo. Na sequência, vê-se uma reflexão epistêmica-conceitual da avaliação nos moldes contemporâneos e uma discussão das possibilidades que permitem a transposição de uma visão somativa para uma visão emancipatória. Por fim, nas considerações finais, apresentam-se diretrizes para trabalhos futuros e uma reflexão geral do trabalho.


2 Procedimentos metodológicos


No processo de produção de conhecimento, as diversas perspectivas científicas estão envoltas em procedimentos que determinam a validação do conhecimento proposto e colaboram com o desenvolvimento de uma reflexão ordenada e sistêmica. Em uma lógica epistemológica, a pesquisa científica tem por fundamento a estruturação de conhecimento a partir do processo criativo, desde que observe parâmetros balizadores que permitem a consolidação de uma proposta interdependente baseada na teoria da epistemologia. 


Por meio da proposta de realizar uma análise epistemológica da avaliação da educação superior no Brasil, o artigo congrega intenções e procedimentos metodológicos que estão estruturados no pensamento epistemológico e interpretativista, baseados nas inferências do pensamento de Bordieu (1982), Taylor e Bogdan (1984) e Miles e Huberman (1994). No cabedal de ações elencadas para a produção do conhecimento proposto, a pesquisa também encontra fulcro no pensamento de Köche (1997), tendo por base que a epistemologia é um processo que se fundamenta em uma relação intensa de produção de conhecimento válido e aceito cientificamente por uma determinada comunidade, confirmado por Popper (1993), que destaca o processo epistemológico de compreensão da realidade em uma perspectiva crítica, determinando a convergência de conhecimentos.


Seguindo essas orientações, foi realizada uma busca sistemática, orientada pelas diretrizes de Tranfiel, Denyer e Smart (2003) e Galvão, Sawada e Trevizan (2004), que destacam a possibilidade da estruturação teórica a partir de um processo de elaboração científica, coleta, análise e síntese de dados de acordo com um processo de categorização. Por meio desse processo, a coleta de dados foi desenvolvida em bases de dados reconhecida pela comunidade científica, permitindo uma revisão teórico-empírica sustentada em aspectos concretos, tendo como base a proposta de realizar uma análise epistemológica da avaliação da educação superior no Brasil, refletindo sobre seu caráter somativo-regulador e sugerindo ações para a consolidação da visão emancipatória do processo. 


Para isso, a pesquisa considerou os materiais publicados, alguns estudos validados cientificamente, livros e materiais referenciados pelos principais autores que pesquisam a avaliação da educação superior brasileira. Para identificar os materiais utilizados, considerando a base Scielo, o Google Acadêmico e a base Scopus, utilizaram-se termos que identificavam a essência da problemática elencada e prevista na ordem metodológica da pesquisa, coletando artigos, livros, teses e dissertações, na íntegra, que versam sobre a avaliação da educação superior. O resultado apontou cerca de 750 trabalhos que têm relação com o tema, sendo 66 selecionados para compor o estudo em tela.


3 Aspectos epistemológicos da educação superior pelo viés da avaliação institucional


A avaliação da educação superior no Brasil, desde sua concepção, está atrelada ao desenvolvimento da epistemologia da educação superior, numa perspectiva de estruturação de um campo científico em pleno desenvolvimento no curso da ciência contemporânea. Tal concepção, que está alinhada com os estudos de Schlickmann e Melo (2012), permite compreender que a educação superior, em seus pressupostos gerenciais, busca a consolidação de sua episteme gerencial por intermédio de mecanismos, ora reguladores, ora emancipadores, mas que preconizam o fortalecimento de sua estrutura, de sua semântica e, sobretudo, de seus aspectos operacionais. O mecanismo em questão, mesmo na perspectiva de seus diversos e difusos modelos, pode ser considerado constituído sob o pensamento de Japiassu (1976), já que utiliza-se de parâmetros metódicos, reflexivos e intelectuais, consolidando o pensamento epistemológico que norteia o campo científico.


No contexto brasileiro, desde a concepção do pensamento universitário, em meados de 1930, a partir do Manifesto dos Pioneiros, busca-se a estruturação de uma epistemologia gerencial que visa a constituição de um modelo gerencial concreto, que deve, entre outros aspectos, permitir que a universidade possa ser considerada relevante no contexto social em que está inserida. Nos estudos de Possani, Gonçalves e Abramowicz (2010), percebe-se que essa busca por uma identidade no contexto epistemológico social é um fator que acompanha o processo de constituição do modelo institucional no Brasil. Mesmo com a orientação contida no Relatório de Atcon (1973), a qual teria a finalidade de orientar a identidade da educação superior brasileira, dos modelos institucionais e do processo de ensino e aprendizagem, o modelo institucional brasileiro não se consolidou em função de divergências ideológicas, as quais fortaleceram a diversidade de modelos institucionais.


Em função da diversidade, Azevedo (1971) destaca, tendo em vista os aspectos culturais de concepção da identidade universitária e da educação superior brasileira, que nesse contexto se tornam aspectos paralelos e semelhantes no decurso do processo de formação, que o multiculturalismo presente no Brasil impediu a consolidação dos modelos de gestão em diversas organizações. A educação superior, com base nas reflexões de Ristoff (2011), foi um desses segmentos, impedindo que, naquele momento de concepção e de um modelo difuso de nação, a gestão da educação superior pudesse se constituir como um campo científico.


Mesmo transitando em um cenário de dificuldades, difuso e altamente complexo, as pesquisas em gestão da educação superior, sobretudo após 1968, momento de uma valorosa reforma universitária discutida exaustivamente por Cunha (1998), passam a orientar a construção do modelo gerencial da educação superior brasileira utilizando ferramentas que preconizavam o controle pelo aparelho estatal, estruturado em uma perspectiva alinhada com o pensamento governista que se posicionava no Brasil. A partir disso, com base nas discussões levantadas por Cury (1989), a avaliação como instrumento norteador de políticas, de gestão e de expansão institucional, orientou a construção de uma epistemologia, a qual pode ser considerada complexa por se estabelecer sob a égide de diversos pensamentos. 


Após a década de 1970, com base nos estudos de Demo (2009), a educação superior se estabelece sob vários pilares, segmentos, estruturas e pensamentos, considerando as lógicas e significados fundados no arcabouço orientando a construção de representações concretas de conhecimento. Com o auxílio da avaliação institucional, passa-se à busca de uma identidade para a educação superior no Brasil e sua respectiva consolidação como campo científico, que encontram resguardo nos estudos de Cawthron e Rowell (1979), de Chomski e Fodor (1987), de Habermas (1982), de Cleminson (1990) e de Morin (1982), orientando a compreensão do processo de construção de conhecimento com base nas orientações epistemológicas advindas do processo avaliativo, buscando consolidar a missão das instituições. 


A avaliação institucional, com base nesses pressupostos, passa a inserir a gestão da educação superior em um campo científico estruturado dentro do pensamento racional, discutido por Pinto (2012), centrado nas colaborações de Descartes (1979). Tal aspecto se configura no momento em que a avaliação traz a racionalidade para um contexto relevante, no qual a produção de conhecimento e a construção epistemológica requerem a colaboração da razão intervencionista sistêmica, determinando a organização metodológica do processo avaliativo, amparado por procedimentos sistemáticos e cientificamente validados. 


Com os estudos de Pinto (2012) como pano de fundo, a consolidação do campo científico da gestão da educação superior, tendo a avaliação institucional como mecanismo de validação, também está centrada no utilitarismo, no positivismo e no neo-positivismo. Respectivamente, salientando as colaborações de Khun (1987), isso se dá no momento em que a avaliação busca a maximização da utilidade gerencial da educação superior, sobretudo quando ocorre a expansão do segmento privado, validando o que é incontestável, suscitado por intermédio de procedimentos sistemáticos e restrito à cientificidade. 


Em função dos pressupostos racionalistas, somativos e em uma perspectiva regulatória, a avaliação institucional também orientou o campo científico da gestão da educação superior sob uma lógica funcionalista, o qual necessita de uma aparelhagem dinâmica e organizada sistematicamente, com caráter simbólico, tal como é ensejado por Malinowski (1970) e por Pinto (2012). 


Contudo, a partir da evolução do campo científico da gestão da educação superior e do desenvolvimento da avaliação como mecanismo de constituição de conhecimento no âmbito gerencial, surge uma corrente que tem a intenção de promover aspectos emancipatórios no contexto epistemológico da instituição, mas que ainda requer sistematização em vista da necessidade de sua consolidação no Brasil. Utilizando as bases dos diversos modelos de avaliação já desenvolvidos no contexto histórico da educação superior, seguindo as diretrizes de Malinowski (1970), o campo científico da gestão da educação superior, sob o viés da avaliação institucional, também ganhou contornos emancipatórios similares aos discutidos nos estudos de Bourdieu (1982) e Bahtt (2000), e que foi orientado pelos pressupostos estruturados nos modelos avaliativos que são discutidos a seguir, a partir de uma reflexão baseada no registro histórico do processo de avaliação da educação superior.


3.1 Avaliação institucional na educação superior brasileira: um resgate histórico


Os modelos propostos para a avaliação da educação superior brasileira, de acordo com Schlickmann, Melo e Alperstedt (2008), partem de pressupostos centrados no pensamento socrático, numa perspectiva construtivista e voltada à consolidação dos valores institucionais. Desde sua concepção na educação superior brasileira, a avaliação institucional se institui como marco para a evolução do segmento, acompanhando as tendências discutidas por INEP (2004), sendo responsável pela construção do “autoconhecimento institucional”, que é responsável por desenvolver a vocação de cada modelo de instituição.


Em sua estrutura epistemológica, Meyer Júnior (2004) destaca a avaliação institucional como um instrumento gerencial, vinculado ao pensamento racional discutido por Pinto (2012), o qual tem a função de nortear os esforços em prol do cumprimento de um projeto institucional. Por meio desta orientação, os conceitos estabelecidos por este processo estão alinhados à excelência, ao utilitarismo, à relevância e à globalidade.


Voos (2004) salienta que a avaliação institucional na educação superior é uma atividade de construção de significados e de desenvolvimento da vocação institucional, sendo responsável pela validação dos aspectos epistemológicos dos diversos modelos institucionais que atuam no contexto brasileiro. Além de constituir tendências, o processo avaliativo é o responsável por orientar a instituição em um ambiente complexo e dinâmico e que é influenciado constantemente, de acordo com Chanlat (1992), por uma lógica capitalista e mercantil, inclusive no âmbito das universidades públicas. 


Ao analisar o contexto histórico do processo avaliativo, Sguissardi (2006) destaca que a avaliação foi a responsável por impelir o papel social e posicionar as instituições sob um viés econômico, já que o processo foi um dos responsáveis, de acordo com Groppo (2011), por uma das crises por qual passa a educação superior. Em todos os modelos instituídos a partir da reforma educacional proposta na década de 1960, existe o pressuposto controlador e somativo, orientando uma construção epistemológica baseada no pensamento racional, na lógica cartesiana e positivista, mas também, em alguns casos, alinhado com uma proposta de validação epistemológica da identidade institucional sob o pressuposto emancipatório e formativo.


3.1.1 Programa de Avaliação da Reforma Universitária – PARU


As primeiras ações da avaliação na educação superior no país partiram de uma orientação destacada por Carnielli, Costa e Braga (2008) e que culminou na implementação da avaliação dos programas de pós-graduação pela Coordenação de Aperfeiçoamento do Pessoal de Nível Superior (CAPES), que se utilizaram de métodos quantitativos e pragmáticos, baseados na influência americana, sendo que estes buscavam mensurar as publicações e os aspectos relacionados ao impacto e ao prestígio das pesquisas. Bertolin (2004) assevera que esse modelo encontrou diversas resistências da parte da comunidade acadêmica por não estarem alinhados com a epistemologia e o pensamento racional estruturado pela CAPES.


Assim como destacam Schlickmann, Melo e Alperstedt (2008), a lógica pragmática do modelo da CAPES colaborou com a construção de um extrato da estrutura central da educação superior no Brasil, promovendo uma discussão sobre a estrutura, a qualidade e a função da educação superior em um cenário aberto à expansão. Pelos esforços da CAPES, surgem discussões relevantes que tinham a avaliação como pano de fundo, as quais determinaram a construção do Programa de Avaliação da Reforma Universitária (PARU).


O PARU tinha por objetivo a inserção do segmento em uma dinâmica utilitarista e gerencial, fomentando práticas, com participação ativa da comunidade acadêmica, vinculadas à produção, à sistematização e à disseminação do conhecimento no contexto das instituições. Como primeira tentativa de construir um arcabouço processual, Real (2007) destaca que o PARU abordava aspectos de gestão e de procedimentos acadêmicos difusos, dando origem a segmentação entre o pensamento acadêmico e administrativo no contexto institucional. Tal como destaca Ristoff (1999), este modelo se constituiu basicamente por experiências e influências desenvolvidas por universidades brasileiras, analisando aspectos importantes do escopo gerencial e acadêmico das instituições.


Na ótica de Carnielli, Costa e Braga (2008), o programa tentou estruturar uma proposta de avaliação considerando a gestão e o processo de construção de conhecimento científico na instituição. No contexto gerencial, o PARU deveria auxiliar os processos de tomada de decisão, a definição da estrutura de poder, a construção dos critérios para uma gestão acadêmica e aspectos vinculados à gestão financeira e orçamentária da instituição. No âmbito acadêmico, o PARU tinha a intenção de consolidar métricas de desempenho que englobassem a indissociabilidade entre ensino, pesquisa e extensão, prevendo uma construção metodológica alinhada com as intenções de desenvolvimento da educação superior.


Apesar da relevância teórico-metodológica, Bertolin (2004) destaca que o PARU durou apenas um ano, já que a falta de apoio e a burocracia do Ministério da Educação (MEC) impediu que o programa se consolidasse. Apesar do insucesso do sistema, o processo político-institucional e avaliativo se aproveitou das contribuições do PARU para alinhar a estrutura da educação superior no Brasil e orientar diversos pesquisadores no sentido de dar continuidade à construção do pensamento avaliador na estrutura do segmento da educação superior.


3.1.2 Comissão Nacional para a Reformulação 
da Educação Superior


O PARU construiu um significado de qualidade da educação superior brasileira, contribuindo para o desenvolvimento do processo de expansão. Essa qualidade, com base nas exposições de Real (2007), considerava a ideologia das políticas públicas, severamente enviesadas pelo controle regulador, fazendo da avaliação um mecanismo de posicionamento e construção da identidade institucional sob o viés da regulação. Apesar do fim do programa no ano seguinte à sua construção, foi possível tirar diversas conclusões sobre o desenvolvimento da avaliação como mecanismo de desenvolvimento da educação superior, propondo diretrizes à continuidade do processo e a construção de um sistema.


Os dados da época mostram que a expansão da educação superior se dava pelo intermédio de cursos e instituições, construindo uma tendência que se constitui até os dias atuais. Para melhor compreender esse cenário, Barreyro e Rothen (2008) atestam o surgimento da Comissão Nacional para a Reformulação da Educação Superior (CNRES), instituída pelo Decreto 91.177, de 29 de março de 1985, e que se compôs de 24 membros originários da comunidade, com suas qualificações alinhadas aos ensejos governamentais, e tinha como principal objetivo orientar um processo de desenvolvimento da proposta educacional em meio às ideologias do governo militar. Entre suas diversas características, a comissão fazia parte de um grande esforço no sentido da democratização do país.


O trabalho desta comissão subsidiou a construção de diversos documentos, com destaque para relatórios de pensadores relacionados à construção da avaliação da educação superior, discutidos por Schwartzman (1990). Entre as principais críticas, os documentos destacavam a necessidade de construir um novo pensamento gerencial aplicado à estrutura da educação superior no Brasil, envolvendo um projeto político marcado pela orientação ao processo de expansão, atendendo as novas necessidades sociais de um país em processo de democratização.


A discussão da comissão levantou pontos alinhados com os resultados do PARU, construindo direcionamentos metodológicos para o desenvolvimento da avaliação nos diversos níveis da educação nacional, permitindo debates relacionados ao controle da qualidade educacional. Schlickmann, Melo e Alperstedt (2008), ao refletirem sobre os trabalhos da comissão, destacam que o relatório produzido trouxe reflexões sobre a autonomia, a qual deveria ser ampliada no contexto das instituições, e sobre a própria avaliação, já que está deveria alinhar seus direcionamentos ao controle de qualidade e a acreditação. O documento produzido serviu para construir um olhar sistemático sobre a avaliação institucional na educação superior, tornando-se o ponto de partida para as discussões do Grupo Executivo para a Reformulação da Educação Superior (GERES).


3.1.3 Grupo Executivo para a Reformulação 
da Educação Superior – GERES


As discussões sobre a avaliação institucional na educação superior preconizadas pela CNRES e o relatório produzido pela comissão permitiram que novos direcionamentos pudessem ser alocados na agenda da reflexão sobre o processo avaliativo no segmento educacional. Apesar da pouca contribuição do PARU, a Comissão Nacional para a Reforma da Educação Superior auxiliou o desenvolvimento de políticas públicas determinantes para a consolidação de uma estrutura avaliativa, a qual norteou o desenvolvimento das políticas educacionais no contexto da educação superior.


A partir desta orientação, Barreyro e Rothen (2008) destacam que a proposta de discutir a avaliação da educação superior deveria ficar sob a responsabilidade de um grupo de notáveis capacitados a promover um estudo de perspectivas para o segmento. Este grupo deveria assumir a função de operacionalizar as ações discutidas, inserindo conceitos e métodos no processo de avaliação que culminariam em uma metodologia alinhada a identificação da qualidade, a regulação e a supervisão de instituições e de cursos. Conforme indica o Relatório do GERES - Brasil (1986) -, a ideia era o desenvolvimento de indicadores de desempenho que auxiliassem no fomento da identidade institucional, orientando o financiamento e o repasse de recursos.


Schlickmann, Melo e Alperstedt (2008) dizem que os esforços da comissão foram determinantes para a construção de um novo grupo responsável por discutir os aspectos relacionados à avaliação da educação superior, englobando os resultados do PARU e do relatório da CNRES em suas atividades. Em 1986, a partir de uma proposta do Ministério da Educação, surge o Grupo Executivo da Reforma da Educação Superior (GERES), destacado por INEP (2004) como sendo o responsável por inserir a avaliação institucional em uma proposta vinculada ao repasse de distribuição de recursos, com o objetivo de constituir centros de excelência em educação superior espalhados pelo Brasil.


A proposta de trabalho do grupo estava alinhada com os pressupostos discutidos por Cunha (1998) e Real (2007), já que a nova república e as ideologias de desenvolvimento do país determinadas pelo governo buscavam a construção de uma concepção, de uma epistemologia concreta e de uma identidade para a avaliação institucional, amparados no viés regulador e no pensamento positivista discutido por Pinto (2012). A proposta desenvolvida pelo GERES utilizava uma concepção de regulação, desencadeando um contraponto à autonomia institucional, o que estruturou uma discussão sobre a necessidade de um controle da qualidade constante no âmbito institucional. 


À época, com o início de discussões vinculadas ao estudo da perspectiva do segmento, conforme destacado por Real (2007), o foco dos trabalhos do GERES estava em consolidar uma orientação quantitativa, positivista, funcionalista e objetivista, no sentido de nortear o funcionamento das instituições que atuavam no segmento público e privado. Zainko (1998) afirma que este modelo passou a sofrer resistências significativas da comunidade acadêmica, uma vez que se consolidava uma ameaça à autonomia das instituições, especialmente das universidades.


Mesmo assim, Polidori (2009) destaca que as contribuições do grupo foram importantes no sentido de proporcionar uma nova visão à educação superior, já que a interação com a comunidade acadêmica, apesar da autonomia depositada ao grupo pelo Ministério da Educação, acalorou as discussões sobre a estrutura do processo avaliativo.


De acordo com as discussões promovidas por Barreyro e Rothen (2008), a proposta do GERES ainda contribuiu com a construção de um projeto de reformulação das universidades federais, o qual foi abruptamente criticado por professores, servidores e acadêmicos. Segundo Cunha (1998), o projeto não promovia a união como mantenedora da educação superior, dando margem para uma percepção de que a educação não seria mais tratada como uma política de estado, ou como um bem social.


A proposta do GERES auxiliou o desenvolvimento da educação superior, mas não teve sucesso na proposição de um modelo metodológico aplicado à construção da identidade institucional. Assim como retratam Zainko (1998), Ristoff (1999), Bertolin (2004) e Barreyro e Rothen (2008), a proposta acabou inviabilizando a avaliação, já que não houve a compreensão da comunidade sobre a operacionalização do sistema.


Por outro lado, o Relatório do GERES - Brasil (1986) - destaca a discussão e o relatório produzido foram pontos importantes e que desencadearam uma proposta de reflexão sobre o posicionamento da educação superior em um país necessitado de propostas inovadoras. Assim como destacado por INEP (2009), as contribuições identificadas pelo grupo tornaram-se fatores preponderantes para a construção de um novo sistema de avaliação, o que ocorreu após a promulgação da Constituição de 1988 e ficou conhecido como PAIUB.


3.1.4 Programa de Avaliação Institucional 
das Universidades Brasileiras – PAIUB


A inconsistência política do cenário, que se apresentava no início da década de 1990, ensejou ações proativas das instituições com a intenção de elevar o padrão da educação superior brasileira de modo a torná-lo similar ao de países em desenvolvimento. Bertolin (2004), ao estudar essas ações, destaca que a missão institucional deveria se pautar estratégias de promoção da qualidade, que fomentariam o desenvolvimento da avaliação como aspecto fundamental para o acompanhamento, a expansão e a consolidação do processo de democratização e do acesso da educação superior.


Baseado nesse pensamento, surge o Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), discutido por Barreyro e Rothen (2008), e que se tornou um marco significativo para a educação superior no Brasil. Essa estrutura de avaliação da educação superior surgiu para consolidar sistemáticas de ensino, buscando identificar a eficiência curricular dos programas de graduação, identificando métricas de desempenho docente, discente e da estrutura física da instituição, culminando em um arranjo gerencial vinculado a um projeto de desempenho institucional.


Os princípios do programa, evidenciados por Palharini (2001) e Polidori, Araujo e Barreyro (2006), concebiam a avaliação institucional como um processo voluntário e de adesão consciente das instituições, instituindo a autoavaliação como parte de um processo que culminava na avaliação externa. O PAIUB, como política institucional, preconizava a construção de uma cultura de avaliação que permeasse os conceitos de desenvolvimento, democratização, acesso, eficiência gerencial e de ensino, além da orientação ao processo de expansão por meio de conceitos de qualidade funcionalista. 


Na concepção do programa, tal como destaca Carnielli, Costa e Braga (2008), o PAIUB tinha a intenção de agregar valor aos modelos institucionais, promovendo a representatividade dos segmentos acadêmicos na construção das propostas de avaliação. As diversas discussões promovidas serviram de base para a construção da estrutura do novo modelo avaliativo, contando com a comunidade acadêmica no sentido de aperfeiçoá-lo.


Nos estudos de Catani e Oliveira (2002) também estavam alinhadas as concepções destacadas por Carnielli, Costa e Braga (2008). Para os autores, a avaliação tornava-se um mecanismo indutor da expansão do segmento da educação superior, norteando as discussões sobre as políticas públicas. Seguindo esse pensamento, Real (2007) ratifica o fato de que o PAIUB se esmerou em promover a nova configuração da educação superior, tendo como objetivo principal o aumento qualificado dos indicadores da educação superior no Brasil.


A intenção do programa, por meio de ações pragmáticas e complexas, era consolidar o desenvolvimento sistêmico da educação superior, tal como destacado por Barreyro e Rothen (2008). O PAIUB tinha a intenção de aperfeiçoar e desenvolver o projeto acadêmico da instituição, integrando as ações acadêmicas com a proposta de desenvolvimento social, melhorando a qualidade e a pertinência da instituição, tornando a avaliação um ato democrático, voluntário e virtuoso.


A proposta do PAIUB era a de conciliar os objetivos institucionais com a qualidade ensejada pelas políticas públicas, segmentando o programa em etapas interdependentes. A primeira etapa estava vinculada a um diagnóstico da instituição, com dados quantitativos sobre os critérios de análise que seriam colocados em foco de estudo. A segunda, a avaliação interna, contemplava a participação da comunidade acadêmica, por meio de metodologias e instrumentos construídos coletivamente e debatidos exaustivamente, de modo democrático e participativo. A terceira etapa que, de acordo com Ristoff (2011), se denominava de avaliação externa, era realizada por profissionais da educação superior com conhecimentos comprovados na área da avaliação e da educação superior, permitindo, o que posteriormente o INEP (2004) denominou de meta-avaliação, um feedback direcionando ao acompanhamento de objetivos institucionais e de curso.


Entre as intenções do programa, também estava o fato de promover a legitimidade da avaliação, garantida pela atividade dos pares e por aspectos que estavam vinculados ao respeito a identidade institucional, a continuidade e a não punição ou premiação. Esses fatores, posteriormente consolidados no SINAES, deveriam garantir a avaliação como um processo sistêmico, dinâmico e que englobasse as perspectivas somativas e formativas.


Mesmo sob uma perspectiva democrática, o modelo sofreu críticas quando buscou orientar-se sob a premissa da legitimidade. Isso pode ser percebido nas reflexões de Cunha (1998), já que a avaliação institucional não era um consenso no âmbito político da educação superior. Tal como indica o Relatório do PAIUB - Brasil (1994) - mesmo recebendo uma nova roupagem, congregando a intenção de elevar a educação superior a um patamar diferenciado na percepção da comunidade acadêmica, o PAIUB não criou laços concretos no contexto político-educacional do Brasil, sofrendo, sobretudo, com dificuldades técnicas e operacionais de desenvolvimento.


Por tal fato, o PAIUB não logrou o êxito esperado por seus idealizadores, apesar de estabelecer uma nova forma de analisar a educação superior no âmbito institucional. O programa se constituiu em uma experiência curta pelo fato de abordar aspectos políticos e extrínsecos ao desenvolvimento da educação superior, mas promoveu um novo diálogo sobre a educação superior baseado em mudanças metodológicas e semânticas na dinâmica institucional, determinando, pelo menos em uma perspectiva conceitual, uma nova retórica, tendo a comunidade acadêmica como a base para o desenvolvimento da avaliação.


Considerando o que é destacado por Hékis (2008), Real (2007) e Barreyro e Rothen (2008), mesmo com o insucesso, o PAIUB se tornou um programa institucional e interno, desenvolvido no âmbito da identificação de lacunas relacionadas com a estrutura institucional, fato que inviabilizou seu desenvolvimento. Destarte, tal como discutido por Carnielli, Costa e Braga (2008), os dirigentes institucionais se desinteressaram pelo aporte metodológico da avaliação, o que levou os órgãos reguladores a se apropriarem de uma parte do programa, considerando-a como o novo processo de avaliação institucional.


3.1.5 O Exame Nacional de Cursos (ENC)

O Exame Nacional de Cursos (ENC), que deveria ser parte do PAIUB, aproveita uma experiência desenvolvida na educação básica, por intermédio de um projeto piloto que tinha a intenção de integrar a comunidade acadêmica em um processo de avaliação. O Exame também estava alinhado com o esforço do Brasil em se integrar às ações da América Latina, destacadas por Carnielli, Costa e Braga (2008), e que tinham a função de estruturar um novo cenário educacional no contexto brasileiro, já que o país buscava novos patamares de crescimento.


O Exame encontrou fulcro na edição de Lei No 9.131, de 24 de novembro de 1995, que pode ser considerada um marco histórico no desenvolvimento da avaliação da educação superior, já que torna a avaliação uma estratégia de governo para o fomento de um sistema de educação superior, contando com a participação ativa do Conselho Nacional de Educação. O ENC é instituído como sendo um instrumento revolucionário de avaliação, partindo de pressuposto integrativo, alinhando o desempenho da comunidade acadêmica ao processo de avaliação e que se constituiu no principal mecanismo de avaliação entre 1995 e 2002 e desenvolvido sob uma perspectiva racionalista-funcional, discutida por Dias Sobrinho (2003).


O Exame, como base central da avaliação, estava pautando em um amplo processo de regulamentação, centrado em questões eminentemente regulatórias previstas na Lei de Diretrizes e Bases da Educação. Partia-se da ideia de que a utilização de diversos instrumentos e esferas da administração pública educacional poderia colaborar com a avaliação de um sistema marcado pela diversidade de instituições e cursos. Assim como destaca Cunha (1998), o processo permitiu e contribuiu com a expansão das instituições, cursos e vagas, auxiliando uma construção prospectiva do cenário da educação superior.


A operacionalização estava marcada por uma prova aplicada aos concluintes dos cursos de graduação, permitindo que estes fossem avaliados de acordo com sua proposta curricular, considerando o currículo mínimo designado para as diversas áreas do conhecimento e levando em consideração padrões de desempenho impostos pelos órgãos reguladores da educação superior no Brasil. Ao considerar esta lógica, o ENC tinha o objetivo de promover uma ênfase à missão institucional, sob a égide de conceitos de produtividade e eficiência, dentro de uma lógica positivista, considerando o resultado do exame como forma de prestação de contas à sociedade. Enquanto o PAIUB tinha o foco apenas na globalidade institucional, o ENC passa a considerar o curso como instrumento fundamental da eficácia institucional, partindo da concepção de que a qualidade do curso estava diretamente relacionada a qualidade de seus acadêmicos.


Carnieli, Costa e Braga (2008) ainda destacam a utilização de um instrumento que encontrou base na Lei No 9.131 de 1995 e na LDB, considerando um questionário sobre as condições socioeconômica do acadêmico e que também tinha a função de avaliar a estrutura física da instituição. Desse modo, considerando os ensejos legais da proposta avaliativa, INEP (2004) destaca que esse mecanismo colaborou com o desenvolvimento de pressupostos avaliativos, alavancando estratégias baseadas em indicadores comuns e levantados no contexto das instituições e cursos avaliados.


O Exame Nacional de Cursos, vulgarmente conhecido como “Provão”, buscava também a integração entre Ministério da Educação com as instituições, de modo a estimular uma concorrência pacífica e a valoração da identidade e da globalidade institucional e do sistema de educação superior. Em especial, o segmento privado, em franco processo de expansão, passou a criticar severamente o sistema, pois os resultados da prova passaram a constituir rankings que não estavam de acordo com as premissas de atuação das instituições, considerando padrões que não tinham relação com a estrutura do segmento.


A ideia, que inicialmente foi considerada inovadora pelo fato das novas preposições na estrutura do sistema, aspecto destacado por Collaço e Neiva (2006), perdera a relevância e a credibilidade, prejudicando a avaliação institucional como sistema. Pelo fato do exame avaliar as condições de desempenho dos acadêmicos, utilizando uma única prova, a proposta tornou-se enviesada e foi criticada pelos diversos segmentos da comunidade acadêmica, sobretudo pelo fato de não contar com um processo de sensibilização de acordo com as expectativas geradas pela estrutura da proposta. Mesmo ao considerar os procedimentos adjacentes, tal como a Avaliação das Condições de Oferta (ACO), a Avaliação das Condições de Ensino (ACE) e a Avaliação dos Centros Universitários (ACU), a avaliação ainda necessitava de critérios que levassem em conta a diversidade do sistema de educação superior brasileiro.


Mesmo com a edição do Decreto No 3.860, de julho de 2001, destacado por Souza (2001) e que buscou integrar a avaliação, a regulação e a supervisão da educação superior, a avaliação institucional continuou fortemente controlada pela regulação estatal. Tal aspecto, considerando as contribuições de Souza (2001) e Collaço e Neiva (2006), foi prejudicial, colocando a avaliação e o ENC em descrédito pelos diversos segmentos da comunidade acadêmica.


Isso consolidou a ingerência do sistema regulador, comprometendo a estrutura sistêmica discutida por Collaço e Neiva (2006), e fez com que tivesse início um processo de culminou na extinção do exame como base para a avaliação. O “boicote” dos acadêmicos em relação ao exame desestruturou toda a estrutura complementar da avaliação e determinou a ineficácia de todo os procedimentos do “Provão”. Do ponto de vista institucional, apesar de consolidado como um aspecto relevante ao desenvolvimento dos cursos e instituições, a observância dos critérios propostos se deparavam com a ausência de um controle organizado pela entidade estatal.


Apesar destes aspectos, INEP (2004) salienta que o Exame Nacional de Cursos, na totalidade de sua estrutura, serviu de base para a construção de um sistema considerado referencial no processo de avaliação da educação superior, que determinava a participação ativa da comunidade acadêmica e considerava, entre outros aspectos, a contribuição da instituição como precursora de um processo de autoavaliação. O SINAES, em seu escopo, se constituiu da experiência de diversos momentos históricos da avaliação no Brasil, consolidando um sistema norteador do desenvolvimento gerencial dos diversos modelos institucionais e que vigora atualmente.


3.1.6 O Sistema Nacional de Avaliação da Educação Superior (SINAES): da proposição de mudança ao continuísmo do viés somativo-regulatório


A avaliação da educação superior, em seu contexto histórico, é marcada pelo continuísmo de políticas alinhadas com a regulação, a verificação da qualidade por intermédio de propostas metodológicas e a supervisão, como mecanismo de cerceamento da expansão, ou do posicionamento de segmentos, ou de modelos institucionais que não observam, na totalidade, as políticas públicas. Essa assertiva encontra base nos estudos de Ristoff (2011), o qual apresenta uma retrospectiva da avaliação institucional no Brasil, marcada pelas inferências governamentais que propõem o acompanhamento sistemático do desempenho institucional.


Resguardando os princípios controladores, elencados por meio do estudo desenvolvido a partir de todos os modelos de avaliação já propostos ao sistema de educação superior brasileiro, surge, em 2004, um instrumento que engloba as principais características de sistemas internacionais e trazem, em sua concepção epistêmica, os princípios principais apresentados pelo PAIUB. O Sistema Nacional de Avaliação da Educação Superior (SINAES) torna-se uma ferramenta que, além de estratégica, busca inserir as instituições em um contexto de inteligência competitiva. Isso se confirma no momento em que o SINAES predispõe um olhar para a dinâmica externa da instituição, constituindo o “autoconhecimento institucional”.


O sistema, originário de políticas que emanam do Plano Nacional da Educação, é considerando uma referência no contexto da avaliação institucional, é tratado, pelos principais estudiosos da educação superior, como um dos mais robustos do mundo. Dias Sobrinho (2008) e Ristoff (2011), entre tantos outros, relatam que o SINAES trouxe uma inovação significativa para o cenário educacional brasileiro, permitindo que as instituições usufruíssem da possibilidade de desenvolver, aplicar, acompanhar e avaliar um projeto institucional.


Além das inovações operacionais, o SINAES propôs alterações da estrutura epistemológica da avaliação institucional e da educação superior por completa, no momento em que preconiza a participação ativa da comunidade acadêmica em todos os momentos da avaliação e torna o processo um referencial básico para a continuidade do processo de expansão de instituições e de cursos. Apesar desses princípios estarem inseridos nos modelos anteriores, no SINAES, eles seriam mais bem sistematizados no momento em que o sistema consolida a construção de um relatório, alinhado ao projeto institucional, orientando um processo de investigação externa desenvolvida por profissionais qualificados, imparciais e com vasta experiência em avaliação institucional.


Hékis (2008) e Thives Junior (2007) destacam que o sistema trouxe inovações no momento em que propôs uma estrutura de avaliação que contemplasse momentos distintos e procedimentos interdependentes, contando com a participação de toda a comunidade acadêmica envolvida com as atividades institucionais. Segmentado em três etapas, considerando a avaliação institucional externa, a avaliação de cursos e a avaliação do estudante, o sistema contemplaria uma concepção somativa, no momento em que forneceria dados para os órgãos reguladores, e formativa, ao permitir que cada instituição pudesse constituir sua identidade institucional.


No decurso de sua implementação, Frauches e Fagundes (2007) destacam a expectativa gerada na comunidade acadêmica, pelo fato de permitir que todas as instituições, em função da necessidade de construção de um projeto institucional, pudessem se inserir em um contexto estratégico. O SINAES, durante os primeiros anos de sua concepção, despertou reflexões alinhadas a uma proposta de reforma universitária no Brasil, uma vez que congregava esforços conjuntos e convergentes dos diversos envolvidos com o processo educacional no Brasil. 


A mudança esperada com o sistema estaria relacionada à possibilidade de se consolidar a autonomia apregoada pela Lei de Diretrizes e Bases, sistematizada por Souza (2001), permitindo que instituições, cursos e entidades reguladoras pudessem desenvolver suas respectivas atividades dentro de uma cultura definida. Pelos papéis assumidos por todos os envolvidos, a educação superior teria sua expansão regulada pelas investigações preconizadas no âmbito institucional, permitindo que cada uma das instituições pudessem se expandir, ou mesmo se consolidar, a partir das investigações que seriam desenvolvidas. 


Ainda com relação às mudanças previstas, a autoavaliação, de acordo com as considerações de Garcia (2006), apareceu como a maior inovação do processo, já que contava com a participação de toda a comunidade acadêmica, permitindo que o desenvolvimento institucional pudesse se expor por meio de um processo legítimo, justo, inclusivo e, principalmente, sob um viés formativo e emancipatório. Contudo, mesmo com todas as inovações propostas, o sistema sofreu com diversos aspectos que culminaram em falhas na implantação e no desenvolvimento do sistema.


O que deveria ser uma proposição de mudança, acabou se tornando um instrumento de continuísmo de uma política reguladora de viés somativo, já que diversos aspectos resgataram as falhas encontradas no contexto histórico da avaliação institucional. O que deveria se constituir sob um pensamento de características fenomenológica-qualitativa, torna-se um mecanismo de viés positivista, funcionalista e regulador. 


Isso aconteceu em função do forte aparato legal e normativo, impedindo o desenvolvimento das atividades institucionais, dificultando a compreensão da dinâmica da educação superior e incorrendo em dificuldades de implementação do projeto institucional. Além disso, o SINAES conviveu, e convive, com as dificuldades técnicas e operacionais por parte dos órgãos gestores, pela falta de avaliadores e pelas mudanças frequentes na estrutura epistemológica do sistema. 


A proposta inovadora e de mudanças concretas no ambiente da educação superior, foi marcada pelo continuísmo, centrada em um pensamento racional, funcionalista orientado por uma dinâmica regulatória. Essa dinâmica, marcada por uma série de interferências operacionais, passa a influenciar a epistemologia da avaliação e, sobretudo, a identidade da educação superior brasileira, incorrendo em dificuldades de compreender os sentidos e as funções do processo no contexto dos diversos segmentos que compõem a estrutura educacional brasileira.


4 Os sentidos e as funções da avaliação sob a perspectiva epistemológica-conceitual


Pelos diversos sistemas e instrumentos preconizados para a avaliação institucional brasileira, sobretudo após o ato constitucional de 1988, percebe-se que o pensamento que prevalece é o positivista, sistêmico e regulador, sempre com o objetivo de consolidar a identidade institucional e do sistema de educação superior brasileiro. Thives Junior (2007) destaca que a lógica preponderante do processo busca inserir o segmento em um cenário semelhante ao de países em desenvolvimento, orientando reformas no sistema educacional, conforme descrito por Esteves (2007), compreendendo a educação como um bem mercantil sob um pensamento orientando pela lógica do mercado.


As contribuições de Souza (2001) também destacam que os sistemas avaliativos emularam um pensamento gerencial que trouxe um impacto em todo o setor educacional, dinamizando a estrutura das instituições em geral e determinando novos rumos, sobretudo ao segmento da educação superior. Todas as ações, mesmo que dentro de uma perspectiva reguladora, tinham relevantes para a contribuição da educação como instrumento de constructo social, buscando uma identidade epistemológica de estrutura somativa-formativa. 


Em geral, pode-se afirmar que todos os sistemas propostos para a avaliação consideraram o momento político brasileiro e tinham foco em questões regulatórias e somativas. INEP (2004) identifica que essa premissa é verdadeira, tal como nas discussões de Thives Junior (2007), isso permite fazer com que o segmento da educação superior passe a estruturar o desenvolvimento social: 


Nesse quadro de aceleradas mudanças econômicas e sociais e de reformas das instituições educacionais, mais explicitamente as que se dedicam à formação dos indivíduos e à produção de conhecimentos e técnicas, vistos hoje como valiosos capitais econômicos, ganham centralidade, em todos os países que buscam modernizarem-se, os processos de avaliação e de regulação da educação superior (HÉKIS, 2008, p. 31).


Essas diretrizes constituíram o significado da avaliação da educação superior contemporânea, tal como elencam os direcionamentos de Voos (2004), já que por meio das variadas concepções da avaliação na educação superior, as instituições passaram a considerar o contexto econômico, social e político, tendo a missão como foco do processo avaliador. Por este fato, a avaliação, sob uma ótima positivista e reguladora, seria uma forma contundente e preponderante para justificar a necessidade social da instituição, observando as exigências sociais ensejadas a instituição. Isso também foi discutido por Dias Sobrinho e Balzan (1995), trazendo a tona à avaliação como tema recorrente no sentido de consolidar uma estrutura educacional firmada nas bases da qualidade, na observância de um posicionamento social importante e responsável.


Sob a égide deste pensamento, Voos (2004) destaca que a avaliação segue diversas concepções, sendo que algumas partem de pressupostos contrários à essência da educação superior e da sociedade, e que acompanham a evolução social do segmento educacional. Ela surge como ferramenta que impulsiona a educação superior sendo parte de um escopo social, acompanhando os pressupostos evolutivos que emanam da contemporaneidade, exigindo ações importantes das instituições. É, também, uma ferramenta de reflexão orientada no âmbito técnico-operacional do segmento da educação superior, culminando em um procedimento orientado para a utilização de instrumentos participativos e vinculados à identificação da qualidade.


Ao refletirem sobre o conceito de avaliação, Tognarelli e Turine (2000) partem de contextos concretos para discutir a importância da avaliação como processo construtivo e reflexivo, evidenciando a necessidade de uma postura dinâmica da instituição perante a sociedade. Esse aspecto é alinhado ao pensamento de Ristoff (2011), que trata a avaliação como um aparato teórico-metodológico que deve quebrar resistências dos diversos segmentos da comunidade acadêmica, se constituindo em instrumento burocrático de mensuração de valores.


A avaliação também está vinculada a um pressuposto funcionalista-racional, já que é parte construtiva de um modelo gerencial, promovendo a oportunidade de atender anseios sociais determinados por um novo perfil social, livre de ideologias. Ao assumir essa postura, tal como destacado por Meyer Junior (2004) e Voos (2004), o processo absorve novos paradigmas ao promover um aporte teórico-metodológico ao processo gerencial da instituição a partir da discussão sobre os resultados do processo avaliativo. 


Sobre os sentidos do processo, o principal aspecto é a busca de referências que visam estruturar o processo de construção de um projeto institucional, delineando práticas concretas de ações institucionais que orientam a tomada de decisão. Além disso, a avaliação também é mecanismo de construção, desconstrução e reconstrução de paradigmas, sobretudo em uma sociedade em evolução e em ambiente altamente complexo e competitivo. A avaliação também permite a construção de um olhar crítico, epistemológico e concreto sobre o papel da instituição, no sentido de compreender os modos pelo qual o segmento da educação superior caminha no contexto das políticas públicas, alinhando ações vinculadas ao processo de construção social de responsabilidade da educação superior.


Tal fato coloca a avaliação em um cenário político e burocrático, conforme dizem Carnielli, Costa e Braga (2008), e está amparada no pensamento racional vinculado à percepção de Gomes (2002), e que a discussão sobre o papel social do processo está correlacionado com diversas vertentes do pensamento acadêmico. Entre as diversas frentes deste pensamento, a avaliação consolida seus sentidos nos aspectos relacionados ao desenvolvimento da educação superior, com ênfase nos processos gerenciais, consolidando uma construção técnica e estratégica no âmbito da instituição.


No decurso de seus sentidos, a avaliação institucional também é um instrumento de reflexão sobre o modelo institucional, já que parte para uma discussão sobre o questionamento levantado por Possani, Gonçalves e Abramowicz (2010), refletindo sobre a construção de um novo cenário estrutural, sobreposto ao que se chamou de universidade “humboldtiana”. Em geral, a avaliação institucional ainda converge esforços relacionados à comunicação dos objetivos institucionais, adquirindo relevância no processo de construção sistemática das informações no âmbito institucional, constituindo um pensamento abrangente no contexto da inserção institucional no âmbito da educação superior.


Nas discussões proporcionadas por INEP (2009), a avaliação institucional consolida seu escopo qualitativo e quantitativo no âmbito das instituições, orientando as diversas identidades destacadas por Collaço e Neiva (2006), em um ambiente altamente complexo, destacado por Esteves (2007), Schlickmann, Melo e Alperstedt (2008). Isso faz com que sua estrutura preconize indicadores, que vão permitir uma leitura do processo gerencial que orienta o desenvolvimento do projeto institucional, posicionando a avaliação institucional como um mecanismo de construção perene da identidade institucional.


5 Discussões emergentes: possibilidades de transposição da perspectiva somativa para a emancipatória


Ao analisar o resgate histórico da avaliação da educação superior, é possível perceber que existe uma série de questões que consolidam um viés somativo, emancipatório e de origem funcionalista na estrutura dos diversos modelos que foram discutidos. Desde as investigações iniciais preconizadas pela CAPES, uma influência pragmática é destacada no contexto da avaliação, uma vez que a educação superior emergia como um mecanismo de promoção da liberdade de pensamento, da autonomia de ações e, sobretudo, de emancipação.


Na estrutura dos estudos de Ristoff (2011), percebe-se que a avaliação se tornou um instrumento de prestação de contas, lançando mão de se tornar uma ferramenta de discussões e reflexões, livres de ideologias impositivas e, principalmente, orientada para a construção da epistemologia de cada modelo institucional. O pensamento de Andrade e Amboni (2004) coaduna-se com essas considerações, já outros autores destacam que a avaliação, principalmente depois do PAIUB, deveria se tornar um instrumento de construção perene da identidade institucional, sendo secundária a prestação de contas em função da funcionalidade institucional. Apesar de relevante, o processo vinculado ao accountability deveria ocorrer no momento em que a instituição possuísse os direcionamentos evidentes de sua atividade, tendo em vista que esses fatores constituiriam os subsídios para a respectiva expansão.


A expectativa com o surgimento do SINAES era a de que essa lógica poderia mudar, pois o sistema congregou objetivos e princípios que estavam orientados para a uma lógica formativa, emancipatória e que tinha a intenção de incorrer em alterações epistemológicas no sentido de avaliação. A estrutura do SINAES, inicialmente, se apresentou imbuída de questões alinhadas com o pensamento dialético, preconizado por Demo (1985), visto que buscava um diálogo com o cenário no qual a instituição deveria atuar. 


Ao considerar essa visão, dentro de um pressuposto lógico que considera a imagem atual do processo avaliativo, o caráter somativo, em contraponto à percepção das instituições, enseja uma mudança de lógica que preconize uma visão formativa do processo, permitindo que cada instituição tenha sua dinâmica. Nesse sentido, considerando a literatura disponível sobre a avaliação e as diversas questões levantadas por Leite (2009) e Ristoff (2011), mudar o paradigma da avaliação é promover uma alteração na identidade do processo a partir de possibilidades que podem ser consideradas fundamentais.


A primeira, e talvez a principal delas, seria um rearranjo do arcabouço regulador, legal e técnico do processo, permitindo que a avaliação tenha base no pensamento de Malinowski (1970), discutido exaustivamente por Leite (2009), fazendo com que a avaliação preconize uma compreensão clara dos fenômenos institucionais, mas que sirva de base para uma reflexão construtiva no contexto institucional. Isso permitiria uma melhor compreensão da estrutura legal que orienta as atividades da educação superior, determinando o fim de dubiedades e de entendimentos equivocados por parte das instituições, além de permitir que cada modelo institucional tenha a possibilidade de atender, de acordo com critérios próprios, as diretrizes das políticas educacionais brasileiras. 


Outro fator que aparece como aspecto relevante no processo de alteração de paradigma estaria relacionado com a valorização das competências organizacionais que estão incutidas em diversas instituições. Além de valorizar a diversidade da educação superior no Brasil, esse fator permitiria que cada instituição pudesse assumir objetivos próprios e utilizar o seu planejamento estratégico sem se preocupar, prioritariamente, com questões regulatórias ou somativas que determinam a atividade institucional. Além disso, no momento em que há a valorização dessas competências, cada instituição passa a constituir indicadores próprios para que sejam avaliados, fortalecendo a auto avaliação como mecanismo de gestão.


No sentido de consolidar uma nova epistemologia para o processo, preconizando um viés emancipador, outro fator substantivo para a alteração da lógica seria a alteração do peso do ENADE como único mecanismo de avaliação, fortalecendo o SINAES como sistema e a auto avaliação como o principal meio para se constituir a identidade institucional. Esse aspecto seria fato gerador de outra alteração relevante, como a lógica dos indicadores de qualidade, traduzidos em índices e conceitos previstos na Portaria Normativa No 23, de 29 de dezembro de 2010, está centrada exclusivamente no ENADE, fazendo com que a avaliação se torne um mecanismo dependente, quase que na totalidade, da competência dos estudantes.


Importa destacar, com base nas possibilidades elencadas, que a epistemologia, a identidade e a estrutura da avaliação institucional no Brasil passam por alterações constantes em função das demandas e políticas governamentais impostas pelos órgãos reguladores. Contudo, se mantém uma lógica oposta à percepção das instituições, sobretudo as que atuam no segmento privado, inseridos em mais de 500 municípios brasileiros e possuem cerca de 75% das matrículas. Destarte, o viés epistemológico do processo apresenta um direcionamento racional, sistemático, pragmático e funcionalista, mas com possibilidades concretas de alteração do paradigma vigente em função das diversas demandas que se apresentam no contexto institucional.


Considerações finais


Pela análise do contexto histórico, a avaliação da educação superior se constituiu como um mecanismo de caráter estruturante e que assumiu o papel de desenvolver um sistema de educação superior centrado em aspectos reguladores responsáveis por consolidar uma epistemologia somativa arrolada ao processo. Graças a essa consolidação, predomina o pensamento funcionalista, cartesiano, sob um viés fortemente influenciado pelo pragmatismo de ações. Mesmo com o surgimento do SINAES, buscando um equilíbrio entre a vertente somativa e formativa, predominou o caráter de prestação de contas como base fundamental da avaliação da educação superior, se posicionando em contraponto às expectativas e atividades das instituições.


No decorrer da evolução dos sistemas de avaliação, a busca por uma epistemologia é constante, visto que a avaliação sempre se constituiu em uma vertente política de impacto direto nas atividades do segmento universitário, trazendo consequências diretas para as atividades técnicas, acadêmicas e administrativas. Isso impediu o desenvolvimento de competências fundamentais para uma visão formativa da avaliação, resumindo o processo a um procedimento evasivo, de pouco significado para as instituições e cercado do poder de política dos órgãos reguladores da educação superior no Brasil.


O que predominou, ao longo dos diversos períodos e modelos avaliativos, foi o aspecto regulatório e controlador, caracterizando um cenário epistemológico somativo, fazendo com que instituições e cursos atendam apenas aos requisitos de manutenção no contexto, ao invés de buscar novas ferramentas para o desenvolvimento do ambiente. Isso foi discutido por Ribeiro (2010), que destacou a dificuldade da alteração do paradigma controlador já que a lógica mercantilista, outra vertente de consolidação do viés predominante, fez com que as atividades institucionais, em alguns casos, observassem o lucro em detrimento da qualidade. 


Com base nesses pressupostos, o artigo congregou o objetivo de apresentar uma análise epistemológica da avaliação da educação superior no Brasil, refletindo sobre seu viés somativo-regulador e sugerindo ações para a consolidação da visão emancipatória do processo. Pela problemática elencada, é possível observar que a avaliação se constituiu de diversos sistemas que preconizavam um pensamento controlador, apesar do conglomerado de instituições se posicionarem no contraponto dessa questão. Mesmo assim, a identidade do processo avaliativo conservou uma dinâmica restritiva, sob o argumento de preservação da identidade de qualidade adequada ao cenário nacional.


Desde o PARU até o Provão, o que se viu foi uma série de tentativas governistas de manter o controle sobre as atividades institucionais, instituindo mecanismos controladores que pudessem criar uma identidade diferente da que era ensejada pelas instituições. Nesse ínterim, o PAIUB surge com uma dinâmica diferenciada, mas sofre com a falta de apoio político dos órgãos representativos e, inclusive, de algumas instituições que não depositaram credibilidade no sistema.


A partir do surgimento do SINAES, os contornos que se deram à avaliação passaram a movimentar o segmento da educação superior no sentido de promover um novo olhar para a identidade do processo, criando uma expectativa de alteração da episteme do processo. Ao congregar métodos e processos de caráter sistêmico, o SINAES apresentou ferramentas que permitiam, pelo menos na perspectiva teórica, um viés emancipador, orientado para a construção da identidade institucional. Além de valorizar a cultura da educação superior brasileira, marcada pela complexidade e pela diversidade, o sistema promoveria uma inovação no processo avaliativo no momento em que deveria valorizar a reflexão, o diálogo e pensamento emancipador e dialético. Mas em decorrência de uma série de dificuldades, não foi possível observar o que se propôs, fazendo com que a avaliação retornasse ao seu viés controlador. 


Mesmo trazendo em seu bojo epistemológico-conceitual um aspecto dialético, a avaliação da educação superior brasileira não logrou êxito em consolidar esse pensamento, tornando-se contraditória. O que se apresentou nos documentos, estudos e demais materiais produzidos pelos órgãos reguladores, foi diferente do que, de fato, foi operacionalizado. Disso decorrera uma série de possibilidades que permitiram uma transposição dessa visão, já que a expectativa das instituições é promover a avaliação a partir de um viés emancipador, tendo em vista as contribuições relevantes de Ristoff (2011) e o cenário que se apresenta, que é difuso, complexo e competitivo. Além de valorizar as competências institucionais, no momento em que se posiciona como emancipador, o processo permite que uma nova epistemologia se constitua, de modo a promover uma integração entre todos os modelos institucionais presentes no cenário nacional.


Por derradeiro, percebe-se que a avaliação institucional necessita de uma reforma, suprimindo o pensamento regulador que preconiza o controle exacerbado dos órgãos estatais e consolidando uma epistemologia baseada no pensamento dialético, de caráter emancipatório. Para tanto, a valorização da auto avaliação é uma das possibilidades que se apresentam para a transposição para uma visão formativa, além de outras ferramentas que também podem colaborar com o desenvolvimento de um processo livre, reflexivo e democrático.


Para trabalhos futuros, sugere-se o aprofundamento do estudo de possibilidades de transposição da visão somativa para a formativa, permitindo que se constituía uma discussão concreta no contexto da comunidade acadêmica que tenha o objetivo de consolidar a avaliação como um mecanismo estratégico, sistemático e, sobretudo, democrático e livre de ideologias.


Referências


• ANDRADE, Rui. O. B. de; AMBONI, Nério. Gestão de cursos de administração. São Paulo: Prentice-Hall, 2004.
• ATCON, Rudolph P. Teoria sobre administracion universitaria. In: ATCON, Rudolph P.; TRUCCO, Henrique Tono. Teoria sobre administracion universitária: administracion Acadêmica. Guadalajara: UAG/OEA, 1973
• A cultura brasileira. São Paulo: Melhoramentos; EDUSP,1971.
• BARREYRO, Gladys Beatriz; ROTHEN, José Carlos. Para uma história da avaliação da educação superior brasileira: do PARU, CNRES, GERES e PAIUB. Avaliação, Campinas; Sorocaba, SP, v. 13, n. 1, p. 131-152, mar. 2008.

• BERTOLIN, Julio C. A transformação do SINAES: da proposta emancipatória à Lei híbrida. Avaliação, Campinas, v. 9, n. 4, p. 67-97, dez. 2004.

• BHATT, Ganehs D. Information dynamics, learning and knowledge creation in organizations. The Learning Organization, Ontario, Canadá, v. 7, n. 2, p. 89-98, 2000.


• BOURDIEU, Pierre. Lección sobre la lección. (Edición original: Leçon sur la leçon). Paris: Les Éditions de Minuit, 1982.
• BRAGA, Ryon. Análise setorial do ensino superior privado no Brasil: tendências e perspectivas. São Paulo: Hoper, 2009.
• BRASIL. Lei No 9.131, de 24 de novembro de 1995. Altera dispositivos da Lei nº 4.024, de 20 de dezembro de 1961, e dá outras providências. Disponível em: <http://www.planalto.gov.br/ccivil_03/leis/L9131.htm>. Acesso em: 10 jan. 2013.

  » http://www.planalto.gov.br/ccivil_03/leis/L9131.htm
• BRASIL. Ministério da Educação. CAPES/Grupo Gestor da Pesquisa (GERES). Relatório do Andamento do Programa. Brasília: MEC, 1986.

• BRASIL. Ministério da Educação. Programa de Avaliação Institucional das Universidades Brasileiras – PAIUB. Brasília. MEC,1994.

• BRASIL. Portaria normativa No 23 de 29 de dezembro de 2010. Altera dispositivos da Portaria Normativa nº 40, de 12 de dezembro de 2007, que Institui o e-MEC, sistema eletrônico de fluxo de trabalho e gerenciamento de informações relativas aos processos de regulação, avaliação e supervisão da educação superior no sistema federal de educação, e o Cadastro e-MEC de Instituições e Cursos Superiores e consolida disposições sobre indicadores de qualidade, banco de avaliadores (Basis) e o Exame Nacional de Desempenho de Estudantes (ENADE) e outras disposições. Disponível em: <http://www.semesp.org.br/portal/pdfs/juridico2011/Portarias/Janeiro/PORTARIA%20N%2023%20-1-12-10.pdf>. Casa Civil. 2010. Acesso em: 12 abr. 2011.

  » http://www.semesp.org.br/portal/pdfs/juridico2011/Portarias/Janeiro/PORTARIA%20N%2023%20-1-12-10.pdf
• CARNIELLI, Beatriz Laura; COSTA, Candido Alberto Gomes da; BRAGA, Hudson Eloy. A avaliação da educação superior no Brasil: trajetória, intenções e realidade. Educação brasileira. Brasília: CRUB, 2008.

• CATANI, Afrânio Mendes; OLIVEIRA, João Ferreira de. Educação superior no Brasil: reestruturação e metamorfose das Universidades Públicas. Petrópolis: Vozes, 2002.
• CAWTHRON, Robert; ROWELL, Jack. A. Epistemology and science education. New York: Studies in Sceince Education, 1979. v. 5, p. 31-59
• CHANLAT, Jean F. A caminho de uma nova ética das relações nas organizações. Revista de Administração de Empresas, São Paulo, v. 32, n. 3, p. 68-73, jul./ago. 1992.
• CHOMSKI, Noan; FODOR, Jerry. Exposição do paradoxo. In: PALMARINI, M. P. Teorias da linguagem teorias da aprendizagem. Lisboa: Ed. Setenta, 1987.
• CLEMINSON, Andrew. Establishing a epistemological base for science teaching. Journal of Research in Science Teaching, New York, v. 27, n. 5, p. 429-445, 1990.

• >COLLAÇO, Flávio Roberto; NEIVA, Claudio Cordeiro. Temas atuais de educação superior. Brasília: ABMES, 2006.

• CUNHA, Luiz A. A reforma em crise: gestão, estrutura e território. Avaliação, Campinas, v. Especial, n. 2, 1998.


• CURY, Carlos Roberto Jamil. A educação e a nova ordem constitucional. ANDE, v. 8, n. 14, p. 5-11, 1989.


• DEMO, Pedro. Base empírica da pesquisa social; Abordagem sistêmica e funcionalista – vi-são dinâmica dentro do sistema; Sociedade provisória – perspectivas de uma metodologia processual dialética. In:______. Metodologia científica em ciências sociais. São Paulo: Atlas, 1985.
• DEMO, Pedro. Educação hoje. Novas tecnológicas, pressões e oportunidades. São Paulo: Atlas, 2009.
• DIAS SOBRINHO, José. Avaliação: políticas educacionais e reformas da educação superior. São Paulo: Cortez, 2003
• DIAS SOBRINHO, José. Avaliação institucional, instrumento da qualidade educativa: a experiência da UNICAMP. In: DIAS SOBRINHO, José; BALZAN, Newton C. (Orgs). Avaliação institucional: teoria e experiências. São Paulo: Cortez, 1995.
• DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação, Campinas, Sorocaba, v. 13, n. 3, p. 817-825, nov. 2008.

• ESTEVES, Paulo C. L. Fatores determinantes de mudanças na estrutura competitiva do sistema de ensino superior de Santa Catarina. 154f. Tese (Doutorado) - Programa de Pós-Graduação em Engenharia e Gestão do Conhecimento, Universidade Federal de Santa Catarina, Florianópolis, 2007.
• FRAUCHES, Celso C.; FAGUNDES, Gustavo M. LDB anotada e comentada e reflexões sobre a educação superior. 2. ed. Brasília: 2007.
• GALVÃO, C.M.; SAWADA, N.O; TREVIZAN, M.A. Revisão sistemática: recursos que proporciona a incorporação das evidências na prática da enfermagem. Revista Latino-am Enfermagem, São Paulo, v. 12, n. 3, p. 549-56, 2004.

• GARCIA, Mauricio. Gestão profissional em instituições privadas de ensino superior: um “guia de sobrevivência” para mantenedores, acionistas, reitores, pró-reitores, diretores, coordenadores, gerentes e outros gestores institucionais. Brasil: Hoper, 2006.
• GOMES, Alfredo Macedo. Política de avaliação da educação superior: controle e massificação. Educação e Sociedade, Campinas, v. 23, n. 80, p. 277-300, set. 2002.
• GROPPO, Luís Antonio. Da universidade autônoma ao ensino superior operacional: considerações sobre a crise da universidade e a crise do Estado nacional. Avaliação, Campinas; Sorocaba, v. 16, n. 1, p. 37-55, 2011.


• HABERMAS, Jurgen. Conhecimento e interesse. Rio de Janeiro: Zahar, 1982
• HÉKIS, Hélio Roberto. Balanced scorecard: proposta de indicadores para monitorar e avaliar projetos pedagógicos dos cursos de graduação: o caso da faculdade Estácio de Sá de Santa Catarina. 221 fls. Tese (Doutorado). Programa de Pós-Graduação em Engenharia da Produção, Universidade Federal de Santa Catarina. Florianópolis, 2008.


• INEP. SINAES. Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 5 ed. Brasília: INEP, 2009.
• INEP. SINAES. Sistema Nacional de Avaliação da Educação Superior: da concepção à regulamentação. 2. ed. Brasília: INEP, 2004.
• JAPIASSU, Hilton. Interdisciplinaridade e patologia do saber. Rio de Janeiro: Imago, 1976
• KÖCHE, José Carlos. Fundamentos de metodologia científica. 14. ed. Petrópolis: Vozes, 1997
• KUHN, Thomas. Posfácio. A estrutura das revoluções científicas. São Paulo: Perspectiva, 1987
• LEITE, Denise. Avaliação participativa e qualidade. Os atores locais em foco. Centro Universitário Metodista. Porto Alegre: Sulina, 2009.
• MALINOWSKI, Brian. A teoria funcional. In: UMA TEORIA científica da cultura. Rio de Janeiro: Zahar, 1970
• MEYER JUNIOR, Vitor. Planejamento universitário: Ato Racional, Político ou Simbólico – Um estudo de Universidades Brasileiras. In: ENCONTRO NACIONAL DA ASSOCIAÇÃO NACIONAL DE PÓS -GRADUAÇÃO EM ADMINISTRAÇÃO – ENANPAD, 28. 2004. Curitiba. Anais. ANPAD, 2004.
• MILES, Matthew B.; HUBERMAN, Michel A. Qualitative data analysis. An expanded sourcebook. SAGE Publications, 1994
• MORIN, Edgar. Problemas de uma epistemologia complexa. In: MORIN, Edgar. O problema epistemológico da complexidade. Lisboa: Europa-América, 1982.
• PALHARINI, Francisco de Assis. O PAIUB em universidades federais da Região Sul e Sudeste: tormento ou paixão? Avaliação, Campinas, v. 6, n. 1 , p. 30-46, mar. 2001.

• PINTO, Rodrigo Serpa. Uma análise epistemológica do conteúdo das regras deontológicas do código de ética do servidor público federal. COLÓQUIO INTERNACIONAL DE EPISTEMOLOGIA E SOCIOLOGIA DA CIÊNCIA DA ADMINISTRAÇÃO, 2., 2012. Florianópolis, 2012. Disponível em: <http://www.coloquioepistemologia.com.br/Apresentados%20+%20convidados%20+%20p.pub/ADE105.pdf>. Acesso em: 10 jan. 2013.

  » http://www.coloquioepistemologia.com.br/Apresentados%20+%20convidados%20+%20p.pub/ADE105.pdf
• POLIDORI, Marlis M. Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC e outros índices. Avaliação, Campinas; Sorocaba, v. 14, n. 2, p. 439-452, 2009.

• POLIDORI, Marlis Morosini; ARAUJO, Claisy M. Marinho; BARREYRO, Gladys. SINAES: perspectivas e desafios na avaliação da educação superior brasileira. Ensaio: Aval. Pol. Públ. Educ., Rio de Janeiro, v. 14, n. 53, p. 425-436, out./dez. 2006.

• POPPER, Karl. A lógica da pesquisa científica. São Paulo: Cultrix, 1993.
• POSSANI, Lourdes de Fátima Paschoaletto; GONÇALVES, Pires Yara; ABRAMOWICZ, Mere. Reforma Universitária – sinais do SINAES. Curitiba: CRV, 2010. Série Currículo – Questões Atuais. v. 3.
• REAL, Giselle Cristina Martins. A qualidade revelada na educação superior: impactos da política de avaliação no Brasil. 206 f. Tese (Doutorado) - Programa de Pós-Graduação em Educação, Faculdade de Educação, Universidade de São Paulo, São Paulo, 2007.


• RIBEIRO, Elisa Antônia. O processo de autoavaliação institucional proposto no sistema nacional de avaliação da educação superior (SINAES) para as instituições públicas e privadas. 320 p. Tese (Doutorado) - Programa de Pós-Graduação em Educação, Universidade Federal de Uberlândia, Uberlândia, 2010.

• RISTOFF, Dilvo Ilvo. Universidade em foco: reflexões sobre a educação superior. Florianópolis: Insular, 1999.
• RISTOFF, Dilvo Ilvo. Construindo outra educação: tendências e desafios da educação brasileira. Florianópolis: Insular, 2011.
• SCHLICKMANN, Raphael; MELO, Pedro Antônio de. Administração universitária: Em busca de uma epistemologia. Avaliação, Campinas; Sorocaba, v. 17, n. 1, p. 155-178, mar. 2012.
• SCHLICKMANN, Raphael; MELO, Pedro Antônio de; ALSPERTAD, Graziela Dias. Enfoque da teoria institucional nos modelos de avaliação institucional brasileiros. Avaliação, Campinas; Sorocaba, v. 13, n. 1, p. 153-168, mar. 2008.
• SCHWARTZMAN, Simon. O contexto institucional e político da avaliação do ensino superior. São Paulo: NUPES/USP, 1990
• SGUISSARDI, Vladimir. Universidade no Brasil: dos modelos clássicos aos modelos de ocasião? In: MOROSINI, Marlis (Org). A universidade no Brasil: concepções e modelos. Brasília: INEP, 2006.

• SOUZA, Paulo Nathanael Pereira de. LDB e educação superior: estrutura e funcionamento. 2 ed. São Paulo: Pioneira Thomson Learning, 2001
• TAYLOR, Steven J.; BOGDAN, Robert. Introduction to qualitative research methods: the search for meanings. 2. ed. New York: John Wiley & Sons, 1984.
• THIVES JÚNIOR, Juarez Jonas. Competências para dimensões do sistema nacional de avaliação da educação superior- SINAES. 215 f. Tese (Doutorado) - Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, 2007.
• TOGNARELLI, Vanda R.; TURINE, Marcelo S. Avaliação institucional: um dos caminhos para a gestão da qualidade nos cursos de graduação. São Paulo: Unicsul, 2000.
• TRANFIELD, David; DENYER, David; SMART, Palminder. Towards a methodology for developing evidence-informed management knowledge by means of systematic review. British Journal of Management, London, v. 14, n. 3, p. 207-222, 2003.

• VOOS, Jordelina B. A. O processo de Avaliação Institucional e a adaptação estratégica na Universidade da Região de Joinville – UNIVILLE. 2004. 216 f. Tese (Doutorado em Engenharia de Produção) - Universidade Federal de Santa Catarina, Florianópolis, 2004.

• ZAINKO, Maria Amélia Sabbag. Planejamento, universidade e modernidade. Curitiba: All-Graf, 1998

Datas de Publicação

• Publicação nesta coleção
  Jul 2015

Histórico

• Recebido
  26 Abr 2013
• Aceito
  3 Jul 2013