Reflexões sobre o processo de autoavaliação institucional: o olhar de uma comissão própria de avaliação

Reflections on the process of institutional self-evaluation: the view of a self-evaluation committee

Reflexões sobre o processo de autoavaliação institucional: o olhar de uma comissão própria de avaliação

Reflections on the process of institutional self-evaluation: the view of a self-evaluation committee

Neide Aparecida de Souza Lehfeld^I; Manoel Henrique Cintra Gabarra^II; Caetano da Costa^III; Yara Teresinha Correa Silva Sousa^IV

^I Livre-Docência em Teoria da Administração. Pró-Reitoria de Pesquisa e Pós-Graduação / Membro da CPA. Universidade de Ribeirão Preto - UNAERP. E-mail: [e-mail]

^IIMestrado em Tecnologia Nuclear. Curso de Medicina / Membro da CPA. Universidade de Ribeirão Preto - UNAERP. E-mail: [e-mail]

^IIIDoutorado em Psicologia. Curso de Medicina / Membro da CPA. Universidade de Ribeirão Preto - UNAERP. E-mail: [e-mail]

^IVDoutorado em Patologia Experimental e Comparada. Curso de Odontologia / Membro da CPA. Universidade de Ribeirão Preto - UNAERP. E-mail: [e-mail]

RESUMO

Por meio de reflexões sobre o desenvolvimento da autoavaliação, no contexto do Sistema Nacional deAvaliação da Educação Superior (SINAES), o presente artigo descreve a experiência de docentes que compõem a Comissão Própria de Avaliação de uma Universidade privada do estado de São Paulo, desde as primeiras participações em processos avaliativos até a elaboração da metodologia, construção dos instrumentos de coleta de dados e divulgação dos relatórios. Embora não sejam enfatizados os resultados da autoavaliação, a descrição e a análise desse processo levam em consideração o impacto da criação dos índices de avaliação das instituições de ensino superior.

Palavras-chave: Autoavaliação institucional. SINAES. Comissão própria de avaliação.

ABSTRACT

Through considerations on the development of self-evaluation in the context of the National Higher Education Evaluation System (SINAES), this article describes the experience of professors' who are part of the Self-Evaluation Committee of a private university in the state of São Paulo, discussing since the first involvements in evaluation processes to methodology settings, elaboration of data collecting techniques and disclosure of reports. Although it does not emphasize the results of self-evaluation, the description and analysis of this process take into account the impact of the creation of higher education evaluation indexes.

Key words: Institutional self-evaluation. SINAES. Self-evaluation committee.

INTRODUÇÃO

Avaliar é tarefa das mais difíceis. Mesmo levando-se em conta o sentido mais usual de avaliação em uma instituição universitária - a avaliação da aprendizagem - é certo que haverá pontos discordantes quanto ao melhor meio de realizá-la e quanto à aferição dos resultados. Tais características também se aplicam ao processo de autoavaliação, que requer um olhar interno para avaliar as próprias estruturas, atividades e uma gama de processos. No caso de uma autoavaliação institucional, a magnitude da tarefa torna-a ainda mais complexa, porém não inexequível. Ao avaliar uma instituição, é fundamental que se mantenha uma postura como a de Jano, mirando ao mesmo tempo o passado e o futuro.

A autoavaliação de uma instituição de ensino superior, que abrange cursos de graduação, tecnológicos e programas de pós-graduação, não se reduz à simples atribuição de notas ou conceitos aos diferentes cursos, infra-estrutura e atividades de extensão, e muito menos à definição de um diagnóstico revelado por um número. Uma instituição universitária desenvolve suas atividades norteada pela filosofia educacional exposta em sua Missão e descrita no seu Plano de Desenvolvimento Institucional (PDI), que resulta de um amplo processo de estudo e reflexões. Tendo em vista essas diretrizes e as pessoas que lá trabalham, a Universidade configura-se como uma instituição complexa e plural. Naturalmente, cada membro docente e administrativo encontra-se impregnado por uma história de vida, uma dada formação intelectual e cultural, que o tornam fonte potencial de significados atribuíveis aos mais diversos parâmetros que possam ser avaliados. Além disso, os processos de ação e reflexão na universidade não se limitam a sua área física, mas vinculam-se e refletem o entorno social, a comunidade.

Portanto, avaliar uma instituição universitária significa lidar não só com variáveis quantificáveis, mas também com situações polissêmicas, incertas e dinâmicas. Significa levar em conta as contradições, a pluralidade de pontos de vista, a diversidade dos sujeitos, os elementos estruturais e conjunturais. Nesse sentido, a avaliação caracteriza-se como prática social geradora de múltiplos sentidos (DIAS SOBRINHO, 2008a). O objetivo é criar uma atmosfera para que a comunidade acadêmica forme coletivamente uma consciência dos indicadores que estão contribuindo para a construção do presente e do futuro institucional e daqueles que não estão correspondendo ao pleno andamento das atividades.

Levando em conta toda a complexidade envolvida no processo de avaliação de uma universidade, este texto objetiva tecer reflexões sobre o desenvolvimento da autoavaliação, no contexto do Sistema Nacional de Avaliação da Educação Superior (SINAES), em uma universidade privada do estado de São Paulo. O artigo descreve a experiência de docentes que compõem a Comissão Própria de Avaliação, desde a elaboração da metodologia e construção dos instrumentos de coleta de dados até a divulgação dos relatórios, culminando com o impacto da criação dos índices de avaliação. É necessário mencionar que a ênfase não será nos resultados da autoavaliação, mas sim na descrição e análise do processo.

EXPERIÊNCIAS ANTERIORES COM AVALIAÇÃO

O processo de autoavaliação institucional da universidade em questão começou a ser construída na década de 1990, com o Programa de Avaliação Institucional das Universidades Brasileiras (PAIUB), quando a instituição dava os primeiros passos na sua experiência de avaliação. A primeira ação concreta resultante do reconhecimento da importância da Avaliação Institucional foi um estudo comparativo realizado com docentes e discentes da Universidade que avaliou a estrutura didático-organizacional dos cursos, formação acadêmica do corpo docente e percepção avaliativa dos cursos pelos dois segmentos, por meio de questionário e entrevista.

No período de 1998 a 1999, foi realizado outro processo avaliativo, com a seleção de uma amostra estruturada composta por 510 alunos, dez por cento dos matriculados na instituição, distribuídos proporcionalmente ao número de alunos de cada curso. A avaliação realizada teve cunho pedagógico, voltada à detecção de fatores que propiciassem melhores condições para o ensino, a avaliação do desempenho docente, a infra-estrutura física e os serviços. A metodologia utilizada teve ênfase na abordagem quantitativa através de questionários de múltipla escolha. Os resultados foram apresentados à comunidade através de relatório e discutido em reuniões com coordenadores. Este documento fundamentou em parte a construção do PDI e influenciou a reestruturação de projetos pedagógicos de alguns cursos da Universidade.

No ano 2000, a IES aderiu ao Programa de Avaliação Institucional do Conselho de Reitores das Universidades Brasileiras - CRUB. A proposta preconizava procedimentos qualitativos e quantitativos com avaliação interna e externa. Essa experiência tornou-se uma oportunidade para a comunidade acadêmica conhecer melhor sua realidade organizacional e institucional. Para implementar esse programa, a instituição criou a Comissão Executiva de Avaliação Institucional (CEAI) que foi a responsável pelo planejamento, coordenação e análise dos resultados do processo de autoavaliação segundo esse modelo. Após a etapa inicial de sensibilização, foi realizado um processo de auto-reflexão focado nas dimensões definidas pelo projeto apresentado pelo CRUB: missão, ensino, pesquisa, relações externas, corpo docente e discente e técnico administrativo, controle de produto, organização e governo, planejamento e avaliação, recursos de informação, de infraestrutura e financeiros.Ametodologia utilizada envolveu diferentes instrumentos como grupo focal composto pelos membros do Grupo Gestor¹, pesquisa qualitativa com coordenadores da área acadêmica (cursos) e áreas administrativas por meio de questionário aberto contendo apenas uma questão norteadora na qual era solicitada a percepção do gestor a respeito das dimensões avaliadas, análise de documentos (dados acadêmicos, de infraestrutura, de pesquisa e outros) e questionários para os corpos docente, discente e técnico-administrativo com questões de múltipla escolha com espaço para comentários e sugestões em cada item.

Durante esse processo, foram realizados dois Workshops para análise dos resultados obtidos. A auto-reflexão teve três focos convergentes de análise: a qualidade do ensino e da formação oferecida, a relevância social da Universidade, sua eficiência gerencial e organizacional, culminando com a apreciação da singularidade e da vocação da Instituição.

A pesquisa foi realizada com a participação de 81,4% dos alunos, mais de 70% dos professores, mais de 70% dos funcionários e todos os gestores institucionais dos dois campi. Após a análise e discussão, os resultados foram socializados com a comunidade acadêmica através de pôsteres instalados em espaços de grande circulação no saguão do edifício central da IES. O processo de Autoavaliação Institucional pelo modelo CRUB gerou resultados que subsidiaram também a formulação final do PDI, que teve sua construção coletiva e despertou nos gestores acadêmicos e administrativos a conscientização da importância da avaliação como instrumento de planejamento e de mudança. Assim, teve início o desenvolvimento de uma cultura de avaliação em todos os segmentos da universidade. (PANICO, 2004)

LEI SINAES 2004

A Avaliação da Educação Superior foi proposta pela Lei nº 10.861, de 14 de abril de 2004, que instituiu o SINAES. Esse sistema foi criado para consolidar o processo de avaliação de instituições de ensino superior com base em cinco princípios: a responsabilidade social com a qualidade da educação superior, o reconhecimento da diversidade do sistema, o respeito à identidade, missão e história das instituições, a globalidade institucional e a decorrente multiplicidade de indicadores, e a continuidade do processo avaliativo.

Os aspectos centrais de nossa autoavaliação imbricam-se na concepção, princípios e dimensões preconizados pelo SINAES. De acordo com a Lei, três princípios filosóficos fundamentam essa avaliação: integração, articulação e participação. Do ponto de vista do primeiro princípio, a integração, a Avaliação Institucional é entendida como uma ponte que permite construir um projeto acadêmico baseado na gestão democrática e na autonomia, para fornecer resultados que ampliem o autoconhecimento institucional e, assim, possa identificar pontos de apoio para implementar políticas educacionais que possibilitem a regulação do sistema de educação superior. (DIAS SOBRINHO, 2008)

A segunda base filosófica do SINAES refere-se à articulação entre a avaliação proposta pelo SINAES e a regulação realizada pelo Poder Público. Dessa forma, o Poder Público é responsável por efetuar a regulação em dois momentos, antes e depois da Avaliação Institucional. Num primeiro momento, a regulação é realizada para efeito de autorização e credenciamento dos cursos no caso de faculdades isoladas e centros universitários; a seguir, ocorre o processo de Avaliação Institucional, de acordo com as especificidades de cada instituição; e, num segundo momento, a regulação estatal entra novamente em cena, após os pareceres finais do CONAES sobre a Avaliação, por meio da aplicação dos efeitos regulatórios previstos em lei.

Por fim, o terceiro ponto fulcral é a participação, o envolvimento efetivo da comunidade acadêmica - alunos, docentes, funcionários (corpo técnicoadministrativo), além de egressos e demais grupos sociais envolvidos. Os representantes do governo também fazem parte desse processo, como avaliadores externos e pareceristas. O envolvimento de todos esses atores é imprescindível para que os objetivos da avaliação sejam cumpridos a contento.

A fim de organizar a avaliação de uma instituição universitária, o SINAES estabeleceu dez dimensões avaliativas, a saber:

a)A Missão e o Plano de Desenvolvimento Institucional (PDI), que explicita a missão e caracteriza o PDI;

b) Política para o ensino, pesquisa e extensão, sem dúvida a dimensão mais complexa, que descreve a concepção curricular, a organização didático-pedagógica, prática e formação docente, ensino de graduação e pós-graduação, relevância social e científica das pesquisas, práticas institucionais de pesquisa, grupos de pesquisa, concepção e atividades de extensão;

c) A responsabilidade social da Instituição, que caracteriza atividades com impacto no desenvolvimento regional e nacional, descreve a relação com setores público, privado e do mercado de trabalho, além de instituições sociais, culturais, etc.;

d) A comunicação com a sociedade, que descreve os meios de comunicação internos e externos, e caracteriza a imagem pública da IES;

e) As políticas de pessoal e de carreiras, que detalha os processos de capacitação de pessoal e os planos de carreira, além do clima institucional (relações interpessoais etc);

f) Organização e gestão da instituição, que descreve o PDI, os órgãos colegiados, os modos de participação na gestão e tomada de decisões;

g) Infra-estrutura física, que descreve desde as salas de aula até laboratórios e equipamentos, tendo como pano de fundo o ensino, a pesquisa e a extensão;

h) Planejamento e avaliação, que descreve os procedimentos de avaliação e acompanhamento pela Comissão Própria deAvaliação (órgão criado pela Lei do SINAES, em seu Artigo 11, cuja principal função é coordenar o processo de autoavaliação nas instituições de ensino superior);

i) Política de atendimento aos estudantes, que descreve o acompanhamento pedagógico, critérios de seleção, participação em atividades universitárias (bolsas, estágios, iniciação científica), atendimento de estudantes, acompanhamento de egressos etc;

j) Sustentabilidade financeira, que descreve as políticas de captação e aplicação de recursos, controle de despesas e investimentos etc.

Na verdade, essas dimensões devem ser consideradas em seu conjunto, e é parte da avaliação institucional deixar claro como essas dimensões se entrelaçam.

Após a divulgação oficial da Lei do SINAES, a Comissão Executiva de Avaliação Institucional (CEAI) analisou o processo de autoavaliação à luz da experiência adquirida no processo de autoavaliação pelo modelo CRUB. A IES instituiu a Comissão Própria de Avaliação (CPA) pela ampliação da CEAI incluindo representantes de todos os segmentos da comunidade acadêmica, conforme estabelecido na Lei. Os membros da CPA participaram da reunião de esclarecimentos e debates promovida pelo INEP (Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira) com a presença do diretor geral do ENADE (Exame Nacional de Desempenho dos Estudantes), Amir Limana em meados de 2004. Nessa reunião, divulgou-se que o valor do ENADE deveria situar-se entre 10% e 25% na composição de notas do SINAES para fins do cálculo do conceito final do curso. Naquela oportunidade, a CPA manifestou genuíno entusiasmo pelo grande avanço no sistema de avaliação da educação superior no país trazido pelo SINAES. Em nossa IES, a concepção de avaliação da CPA, baseada nas experiências anteriores de avaliação da IES, fortaleceu-se com os princípios filosóficos e as diretrizes do SINAES.

O passo seguinte foi a análise detalhada do documento "Orientações gerais para o Roteiro da Auto-avaliação das instituições de Educação Superior", publicado pelo INEP em 2004. A partir dessa análise, foi delineado todo o projeto de autoavaliação da instituição. É importante ressaltar que a experiência anterior dos membros da CPAno processo de autoavaliação pelo modelo CRUB auxiliou muito, simplificando de maneira significativa essa tarefa.

A CONSTRUÇÃO DO PROCESSO

A metodologia proposta para aAutoavaliação teve enfoque quanti-qualitativo (BOGDAN; BIKLEN, 2003; LÜDKE; ANDRÉ, 1986; TURATO, 2003), que prioriza uma avaliação de processos ao invés de avaliar produtos (BALZAN; DIAS SOBRINHO, 1995; ALMEIDA JÚNIOR, 2002) ou somente resultados. Em consonância com o paradigma qualitativo, os dados quantitativos obtidos são levados em conta para a contextualização da realidade da instituição e para respaldar o aprofundamento da abordagem qualitativa. Nesse sentido, a CPA buscou, ao longo de todo o processo, realizar uma avaliação multifocal, valorizando a descrição de contextos e privilegiando a interpretação dos dados coletados.

Seguindo o planejamento inicial, a CPA preparou e enviou ao MEC/INEP/CONAES o Projeto de Autoavaliação Institucional, contemplando todos os itens previstos na Lei do SINAES.

Em seguida, um dos primeiros passos metodológicos foi sensibilizar a comunidade universitária. O processo de sensibilização tem por objetivo informar, esclarecer e motivar a comunidade acadêmica como um todo, buscando a participação efetiva e responsável de todos no processo de Autoavaliação Institucional. Esse processo foi iniciado em outubro de 2004, em reuniões da CPA com coordenadores de curso agrupados por área, possibilitando oportunidade para discussão das diretrizes e orientações apresentadas pelo SINAES.

A CPA participou também das reuniões dos Colegiados de Área da Universidade, compostos por representantes de coordenadores de graduação, de docentes de pós-graduação, de docentes pesquisadores e de docentes de extensão, e representantes discentes de graduação e de pós-graduação das áreas de Saúde, Humanas e Exatas, apresentando os principais aspectos da Lei do SINAES, o Projeto de Autoavaliação da IES e ressaltando a importância da participação e do apoio de toda a comunidade acadêmica. Foram apresentados também o cronograma de avaliação e a metodologia proposta.

O processo de sensibilização do corpo docente foi iniciado também em outubro de 2004, com apresentação aos participantes do 51º Módulo do Programa Permanente de Capacitação Docente da Instituição, e foi ampliado a todos os docentes da Universidade por ocasião das reuniões de planejamento pedagógico, em fevereiro de 2005. A CPA participou das reuniões de colegiados de cursos para intensificar o processo de sensibilização junto aos membros dos respectivos colegiados, com o objetivo de prepará-los para o trabalho permanente de esclarecimento e motivação junto aos docentes, discentes e funcionários do curso. Em março de 2005, foram realizadas reuniões com os responsáveis pelos setores administrativos da instituição.

Uma ampla campanha de divulgação interna foi realizada com o apoio da assessoria de comunicação da universidade, utilizando diversas mídias disponíveis na instituição, tais como jornais, terminais de computador para consulta de dados acadêmicos, telas de login dos microcomputadores dos laboratórios de informática, filipetas, cartazes e banners instalados em pontos estratégicos dos dois campi da instituição.

Nas reuniões e ao longo de todo o processo de sensibilização, foi tornandose cada vez mais explícita a importância da voz de todos os integrantes da instituição, uma vez que o objetivo central do processo é obter informações que permitam visualizar o todo orgânico universitário e, assim, ter condições de evidenciar as potencialidades da instituição e aspectos que podem ser aprimorados.

A partir do documento "Orientações Gerais para o Roteiro da Auto-Avaliação da Instituição" (CONAES / INEP), foi elaborada uma tabela com todas as dimensões do SINAES (núcleos básicos e comuns e núcleos optativos) e a respectiva documentação, dados e indicadores exigidos, com o objetivo de reunir todos os documentos necessários à avaliação da instituição. Nessa tabela, foram identificados os setores administrativo-acadêmicos e respectivos funcionários responsáveis para o envio da solicitação dos documentos listados. Essa solicitação incluía uma pré-análise e síntese dos documentos solicitados. O objetivo essencial era permitir a comparação e a contextualização dos resultados obtidos na análise qualitativa e quantitativa. Todos os itens dos núcleos básicos e núcleos optativos foram contemplados na análise.

À medida que os documentos solicitados eram enviados à CPA, eram revistos e eventualmente complementados com informações provenientes de outros setores. O fluxo de trabalho contemplava o arquivamento de todas as versões de cada documento para consulta futura em caso de eventuais divergências.

A CPA analisou os 220 tópicos indicados no documento "Orientações Gerais para o Roteiro da Auto-Avaliação das Instituições", publicado pelo MEC em 2004. Os itens dos núcleos comuns e núcleos optativos foram analisados criticamente com o objetivo de identificar aqueles mais apropriados para a avaliação por questionário. Dessa análise foram elaboradas 40 questões para docentes, 34 questões para discentes e 26 questões para funcionários. Algumas eram comuns aos três segmentos. As perguntas eram do tipo múltipla escolha com valores de 1 a 5 associados ao grau de satisfação referente ao tópico abordado na questão. No final do questionário, foi disponibilizada uma área para comentários abertos, de livre expressão do respondente.

O processo de validação dos questionários consistiu na aplicação do instrumento a pequenos grupos representantes de cada um dos segmentos - discentes, docentes e funcionários - que forneceram valiosas sugestões para o aperfeiçoamento desse instrumento. Em relação aos grupos focais, foi realizada uma discussão para estabelecer os critérios metodológicos a serem seguidos pelos grupos; a inter-relação entre os mesmos era feita pela CPA.

Com apoio do Centro de Informática e Tecnologia da instituição, foi desenvolvido um sistema informatizado para resposta aos questionários via Web utilizando os recursos existentes no Portal da universidade conhecidos internamente como aluno on-line, docente on-line e colaboradores on-line. O acesso a esses recursos é feito através de login com senha individual, resultando em maior confiabilidade dos resultados. O sistema registra o acesso do aluno, docente ou funcionário e impede duplicidade de avaliações, mas não associa o avaliador à avaliação, garantindo anonimato total do avaliador. Este sistema mantém em arquivo eletrônico os resultados obtidos para que possam ser recuperados com o objetivo de possibilitar a análise comparativa nas avaliações institucionais subsequentes.

A CPA optou por realizar a avaliação pelos alunos através de amostra com estimativa de erro amostral de 4%. Para isso, desenvolveu um sistema em planilha considerando amostragem estratificada, garantindo a participação de alunos de todos os cursos da instituição. Assim, foram convidados para participar da avaliação cerca de 8% dos alunos da IES. Todos os docentes e funcionários foram convidados a responder os questionários on-line.

Antes e durante o período previsto para a avaliação, com apoio da Assessoria de Comunicação e Marketing da Instituição, foi realizada ampla campanha de divulgação e sensibilização para a resposta consciente e responsável aos questionários on-line.

AVALIAÇÃO PELA COMUNIDADE

Para resposta aos questionários, os docentes e funcionários utilizaram os microcomputadores existentes na secretaria de seu respectivo curso ou setor, ou então qualquer microcomputador conectado à Internet. Os alunos selecionados aleatoriamente foram convidados a responder ao questionário em microcomputadores existentes na secretaria do seu curso, posicionados estrategicamente para evitar qualquer possibilidade de constrangimento do aluno em suas respostas.

Os grupos focais com os coordenadores, docentes, funcionários, alunos e membros do Grupo Gestor da IES foram realizados em salas reservadas para essa finalidade na própria IES. Os resultados dessas discussões foram compilados pelos relatores dos grupos e encaminhados à CPA.

ANÁLISE DOS RESULTADOS

A análise dos resultados foi iniciada com a análise de todos os relatórios enviados pelos diversos setores da instituição. A CPA preparou uma síntese considerando também os resultados dos grupos focais e da análise qualiquantitativa dos questionários.

Os relatórios dos grupos focais foram também analisados criticamente pela CPA e consolidados aos resultados da análise documental.

Encerrado o período de avaliação por questionários on-line, o sistema compila as respostas abertas e fornece relatório em arquivo em formato do editor de textos Microsoft Word. A análise qualitativa dessas repostas e dos grupos focais foi realizada utilizando a metodologia de categorização dos dados (MINAYO, 2007). Posteriormente, os dados foram analisados segundo as dimensões definidas pelo SINAES e confrontados com os dados compilados dos documentos pertinentes.

As avaliações dos usuários de serviços da instituição foram também analisadas com essa mesma metodologia e confrontadas com os documentos existentes.

Além disso, os relatórios de Responsabilidade Social e Planos Operativos Anuais (POAs), juntamente com o PDI da instituição, foram comparados com os dados obtidos e incluídos no objeto da avaliação.

As respostas às questões objetivas coletadas pelo sistema de avaliação online foram analisadas em planilha eletrônica separadamente por segmento da comunidade acadêmica. As questões comuns aos três segmentos foram comparadas e os resultados resumidos em gráficos e tabelas. Posteriormente, esses gráficos e tabelas foram analisados pela CPA e confrontados com os resultados das análises dos outros instrumentos utilizados na autoavaliação.

CONSOLIDAÇÃO DOS RESULTADOS NO RELATÓRIO FINAL

Com todo esse rico material em mãos, a CPA elaborou o relatório final consolidando todas as informações obtidas nas análises parciais realizadas: análise documental, grupo focal, respostas abertas e respostas objetivas ao questionário, avaliação pelos usuários dos serviços da IES.

A versão preliminar do Relatório Final foi enviada aos diversos setores e cursos da instituição para revisão e validação. Todos os comentários e sugestões recebidos foram avaliados pela CPA que, então, elaborou a revisão do Relatório Final.

SOCIALIZAÇÃO DOS RESULTADOS

Esse relatório foi replicado e enviado à Reitoria, Grupo Gestor, Colegiados de Área, Coordenadores de Curso e setores administrativos da Instituição. Uma versão resumida foi disponibilizada na Intranet da IES. Os representantes dos alunos também receberam cópia desse documento.

Segundo o cronograma de avaliação, a próxima etapa seria uma ampla socialização dos resultados junto à comunidade acadêmica. O planejamento dessa socialização previu a divulgação dos resultados em cartazes, banners e pôsteres, similar ao realizado na divulgação dos resultados da autoavaliação pelo modelo CRUB, e uma meta-avaliação onde os representantes dos segmentos avaliariam o próprio processo e resultados da autoavaliação. Esse evento seria realizado após a visita da Comissão de Avaliação Externa indicada pelo INEP/MEC, que seria também incluída no processo de meta-avaliação. Uma cópia eletrônica do Relatório Final, juntamente com os anexos exigidos, foi enviada ao MEC, conforme previsto na Lei do SINAES.

A AVALIAÇÃO EXTERNA: DA EXPECTATIVA À REALIZAÇÃO DA VISITA

Terminada a etapa de autoavaliação, a CPA iniciou o processo de preparação para a avaliação externa a partir da análise detalhada do documento "Avaliação Externa de Instituições de Educação Superior - Diretrizes e Instrumentos", publicado pelo MEC em fevereiro de 2006. Os documentos definidos no manual foram providenciados e a CPA solicitou aos respectivos setores o preenchimento dos 22 quadros também previstos nas Diretrizes. Os dados incluídos nas tabelas e quadros foram revistos e consolidados com as informações constantes na documentação existente.

Em pleno processo de preparação de documentos, recebemos a comunicação de que um novo sistema deveria ser utilizado pelas instituições: o Sistema E-MEC. A CPA, então, procurou capacitar-se nesse novo instrumento, analisando as telas do sistema, os arquivos de ajuste e participando de curso de capacitação à distância feito pelo MEC. Nesse sistema, os mais de 200 itens que compõem as dimensões foram reduzidos a pouco mais de 40 itens e limitados a 4.000 caracteres cada um. A CPA iniciou, então o processo de adequação de seu relatório de autoavaliação institucional aos padrões desse novo sistema. O novo relatório foi, então, inserido nesse sistema respeitando o prazo previsto.

Como o manual de avaliação externa determina que os dados a serem apresentados nos quadros anexos (tabelas) devem se referir aos últimos três anos, a cada novo semestre a CPA solicitava a atualização daquelas tabelas. No entanto, o ciclo avaliativo 2004 - 2007 terminou sem que a Instituição tivesse recebido visita da Comissão de Avaliação Externa.

CICLO SINAES 2006 - 2008

No final de abril de 2008, a IES foi surpreendida pelo Ofício INEP nº 000913, de 15 de abril de 2008, que estabelecia o novo ciclo como 2006 - 2008 e solicitava o encaminhamento do Relatório de Autoavaliação Institucional até o dia 06 de junho de 2008, isto é, com menos de dois meses de prazo. Esse prazo foi prorrogado posteriormente até novembro de 2008. Curiosamente, esse Ofício citava a Portaria Normativa de 01 de janeiro de 2007 que, em seu Artigo 1º , define o primeiro ciclo avaliativo do SINAES como referente ao triênio 2004 - 2006 e o segundo ciclo como referente ao triênio 2007 - 2009.

PLANEJAMENTO E EXECUÇÃO DAS AÇÕES PARA O NOVO CICLO AVALIATIVO

A primeira providência da CPA, em continuidade ao desenvolvido no primeiro ciclo, foi a inserção no novo portal da IES de página com informações sobre o novo ciclo e o consequente processo de autoavaliação. Além dessa inserção, reuniões periódicas foram realizadas com as coordenações de curso, conclamando à participação de todos no processo, evidenciando o valor das contribuições dos vários segmentos da comunidade acadêmica.

O planejamento das atividades desse novo Ciclo Avaliativo foi facilitado pela experiência adquirida no ciclo anterior. A documentação requerida estava sendo mantida atualizada, aguardando a Avaliação Externa. Os questionários de avaliação foram revistos e validados.

A seleção por amostragem aleatória de alunos, o contato com os alunos e o processo de avaliação por questionários via Web foram também facilitadas pelos instrumentos e pela experiência, tanto da CPA quando da comunidade acadêmica, desenvolvidos no primeiro ciclo do SINAES.

As reuniões dos grupos focais com gestores, docentes, discentes e funcionários foram realizadas em local externo à instituição, ocorrendo ao longo de um dia inteiro, o que mostrou ser mais produtivo e focalizado que as realizadas no ciclo anterior em dependências da instituição. A análise qualitativa e quantitativa dos resultados dos grupos focais e questionários foi realizada com maior rapidez e simplicidade devido à existência dos instrumentos e experiência já desenvolvidos.

A análise comparativa, a consolidação dos resultados e a elaboração do relatório final foram também muito simplificadas e facilitadas pelos instrumentos já desenvolvidos no ciclo anterior.

A CPA preparou uma síntese do Relatório Final e essa síntese foi inserida no sistema E-MEC já como uma rotina de trabalho da CPA. A socialização dos resultados foi realizada de forma semelhante àquela do primeiro ciclo.

A CPA passou, então, a ocupar-se da preparação para a avaliação externa segundo o instrumento divulgado em 2006.

O CONCEITO PRELIMINAR DE CURSO E O ÍNDICE GERAL DE CURSOS

No segundo semestre de 2008, em pleno processo de autoavaliação interna, toda a comunidade acadêmica do país foi surpreendida com a divulgação do Conceito Preliminar de Curso (CPC) e do Índice Geral de Cursos (IGC).

O CPC supervalorizou as notas provenientes do ENADE.A Lei do SINAES prevê que o conceito de curso deve ser uma composição do ENADE, da Avaliação de Curso e da Avaliação Institucional. A Lei não prevê o peso de cada um desses componentes, mas por ocasião da implantação desse novo sistema, a expectativa criada era de que o peso do ENADE situar-se-ia entre 10% a 25% do conceito do curso. No CPC efetivamente implantado, o peso do ENADE foi de 40% e o peso do IDD foi de 30%, frustrando a expectativa criada na implantação do SINAES. Mas a maior frustração foi decorrente da Avaliação de Curso ser reduzida a duas questões do questionário sócio-econômico respondido pela amostra de alunos que realizam a prova, e a avaliação institucional ser reduzida ao percentual de docentes doutores e percentual de docentes com dedicação parcial ou integral na Instituição. Todo o trabalho de autoavaliação realizado pelas CPAs foi inteiramente desconsiderado nesse conceito. Vários autores criticaram a criação desses índices e a questão do ranqueamento de instituições (BARREYRO, 2008; DIAS SOBRINHO, 2008b; LEITE, 2008; GIOLO, 2008; SGUISSARDI, 2008; LIMANA, 2008; BRITO, 2008; POLIDORI, 2009), e não deixam dúvida quanto ao enfraquecimento do espírito do SINAES.

O conceito da instituição atribuído pelo IGC, que substitui provisoriamente a avaliação externa, é a média ponderada dos CPCs de todos os cursos da Instituição, incluindo os cursos de pós-graduação, cujo conceito é atribuído pela Avaliação Trienal da CAPES (Coordenação de Aperfeiçoamento de Pessoal de Nível Superior). Esse conceito, em si próprio, faz mais sentido. Um IGC baixo significa que grande parte dos cursos da instituição tem um CPC baixo. Mas o CPC não é um indicador confiável da qualidade de um curso, o que torna o IGC também um indicador pouco preciso da qualidade de uma instituição.

Dentre todas as surpresas, a maior foi a orientação do MEC para que o IGC seja considerado uma referência para a atribuição do conceito final pelos avaliadores externos em suas visitas às instituições. Caso os avaliadores atribuam um conceito final diferente do IGC, este novo conceito deve ser muito bem fundamentado para resultar em alteração do conceito atribuído preliminarmente, baseado no resultado do ENADE, nas duas respostas da amostra de alunos ao questionário socioeconômico e no percentual de docentes doutores e docentes com dedicação parcial ou integral no curso, indicado pelo Censo. Essa determinação desqualificou quase que a totalidade do trabalho desenvolvido pela CPA em termos do conceito final da Instituição, restando como consolo os resultados internos em termos de melhorias efetivamente implementadas, conforme preconizavam as primeiras orientações do SINAES.

Essa nova direção dada ao SINAES, divulgada no decorrer do processo de autoavaliação, trouxe um sentimento de frustração, principalmente à CPA, que desde a divulgação da Lei do SINAES em 2004 mostrou-se confiante, naquela ocasião, em uma nova era da avaliação das instituições de educação superior no país.

AVALIAÇÃO EXTERNA

De tempos em tempos, as CPAs são surpreendidas pelas inovações legais e de regulação do MEC. Em 17 de outubro de 2008 é publicada a portaria nº 1.264 que institui o novo instrumento de avaliação externa de instituições de educação superior do SINAES. Nesse novo instrumento, os numerosos quadros e tabelas de dados, que custaram um imenso empenho e capacidade de comunicação da CPA com diversos setores da instituição em geral, foram ignorados.

Em atendimento a esse novo instrumento, as informações constantes do Relatório de Autoavaliação Institucional foram atualizadas. Todos os documentos mencionados no Instrumento foram requisitados aos setores competentes, organizados em pastas e acondicionados em sala apropriada. Todos os documentos comprobatórios das informações constantes do Relatório foram organizados em pastas e deixados à disposição dos avaliadores.

Em fevereiro de 2009, a Instituição recebeu a visita da Comissão de Avaliação Externa prevista pelo SINAES, a primeira desde o início do processo. Os avaliadores externos, três docentes, reuniram-se com os membros da CPA, com docentes, discentes e funcionários representantes dos dois campi da IES e visitaram as instalações da Universidade.

ANÁLISE DO RELATÓRIO DE AVALIAÇÃO EXTERNA

Em março de 2009, a IES recebeu o relatório de avaliação externa com o conceito final da Instituição e os conceitos atribuídos a cada item previsto no manual de avaliação. As observações dos avaliadores foram analisadas e confrontadas com as informações fornecidas pelo Relatório de Autoavaliação Institucional, preparado pela IES, e também com a documentação comprobatória fornecida. A partir dessa análise comparativa, a CPA identificou distorções de análise em algumas dimensões. Vale considerar que a Comissão Externa baseou sua avaliação exclusivamente nas informações postadas no sistema E-MEC, que fornece um panorama muito conciso em relação àquelas constantes no Relatório completo de Autoavaliação e nos documentos colocados à disposição dos avaliadores para consulta.

Apesar de se ter a possibilidade pelo sistema E-MEC de abertura para a inclusão de um recurso ao resultado obtido pelo processo de avaliação externa, num limite de 4000 (quatro mil) caracteres, isto é, aproximadamente uma página de texto, as instituições não se sentem confiantes de que haja modificação do conceito anteriormente atribuído, em face da exiguidade de espaço disponível e da complexidade da tramitação dos recursos.

CONCLUSÕES

Apesar de todo o impacto da autoavaliação em termos de autoconhecimento, reconhecimento de potencialidades e dificuldades e, principalmente, dos avanços efetivos promovidos por esse processo, observa-se que para efeito do conceito final da instituição divulgado na mídia, e a consequente imagem pública da IES, todo o trabalho desenvolvido pela CPA em termos de avaliação institucional não é apropriadamente considerado nessa nova orientação dada ao SINAES.

Pode-se inferir que os diversos conceitos atribuídos aos itens do relatório da avaliação externa foram fortemente contaminados pelo IGC e não pela realidade da instituição. Observou-se também que faltou uma análise mais adequada quanto à dimensão do trabalho efetivo da CPAna instituição que, segundo nosso entendimento, poderia ter sido avaliado de forma mais extensiva.

Como resultado final, restou-nos uma frustração quanto à expectativa inicial sobre o SINAES como modelo concebido e divulgado em 2004, esmorecendo a esperança de que o processo fosse continuamente aprimorado e de alguma forma justificasse os princípios filosóficos e educacionais que nortearam a criação desse sistema. Um pequeno passo nessa direção divulgado recentemente, em agosto de 2009, foi a alteração do cálculo do CPC que, embora quase insignificante em termos das atuais distorções do processo, traz algum alento ao já combalido espírito de correção de rumos das Comissões Próprias de Avaliação das Instituições de Ensino Superior. Esperamos que as reflexões aqui apresentadas possam ser consideradas por estudiosos e técnicos representantes dos órgãos governamentais em termos de resgate e, ao mesmo tempo, de revisão dos procedimentos operacionais vivenciados dos parâmetros ético-políticos e legalmente instituídos pelo SINAES.

Recebido em: 01 de outubro de 2009

Aprovado em: 02 de novembro de 2009

• ALMEIDA JÚNIOR, Vicente de Paula. A avaliação da educação superior no contexto das políticas educacionais. In: DIAS SOBRINHO, José; RISTOFF, Dilvo Ilvo. Avaliação democrática: para uma universidade cidadã. Florianópolis: Insular, 2002.
• BALZAN, Newton Cesar; DIAS SOBRINHO, José. (Orgs.). Avaliação institucional: teoria e experiências. São Paulo: Cortez, 1995.
• BARREYRO, Gladys Beatriz. De exames, rankings e mídia. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 13, n. 3, p. 863-868, nov. 2008.
• BOGDAN, Robert; BIKLEN, Sari Knopp. Investigação qualitativa em educação: uma introdução à teoria e aos métodos. Porto, PT: Porto, 2003.
• BRITO, Márcia Regina F. de. O SINAES e o ENADE: da concepção à implantação. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 13, n. 3, p. 841-850, nov. 2008.
• DIAS SOBRINHO, José. Avaliação educativa: produção de sentidos com valor de formação. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 13, n. 1, p. 193-207, mar. 2008a.
• DIAS SOBRINHO, José. Qualidade, avaliação: do SINAES a índices. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 13, n. 3, p. 817-825, nov. 2008b.
• GIOLO, Jaime. "SINAES" intermitentes. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 13, n. 3, p. 851-856, nov. 2008.
• LEITE, Denise. Ameaças pós-rankings: sobrevivência das CPAs e da auto-avaliação. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 13, n. 3, p. 833-840, nov. 2008.
• LIMANA, Amir. Desfazendo mitos: o que estão fazendo com o SINAES? Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 13, n. 3, p. 869-873, nov. 2008.
• LÜDKE, Menga; ANDRÉ, Marli Eliza Dalmazo Afonso de. Pesquisa em educação: abordagens qualitativas. São Paulo: EPU, 1986.
• MINAYO, Maria Cecília de Souza. O desafio do conhecimento: pesquisa qualitativa em saúde. 10. ed. São Paulo: Hucitec, 2007.
• NUNES, Lina Cardoso. As dimensões da auto-avaliação institucional: tecendo redes de redes. Ensaio, Rio de Janeiro, v. 14, n. 52, p. 339-348, jul./set. 2006.
• PANICO, Vanessa França Bonini. A avaliação institucional em uma universidade particular: a dimensão corpo discente, na visão de seus professores e alunos. 2004. Dissertação (Mestrado) -Pontifícia Universidade Católica de Campinas, Campinas, 2004.
• POLIDORI, Marlis Morosini. Políticas de avaliação da educação superior brasileira: Provão, SINAES, IDD, CPC, IGC, e... outros índices. Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 14, n. 2, p. 439-452, jul. 2009.
• SGUISSARDI, Valdemar. Regulação estatal versus cultura de avaliação institucional? Avaliação: Revista da Avaliação da Educação Superior, Campinas; Sorocaba, SP, v. 13, n. 3, p. 857-862, nov. 2008.
• TURATO, Egberto Ribeiro. Tratado da metodologia da pesquisa clínicoqualitativa: construção teórico-epistemológica, discussão comparada e aplicação nas áreas da saúde e humanas. 2. ed. Petrópolis, RJ: Vozes, 2003.

¹

Grupo Gestor: é o órgão executivo de coordenação e supervisão da Instituição constituído por uma equipe multiprofissional e pelos diretores das funções básicas da IES.

Datas de Publicação

• Publicação nesta coleção
  09 Abr 2010
• Data do Fascículo
  2010

Histórico

• Recebido
  01 Out 2009
• Aceito
  02 Nov 2009