Proposta de instrumento de meta-avaliação da autoavaliação institucional na educação superior

Proposal of meta-evaluantion instrument for institutional self-evaluation in higher education

Resumos

Para as Instituições de Ensino Superior (IES), os processos avaliativos são transformadores, na medida que apresentam argumentos para desencadear esse movimento. Sendo a autoavaliação o ponto de partida para o processo avaliativo no âmbito da educação superior, este trabalho tem como objetivo propor um protótipo de instrumento de meta-avaliação para utilização na avaliação do processo e dos resultados da autoavaliação institucional de IES brasileiras. Para atender a este objetivo foram realizadas três etapas da pesquisa as quais, em conjunto, buscaram identificar atributos, critérios e indicadores para compor o referido instrumento. As etapas foram: pesquisa bibliográfica, análise documental dos relatórios de autoavaliação institucional e levantamento (Survey) aplicado com os membros das Comissões Próprias de Avaliação (CPA) das IES do Estado de Santa Catarina, por meio de questionário. A partir da análise dos dados coletados, foi possível definir os elementos mais relevantes para a elaboração do protótipo de instrumento de meta-avaliação aplicável à autoavaliação institucional apresentado como resultado deste estudo, a fim de buscar qualificar continuamente este processo que visa a melhoria da educação superior brasileira. Por tratar-se de um protótipo, recomenda-se a continuidade da pesquisa com a aplicação do instrumento de meta-avaliação pelas CPAs das IES brasileiras, como forma de testagem e abertura para novas discussões sobre o assunto.

Palavras-chave:
meta-avaliação; autoavaliação institucional; avaliação da educação superior

For Higher Education Institutions (HEIs), evaluation processes are transformative, as they present arguments to trigger this movement. Since self-evaluation is the starting point for the evaluation process in the context of higher education, this work aims to propose a prototype of a meta-evaluation instrument for use in evaluating the process and results of institutional self-evaluation in Brazilian HEIs. To achieve this objective, three stages of the research were carried out, which, together, sought to identify attributes, criteria and indicators to compose the aforementioned instrument. The steps were: bibliographic research, document analysis of institutional self-evaluation reports and survey applied with members of the Own Assessment Commissions of the HEIs of the State of Santa Catarina, through a questionnaire. From the analysis of the collected data, it was possible to define the most relevant elements for the development of the prototype of a meta-evaluation instrument applicable to institutional self-evaluation presented as a result of this study, in order to continually seek to qualify this process aimed at improving quality of Brazilian higher education. As this is a prototype, it is recommended to continue the research with the application of the meta-assessment instrument by the CPAs of Brazilian HEIs, as a way of testing and opening for new future discussions on the subject.

Keywords:
meta-evaluation; institutional Self-evaluation; higher education evaluation

1 Introdução

A expansão da educação superior no Brasil, em especial após a Reforma Universitária de 1968, gerou a necessidade de um acompanhamento sistemático e avaliativo para esse nível de ensino, para garantir a qualidade determinada pela constituição. Esse movimento avaliativo foi iniciado em 1977 pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), com o Sistema de Avaliação de Programas de Pós-Graduação Stricto Sensu, o qual foi evoluindo e sendo aprimorado no decorrer do tempo. Nesse percurso de tempo, até 2004, surgiram vários programas de avaliação da educação superior, mas nenhum como um sistema nacional.

Foi, somente, com a Lei n.º 10.861, de 2004, que instituiu o atual Sistema Nacional de Avaliação da Educação Superior - SINAES (BRASIL, 2004a), que o Brasil passou a ter um sistema nacional de avaliação da educação superior, abrangendo todas as categorias de organizações acadêmicas.

O SINAES propõe três principais processos de avaliação: Avaliação Institucional, que se subdivide em Avaliação Externa e Avaliação Interna (também chamada de Autoavaliação); Avaliação de Cursos de Graduação e o Exame Nacional de Desempenho dos Estudantes - ENADE.

Segundo Souza et al. (2018), o procedimento avaliativo, especificamente a autoavaliação institucional, deve também ser transformado, frequentemente, para buscar a melhoria contínua de seus processos, aprimorando as abordagens, os instrumentos e o próprio objeto a ser avaliado. É por isso que a avaliação deve, também, ser avaliada, para mensurar sua qualidade e se, de fato, está trazendo os resultados e informações esperados. Este processo é denominado meta-avaliação, prevista na regulamentação do SINAES, cujo termo foi definido literalmente por Scriven (1991) como a avaliação da avaliação.

Este estudo aborda a avaliação da autoavaliação institucional - realizada pelas instituições de Ensino Superior no âmbito do SINAES, considerando sua importância para o desenvolvimento e melhoria da qualidade da educação superior brasileira.

Mesmo observando-se a preocupação das IES em realizar a meta-, ainda “existe uma lacuna quanto à disseminação de relatórios de meta-avaliação e de referências teórico-metodológicas de como conduzi-la” (DAVOK, 2006, p. 85).

Por isso, verificou-se a necessidade de se definir um instrumento para verificação da autoavaliação institucional, que contenha atributos, critérios e indicadores que possibilitem operacionalizar a meta-avaliação em instituições de educação superior, tendo como responsáveis as comissões próprias de avaliação (CPA).

Desta forma, para que seja possível elaborar este instrumento, a presente pesquisa partiu da seguinte questão: Quais os atributos, critérios e indicadores são apropriados para a estruturação de um instrumento de operacionalização da meta-avaliação, inerente ao processo e aos resultados da autoavaliação institucional em instituições de Educação Superior brasileiras?

Para responder ao problema de pesquisa, definiu-se o seguinte objetivo geral: propor um instrumento de meta-avaliação para utilização na avaliação do processo e dos resultados da autoavaliação institucional de IES brasileiras.

A fundamentação teórica contemplou os estudos efetuados acerca dos seguintes temas: Autoavaliação Institucional; Meta-avaliação; Atributos das Práticas de Avaliação Educacional; e Indicadores da Avaliação Externa, conforme o SINAES.

1.1 Autoavaliação institucional

A avaliação institucional interna, ou autoavaliação, tem papel fundamental no âmbito do SINAES, que institui no seu artigo 3º esse processo avaliativo como parte dos procedimentos de avaliação institucional (BRASIL, 2004b).

A autoavaliação institucional é estruturada em quatro etapas: (a) Plano de Autoavaliação Institucional, o qual deve contemplar as dez dimensões do SINAES; (b) Processo de Autoavaliação, o qual contempla: sensibilização da comunidade acadêmica, definição do instrumento de pesquisa, aplicação da pesquisa e coleta dos dados e informações; (c) Relatório e Plano de Ações de Melhorias, consistindo da tabulação, análise e relato dos resultados da pesquisa; (d) meta-avaliação (ALVES, 2016). A elaboração do plano de ações de melhorias visa efetuar a correção das fragilidades, a partir dos resultados obtidos

O relatório, parcial e final do Ciclo Avaliativo, é o meio pelo qual o MEC tem conhecimento da ação das CPAs nas IES. Esse documento é elaborado de acordo com as Dimensões do SINAES, com roteiro estabelecido pela Nota Técnica INEP/DAES/CONAES nº 065/2004 (BRASIL, 2004b), em consonância com o Plano de Desenvolvimento Institucional (PDI).

Segundo Stufflebeam (2000), se forem emitidos relatórios sem ser contemplada a etapa da meta-avaliação, o público-alvo da avaliação pode tomar decisões equivocadas com base em resultados não fidedignos.

2 Meta-avaliação

De modo geral, a meta-avaliação existe desde o início de qualquer avaliação, pois sempre há formação de opinião sobre a qualidade do processo avaliativo, ainda que não formalizada. Uma boa avaliação requer que seu próprio esforço seja avaliado. Muitas coisas podem sair e, frequentemente, saem errado em sua realização.

Portanto, é necessário checar problemas como vieses, erros técnicos, dificuldades administrativas e organizacionais e uso inadequado dos resultados da avaliação (STUFFLEBEAM, 2011).

Stufflebeam (2000) apresenta dois tipos de meta-avaliação: as formativas e as somativas. As meta-avaliações formativas são realizadas no planejamento de uma avaliação ou enquanto ela está em andamento, ajudando os avaliadores a planejar, conduzir, melhorar, interpretar e relatar seus estudos de avaliação.

É formativa quando ocorre durante o processo avaliador, visando verificar se a condução da avaliação está sendo apropriada e se as informações produzidas estão atendendo às necessidades dos stakeholders e tem a função de fornecer informações para que decisões sejam tomadas a fim de melhorar o processo avaliador (DAVOK, 2006).

Sendo assim, “a meta-avaliação transforma-se em uma atividade essencial para o fortalecimento de uma cultura de avaliação consolidada por um referencial teórico consistente e por uma prática não punitiva, que visa ao desenvolvimento da IES” (GIMENES, 2007, p. 229). Nota-se, então, que a meta-avaliação proporciona mecanismos para aferir a importância das ações avaliativas desenvolvidas, além de apontar a relevância, o mérito e os fatores que necessitam de melhorias.

Embora haja esforços, como os do MEC, para a institucionalização da meta-avaliação no Brasil, “ainda não foram desenvolvidos estudos capazes de oferecer diretrizes, critérios e orientações procedimentais e instrumentais compatíveis com as especificidades do Estado e das políticas públicas brasileiras” (OLIVEIRA, 2017).

Segundo Elliot (2011), para cada tipo de avaliação, há determinados tipos de procedimentos meta-avaliativos que podem ser aplicados mais adequadamente. Estes procedimentos podem ser encontrados na literatura internacional e o Joint Committee on Standards for Educational Evaluations- JCSEE, é um dos principais marcos nesta área. Outras obras como as de Daniel Stufflebeam, organizador dos padrões publicados pelo JCSEE e Michael Scriven também são referenciais internacionais acerca do assunto.

As obras desses autores corroboram com os processos avaliativos da autoavaliação institucional, que tem por objetivo avaliar as instituições sob a ótica de vários públicos e à luz das dez dimensões do SINAES.

3 Atributos das práticas de avaliação educacional

O Comitê Conjunto de Padrões para Avaliação Educacional - Join Committee on Standards Educational Evaluation - JCSEE, é a fonte oficial de padrões de avaliação nos Estados Unidos e no Canadá. A comissão é composta por representantes de organizações profissionais e especialistas no assunto, com a tarefa de rever, atualizar, desenvolver e disseminar padrões para atender as necessidades do campo da avaliação.

Os critérios do JCSEE são formados por trinta tópicos, devidamente fundamentados com suas respectivas definições, diretrizes, apontamentos de erros comuns e exemplos de aplicabilidade. Além disso, com base na discussão sobre diretrizes, o JCSEE desenvolveu o conceito de que “a qualidade de um estudo avaliatório pode ser determinada por sua utilidade, viabilidade, propriedade e precisão” (JCSEE, 2019).

A partir desta definição, foram agrupadas as trinta diretrizes conforme sua contribuição para cada um desses cinco atributos. A última revisão dos Padrões de Avaliação apresentada pelo JCSEE, em 2011, incluiu o atributo de responsabilização. Desta forma, os Padrões de Avaliação Educacional, passaram a contemplar 5 (cinco) atributos: utilidade, viabilidade, adequação, precisão e responsabilização (grifo nosso), com os 30 (trinta) critérios distribuídos entre eles (JCSEE, 2019).

Vale destacar que estes padrões foram desenvolvidos para aplicação nos Estados Unidos e Canadá. Por isso, o próprio Joint Committee recomenda a observação do contexto para utilização destes critérios, considerando a cultura e a adequação destes ao tipo de avaliação e também à realidade local.

Meta-avaliação é definida por Stufflebeam (2001, p. 185) como:

o processo de delineamento, obtenção e aplicação de informações descritivas e de julgamento - sobre a utilidade, viabilidade, propriedade e precisão de uma avaliação e sua natureza sistemática, conduta competente, integridade/honestidade, respeito e responsabilidade social - para orientar a avaliação e o avaliador e/ou relatar seus pontos fortes e fracos.

Nessa mesma linha, Stufflebeam (2001) argumenta que ao ser possível a ocorrência de problemas durante o processo avaliativo - tais como: viés, erro técnico, dificuldades administrativas, uso impróprio das informações - é importante que se avaliem as avaliações para melhorar os processos avaliativos em andamento ou aferir o mérito de avaliações já finalizadas. Para tanto, o autor entende que a meta-avaliação deve julgar o processo avaliador com vistas a quatro critérios de adequação técnica, seis critérios de utilidade, bem como um critério de custo-benefício, conforme são apresentados na Figura 1.

Figura 1
Critérios de meta-avaliação

Para Stufflebeam (2001), uma meta-avaliação pode ser dividida em onze tarefas principais, conforme segue (tradução nossa):

1. Determinar e providenciar para interagir com as partes interessadas da avaliação;

2. Formar uma equipe de metaavaliação com um ou mais meta-avaliadores qualificados;

3. Definir as questões da meta-avaliação;

4. Conforme apropriado, concordar com as normas, princípios e/ou critérios para julgar o Sistema de Avaliação ou Avaliação Particular;

5. Emitir um documento para acordo ou negociar um contrato formal de meta-avaliação;

6. Coletar e revisar as informações disponíveis e pertinentes;

7. Coletar novas informações conforme necessário, incluindo, por exemplo, entrevistas, observações e pesquisas;

8. Analisar o resultado das descobertas;

9. Julgar a adesão da avaliação aos padrões de avaliação selecionados, princípios ou outros critérios;

10. Preparar e enviar os relatórios necessários;

11. Conforme apropriado, ajudar o cliente e outras partes interessadas a interpretar e analisar os resultados (STUFFLEBEAM, 2001, p. 191).

A lista de tarefas considera diferentes arranjos e procedimentos que podem ajudar na conduta das tarefas de meta-avaliação e, quando viável, mostrar formas opcionais de abordagem de diferentes tarefas. Claramente, o contexto é importante para definir quando um determinado procedimento é ou não aplicável e provavelmente eficaz. Portanto, a lista de tarefas propõe um caminho para a condução do processo de meta-avaliação, mas pode ser reorganizada sempre que necessário.

Segundo Scriven (1991), ao verificar e mensurar a qualidade dos processos avaliativos, assim como seus resultados e análises, a meta-avaliação se apresenta como uma obrigação ética e científica, uma vez que há envolvimento do bem-estar de outras pessoas.

A Lista Chave de Verificação de Avaliação (Key Evaluation Checklist), foi criada e revisada periodicamente por Scriven (2007). Trata-se de um quadro de referência que pode ser aplicado tanto em avaliações diversas, quanto em meta-avaliações. Segundo Elliot (2011, p. 944), a Lista Chave, em relação à meta-avaliação, “é utilizada para avaliações somativas uma vez que seu objetivo é apresentar os principais pontos de verificação do relatório de avaliação”.

A Lista Chave de Verificação de Avaliação busca, a partir do quadro de referência, analisar a qualidade do relatório de avaliação, apresentando seu diagnóstico, desmembrado nos quatro níveis de abordagem, proposto por Scriven (2007): preliminares, fundamentos, sub-avaliações e conclusões. Essas abordagens são desdobradas 3 pontos preliminares e mais 15 pontos de verificação, os quais abrangem todas as etapas de uma avaliação, com foco no resultado final.

4 Indicadores da avaliação externa - SINAES

Em 2017 foram publicados os novos instrumentos de avaliação externa para atos de autorização e reconhecimento de cursos e de credenciamento e recredenciamento institucional, respectivamente. Em todos os instrumentos utilizados para avaliações externas in loco a autoavaliação é mencionada e verificada de alguma forma, no entanto, o que avalia mais a fundo esse item é o instrumento de avaliação externa de recredenciamento institucional.

O eixo 1 do instrumento de avaliação institucional externa (IA) para ato de recredenciamento e transformação de organização acadêmica aborda o planejamento e avaliação institucional e é composto por um indicador inicial que avalia a evolução institucional a partir do Relato Institucional - o qual é elaborado a partir dos relatórios da autoavaliação - e por outros três indicadores que se referem, especificamente, sobre a Autoavaliação Institucional.

Mais uma vez se evidencia a centralidade da autoavaliação para a melhoria contínua das IES, bem como sua relevância no processo avaliativo da Educação Superior brasileira. Por essa razão, faz-se necessário uma atenção também para o processo e resultados da avaliação interna, para que, de fato, possam trazer os benefícios propostos por essa ação.

5 Procedimentos metodológicos

Tratando-se de uma pesquisa que tem como proposta a produção de uma ferramenta de utilização prática - um instrumento para meta-avaliação, do ponto de vista de sua natureza, é considerada uma pesquisa aplicada.

Para atender aos objetivos do estudo, foram utilizadas três etapas. A estruturação dos procedimentos metodológicos utilizados encontra-se definida na figura 2 a seguir:

Figura 2
Procedimentos metodológicos quanto aos meios

Com o intuito de mapear e analisar as publicações técnicas e científicas existentes sobre o tema, foi realizada uma revisão sistemática utilizando as seguintes bases de dados: Catálogo de Teses e Dissertações da CAPES, SciELO, Ebsco e Base, além das bibliotecas Person e UFSC. Optou-se por essas bases pelo número de publicações em português, uma vez que o assunto é de interesse nacional e não há indicativos de números significativos de publicações internacionais.

O resultado desta revisão totalizou 138 trabalhos, incluindo artigos, teses e dissertações, dos quais após a leitura dos resumos, pela aderência ao tema, foram selecionados 61 materiais que tratavam especificamente da meta-avaliação relacionada a autoavaliação institucional de IES. Para o presente trabalho em especial, esta etapa foi de fundamental importância, uma vez que, por meio da pesquisa bibliográfica foi possível verificar os fundamentos e as metodologias utilizadas na meta-avaliação pelos autores mais referenciados da área, conforme constatado na revisão da literatura.

Utilizou-se para efetuar o trabalho de campo a pesquisa do tipo Survey, o qual, de acordo com Pinsonneault e Kraemer (1993), se apresenta como forma de obtenção de dados ou informações sobre características, ações ou opiniões de um determinado grupo de pessoas, que representam uma população. Assim sendo, optou-se por utilizar esse tipo de pesquisa por viabilizar o acesso às CPAs do Estado de Santa Catarina, a fim de investigar suas experiências com a meta-avaliação na autoavaliação institucional e também coletar suas opiniões sobre a proposta de atributos, critérios e indicadores que comporão um instrumento de meta-avaliação específico para avaliar o trabalho dessas comissões, em atendimento ao objetivo geral deste trabalho.

Todas as CPAs devem elaborar um relatório anual que é enviado ao MEC, anualmente, com os resultados da avaliação interna e o plano de ação de melhorias para o próximo ano. A Nota Técnica INEP/DAES/CONAES nº 065, publicada em 09 de outubro de 2014 (BRASIL, 2014) é o documento que estabelece o Roteiro para o Relatório de Autoavaliação Institucional.

Considerando a importância desses relatórios, foi realizada a análise destes documentos, em especial no que diz respeito à existência ou não de um processo de meta-avaliação praticado nas instituições de ensino superior de Santa Catarina, mesmo que não formalizado ou estruturado, mas mencionado de alguma forma no relatório da autoavaliação institucional.

Para realização desta análise, foi utilizada a Lista Chave de Verificação da Avaliação proposta por Scriven (2007), a qual é voltada a relatórios e resultados de avaliações, conforme citado anteriormente, utilizando também a legenda proposta por Davidson (2005, p. 217):

1. A = Atinge todos os aspetos principais deste ponto e os expressa de forma clara e concisa.

2. B = Atinge a maioria dos aspetos relativos a este ponto, mas não cobre um ou dois deles, ou trata dos ingredientes principais, mas não é 100% claro.

3. C = Trata do ponto, mas perde alguns aspetos cruciais, ou perde vários aspetos importantes, ou é um tanto desorganizado ou pouco claro.

4. D = Tem um ou dois elementos que parecem tratar implicitamente do ponto, mas o tratamento é deficiente.

5. E = Perde o ponto totalmente.

No entanto, como trata-se de um relatório amplo e relacionado às dimensões do SINAES e ao instrumento de avaliação externa do INEP, foi realizada uma adaptação da Lista Chave, focando a análise desses documentos nos itens que são mais aderentes ao processo de meta-avaliação, considerando o objetivo desta pesquisa. São eles:

1. a) Descrições e Definições: verificar se o relatório apresenta com clareza o que está sendo avaliado no âmbito da IES.

2. b) Comparações: Sendo uma avaliação trienal, verificar a comparação com relatórios e resultados anteriores e se está estruturado dentro da proposta do INEP (Nota Técnica 065/2014).

3. c) Relatório e apoio: Verificar a apresentação do documento no que diz respeito a formato, vocabulário e se houve apoio de outros documentos da IES na sua construção.

4. d) Meta-avaliação: Este é o ponto principal da análise, verificando se há ligação para um segundo nível de avaliação, ou seja, se há proposta ou evidência de meta-avaliação da autoavaliação institucional apresentada no relatório da CPA.

Estes são os itens da Lista Chave (SCRIVEN, 2007), utilizados para a análise dos relatórios a fim de investigar a presença da meta-avaliação nos processos de avaliação interna das IES.

Segundo o Censo da Educação Superior, promovido pelo INEP em 2019, o Brasil contava com 2.608 instituições de Educação Superior, ofertando 40.427 cursos de graduação. Em Santa Catarina, campo de estudo desta pesquisa, conforme Tabela 1, haviam 100 IES atuantes em 2019.

Tabela 1
Número de IES em SC por categoria administrativa

Categoria Administrativa	Total	Capital	Interior
Pública	8	3	5
Federal	4	2	2
Estadual	1	1	-
Municipal	3	-	3
Privada	92	12	80
TOTAL GERAL	100	15	85

• Fonte: Adaptado de INEP. INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Censo da Educação Superior 2019. Resultados. 2019. Disponível em: https://www.gov.br/inep/pt-br/areas-de-atuacao/pesquisas-estatisticas-e-indicadores/censo-da-educacao-superior/resultados. Acesso em: 20 nov. 2020.

As 100 IES ativas em Santa Catarina, em 2019, cada uma com sua CPA com atuação nesse período, atendiam 385.950 matrículas em cursos de graduação. Segundo a legislação do SINAES, cada IES precisa ter ao menos uma CPA constituída. Assim sendo, esta pesquisa abrangeu as IES de Santa Catarina dada a sua representatividade e pela acessibilidade aos dados necessários.

Considerando que se optou por aplicar a pesquisa somente no Estado de Santa Catarina, em relação ao cenário nacional, esta pesquisa trabalhou com uma amostragem, por conveniência, que são as IES catarinenses, representando um percentual de aproximadamente 4% do total de IES do Brasil.

Já que a pesquisa abrangeu as CPAs de Santa Catarina, pode-se dizer que o Survey foi censitário, ou seja, foram pesquisadas todas as IES catarinenses. O questionário foi encaminhado por e-mail à presidência das CPAs de cada instituição, sendo coletada uma resposta por IES, representando a opinião de cada comissão em relação ao processo de autoavaliação institucional.

O instrumento de coleta de dados da pesquisa foi questionário estruturado e teve como principal finalidade investigar junto às CPAs seu nível de conhecimento sobre o processo de autoavaliação e coletar opiniões acerca da sua experiência relacionada ao processo de avaliação externa de modo a possibilitar a identificação dos atributos, critérios e indicadores que devem compor um instrumento de meta-avaliação, que possa ser utilizado para o no processo e dos resultados da avaliação interna das IES.

Desta forma, para construção do instrumento de pesquisa se levou em consideração a legislação vigente inerente ao SINAES sobre o processo de autoavaliação; os principais atributos e critérios elaborados pelo JCSEE; as considerações de Scriven (2007) e; como indicadores principais, os critérios de adequação técnica e a lista de tarefas para meta-avalição de Stufflebean (2001), conforme destacado na fundamentação teórica.

As questões do instrumento aplicado foram elaboradas a partir das 2 partes do processo: (1) Processo e (2) Resultados da Autoavaliação Institucional, com base nos critérios estabelecidos por Stufflebean (2011). Depois foram correlacionadas às “Tarefas/Procedimentos”, baseadas na Lista de Tarefas para Meta-Avaliação de Stufflebean (2001).

A primeira parte do questionário estava relacionada ao Processo de Autoavaliação Institucional. Esta parte do questionário foi estruturada em sete grupos de perguntas, seguindo os critérios e as tarefas/procedimentos apresentados anteriormente, trazendo nas perguntas a realidade da autoavaliação institucional em suas diversas etapas, a partir do que é estabelecido pela legislação, pelos documentos orientadores e pelo que consta no Instrumento de Avaliação Institucional Externa.

Esta estrutura do instrumento de pesquisa, correlaciona critérios de adequação técnica e tarefas/procedimentos da meta-avaliação à prática da autoavaliação institucional exercida pelas CPAs, visando coletar as informações necessárias para subsidiar a elaboração do protótipo de instrumento de meta-avaliação a ser utilizado na autoavaliação institucional, produto final desta pesquisa.

6 Apresentação dos resultados

Durante a pesquisa constatou-se que das 100 IES catarinenses declaradas no Censo da Educação Superior do ano de 2019, quatro estavam em situação inativa ou em processo de descredenciamento e duas delas não tiveram seus websites encontrados. Assim sendo, a pesquisa realizou-se com 94 instituições ao todo.

A etapa de análise documental consistiu na análise dos relatórios de autoavaliação disponibilizados pelas IES em seus respectivos sites institucionais, a partir dos critérios mencionados anteriormente.

De acordo com as orientações constantes na Nota Técnica nº 65/2014, os relatórios devem ser publicados durante o Ciclo Avaliativo, com duração trienal, sendo duas versões parciais e uma integral (BRASIL, 2014). Há que se ressaltar que haviam IES cujos relatórios tinham acesso restrito, ou seja, em ambientes exclusivos à alunos e/ou professores por meio de login e senha; algumas IES estavam com relatórios disponíveis de anos anteriores a 2018; muitas IES não disponibilizam os relatórios para acesso público em seus websites; houveram IES com códigos diferentes no censo que tinham relatório único/repetido.

Desta forma, foram encontrados 38 relatórios disponíveis para download ou consulta, em condições de serem analisados, o que consiste em 40,42% do total de 94 IES pesquisadas.

Tabela 2
Resultado da análise dos relatórios de autoavaliação

	Resultados em cada item analisado
Legenda	2. Descrições e Definições	9. Comparações	14. Relatório e Apoio	15. Meta-avaliação
A	34%	63%	58%	8%
B	55%	19%	24%	5%
C	11%	5%	13%	10%
D	--	8%	5%	16%
E	--	5%	--	61%

• A = Atinge todos os aspetos principais deste ponto e os expressa de forma clara e concisa.
• B = Atinge a maioria dos aspetos relativos a este ponto, mas não cobre um ou dois deles, ou trata dos ingredientes principais, mas não é 100% claro.
• C = Trata do ponto, mas perde alguns aspetos cruciais, ou perde vários aspetos importantes, ou é um tanto desorganizado ou pouco claro.
• D = Tem um ou dois elementos que parecem tratar implicitamente do ponto, mas o tratamento é deficiente.
• E = Perde o ponto totalmente
• Legenda: Evaluation methodology basics. p. 217.
• Fonte: Elaborado pela autora.

Dentre os principais resultados apresentados na tabela 2, pode-se destacar que 89% das CPAs se preocupam e cumprem com as orientações legais e favorecem a interpretação da comunidade acadêmica (item 2).

Já, no que diz respeito ao item 9, observa-se um total de 63% das CPAs que apresentam estas comparações entre os relatórios do ciclo avaliativo, bem como com outras avaliações internas e externas da IES. Essas comparações facilitam as análises e evidenciam o processo contínuo e progressivo da autoavaliação institucional.

Embora muitas comissões apresentem nos seus relatórios a utilização de documentos de apoio e a correlação da autoavaliação com o PDI e demais documentos da IES, pode-se notar que ainda há certa fragilidade neste item, visto que 18% dos relatórios não apresentam de forma clara essa relação e a utilização de documentos de apoio.

Considerando os conceitos C, D e E, 87% dos relatórios analisados não apresentam, ou apresentam de forma deficitária a presença da meta-avalição do processo de autoavaliação institucional. É o resultado que mais chama a atenção, uma vez que é pressuposto do MEC e que é um processo que corrobora com a busca pela melhoria contínua da qualidade das IES.

As CPAs são responsáveis por colocar em prática os pressupostos legais, de modo a estabelecer o objeto, os procedimentos, os objetivos e o próprio uso do processo avaliativo. Nesse sentido, a proposta do questionário foi trazer um olhar valorativo, ou seja, conhecer a realidade para então propor o instrumento de meta-avaliação, a partir da vivência dos respondentes.

De maneira geral, as CPAs demonstraram estar buscando atender o que preconiza a legislação no que diz respeito ao processo de autoavaliação. Ou seja, a maioria das respostas apontaram o atendimento aos itens questionados, embora ainda exista uma minoria que apresenta algumas fragilidades.

Nos primeiros sete grupos de perguntas, destacam-se algumas fragilidades que serão levadas em consideração na construção do instrumento de meta-avaliação proposto por essa pesquisa:

1. Quanto a capacitação continuada para os membros da CPA - 32,5% dos respondentes afirmam que não há capacitação para membros da CPA. (está correto ou começa com a)?) não pode ser número em razão da numeração progressiva do artigo.

2. Os membros da CPA são preparados para o processo de meta-avaliação: avaliação da autoavaliação institucional - 20% afirmam que não são preparados para o processo de meta-avaliação.

3. A CPA discute a possibilidade de condução do processo de meta-avalição por membros externos à IES - 30% das respostas indicam que não há esse tipo de discussão nas comissões.

4. Há aplicação de avaliação da avaliação pela CPA, a fim de analisar o desenho da avaliação, procedimentos empregados, informações coletadas e resultados, em conjunto com os gestores da IES - 17,5% das comissões dizem não aplicar a meta-avaliação.

5. Há criação de grupo focal, ou entrevistas com vários segmentos da comunidade acadêmica, para discutir os resultados e elaboração do Plano de Melhorias - 17,5% das CPAs não realizam discussões com os envolvidos a respeito dos resultados e planos referentes a autoavaliação institucional.

A análise dos resultados dos questionários, comparada à análise dos relatórios realizada anteriormente demonstra algumas incompatibilidades. Um exemplo de divergência é quanto a realização de meta-avalição ao processo de autoavaliação institucional. Apesar de apenas 17,5% dos respondentes do questionário afirmarem que não há este processo em suas respectivas IES, cerca de 87,5% dos relatórios analisados não apresentam esta ação, ou apresentam de forma não explícita a meta-avaliação realizada pelas CPAs. Assim sendo, trata-se de um ponto fundamental para a construção do instrumento proposto por este estudo, já que poderá contribuir, inclusive, com a mensuração deste processo nas IES.

A segunda parte do instrumento de pesquisa era voltada aos resultados da autoavaliação nas IES, tratando mais especificamente dos instrumentos, análise dos dados, elaboração dos relatórios e apresentação dos resultados. Nesta parte, ficou evidenciada a dificuldade das comissões na apresentação dos resultados e na discussão com os públicos envolvidos, especialmente com a comunidade externa.

Quanto a existência de criação de mentoria junto aos segmentos da comunidade (INTERNA) para analisar os resultados da autoavaliação, a pesquisa apresentou como resultado 10% de respostas que não se aplica/não sei responder e 22,5% responderam como Insatisfatório/ insatisfatoriamente/ não contempla. O mesmo ocorre com a questão referente a existência de alguma ação para auxílio à comunidade (EXTERNA) a interpretar e analisar os resultados da autoavaliação, onde 10% dos respondentes apontaram como não se aplica/não sei responder e 30% das respostas foram insatisfatório/ insatisfatoriamente/ não contempla.

Segundo os comentários dos próprios respondentes, a comunicação com a comunidade externa e egressos ainda é uma fragilidade e um desafio para as CPAs, pois ainda faltam estratégias para levar ao conhecimento dos stakeholders a importância deste processo para garantia da qualidade da educação superior.

7 Instrumento de meta-avaliação

O objetivo geral deste estudo é, justamente, elaborar um instrumento de meta-avaliação aplicável a autoavaliações institucionais de IES brasileiras, que pertençam ao sistema federal de ensino e, portanto, sigam as diretrizes e regulamentações do SINAES.

Assim, a partir da pesquisa bibliográfica que apontou os principais autores da área, subsidiando com suas teorias e conceitos a análise dos relatórios de autoavaliação das IES catarinenses e a aplicação dos questionários das CPAs das mesmas IES, foi possível chegar aos atributos, critérios e indicadores que serviram de base para a elaboração do instrumento de meta-avaliação. Além disso, as principais fragilidades encontradas tanto na análise dos relatórios, quando nos resultados dos questionários aplicados são os pontos de atenção para a meta-avaliação do processo de avaliação interna.

A organização do instrumento considerou, dentre o que foi estudado, o que é cabível a um instrumento para meta-avaliação da autoavaliação institucional, ou seja, adaptações, interpretações e realocações foram necessárias para estabelecer os parâmetros.

Portanto, o instrumento proposto foi organizado da seguinte forma:

1. a) Estrutura: etapas da autoavaliação institucional previstas no Roteiro de Autoavaliação (INEP, 2004)

2. b) Atributos: Padrões estabelecidos pelo JCSEE (2019) aplicáveis à meta-avaliação relacionados ao processo de autoavaliação institucional

3. c) Critérios: Fragilidades encontradas nas análises dos relatórios de autoavaliação e nos resultados do questionário aplicado, critérios de meta-avaliação de Stufflebean (2011) e lista chave de verificação da avaliação de Scriven, no que couber ao processo de autoavaliação institucional de IES.

4. d) Indicadores: Instrumentos de Avaliação Institucional Externa. Dimensões e Eixos do SINAES, documentos orientadores e legislações acerca da autoavaliação institucional.

Como conceitos para mensurar cada uma das questões, optou-se pela classificação de Davidson (2005), que traz as letras A, B, C, D e E, e suas respectivas classificações na legenda.

Foi com esse intuito que o instrumento de meta-avaliação foi elaborado, como uma ferramenta que possibilite auxiliar as CPAs na sua importante missão diante da gestão educação superior brasileira.

A seguir, uma parte da proposta de Instrumento de Meta-Avaliação para a Autoavaliação Institucional que possa ser aplicado nas IES a fim de corroborar com a legislação vigente que determina o processo das avaliações internas (Quadro 1). A íntegra do instrumento pode ser consultada na dissertação intitulada “AVALIAÇÃO INSTITUCIONAL: proposta de instrumento de meta-avaliação para a avaliação interna de IES” (ZIMMERMANN, 2021), disponível no repositório de Teses e Dissertações da Biblioteca Universitária da Universidade Federal de Santa Catarina.

Como qualquer outro tipo de avaliação, a meta-avaliação pode ter um papel formativo ao ajudar uma avaliação a obter sucesso; e um papel somativo ao ajudar as partes interessadas a julgar o mérito da autoavaliação e seu valor diante dos seus objetivos. Por isso, é um campo com muitas possibilidades de desenvolvimento e atuação.

Quadro 1
Parte do instrumento de meta-avaliação para a autoavaliação institucional de IES

O instrumento apresentado é um protótipo desenvolvido a partir dos estudos desta pesquisa, no entanto, poderá ser complementado e ajustado por meio de estudos futuros, à medida que for aplicado pelas CPAs.

8 Considerações finais

Com a realização deste estudo sobre meta-avaliação e sua relação com o processo avaliativo de IES, tendo por base os principais estudiosos da área, o estudo dos relatórios da avaliação interna das IESs e o levantamento de opiniões de uma amostragem significativa de membros das CPAs, acredita-se ter respondido a pergunta de pesquisa: Quais os atributos, critérios e indicadores são apropriados para a estruturação de um instrumento de operacionalização da meta-avaliação, inerente ao processo e aos resultados da autoavaliação institucional em instituições de Educação Superior brasileiras?

A partir das três etapas previstas na metodologia, verificou-se que, adaptando e correlacionando o que apresenta a literatura internacional e nacional com a legislação educacional brasileira, documentos orientadores e instrumentos de avaliação externa, foi possível construir este instrumento para atender a necessidade de avaliar o processo de autoavaliação institucional.

O desafio para a aplicação desta proposta é o engajamento dos membros das CPAs, e a adesão necessária à cultura avaliativa que, ainda, não está bem consolidada nas IESs. Diante da possibilidade de serem avaliados, talvez possa haver algum tipo de resistência dos próprios avaliadores. Portanto, é importante pensar também no desenvolvimento de estratégias para garantir o comprometimento das comissões nessa tarefa de meta-avaliar seu trabalho.

O instrumento de meta-avaliação para a autoavaliação institucional, resultante desta pesquisa, é apenas o início de um amplo campo de possibilidades de estudos e aprofundamentos acerca do tema. Assim sendo, recomenda-se a continuidade da pesquisa com a aplicação deste instrumento às CPAs de todas as IES brasileiras, como forma de testagem e abertura para novas discussões sobre o assunto.

Também, sugere-se que o INEP, responsável pela coordenação e supervisão da avaliação institucional (interna e externa) no Brasil, desenvolva algum sistema em que seja permitido que os resultados das meta-avaliações das IESs, coordenado pelas CPAs, “converse” com os relatórios das avaliações externas de cursos e instituições. Se isso vier a ocorrer, talvez seja possível dispensar os relatórios parciais e integral das CPAs, que são disponibilizados anualmente no Sistema e-MEC, pois todos os aspectos necessários já estarão contemplados num único local.

Este estudo não teve a intenção de apresentar uma proposta definitiva de meta-avaliação, mas sim, favorecer o debate sobre a sua importância para o aperfeiçoamento da autoavaliação institucional e para a qualificação da educação superior no Brasil, no sentido de promover o desenvolvimento de processos avaliativos mais consistentes nas instituições de educação superior capazes de gerar transformações e melhorias no âmbito institucional e social.

Referências

• ALVES, Lourdes. Gestão em instituições de educação superior: proposta de referencial fundamentado na abordagem da gestão do conhecimento. 2016 Tese (Doutorado em Engenharia e Gestão do Conhecimento) - Universidade Federal de Santa Catarina, Florianópolis, 2016. Disponível em: Disponível em: https://repositorio.ufsc.br/xmlui/handle/123456789/171724 Acesso em: 17 jul. 2019.
  » https://repositorio.ufsc.br/xmlui/handle/123456789/171724
• BRASIL. COMISSÃO ESPECIAL DE AVALIAÇÃO. SINAES: bases para uma nova proposta de avaliação da educação superior brasileira. Brasília: Inep, 2004b. Disponível em: Disponível em: https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_superior/bases_para_uma_nova_proposta_de_avaliacao_da_educacao_superior_brasileira.pdf Acesso em: 04 mar. 2020.
  » https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_superior/bases_para_uma_nova_proposta_de_avaliacao_da_educacao_superior_brasileira.pdf
• BRASIL. MINISTÉRIO DA EDUCAÇÃO. Lei nº 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - SINAES e dá outras providências. Brasília, 15 abr. 2004a. Disponível em: Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm Acesso em: 28 mar. 2019.
  » http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2004/lei/l10.861.htm
• BRASIL. MINISTÉRIO DA EDUCAÇÃO. Nota técnica INEP/DAES/CONAES Nº65/2014. Roteiro para Relatório de Autoavaliação Institucional. Brasília: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira - INEP, 2014.
• DAVIDSON, E. J. Evaluation methodology basics. Thousands Oaks, CA: Sage, 2005.
• DAVOK, Delsi Fries. Modelo de meta-avaliação de processos de avaliação da qualidade de cursos de graduação. 2006. Tese (Doutorado em Engenharia de Produção) - Universidade Federal de Santa Catarina, Florianópolis, 2006. Disponível em: Disponível em: https://repositorio.ufsc.br/xmlui/bitstream/handle/123456789/88899/231045.pdf?sequence=1&isAllowed=y Acesso em: 19 maio 2020.
  » https://repositorio.ufsc.br/xmlui/bitstream/handle/123456789/88899/231045.pdf?sequence=1&isAllowed=y
• ELLIOT, Ligia Gomes. Meta-avaliação: das abordagens às possibilidades de aplicação. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 19, n. 73, p. 1-23, out. 2011. Disponível em: Disponível em: https://www.scielo.br/pdf/ensaio/v19n73/11.pdf Acesso em: 19 maio 2020.
  » https://www.scielo.br/pdf/ensaio/v19n73/11.pdf
• GIMENES, Nelson A. S. Estudo Metavaliativo do Processo de Auto-avaliação em uma Instituição de Educação Superior no Brasil. Estudos em Avaliação Educacional, São Paulo, v. 18, n. 37, p. 1-27, ago. 2007. Disponível em: Disponível em: https://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1383/1383.pdf Acesso em: 31 maio 2020.
  » https://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1383/1383.pdf
• INEP. INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA. Censo da Educação Superior 2019. Resultados. 2019. Disponível em: Disponível em: https://www.gov.br/inep/pt-br/areas-de-atuacao/pesquisas-estatisticas-e-indicadores/censo-da-educacao-superior/resultados. Acesso em: 20 nov. 2020.
  » https://www.gov.br/inep/pt-br/areas-de-atuacao/pesquisas-estatisticas-e-indicadores/censo-da-educacao-superior/resultados.
• INEP. INSTITUTO NACIONAL DE ESTUDOS E PESQUISA EDUCACIONAIS ANÍSIO TEIXEIRA. Roteiro de Auto-avaliação Institucional: orientações Gerais. Brasília, 2004. Disponível em: Disponível em: https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_superior/roteiro_de_auto_avaliacao_institucional_2004.pdf Acesso em: 18 jul. 2021.
  » https://download.inep.gov.br/publicacoes/institucionais/avaliacoes_e_exames_da_educacao_superior/roteiro_de_auto_avaliacao_institucional_2004.pdf
• JCSEE. Joint Committee on Standards for Educational Evaluation. 2019. Disponível em: Disponível em: https://evaluationstandards.org/ Acesso em: 13 maio de 2019.
  » https://evaluationstandards.org/
• OLIVEIRA, Moacir Rodrigues de. Meta-Avaliação da AEPG -Avaliação da Execução de Programas de Governo: estudo de caso da estratégia saúde da família. 2017. Dissertação (Mestrado em Políticas Públicas) - Universidade Federal do Paraná, Curitiba, 2017. Disponível em: Disponível em: https://repositorio.cgu.gov.br/ Acesso em: 02 nov. 2020.
  » https://repositorio.cgu.gov.br/
• PINSONNEAULT, Alain; KRAEMER, Kenneth. Survey research methodology in management information systems: an assessement. Journal of Management Information Sistem, Cambridge, MA, v. 10, n. 2, p. 75 - 105, 1993. Disponível em: https://dl.acm.org/doi/10.1080/07421222.1993.11518001. Acesso em: 25 nov. 2020
• SCRIVEN, Michael. Evaluation thesaurus. 4th. ed. Newbury Park, CA: Sage, 1991.
• SCRIVEN, Michael. The logic of evaluation. 2007. Disponível em: Disponível em: https://scholar.uwindsor.ca/cgi/viewcontent.cgi?article=1390&context=ossaarchive Acesso em: 20 set. 2020.
  » https://scholar.uwindsor.ca/cgi/viewcontent.cgi?article=1390&context=ossaarchive
• SOUZA, Francisco Jose de et al Avaliação da Educação Superior no Brasil - do Provão ao ENADE: um estudo meta-avaliativo. Meta: Avaliação, Rio de Janeiro, v. 2, n., p. 22-42, 2018. Disponível em: Disponível em: https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/1956/pdf Acesso em: 28 jul. 2020.
  » https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/1956/pdf
• STUFFLEBEAM, Daniel L. Meta-Evaluation. Journal Of Multidisciplinary Evaluation, Kalamazoo, EUA, v. 7, n. 15, p. 99-158, fev. 2011. Originally published as Papes #3, Occasional Paper Series, December, 1974 Disponível em: Disponível em: https://journals.sfu.ca/jmde/index.php/jmde_1/article/view/300/295 Acesso em: 11 out. 2020.
  » https://journals.sfu.ca/jmde/index.php/jmde_1/article/view/300/295
• STUFFLEBEAM, Daniel L. The metaevaluation imperative. American Journal of Evaluation, Thousand Oaks, v. 22, n. 2, p. 183-209, 2001. Disponível em: Disponível em: https://journals.sagepub.com/doi/10.1177/109821400102200204 Acesso em: 12 set. 2020.
  » https://journals.sagepub.com/doi/10.1177/109821400102200204
• STUFFLEBEAM, Daniel L. The methodology of metaevaluation as reflected in metaevaluations by the Western Michigan University Evaluation Center. Journal of Personnel Evaluation in Education, Michigan, v. 1, n. 14, p. 95-125, mar. 2000. Disponível em: Disponível em: https://link.springer.com/article/10.1023/A:1008198315521#citeas Acesso em: 12 set. 2020.
  » https://link.springer.com/article/10.1023/A:1008198315521#citeas
• ZIMMERMANN, Melissa Maria de Souza. Avaliação institucional: proposta de instrumento de meta-avaliação para a avaliação interna de IES. 2021. Dissertação (Mestrado profissional) - Centro Sócio-Econômico, Programa de Pós-Graduação em Administração Universitária, Universidade Federal de Santa Catarina, Florianópolis, 2021. Disponível em: Disponível em: https://bu.ufsc.br/teses/PPAU0245-D.pdf Acesso em: 25 out. 2021
  » https://bu.ufsc.br/teses/PPAU0245-D.pdf

Datas de Publicação

• Publicação nesta coleção
  03 Mar 2023
• Data do Fascículo
  Sep-Dec 2022

Histórico

• Recebido
  02 Nov 2021
• Revisado
  27 Jun 2022
• Aceito
  22 Dez 2022