Cursos de graduação em medicina: uma análise a partir do sinaes

Undergraduate medical courses in Brazil: an analysis based on the sinaes system

PESQUISA

Cursos de Graduação em Medicina: uma Análise a partir do Sinaes^*

Undergraduate Medical Courses in Brazil: an Analysis Based on the Sinaes System

Eliane Dias Gontijo; Maria Inês Barreiros Senna; Luciana Barreto de Lima; Luiz Henrique Duczmal

Universidade Federal de Minas Gerais, Belo Horizonte, MG, Brasil

^{Endereço para correspondência}

RESUMO

Estudo descritivo analítico dos indicadores do Sistema Nacional de Avaliação da Educação Superior-Sinaes/Inep/MEC. Existem evidências de problemas metodológicos nos instrumentos do Exame Nacional de Desempenho dos Estudantes (Enade). Houve variação das matrizes de referência em 2004 e 2007, mudanças nas fórmulas e multicolinearidade no cálculo do Conceito Preliminar e do nível de dificuldade das provas, respectivamente 65% em 2004 e 35% em 2007. Nos dois períodos, quase metade das questões avaliou a capacidade de memorização (47% e 42%). A análise Cart apontou condição sociocultural, rede pública de ensino e percepção de alta oferta de formação complementar pela instituição como fatores associados ao melhor desempenho do concluinte. Tanto a nota no componente específico do concluinte como a diferença entre a nota de formação geral do concluinte e do ingressante são indicadores de forte discriminação de desempenho. Propõe-se um indicador multicritério dessas duas quantidades, que foi capaz de discriminar as instituições bem conceituadas da área médica. Matrizes de referência compatíveis e robustas são necessárias para o monitoramento de cursos que formem profissionais de excelência e que estejam conscientes de suas responsabilidades sociais.

Palavras-chave: - Educação Médica -Ensino -Avaliação Educacional -Educação de Graduação em Medicina -Multicritério

ABSTRACT

This descriptive study of the indicators from the National System for the Evaluation of Higher Education-Sinaes/Inep/MEC. There is evidence of methodological problems in the construction of the instruments for the National Examination of Students' Performance (Enade). There was a variation in the reference matrices in 2004 and 2007, changes in the formulas, and multi-colinearity in calculation of the Preliminary Classification. In 2004, 65% of the questions were classified as "difficult", as compared to only 35% in 2007..Nearly half of the questions evaluated the capacity for memorization (47% and 42%). Cart analysis pointed to the following factors associated with better performance on the graduating student's: higher socioeconomic status, public institution, and high supply of complementary training by the institution. Both the graduating student's specific component grade and the difference between them and first-year student's overall classification appear as robust performance indicators. This study proposes a multiple-criteria indicator which proved capable of discriminating between highly rated institutions in the medical field. Consistent and robust reference matrices are necessary for monitoring courses that train excellent professionals who are aware of their social responsibilities.

Keywords: -Education, Medical -Teaching -Educational Measurement -Education, Medical,Undergraduate - Multicriterion

INTRODUÇÃO

A temática do ensino de graduação em Medicina se insere no debate atual sobre as políticas educacionais para o ensino superior vigentes no Brasil e que se encontram muito presentes no cotidiano, haja vista que com frequência são notícias de destaque nos principais meios de comunicação. As políticas educacionais mais emblemáticas, como a expansão acelerada de Instituições de Ensino Superior (IES) e cursos de graduação, a avaliação de egressos e cursos, e o movimento de reformas curriculares, têm gerado inquietações, mudanças e avanços no modelo de formação de médicos.

A sistematização de dados coletados pelo Inep-MEC sobre as IES, os cursos de graduação e o desempenho dos estudantes, componentes do Sistema Nacional de Avaliação da Educação Superior (Sinaes), pode ser de grande utilidade na avaliação dos cursos de Medicina, especialmente por serem provenientes de múltiplos instrumentos, utilizados em diferentes momentos, em um processo sistemático de atribuição de juízos de valor e mérito com vista a aumentar a qualidade do ensino.

No panorama atual dos cursos médicos, existem diretrizes que apontam o caminho a seguir para uma formação de qualidade e instrumentos de avaliação internos e externos que, se bem analisados, devem ser capazes de identificar as instituições que estão falhando no cumprimento de sua missão de formar médicos de excelente nível técnico e sensibilizados quanto às suas responsabilidades profissionais e sociais. Entretanto, informações obtidas dos concluintes em 2004 apontam que 56% dos alunos consideram que o curso deveria aumentar seu nível de exigência e 46% entendem que as disciplinas cursadas não contribuíram para uma atuação ética e com responsabilidade social¹.

Esses dados constituem sinais de alerta tanto para os órgãos públicos responsáveis pela qualidade das instituições formadoras, quanto para os próprios cursos refletirem sobre os ajustes necessários.

O presente estudo teve como objetivo contribuir com o processo de avaliação e monitoramento dos cursos de graduação em Medicina, por meio da análise de fontes de dados secundárias referentes aos instrumentos e indicadores do Sinaes, elaborado pelo Inep-MEC.

METODOLOGIA

Trata-se de estudo descritivo de fontes secundárias e análise de tendência dos marcadores de desempenho dos estudantes e dos cursos nos ciclos de avaliação da educação superior realizados em 2004 e 2007. Foram feitas análises das matrizes de avaliação, avaliação qualitativa de cada um dos itens objetivos e discursivos da formação geral e do componente específico, utilizando o percentual de acertos, o poder discriminante de cada questão e a tipologia dos enunciados². Além da análise dos indicadores conceito Enade, IDD e CPC, foram identificados os fatores associados ao desempenho dos estudantes de Medicina pela metodologia Cart (Árvore de Decisão).

Sistema de Avaliação do Ensino Superior Brasileiro

A estruturação do Sistema de Avaliação do Ensino Superior Brasileiro nas últimas décadas do século 20 e início do século 21 se insere no contexto das políticas públicas da educação superior em âmbito internacional.

Dentre elas, destaca-se a Declaração de Bolonha³, assinada em 1999 por 30 países que pretendem estabelecer o Espaço Europeu de Ensino Superior (EEES) pela adoção de princípios comuns de comparabilidade, transparência e legibilidade dos sistemas de ensino superior, aumento da competitividade e da capacidade de atração das IES em relação a estudantes estrangeiros, à mobilidade dos cidadãos estrangeiros e à empregabilidade, mecanismos de garantia de qualidade e acreditação de seus cursos.

A avaliação da educação superior brasileira está per-meada por concepções que ora se opõem, ora se mesclam de acordo com as políticas educacionais implementadas. Isto fica evidente na criação do Programa Institucional das Universidades Brasileiras (Paiub), em 1993, caracterizado como uma avaliação emancipatória na sua proposta de autorregulação. Em seguida, houve a aprovação do Exame Nacional de Cursos (Provão), em 1997, que utilizou o mecanismo de regulação com critérios mercadológicos. Observam-se duas concepções no processo de educação superior na América Latina: a avaliação como controle, com uma lógica burocrática formal, e a avaliação formativa/emancipatória, mais acadêmica⁴.

O Provão, por suas características, demonstra ter sido influenciado pelas definições internacionais de políticas de ensino superior, criando, assim, uma política pública de avaliação externa da educação superior brasileira. O exame recebeu críticas da comunidade acadêmica e de especialistas em avaliação, enquanto instrumento de medida da qualidade da educação superior brasileira, devido à análise de que tenha sido um mecanismo de regulação estatal, com critérios relacionados ao mercado, evidenciado pelo estabelecimento de classificação que estimulava a concorrência entre as IES⁵.

O Inep, em 2003, introduziu novidades como o resultado dos cursos em ordem alfabética e a média absoluta das áreas de conhecimento baseada na curva normal. Em abril de 2004, foi aprovada a instituição do Sistema Nacional da Educação Superior (Sinaes)⁶, que inclui o Enade, considerado como resultado de experiências com características de avaliação de controle e também de caráter emancipatório.

De acordo com Barreyro e Rothen⁴, o Sinaes é o "resultado da cumulação e da metamorfose, pois se apoia em experiências anteriores: (a) avaliação institucional, do Paiub; (b) a avaliação dos cursos de graduação e a avaliação das condições de ensino; (c) o Exame Nacional de Desempenho dos Estudantes, do Provão".

O Sinaes se caracteriza como um modelo misto de avaliação, apresentando características e princípios vigentes nas duas principais tendências de avaliação da educação superior. Observa-se uma preocupação em combinar a participação das IES - princípio presente na tendência democrática - com a ação reguladora do Estado - princípio presente na tendência técnico-burocrática. Busca-se articular os processos de avaliação e regulação, respeitando as características e princípios atinentes a cada uma. Nesse sentido, a avaliação é compreendida como um momento de reflexão das instituições sobre suas atividades. A regulação, por sua vez, se caracteriza como um processo inerente ao órgão gestor de acompanhar o sistema, a fim de planejar e garantir a qualidade da educação superior no País.

O Sinaes pretende assegurar a avaliação das IES, das condições de ensino oferecidas pelos cursos e do desempenho dos estudantes, realizada mediante aplicação do Enade.

Avaliação da Matriz de Competências e Habilidades - Enade 2004 e 2007

A realização de uma avaliação como o Enade, para ser efetiva, exige a construção de matriz de competências a serem desenvolvidas no curso de Medicina, que, por sua vez, representa a matriz de referência para elaboração dos itens de avaliação. Essa matriz dá transparência e legitimidade ao processo de avaliação, informando aos interessados -autoridades educacionais, instituições de ensino, professores e estudantes - o que será avaliado. Assim, as matrizes de referência de avaliação descrevem o objeto da avaliação, informando as competências e habilidades esperadas dos estudantes.

Embora as Diretrizes Curriculares Nacionais (DCN) tenham sido usadas como referencial para a elaboração da matriz, verificou-se que a organização e o conteúdo das matrizes de referência em 2004 e 2007 foram diferentes, com supressão, em 2007, dos eixos de Saúde Coletiva e Sistema de Saúde e Gerenciamento da Informação e Raciocínio Crítico, além da diminuição do número de competências e habilidades avaliadas (de 52 para 16).

Na análise do relatório-síntese de 2004¹, verifica-se a indicação de temas predominantes, associados a um conjunto de competências e habilidades listadas e referenciadas às DCN, e a indicação dos índices de facilidade e de discriminação de cada questão apresentada. Por outro lado, o relatório-síntese de 2007⁷ já apresenta os itens do componente específico onde foram avaliadas habilidades e competências agrupadas em três eixos integradores e não salienta as mudanças ocorridas entre as matrizes.

Observa-se, ainda, que a matriz de referência de avaliação do Enade 2007, ao misturar conteúdos com competências e habilidades, torna-se confusa e dificulta a elaboração do perfil da prova e, consequentemente, a elaboração dos itens.

As habilidades e competências referentes a Saúde Coletiva e Gerenciamento da Informação e Raciocínio Crítico fazem parte das DCN e são consideradas fundamentais no perfil do médico, que alia a qualidade técnica de sua formação à responsabilidade social de sua prática. A ausência dessas competências na matriz de 2007 levanta questionamentos sobre o processo de elaboração das matrizes de referência das provas do Enade para os cursos de Medicina. A supressão de eixos e competências/habilidades pode indicar certa concepção de formação médica, que varia de acordo com a composição das comissões de especialistas da área designados para essa tarefa. Assim, a variação das matrizes a cada ciclo de avaliação do Enade, sem as devidas justificativas teóricas e metodológicas, interfere na análise de tendência do desempenho dos estudantes e dificulta a avaliação mais abrangente da formação em Medicina.

Análise de qualidade das provas

Na análise técnica do instrumento-prova foi realizado mapeamento das questões objetivas e discursivas das provas de 2004 e 2007 da formação geral e do componente específico quanto aos conteúdos e competências e também quanto à formulação dessas questões.

A prova aplicada incluiu 10 questões do conteúdo formação geral, sendo 8 de múltipla escolha e 2 questões abertas. Para o componente específico foram elaboradas 30 questões, sendo 26 de múltipla escolha e 4 abertas, em 2007. Em 2004, o formato foi modificado, tendo sido composto por 20 itens fechados e 10 discursivos.

Os critérios utilizados foram o percentual de acertos, o poder discriminante de cada questão e a tipologia dos enunciados, utilizando-se a classificação de Souza e Salvador². Finalmente, as questões foram analisadas em relação às competências cognitivas e habilidades instrumentais requeridas.

Formação Geral 2004 e 2007

Em relação à formação geral, o relatório-síntese da prova de 2004 não especifica as habilidades aferidas em cada questão, o que já pode ser observado no relatório de 2007.

Em 2004 e 2007, as questões da formação geral, em sua maioria, foram caracterizadas como fáceis, de conteúdos factuais, com competências do nível básico (habilidades de memorização e compreensão), casos com estrutura simples. Verificou-se um item repetido nos dois ciclos: questão 8 de 2004 e questão 4 de 2007.

Os temas das questões foram diversificados, interessantes e atuais, mas com comando empobrecido e estruturas simples. O fato de 75% das questões terem sido consideradas fáceis ou muito fáceis pode, em tese, interferir na aferição dos diferentes estágios de aprendizagem. A avaliação da formação geral é relevante por indicar o valor agregado da instituição formadora. No entanto, as notas muito próximas de ingressantes e concluintes suscitam questionamentos sobre a qualidade das questões.

Componente Específico 2004 e 2007

A comparação das questões aplicadas em 2004 e 2007 mostra diferenças na estrutura e formatação das provas, o que certamente prejudica a comparabilidade do desempenho das IES ao longo dos anos. As questões objetivas tiveram, prioritariamente, diferentes níveis de dificuldade, e o índice de dificuldade apontou que, em 2004, 65% das questões foram classificadas como difíceis em 2004 e somente 35% em 2007.

Em relação ao poder de discriminação, o Enade 2004 conseguiu discriminar melhor os alunos com pior desempenho. Entretanto, nos dois períodos foram aplicadas questões com fraco índice de discriminação (inferior a 0,19).

Nos dois anos, quase metade das questões avaliou a capacidade de memorização (47% e 42%). Houve predomínio de casos com alto e médio grau de complexidade em 2004, em contraponto aos casos mais simples exigidos em 2007.

Em 2004, as questões objetivas ficaram equilibradas quanto à tipologia do conteúdo, sendo 55% classificadas como factuais e 45% como conceituais, revelando que esta prova foi considerada mais difícil e requereu níveis mais elevados de habilidades e competências, havendo predomínio de casos com alto e médio grau de complexidade. Verifica-se que todas as questões da prova eram do tipo situação-problema. Esse fato pode indicar que os estudantes de Medicina, em sua grande maioria, não estão acostumados a realizar provas com esse tipo de questão. O índice de discriminação foi considerado muito bom. Quanto à formulação de questões, foi detectado que a maior parte das questões foi difícil.

Em 2007, o índice de facilidade foi maior. A maioria das questões foi considerada conceitual (73%) em relação à tipologia. Os temas predominantes foram diversos, assim como o ciclo de vida. As estruturas dos casos oscilaram entre simples e médio nível de complexidade.

As questões discursivas ficaram em equilíbrio quanto às competências requeridas, oscilando entre o nível básico e global, nos dois anos. A tipologia variou entre factuais e conceituais, o que é interessante, pois uma prova deve ser diversificada, apresentando questões de diversos níveis, de modo a identificar um leque maior de competências. No que se refere ao conteúdo, o ciclo de vida e os temas abordados em cada situação-problema foram diversificados. As estruturas dos casos variaram entre simples até alto nível de complexidade. O comando da questão requereu conhecimentos de conduta médica, tratamento, diagnóstico e exames.

Análise Comparativa do Enade e IDD em 2004 e 2007

Em 2004 e 2007, foram avaliados, respectivamente, 89 e 103 cursos de graduação em Medicina, e os resultados mostram grande variabilidade. Somente 11 (14%) mantiveram ou melhoraram o conceito, embora, como visto anteriormente, isto traga pouca informação, uma vez que os testes realizados nos diferentes anos não são comparáveis e estão em escalas diferentes.

Em 2004, 88,0% dos cursos foram classificados nos conceitos 4 e 5. Em 2007, o comportamento do conceito Enade apresentou mudança significativa, com redução do percentual de cursos com conceitos 4 e 5 (de 88% para 34% do total) e aumento percentual dos cursos com conceitos 1 e 2 (36,0%).

Como a dificuldade da prova em 2007 foi menor em relação a 2004, seria de esperar que a nota média do aluno para cada IES no componente específico em 2007 fosse superior, o que de fato ocorreu. Observou-se um aumento nas médias das provas de componente específico entre 2004 e 2007. Para os concluintes, a média passou de 49,23 para 61,28, sem alteração na amplitude - maior e menor nota média, que explicasse a variação do conceito Enade nos dois períodos avaliados. Em 2007, por exemplo, a diferença entre a maior nota média específica (77,1) e a menor nota específica não outlier (52,4) foi de 24,7, muito similar àquela verificada em 2004; a diferença entre a maior nota específica (59,7) e a menor nota específica não outlier (36,6) foi de 23,1 pontos.

Em 2004, com a prova mais difícil, notas mais baixa dos alunos originaram conceitos Enade mais altos. Apesar de nos dois ciclos ter sido utilizada a mesma fórmula para o cálculo do conceito Enade, em 2007, a retirada dos outliers minimizou o efeito de valores extremos influenciarem o conceito.

Verhine et al. (2006)⁸ consideram que, em 2004, as notas foram superestimadas, por dependerem dos melhores e piores escores dos cursos em um dado campo de conhecimento e apontam que esse fenômeno ocorreu especificamente com a Medicina. Assim, o fato de o curso de mais baixo resultado ter sido muito inferior aos demais resultou, no geral, em que as notas da área ficaram artificialmente altas.

Diferença entre o desempenho dos alunos em 2004 e 2007

Com a finalidade de visualizar graficamente a diferença de desempenho dos alunos entre 2004 e 2007, em comparação com o conceito Enade obtido para cada uma das IES, foram construídos dois gráficos de dispersão de pontos, apresentados separadamente para ingressantes (Gráfico 1) e concluintes (Gráfico 2).

Cada ponto no Gráfico 1 representa uma IES. Observa-se uma tendência clara de rebaixamento dos conceitos Enade de 2004 a 2007, uma vez que quase todos os pontos estão deslocados para a esquerda em relação ao eixo de coordenadas. O gráfico mostra o seguinte resultado paradoxal: tanto os ingressantes quanto os concluintes obtiveram maior nota média na formação específica, e as IES apresentaram diminuição do conceito Enade.

Os dois gráficos mostram que o conceito Enade, em geral, diminuiu significativamente de 2004 a 2007 para todo o conjunto de IES, mesmo observando-se um aumento generalizado nas médias das provas de componentes específico e geral entre 2004 e 2007.

Uma possível explicação para esse fenômeno reside na alteração da fórmula para a composição do conceito Enade de 2004 para 2007. Essa fórmula fornece um conceito estandardizado, isto é, o conceito de cada IES é estabelecido de forma comparativa.

O Indicador de Diferença entre os Desempenhos Observado e Esperado (IDD) tem o propósito de levar às instituições informações comparativas dos desempenhos de seus concluintes em relação aos resultados obtidos, em média, pelas demais instituições cujos perfis de estudantes ingressantes são semelhantes. Entende-se que essas informações são boas aproximações do que seria considerado o efeito do curso. O IDD é calculado de maneira que as IES que possuem insumos menos favoráveis são privilegiadas, tornando-se, portanto, uma medida de eficiência e não de eficácia. Da mesma forma, o conceito privilegia IES que recebem ingressantes com perfil "mais favorável", além de valorizar recursos de corpo docente.

O IDD foi criado como uma forma de resposta às críticas realizadas por IES privadas quanto aos procedimentos de avaliação do ensino superior no Brasil⁹. Isto porque tais instituições se queixavam da desigualdade de tratamento em relação às instituições públicas, especialmente as federais, onde a dificuldade de ingresso tenderia a selecionar naturalmente alunos mais bem preparados.

A análise do indicador revela que alunos com desempenho mais baixo, com IDD positivo acima de + 1, também estão em muitos cursos de instituições estaduais e federais. Assim, parece que o emprego do IDD como um instrumento que poderia corrigir possíveis distorções do uso do nível de desempenho para a qualidade do curso, ao contemplar o desempenho comparativo dos alunos ingressantes e concluintes, se torna menos convincente. De qualquer forma, o IDD variou muito para cursos com um mesmo nível de desempenho. A fraca concordância entre o IDD 2004 e o Enade 2007 pode estar apontando que o índice não é estável o suficiente para ser usado como medida prognóstica de qualidade dos cursos.

O Conceito Preliminar de Curso¹⁰ consubstancia diferentes variáveis que traduzem resultados da avaliação de desempenho de estudantes, infraestrutura e instalações, recursos didático-pedagógicos e corpo docente. Verifica-se multicolinearidade no cálculo do Conceito Preliminar, já que o IDD também leva em consideração recursos didático-pedagógicos e dados do corpo docente. Ristoff e Giolo¹¹ apontam o risco de esse indicador reduzir a avaliação realizada pelo Sinaes a um único instrumento, o Enade, em decorrência do maior peso dado a esse componente. A forma de publicação desse conceito vem reforçar essa visão inadequada a respeito do mesmo. Em 2007, apenas 25% dos cursos receberam conceitos 4 ou 5, que revelam cursos de melhor qualidade, e 27,3% foram classificados como 1 e 2. A variabilidade do instrumento Enade, já apontada, e o fato de a avaliação dos insumos se basear na opinião dos alunos expressa no questionário socioeconômico fragilizam o indicador.

Fatores Associados ao Desempenho dos Estudantes

A técnica utilizada para análise de fatores associados ao desempenho foi a Árvore de Decisão (Cart), que identifica as relações hierárquicas entre as variáveis, isto é, ela considera que um fator pode estar associado a um grupo de estudantes e estuda suas características mensuradas por meio dos indicadores contextuais. O Cart constrói árvores de decisão determinando condições lógicas do tipo "se-então" que vão repartindo o conjunto de observações.

A análise Cart separou alunos que obtiveram as maiores e menores médias na avaliação do componente específico, respectivamente 62 e 47. Identificou que o principal fator associado ao resultado do componente específico do concluinte é a condição socioeconômica mais elevada. O segundo fator mais associado é a rede de ensino da instituição. Verificou-se que alunos oriundos da rede pública apresentam resultados superiores aos dos alunos da rede privada. A terceira característica do grupo de melhor desempenho foi avaliar a formação complementar da IES onde estuda como de nível médio ou alto.

Outro fator que parece estar associado ao melhor desempenho do concluinte no componente específico do Enade é a contribuição da IES na formação geral do estudante. A análise de regressão linear entre a formação geral e o desempenho no componente específico se mostrou significativa e indicou que cada aumento de 1 ponto na nota da formação geral aumenta 0,3 ponto no componente específico.

Proposição de Novo Indicador

Ao agregarem numa mesma fórmula várias medidas de desempenho ponderadas por pesos arbitrários, os indicadores existentes acabam por não mensurar de maneira adequada a qualidade das instituições de ensino, sem deixar claro o que realmente se quer medir.

Uma proposta de um indicador de eficácia seria uma modificação no conceito Enade. Uma vez que o interesse deste indicador é calcular o desempenho da IES considerando o aluno ingressante e concluinte (a eficácia da aprendizagem dos alunos), o conceito Enade poderia ser construído de outra forma.

Da maneira como foi construída a nota final, dando peso ao desempenho de alunos ingressantes na formação específica, o conceito Enade privilegia as IES que recebem os melhores alunos, medindo a eficácia da IES de maneira inadequada. A fórmula a seguir mostra a nova proposta de cálculo do conceito Enade,

em que é a nota média dos concluintes da IES padronizada e transformada, segundo transformação linear, para uma escala de 0 a 5 . Similarmente, é a nota média dos ingressantes da IES padronizada e transformada para uma escala de 0 a 5 e é a nota média de concluintes e ingressantes da IES, também padronizada e transformada para uma escala de 0 a 5.

Como discutido anteriormente, o percentual de acerto, usado como indicador de resultado de aprendizagem do aluno, é inadequado, por não considerar a dificuldade e a qualidade da prova. Uma alternativa conveniente é usar a proficiência, variável latente mensurada por meio da Teoria de Resposta ao Item (TRI)¹². Essa proficiência no componente específico foi calculada para os alunos concluintes de 2004 e 2007, e demonstrou que em 2004 a nota no componente específico dos concluintes foi mais afetada pelas características da prova quando comparada com o ano de 2007, em que houve maior correlação entre as notas de percentual de acerto e proficiência.

O critério do Enade privilegia a nota de componente específico para avaliar as IES. Uma questão interessante seria verificar se o ganho de componente específico, isto é, a diferença entre o componente específico do concluinte e do ingressante, pode fornecer alguma informação adicional sobre o desempenho das IES. O Gráfico 3 mostra, para cada IES, o componente específico do concluinte no eixo horizontal e a diferença entre este componente e o do ingressante no eixo vertical. As duas quantidades estão moderadamente correlacionadas, confirmando que as IES que mais contribuíram para a melhoria de conhecimento específico de seus alunos são as que obtiveram as melhores performances na avaliação do componente específico. Em outras palavras, escolas com bom desempenho específico, em geral, contribuem muito para o aumento de conhecimento específico ao longo do curso.

Continuando a análise exploratória, tentou-se descobrir se existe algum padrão mais interessante quando se compara a nota de componente específico com o ganho de formação geral, isto é, a diferença entre a formação geral do concluinte e do ingressante.

O Gráfico 4 relaciona o componente específico do concluinte (CEC) no eixo horizontal com a diferença entre a formação geral do concluinte e a formação geral do ingressante (FGC-FGI) no eixo vertical. Ao contrário do gráfico anterior, as duas quantidades não apresentam nenhuma correlação significativa.

Entretanto, quando se divide o conjunto das IES pela mediana de componente específico do concluinte (linha vertical) e se insere uma linha horizontal dividindo o conjunto das IES para ganho positivo e negativo de diferença entre a formação geral do concluinte e a formação geral do ingressante, verifica-se, no quadrante superior direito, as IES que apresentam bom desempenho nas duas medidas e, no quadrante inferior esquerdo, as IES que têm problemas de desempenho nas duas medidas. As IES do quadrante superior esquerdo apresentam notas baixas de componente específico, porém seus alunos mostraram progresso na formação geral durante o curso. Finalmente, as IES do quadrante inferior direito tiveram bom desempenho na prova de componente específico, porém falharam ao não oferecerem uma melhoria ao longo do curso na formação geral de seus alunos.

Portanto, um par de números pode ser usado para medir o desempenho de cada IES. Segundo a metodologia teórica de problemas multiobjetivos¹³, podem-se avaliar elementos de uma coleção segundo mais de um critério (objetivo) simultaneamente.

Ao invés de tratar o problema de avaliação de IES com um único objetivo (como foi feito anteriormente, usando-se o Enade, o IDD), adotou-se uma representação (multidimensional) mais adequada aos critérios fundamentais que entraram em sua composição, que são as notas das provas de formação geral e componente específico de ingressantes e concluintes.

Prosseguindo na utilização de critérios multiobjetivos, a distribuição das IES por ano de início de funcionamento no gráfico 4 indica que 1996 é um marco notável, por ser o ano de início da expansão do sistema universitário propiciado pela aprovação da Lei de Diretrizes e Bases da Educação Nacional. De modo expressivo, nenhuma IES tem ano de início de funcionamento a partir de 1996 no quadrante superior direito, enquanto nos demais quadrantes a presença de IES deste tipo é bastante prevalente. Isto mostra que todas as IES que se saíram bem simultaneamente nos nossos dois critérios são escolas mais tradicionais, com muitos anos de funcionamento. Análise similar apontou que as IES com mais docentes doutores tendem a se destacar segundo essas duas medidas de desempenho.

Esses resultados parecem indicar que o modelo de expansão do ensino superior no Brasil tem impactado a qualidade da formação oferecida. Schwartzman¹⁴, ao analisar as recentes políticas de educação superior, destaca que uma das principais preocupações do governo foi a acelerada expansão do setor privado e seus possíveis efeitos sobre a qualidade dos cursos de graduação, especialmente os de Medicina e Direito.

De um lado, observa-se um grupo de IES que ofertam cursos de graduação em Medicina que se distanciam de padrões esperados de qualidade, visto que pouco contribuem para a formação dos estudantes. De outro lado, observa-se um grupo de escolas médicas que valorizam somente a formação técnica, medida pelo bom desempenho de seus estudantes no componente específico da prova do Enade, na contramão das DCN, que orientam a formação integral dos profissionais da área da saúde com excelência técnica e compromisso social.

Assim, concorda-se com Ciuffo e Ribeiro¹⁵ quando afirmam que "o modelo biomédico, ao enfatizar a formação dos especialistas de forma dicotômica, na qual se separa o 'bio' do 'psi', ou seja, o biológico da subjetividade, dificulta a compreensão integral do ser humano e de seu processo de adoecimento".

As DCN representam uma tarefa de vulto para as IES, pelos novos elementos que introduzem e que apontam formas de organização e gestão dos processos de ensino até então inéditos na educação de nível superior no Brasil. Propõem-se a orientar os cursos de Medicina, entre outros, para inovar seus currículos de forma que estes se articulem com as necessidades da sociedade brasileira; buscam o "diálogo" dos projetos curriculares com o contexto social do qual a universidade faz parte; objetivam orientar a formação de profissionais que sejam capazes de atuar nos diferentes níveis de atenção à saúde, sendo competentes para trabalhar, sobretudo, na atenção primária e com responsabilidade social¹⁵.

A diferença entre a nota da formação geral do concluinte e do ingressante aparece como um indicador de forte discriminação do desenvolvimento do aluno, indo de encontro do índice de discriminação das questões de formação geral, em que todos os itens são classificados como de alta qualidade.

Assim, o conceito de eficácia estaria associado à capacidade de formar alunos com bom conhecimento técnico, atendendo à demanda do mercado, e a IES estaria atingindo metas concretas quanto ao desempenho de habilidades profissionais. Por outro lado, o conceito de eficiência estaria mais ligado à aquisição gradual de uma cultura de formação geral, uma vez que, nesse sentido, uma IES eficiente estaria aproveitando o máximo de seus recursos para elevar o nível médio do conhecimento básico de seus alunos. O "progresso médio" dos alunos durante o curso não deveria depender apenas do ganho médio de componente específico, mas dependeria fortemente do ganho médio de formação geral.

Nesse sentido, fica claro que a avaliação do desempenho de uma IES não pode ser reduzida a apenas um número, uma vez que os dois conceitos, eficácia e eficiência, são de natureza bastante distinta. Qualquer combinação linear de mensurações desses dois conceitos, mediante a utilização de pesos arbitrários, produz uma medida unidimensional de desempenho completamente opaca para o analista.

CONSIDERAÇÕES FINAIS

Os resultados parecem indicar que existem inúmeros problemas de ordem metodológica no processo de construção dos instrumentos e indicadores do Enade. As questões objetivas tiveram diferentes níveis de dificuldade. Em 2004, 65% das questões foram classificadas como difíceis e somente 35% em 2007.

Nos dois anos, quase metade das questões avaliou a capacidade de memorização (47% e 42%). Houve predomínio de casos com alto e médio grau de complexidade (2004) e de casos simples e médios (em 2007). A alteração da matriz de referência em 2007 influenciou o conteúdo abordado. A supressão de eixos e competências/habilidades pode indicar certa concepção de formação médica, que varia de acordo com a composição das comissões de especialistas. Assim, a variação das matrizes a cada ciclo de avaliação do Enade, sem as devidas justificativas teóricas e metodológicas, constitui um problema que urge solucionar. As diferenças entre as provas apontam a necessidade de elaboração cuidadosa da matriz de referência, com definição das competências essenciais na formação em Medicina a partir das DCN.

A proposta de metodologia aqui apresentada para interpretar o desempenho das IES relaciona o componente específico do concluinte (CEC) com a diferença entre a formação geral do concluinte e a formação geral do ingressante (FGC-FGI). Ao invés de usar um único número para avaliar o desempenho, essa metodologia permite distinguir as instituições quanto à sua capacidade de atingir metas (formar alunos com boa nota de componente específico) e capacidade para utilizar de maneira eficiente os recursos disponíveis (melhorando a formação geral dos alunos ao longo do curso).

As IES mais antigas e que têm corpo docente com mais doutores tendem a se destacar segundo essas duas medidas de desempenho. Em geral, as IES implantadas a partir de 1996 - ano da aprovação da LDB - tendem a apresentar desempenho mais fraco.

Conclui-se pela necessidade de construir uma matriz de referência de avaliação a ser reutilizada a cada ciclo de avaliação no sentido de favorecer a comparabilidade dos resultados e a utilização de indicadores que avaliem a eficácia/eficiência das instituições na formação de futuros médicos de excelente nível técnico e sensibilizados quanto às suas responsabilidades profissionais e sociais.

AGRADECIMENTOS

Agradecemos ao Dr. Francisco Campos e à Dra. Ana Estella Haddad o apoio na obtenção dos dados e o incentivo em todas as etapas do estudo.

Apoio: Este trabalho foi realizado com o apoio financeiro e logístico do Deges/Segetes/Ministério da Saúde.

Recebido em: 01/10/2010

Aprovado em: 18/01/2011

CONFLITO DE INTERESSES

Declarou não haver

CONTRIBUIÇÃO DOS AUTORES

Eliane Dias Gontijo participou da concepção e desenho, da busca de artigos, desenvolvimento, análise dos dados e redação do texto. Maria Inês Senna, Luciana Lima e Luiz Duczmal participaram da busca de artigos, desenvolvimento, análise dos dados e redação do texto e suas revisões. Todos os autores aprovaram a versão final encaminhada para publicação.

^* Trabalho vencedor do Prêmio ABEM/2010 de Educação Médica, no 48º Congresso Brasileiro de Educação Médica, realizado no período de 27 a 23 de outubro de 2010, em Goiânia, Goiás, Brasil. (1º Lugar).

• 1. Brasil. Ministério da Educação. Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Resumo Técnico ENADE/2004 [online]. [acesso em 25 maio 2009]. Disponível em: http://www.inep.gov.br/publicacoes
• 2. Souza MTOM, Salvador CC. Os conteúdos na reforma: ensino e aprendizagem de conceitos, procedimentos e atitudes. Porto Alegre: Artmed; 1998.
• ³
  Declaração de Bolonha: declaração conjunta dos ministros da educação europeus, assinada em Bolonha [online]. Bolonha: [s.n]; 1999 [acesso em 25 maio 2009]. Disponível em: <http://www.dges.mctes.pt/NR/rdonlyres/F9136466-2163-4BE3 -AF08-C0C0FC1FF805/394/Declaracao_Bolonha_portugues.pdf>
• 4. Rodrigues VA. Enade: contribuições, avanços e limites do processo de avaliação na formação dos estudantes de graduação. Belo Horizonte; 2008. Mestrado [Dissertação] - Faculdade de Educação da Universidade Federal de Minas Gerais.
• 5. Barreyro GB, Rothen JC. "Sinaes" contraditórios: considerações sobre a elaboração e implantação do Sistema Nacional de Avaliação da Educação Superior. Educ Soc. 2006; 27(96):955-77.
• 6. Brasil. Ministério da Educação. Lei n.º 10.861 de 14 de abril de 2004. Institui o Sistema Nacional de Avaliação da Educação Superior - SINAES e dá outras providências. Diário Oficial da União, Brasília, 15 abr. 2004; Seção 1, p. 3/4.
• 7. Brasil. Ministério da Educação. Instituto Nacional de estudos e Pesquisas Educacionais Anísio Teixeira. Relatório Síntese ENADE/2007 Medicina [online]. [acesso em 15 set 2009]. Disponível em: http://www.inep.gov.br/download/superior/Enade/Relatorio/Relatorio_area_Medicina
• 8. Verhine RE, Dantas LMV, Soares JF. Do Provão ao ENADE: uma análise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro. Ensaio: Aval Pol Públ Educ. 2006;14(52): 291-310.
• 9. Bittencourt HR, Viali, L, Casartelli AO, Rodrigues ACM. Uma análise da relação entre os conceitos Enade e IDD. Est Aval Educ. 2008;19(40):247-62.
• Superior.pdf.
• 11. Ristoff DI, Giolo JO. SINAES como Sistema. RBPG. 2006;3(06):193-213.
• 12. Andrade DF, Tavares HR, Valle RC. Teoria da Resposta ao Item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística; 2000.
• 13. Chankong V, Haimes YY. Multi-objective Decision Making: theory and methodology. Amsterdam: North-Holland;1983.
• 14. Schwartzman J. O financiamento do ensino superior no Brasil e algumas ilações para a América Latina [online]. 2008 [acesso em 19 nov. 2009]. Disponível em: www.robertoreyna.com/puertaES/..../jacques schwartzman.pdf
• 15. Ciuffo RS, Ribeiro VMB. Sistema Único de Saúde e a formação dos médicos: um diálogo possível? Interface Comun Saúde Educ. 2008;12(24):125-40.

Datas de Publicação

• Publicação nesta coleção
  22 Jul 2011
• Data do Fascículo
  Jun 2011

Histórico

• Aceito
  18 Jan 2011
• Recebido
  01 Out 2010