Análise do desempenho dos formandos em relação a objetivos educacionais da Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo, em duas estruturas curriculares distintas

Assessment of educational objectives in two different curricular structures - Faculty of Medicine of Ribeirão Preto, University of São Paulo, Brazil

ARTIGO ORIGINAL

Análise do desempenho dos formandos em relação a objetivos educacionais da Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo, em duas estruturas curriculares distintas

Assessment of educational objectives in two different curricular structures – Faculty of Medicine of Ribeirão Preto, University of São Paulo, Brazil

Carlos Eli Piccinato; José Fernando de Castro Figueiredo^*; Luiz Ernesto de Almeida Troncon; Luiz César Peres; Ana Raquel Lucato Cianflone; Maria de Fátima Aveiro Colares; Maria de Lourdes Veronese Rodrigues

RESUMO

OBJETIVO: Avaliar o impacto de reforma curricular no desempenho dos formandos em relação a objetivos educacionais da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (FMRP-USP).

MÉTODOS: A avaliação do grau de consecução dos objetivos educacionais da FMRP-USP foi feita pela análise do desempenho dos graduandos, de duas estruturas curriculares diferentes, em provas de habilidades cognitivas, clínicas e psicomotoras, empregando técnicas com validade e fidedignidade comprovadas - testes de múltipla escolha (MCQ), avaliação clínica objetivamente estruturada em estações (OSCE) e Problem Management Patient (PMP). Foram avaliados 222 estudantes nos três últimos anos da vigência da estrutura curricular anterior e 261 nos três primeiros anos da nova estrutura curricular. As mudanças mais significativas no currículo foram: mudança de enfoque de disciplinas para siste mas, com integração parcial de conteúdos, aumento das atividades de atenção primária e ampliação do período de internato, de um para dois anos.

RESULTADOS: O desempenho dos formandos nos diferentes testes permitiu-nos estimar se 17 dos 36 objetivos intermediários da instituição estão sendo atingidos, em duas estruturas curriculares diferentes.

CONCLUSÃO: Os resultados indicam que a implantação da atual estrutura curricular associou-se a aumento da aquisição de conhecimentos nas áreas mais gerais de atuação médica e a melhora do desempenho prático em habilidades clínicas fundamentais.

Unitermos: Avaliação. Ensino médico. Reforma curricular. Objetivos educacionais.

SUMMARY

OBJECTIVE: The objective of the study was to assess the impact of the curricular change on the achievement of the educational objectives of the institution, analyzing the performance of graduating students, from the Faculty of Medicine of Ribeirão Preto, University of São Paulo, Brazil.

METHODS: Techniques of recognized validity and reliability (MCQ, OSCE, PMP) were used for the evaluation of skills and competence in the cognitive, psychomotor and clinical domains. Three of the 3 final years classes educated according to the previous curricular structure (n=222) and three classes educated according to the new curricular structure (n=261) were evaluated during the study period.

RESULTS: The performance of graduating students in these different tests permitted us to estimate the extent of achievement of 17 of the 36 intermediate educational objectives of the institution in the two curricular structures. Comparison of the two curricula demonstrated the absence of significant differences in the extent of achievement of ten of the 17 objectives. For six of the seven remaining objectives a significant increase (p<0.05) in the extent of achievement was observed with the new curricular structure.

CONCLUSIONS: The results indicate that the new curricular structure was associated with a better performance of the students in cognitive skills related to general practice and in basic clinical and psychomotor skills.

Key words: Evaluation. Medical Education. Curricular Changes. Educational Objectives.

INTRODUÇÃO

Atendendo à resolução da Congregação da Faculdade de Medicina de Ribeirão Preto (FMRP-USP) de 15 de maio de 1992, a Comissão de Graduação iniciou em 1993 a implantação de nova estrutura curricular para o curso de graduação em Medicina.

Uma vez que a introdução de modificações em estruturas curriculares requer a aplicação de processos padronizados de avaliação, pois o desempenho dos alunos (nos domínios cognitivo, afetivo e psicomotor) é indicador da eficiência do currículo e/ou dos métodos de ensino. A nova estrutura da FMRP-USP, composta de longa série de objetivos e inovações que incluía a mudança de enfoque de disciplinas para sistemas, com integração parcial de conteúdos, aumento das atividades de atenção primária e ampliação do período de internato¹. Incluía, também, um processo denominado Avaliação Terminal de Competências Clínicas dos Graduandos em Medicina.

Experiências similares foram realizadas na Harvard Medical School, que avaliou os efeitos da introdução do New Pathway Program no comportamento e nas atitudes dos alunos², e na New Mexico School of Medicine que utilizou os resultados do National Board of Medical Examiners para avaliar a eficiência da estrutura curricular inovadora, tendo como base de comparação o desempenho dos alunos do currículo convencional³.

O processo de avaliação na FMRP-USP, que atendia ao objetivo geral de prover contínua monitorização da eficácia do novo currículo, por decisão da mesma Comissão de Graduação, foi aplicado pela primeira vez aos graduandos de 1993⁴.

O trabalho iniciado naquele ano, e que continuou em 1994, permitiu o delineamento de diretrizes gerais e a capacitação de um grupo de docentes das cinco áreas terminais (Clínica Médica, Pediatria, Ginecologia/Obstetrícia, Cirurgia e Medicina Social) em métodos objetivos e confiáveis de avaliação de competências médicas.

As atividades desenvolvidas nos dois primeiros anos (1993 e 1994) permitiram, também, obter maior aceitação dos formandos ao processo de avaliação. No período de 1993 a 1997, os graduandos foram convidados a se inscreverem nas provas como voluntários, cientes de que os resultados obtidos seriam tratados de modo confidencial e utilizados exclusivamente para fins institucionais. A partir de 1998, com a introdução do processo de avaliação terminal na grade curricular do internato, a inclusão do aluno no processo de avaliação passou a ser considerada compulsória.

Deste modo, conseguiu-se, a partir de 1995, avaliar números expressivos de formandos, que constituíram amostras representativas das respectivas turmas. Esses graduandos foram submetidos à avaliação de competências e habilidades relevantes para a profissão médica, compatíveis com os objetivos educacionais da faculdade⁴, nos domínios cognitivo, clínico, psicomotor e afetivo, empregando técnicas de reconhecida fidedignidade^5-8.

Neste trabalho, apresentam-se os resultados gerais das provas aplicadas nos anos de 1995 a 2000, que compreendem os três últimos anos da estrutura curricular antiga (1995 a 1997) e os três primeiros anos da nova estrutura curricular da FMRP-USP (1998-2000), o que propiciou avaliação comparativa das duas estruturas curriculares quanto à sua eficácia na consecução dos objetivos educacionais da instituição.

MÉTODOS

População de estudo

Todos os alunos inscritos no processo de avaliação no período de 1995 a 1997 e todos os graduandos matriculados no período de 1998 a 2000 foram considerados a priori como elegíveis para as provas práticas. Em cada ano, foram escolhidos por sorteio os alunos que seriam submetidos a cada uma das três provas denominadas de módulos, a saber: Módulo 1: Habilidades Psicomotoras e Procedimentos (n=18 alunos/ano); Módulo 2: Habilidades Clínicas (n=20 alunos/ano); Módulo 3: Habilidades Cognitivas Especiais (n= 20 alunos/ano).

Descrição das provas

As provas dos Módulos 1 e 2 foram desenvolvidas pelo método denominado OSCE (Objective Structured Clinical Examination), no qual todos os estudantes são examinados exatamente nas mesmas condições, em diferentes estações, configuradas de modo a reproduzir situações da prática médica⁵. No Módulo 1 foram empregados manequins e cães anestesiados para compor seis estações (acesso venoso e punção torácica; recepção a recém-nascido; atendimento ao trauma; atendimento a parada cardiorrespiratória; realização de parto normal e exame ginecológico). Os animais empregados neste módulo foram tratados segundo procedimentos habituais do Laboratório de Técnica Cirúrgica e Cirurgia Experimental da FMRP-USP e que segue normas de proteção contra o sofrimento.

No Módulo 2 foram utilizados ''pacientes padronizados'' (pacientes simulados) ou pacientes reais, adequadamente preparados e treinados para protagonizar ''casos'' adequados à avaliação⁶. Neste módulo foram utilizadas 10 estações (exame ginecológico-diagnóstico de inspeção; anamnese de adulto; orientação para mãe de lactente; interpretação de exame laboratorial e orientação de paciente; interpretação de exames, diagnóstico e conduta em infecção respiratória aguda; exame físico de abdômen; exame físico do precórdio; exame físico do estado nutricional da criança; anamnese de desenvolvimento neuro-psicomotor em criança e anamnese de antecedentes epidemiológicos e instituição de medidas preventivas). Em cada estação, o desempenho dos graduandos foi avaliado por docentes observadores, que empregaram protocolos tipo checklist⁵, contendo descrição dos comportamentos esperados, indicativos de domínio das habilidades avaliadas, e alternativas de preenchimento de acordo com os comportamentos observados. O emprego de pacientes reais e simulados obteve parecer favorável da Comissão de Normas Éticas e Regulamentares do Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto (Processo HCRP n^o. 724/95).

O Módulo 3 foi desenvolvido por meio de modificações da técnica denominada Patient Management Problem que consiste na apresentação de um caso clínico por etapas, que configuram problemas sobre os quais os examinandos são solicitados a tomar decisões apropriadas⁸. Uma das modificações foi de forma e apresentação, dando ao exame uma feição mais convencional, com as etapas (enunciados e respostas) sendo apresentadas em simples folhas de papel. Outra importante modificação foi a inclusão de tarefas visando testar competências específicas, como a redação de uma prescrição hospitalar de admissão e o preenchimento de um atestado de óbito. O exame propriamente dito foi concluído com um pequeno ensaio sobre tema médico relacionado ao caso apresentado, o que teve o intuito de avaliar as competências relacionadas à comunicação por escrito. Esta prova foi composta pelas seguintes etapas: análise de dados da anamnese; análise de dados do exame físico; estabelecimento de hipóteses; proposta de conduta imediata; prescrição hospitalar de admissão; tomada de medidas após tratamento inicial; indicação de exames; interpretação de exames laboratoriais; interpretação de radiografias; interpretação de eletrocardiograma; análise de peça cirúrgica; revisão do caso após evolução; solução de problema médico-legal; preenchimento de atestado de óbito parte I; preenchimento de atestado de óbito parte II; e comunicação escrita.

A análise do desempenho dos alunos no conjunto das habilidades que compunham os módulos acima referidos permitiu a avaliação das seguintes competências e, por extensão, do grau de domínio de alguns dos objetivos terminais e intermediários da FMRP-USP⁴ apresentados no Quadro 1.

Interpretação dos resultados

A análise dos resultados obtidos nos três módulos permitiu a categorização de cada aluno em uma de três classes, dependendo do desempenho observado, em relação a cada habilidade avaliada: ''Adequado'', ''Inadequado'' ou ''Não realizado''.

Estes dados foram empregados na análise do grau de domínio de cada habilidade, de acordo com os critérios apresentados a seguir:

Habilidade dominada: quando 75% ou mais dos estudantes examinados exibiram, de modo adequado, comportamento indicativo de domínio;

Habilidade parcialmente dominada: quando o comportamento indicativo de domínio foi exibido, de modo adequado, por mais de 50% e menos de 75% dos estudantes examinados;

Habilidade não dominada: quando 50% ou menos dos estudantes examinados exibiram, de modo adequado, o comportamento indicativo de domínio.

Análise estatística

A análise estatística dos resultados de todas as provas práticas foi feita pelo método do c2 (com correção de Yates), adotando-se um nível de significância estatística de 5%.

RESULTADOS

A partir da análise do domínio das diferentes habilidades relacionadas aos objetivos educacionais terminais e intermediários da instituição, foi possível estimar o grau de consecução desses objetivos, nas duas estruturas curriculares. A Tabela 1 mostra as percentagens de domínio das diferentes habilidades, associando-as aos correspondentes objetivos.

O processo de avaliação terminal permitiu estimar o grau de consecução de 17 dos 36 objetivos intermediários. Os dados obtidos de 1995 a 1997 permitem inferir que, na estrutura curricular anterior, havia ausência de domínio de seis destes objetivos, domínio parcial de outros oito objetivos e domínio completo de três objetivos intermediários. Na atual estrutura curricular, há, aparentemente, ausência de domínio de oito objetivos, domínio parcial de quatro e domínio completo de outros cinco objetivos intermediários.

A comparação entre as duas estruturas evidencia ausência de diferenças estatisticamente significativas quanto à análise dos graus de domínio de 10 dos 17 objetivos intermediários.

O objetivo ''Reavaliar as hipóteses diagnósticas formuladas em função dos resultados de exames complementares realizados'' foi único dos sete objetivos avaliados restantes que não foi atingido mais adequadamente pelos alunos da nova estrutura curricular.

No que diz respeito ao desempenho dos graduandos nos outros seis objetivos contemplados, relacionados a aspectos gerais da prática médica, a habilidades clínicas e psicomotoras, as diferenças foram no sentido de aumento significativo do grau de domínio com a nova estrutura curricular. Esses objetivos são: ''Distinguir alterações patológicas das variações normais, nas manifestações biopsicossociais do ser humano''; ''Realizar a coleta de materiais para exames complementares''; ''Indicar e executar, corretamente, as medidas terapêuticas necessárias para manter as funções vitais em caso de urgência médica''; ''Realizar procedimentos cirúrgicos de pequena complexidade, com fins terapêuticos''; ''Diagnosticar a gravidez e acompanhar a sua evolução, efetuar um parto normal e fazer o encaminhamento adequado de gravidez de alto risco''; ''Identificar os fatores epidemiológicos associados à história natural das doenças mais freqüentes e acidentes e propor medidas de prevenção primária, secundária e terciária''.

DISCUSSÃO

Com a implementação de uma nova estrutura curricular no curso de graduação em Medicina da FMRP-USP, em 1993, iniciou-se processo de avaliação abrangente das habilidades e competências dos formandos, relacionadas aos objetivos educacionais da instituição. Foram empregadas técnicas objetivas, com validade e fidedignidade comprovadas, para a avaliação das diferentes habilidades, nos seus domínios cognitivo, clínico e psicomotor. Neste trabalho, apresentam-se os resultados obtidos com os graduandos dos três últimos anos da estrutura curricular anterior (1995 a 1997) e dos três primeiros anos do currículo novo (1998 a 2000).

Habilidades cognitivas especiais e mais complexas, envolvendo análise e síntese de informações, interpretação de dados e solução de problemas, bem como a execução de tarefas particularizadas, como prescrição médica, preenchimento de atestado de óbito e exercício de comunicação escrita foram avaliadas por modificação de técnica específica (Patient Management Problem - PMP). Os formandos do currículo novo demonstraram desempenho significativamente inferior (p<0,05) ao dos graduandos da estrutura curricular anterior, em cinco dos 16 conjuntos de habilidades avaliadas. Vale frisar que, em ambas as estruturas curriculares, observou-se domínio completo de apenas uma das habilidades avaliadas. Uma possível explicação para esse desempenho inferior ao esperado seria a de que o domínio destas habilidades mais complexas exigiria maior treinamento para a integração de conhecimentos e desenvolvimento do raciocínio clínico do que se está fornecendo.

As habilidades clínicas relacionadas à interação com pacientes, tomada da história clínica, realização do exame físico e interpretação dos dados foram avaliadas pela técnica Objective structured clinical examination - OSCE, em prova organizada em 10 estações envolvendo pacientes reais e simulados. O desempenho dos graduandos do atual currículo foi superior aos dos formandos da estrutura curricular anterior em sete estações, sendo que, em três delas, as diferenças atingiram significância estatística (p<0,01).

As habilidades psicomotoras necessárias à execução de procedimentos diagnósticos e terapêuticos foram, também, avaliadas pela mesma técnica OSCE, em prova organizada com seis estações envolvendo manequins e cães anestesiados. Observou-se desempenho superior dos formandos do novo currículo em todas as estações, sendo que em cinco delas as diferenças foram estatisticamente significativas (p<0,05).

A análise do desempenho dos graduandos nas diferentes habilidades permitiu estimar o grau de consecução de 17 dos 36 objetivos educacionais intermediários da instituição, nas duas estruturas curriculares. A comparação entre os dois currículos evidenciou ausência de diferenças estatisticamente significativas quanto aos graus de domínio de 10 dos 17 objetivos intermediários. Em seis dos sete objetivos restantes, as diferenças foram no sentido de aumento significativo (p<0,05) do grau de domínio com a nova estrutura curricular.

Os resultados indicam que a implantação da atual estrutura curricular na FMRP-USP associou-se a aumento da aquisição de conhecimentos nas áreas mais gerais da atuação médica e melhora significativa do desempenho prático em habilidades clínicas fundamentais e, sobretudo, nas habilidades psicomotoras envolvidas na realização de procedimentos. Esse melhor desempenho pode ser atribuído ao aumento das atividades em atenção primária e à ampliação do internato.

O novo currículo parece ter afetado de modo negativo a aquisição de habilidades cognitivas especiais e mais complexas, cujo domínio já era insuficiente na estrutura anterior. Não houve, também, modificação expressiva do grau de domínio dos objetivos educacionais da instituição, muito embora as diferenças encontradas fossem, em sua maioria, favoráveis à nova estrutura curricular.

CONCLUSÃO

Os resultados indicam que a implantação da atual estrutura curricular associou-se a aumento da aquisição de conhecimentos nas áreas mais gerais de atuação médica e a melhora do desempenho prático em habilidades clínicas fundamentais.

Artigo recebido: 08/01/03

Aceito para publicação: 12/05/03

Referências bibliográficas

• 1. Prado WA. Desenvolvimento e implantação da nova estrutura curricular na Faculdade de Medicina de Ribeirão Preto: dificuldades e avanços. Medicina (Ribeirão Preto) 1996; 29:373-82.
• 2. Peters AS, Greenberger-Rosovsky R, Crowder C, Block SD, Moore GT. Long term outcomes of the New Pathway Program at Harvard Medical School. A Randomized Controled Trial. Acad Med 2000; 75:470-9.
• 3. Kaufman A, Menning S, Waterman R, Duban S, Hansbarger C, Silverblatt H et al. The New Mexico experiment: educational innovation and institutional change. Acad Med 1989; 64:285-94.
• 4. Troncon LEA, Cianflone ARL, Rodrigues MLV, Piccinato CE, Peres LC, Figueiredo JFC. Avaliação terminal de competências dos graduandos em medicina: relato da experiência inicial da Faculdade de Medicina de Ribeirão Preto (monografia). Ribeirão Preto: Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo; 1996. 118p.
• 5. Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ, 1979; 13:3945.
• 6. Viana HM. Testes em educação. São Paulo: Ibrasa; 1983.
• 7. Harden RM. Preparation and presentation of patient management problems (PMPs). Dundee, UK: Association for the Study of Medical Education; 1983. (Medical Education Booklet Number 17).
• 8. Van der Vleuten CPM, Swanson DB. Assessment of clinical skills with standardized patients: State of the Art. Teaching and Learning in Medicine, 1990; 2:5876.

*

Trabalho realizado na Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo, Ribeirão Preto, SP.

Correspondência: Faculdade de Medicina de Ribeirão Preto – Depto. de Clínica Médica – Av. Bandeirantes, 3900 – Cep: 14049-900 – Ribeirão Preto – SP

Datas de Publicação

• Publicação nesta coleção
  07 Maio 2004
• Data do Fascículo
  2004

Histórico

• Recebido
  08 Jan 2003
• Aceito
  12 Maio 2003