Implementação do Consórcio dos Cursos de Enfermagem Paulistas para o Teste de Progresso: relato de experiência

RESUMO

Objetivo:

Relatar a experiência da implementação do Consórcio dos Cursos de Enfermagem Paulistas para o Teste de Progresso.

Método:

Trata-se de relato de experiência da atuação do consórcio na elaboração e aplicação do Teste de Progresso para as Escolas de Enfermagem Públicas Paulistas nos anos de 2019, 2021 e 2022, com análise descritiva do processo de trabalho e dos resultados obtidos.

Resultados:

As atividades do consórcio estão estruturadas nas seguintes etapas: planejamento; revisão de temas; distribuição e solicitação de questões; capacitação de docentes; elaboração de questões; recepção de questões; seleção de questões; validação de questões; inscrição de estudantes; aplicação do teste; análise e divulgação de resultados. Participaram 57,3% dos estudantes matriculados. Houve predomínio de questões de média dificuldade e progressão gradual do nível de discriminação das questões, sendo que, em 2022, 82,5% foram consideradas adequadas.

Considerações finais:

O consórcio tem permitido a aplicação do teste de forma interinstitucional, com maior abrangência, acurácia e qualidade das questões. Por meio dessa experiência, espera-se fomentar a realização do teste de progresso em cursos de graduação em enfermagem em outros contextos.

DESCRITORES
Educação em Enfermagem; Avaliação Educacional; Desempenho Acadêmico; Prática do Docente de Enfermagem; Instituições Acadêmicas

ABSTRACT

Objective:

To report the experience of implementing the São Paulo Nursing Courses Consortium for the Progress Test.

Method:

This is an experience report of the consortium’s work in Progress Test preparation and application for Public Schools of Nursing in São Paulo in 2019, 2021 and 2022, with a descriptive analysis of the work process and the results obtained.

Results:

The consortium’s activities are structured into the following stages: planning; theme review; distributing and requesting questions; professor training; question elaboration; question reception; question selection; question validation; student registration; test application; analysis and dissemination of results. A total of 57.3% of enrolled students participated. There was a predominance of questions of medium difficulty and a gradual progression in the level of discrimination of the questions, with, in 2022, 82.5% being considered adequate.

Final considerations:

The consortium has allowed the test to be applied interinstitutionally, with greater scope, accuracy, and quality of questions. Through this experience, it is expected to encourage progress testing in undergraduate nursing courses in other contexts.

DESCRIPTORS
Education, Nursing; Educational Measurement; Academic Performance; Nursing Faculty Practice; Schools

RESUMEN

Objetivo:

Relatar la experiencia de implementación del Consorcio de Cursos de Enfermería de São Paulo para la Prueba de Progreso.

Método:

Se trata de un relato de experiencia del trabajo del consorcio en la elaboración y aplicación de la Prueba de Progreso para las Escuelas Públicas de Enfermería de São Paulo en los años 2019, 2021 y 2022, con un análisis descriptivo del proceso de trabajo y de los resultados obtenidos.

Resultados:

Las actividades del consorcio se estructuran en las siguientes etapas: planificación; revisión de temas; distribución y solicitud de preguntas; capacitación de docentes; elaboración de preguntas; recepción de preguntas; selección de preguntas; validación de preguntas; registro de estudiantes; aplicación de la prueba; análisis y difusión de resultados. Participaron el 57,3% de los estudiantes matriculados. Hubo un predominio de preguntas de dificultad media y una progresión gradual en el nivel de discriminación de las preguntas, considerándose adecuadas en 2022 un 82,5%.

Consideraciones finales:

El consorcio ha permitido que la prueba sea aplicada de manera interinstitucional, con mayor alcance, precisión y calidad de preguntas. A través de esta experiencia, se espera fomentar la realización de la prueba de progreso en cursos de pregrado en enfermería en otros contextos.

DESCRIPTORES
Educación en Enfermería; Evaluación Educacional; Rendimiento Académico; Práctica del Docente de Enfermería; Instituciones Académicas.

INTRODUÇÃO

O Teste de Progresso (TP) consiste em uma avaliação sistemática e longitudinal do desempenho de estudantes. É utilizado como ferramenta para avaliação cognitiva do ganho de conhecimento por parte dos estudantes de forma contínua e progressiva. Os resultados do teste possibilitam a análise do processo de ensino-aprendizagem, constituindo-se uma ferramenta de feedback para os estudantes e um instrumento de gestão acadêmica, possibilitando diagnóstico e indicativos de alterações em disciplinas ou no currículo(¹).

Na área da medicina, a implementação do TP como instrumento de avaliação de desempenho de estudantes de graduação foi iniciada na década de 1980 em países da Europa, e está consolidada em cursos de países como Holanda(²), Alemanha(³) e Arábia Saudita(⁴). No Brasil, as primeiras experiências de implementação do teste em escolas médicas datam do final da década de 1990(⁵).

Na formação de profissionais da área da saúde, para além da aplicação em escolas médicas, há relatos da utilização do TP em cursos de terapia e higiene dentária e odontologia no Reino Unido(⁶) e no curso de odontologia na Áustria(⁷).

Na enfermagem, as primeiras iniciativas conhecidas de aplicação do TP são da Escola de Enfermagem de Ribeirão Preto da Universidade de São Paulo (EERP-USP), da Escola Paulista de Enfermagem da Universidade Federal de São Paulo (EPE-UNIFESP) e da Faculdade de Enfermagem da Universidade de Campinas (UNICAMP). Essas experiências e iniciativas isoladas, embora pautadas pelas mesmas premissas e objetivos, não permitiam a realização de benchmarking, ou uma análise mais abrangente, por serem estruturalmente distintas e focadas nos conteúdos curriculares dessas escolas. A partir de 2019, o estabelecimento do Consórcio dos Cursos de Enfermagem Paulistas para o TP, representado por oito instituições públicas de ensino do estado de São Paulo, possibilitou a aplicação do TP de forma unificada nos anos de 2019, 2021 e 2022.

O TP nas Escolas de Enfermagem Públicas Paulistas é uma avaliação cognitiva, sem caráter de seleção ou classificação, aplicada aos estudantes de graduação em enfermagem das universidades públicas do estado de São Paulo, proposta com os objetivos de: avaliar o conhecimento cognitivo dos estudantes dos cursos de enfermagem por meio de questões objetivas; realizar seguimento dos estudantes ao longo do seu processo de formação; possibilitar a avaliação institucional por meio da análise de desempenho; fortalecer a formação de enfermeiros por meio da identificação de lacunas de formação e proposição de alternativas para a gestão acadêmica; promover a integração entre as instituições de ensino, fortalecendo a discussão acerca da qualidade do ensino de enfermagem; e possibilitar a autoavaliação dos estudantes acerca do conhecimento adquirido e acompanhamento da sua evolução ao longo do curso.

Tendo em vista a necessidade de buscar alcançar a qualidade do ensino de enfermagem, o TP pode ser utilizado como uma estratégia de ensino-aprendizagem complementar ao projeto pedagógico, proporcionando a avaliação cognitiva de conteúdos pertinentes e esperados na formação do enfermeiro. Dessa forma, o TP se constitui um processo avaliativo longitudinal, intra e inter-institucional, pautado na teoria construtivista, visando superar as limitações da avaliação tradicional da aprendizagem^(1,8).

Há evidências de que o TP possibilita benefícios para estudantes, docentes e gestão acadêmica(⁹). No entanto, para que se obtenham resultados melhores e fidedignos, é importante que o teste seja coerente com o perfil de enfermeiro que se espera formar, válido em termos da sua capacidade de avaliar o que se espera desse estudante e formativo, a partir da criação de espaços para discussão das temáticas e questões.

Quando realizado de forma colaborativa, com diferentes instituições, o TP se figura uma oportunidade de benchmarking, com possibilidade de comparações da eficácia de abordagens curriculares e avaliação de possíveis mudanças nos currículos dos cursos(¹⁰). Nesse contexto, o estabelecimento de consórcios é uma estratégia importante para obtenção de ganhos no processo de elaboração e aplicação do TP.

Na área da medicina, o primeiro consórcio brasileiro para o TP foi implementado há cerca de 15 anos(¹¹) e, a partir de 2013, a Associação Brasileira de Educação Médica (ABEM) tem incentivado a realização do TP e o estabelecimento de consórcios institucionais, sendo que, atualmente, estão constituídos 18 consórcios, dos quais participam mais de 220 escolas médicas brasileiras(¹²).

Não foram identificados, nos cenários nacional e internacional, relatos sobre a aplicação do TP em cursos de graduação de enfermagem e/ou sobre o estabelecimento de consórcios para esse fim. Dessa forma, este estudo tem como objetivo relatar a experiência da implementação do Consórcio dos Cursos de Enfermagem Paulistas para o TP.

MÉTODO

Desenho do Estudo

Trata-se de relato de experiência referente à atuação do Consórcio dos Cursos de Enfermagem Paulistas para o TP na aplicação de testes para estudantes de graduação em enfermagem nos anos de 2019, 2021 e 2022.

Cenário e Protocolo de Estudo

O Consórcio dos Cursos de Enfermagem Paulistas para o TP é constituído por oito instituições públicas de ensino do estado de São Paulo, a saber: EERP-USP; Escola de Enfermagem da USP (EEUSP); EPE-UNIFESP; Faculdade de Medicina de Marília (FAMEMA); Faculdade de Medicina de São José do Rio Preto (FAMERP); Faculdade de Medicina de Botucatu da Universidade Estadual Paulista (UNESP); Faculdade de Enfermagem da UNICAMP; e Universidade Federal de São Carlos (UFSCar).

Este estudo utiliza dados secundários, originários dos registros de trabalho do consórcio e do banco de dados decorrente da aplicação do TP nos anos de 2019, 2021 e 2022, com coleta de dados realizada em março de 2023. Cabe destacar que, em 2019, a aplicação do teste ocorreu de forma presencial nas instalações de cada uma das instituições participantes; em razão da pandemia, o teste não foi aplicado no ano de 2020 e foi aplicado de forma remota nos anos de 2021 e 2022. Para todas as edições, o consórcio contou com o apoio operacional de uma empresa especializada, responsável pela aplicação e análise dos resultados do teste.

Os testes foram elaborados por docentes das instituições participantes, estruturados em 120 questões objetivas, distribuídas em seis áreas do conhecimento, selecionadas a partir das recomendações das Diretrizes Curriculares Nacionais do Curso de Graduação em Enfermagem vigentes(¹³): saúde coletiva (n = 20); gestão (n = 15); saúde da criança e do adolescente (n = 20); saúde da mulher (n = 20); saúde do adulto e do idoso (n = 35); e saúde mental (n = 10). Entre as 120 questões, são utilizadas 35 questões-âncora, que são questões aplicadas anteriormente, distribuídas uniformemente para as seis áreas de conhecimento, que apresentaram ótimo ou bom desempenho psicométrico, respondidas corretamente por grupo de estudantes com o nível de habilidade esperado e com pouco acerto por estudantes com habilidade imediatamente inferior(¹⁴).

Convencionou-se utilizar questões com quatro itens, sendo um correto e três incorretos (distratores). Todas as questões apresentam justificativa para o item correto, comentários para os distratores e referências. A pontuação total do estudante é calculada pelo número de questões corretas. No teste, não há a opção “não sei”, nem penalidades para seleção de opções incorretas. O teste é analisado globalmente pela teoria de resposta ao item, com processo de análise psicométrica dos itens e análise dos índices de dificuldade e discriminação das questões.

O grau de dificuldade de cada questão é categorizado em “muito fácil”, “fácil”, “médio”, “difícil” e “muito difícil”, e a discriminação em “item deficiente, deve ser rejeitado”, “item deficiente, sujeito a reelaboração”, “bom, mas sujeito a melhoria” e “bom”.

Por meio de análise descritiva, este relato de experiência apresenta o processo de trabalho e os progressos obtidos pelo consórcio na aplicação do TP nos anos de 2019, 2021 e 2022, que contou, respectivamente, com a participação de 1.105, 1.138 e 1.175 estudantes, respectivamente.

Aspectos Éticos

Este estudo seguiu as normas e as recomendações éticas, em conformidade com a Resolução do Conselho Nacional de Saúde (CNS) n^o. 466/12. Todas as instituições participantes registraram anuência para utilização do banco de dados, dos resultados e desempenho no TP para fins de análise e divulgação científica. Em razão da utilização de base de dados secundários, houve a dispensa de utilização do Termo de Consentimento Livre e Esclarecido. Os dados foram anonimizados, impossibilitando a identificação de estudantes e/ou instituições de ensino durante o tratamento e a análise dos dados. O estudo foi submetido à análise do Comitê de Ética em Pesquisa, e aprovado, em janeiro de 2023, sob Parecer nº. 5.865.717.

RESULTADOS

As atividades do consórcio são conduzidas por um grupo de trabalho composto por duas representantes docentes de cada uma das oito instituições participantes, sob coordenação de duas docentes, responsáveis pela gestão do teste e interlocução com o grupo de trabalho e instituições. Esse grupo de trabalho é responsável pelo gerenciamento da elaboração e da operacionalização do teste.

O processo de trabalho envolve a participação ativa e a colaboração do grupo de trabalho do consórcio, além da participação de docentes especialistas nas áreas de conhecimento, representantes das instituições participantes, que compartilham conhecimentos, experiências e recursos.

Anualmente, cada instituição indica dois representantes para atuar como membros do consórcio. Entre esses indicados, são escolhidos o coordenador e vice-coordenador e os coordenadores para cada uma das seis áreas, com aprovação pelos pares. Adicionalmente, os representantes de cada instituição de ensino indicam docentes de sua instituição para composição da banca de especialistas por área, garantindo, dessa forma, a participação de colegas de todas as instituições em todas as áreas.

As atividades do consórcio são realizadas por meio de reuniões presenciais e virtuais, conforme descrito no Quadro 1, e iniciam-se com a definição de objetivos de aprendizagem, que direcionam o estabelecimento dos eixos e temas para cada uma das áreas de conhecimento.

Quadro 1
Síntese de atividades para realização do Teste de Progresso nas Escolas de Enfermagem Públicas Paulistas – Ribeirão Preto, SP, Brasil, 2024.

Etapa	Descrição de atividades	Responsáveis
Planejamento	Definição de cronograma de trabalho, incluindo definição de data de aplicação do teste; conformação do grupo de trabalho, com representação das oito instituições de ensino; definição de coordenadores para as áreas de conhecimento.	Consórcio
Revisão de temas	Revisão e seleção de eixos e temas por área de conhecimento, por meio de discussão interna entre as áreas com participação dos coordenadores de área e os especialistas das instituições.	Coordenadores da área
Distribuição e solicitação de questões	Validação de temas selecionados e distribuição de cada tema para quatro instituições.	Consórcio
Capacitação de docentes	Realização de oficina de capacitação de docentes sobre as boas práticas para a elaboração de questões objetivas.	Consórcio
Elaboração de questões	Elaboração das questões pelas instituições, incluindo etapa de revisão interna.	Instituições de ensino
Recepção de questões	Recepção, revisão de formatação, anonimização e codificação de questões.	Coordenadores do consórcio
Seleção de questões	Discussão e seleção de questões por área, com participação de docentes especialistas da área de todas as instituições.	Coordenadores de área
Validação de questões	Revisão de questões selecionadas para composição final do teste.	Consórcio
Inscrição de estudantes	Divulgação do teste, sessões informativas e inscrição voluntária de estudantes.	Consórcio, instituições e estudantes
Aplicação do teste	Validação da inscrição pelos estudantes e aplicação do teste.	Estudantes e empresa contratada
Análise e divulgação de resultados	Análise de resultados pela empresa contratada, com divulgação de desempenho para estudantes, instituições e consórcio.	Empresa contratada, consórcio, instituições e estudantes

As 120 questões do teste, distribuídas nas seis áreas de conhecimento, buscam abranger os principais tópicos e competências que o estudante de graduação em enfermagem deve desenvolver durante o curso, realizando a avaliação cognitiva de temas importantes para a atuação profissional do enfermeiro. O conteúdo é definido e revisado por especialistas em cada uma das áreas, e as questões são elaboradas por docentes de todas as instituições participantes.

No processo de elaboração, os temas das questões-âncora não são considerados na distribuição entre as instituições, sendo distribuídos 85 temas entre as oito instituições. Todas as instituições elaboram questões nas seis áreas de conhecimento. São esperadas quatro questões por tema, elaboradas por quatro diferentes instituições, totalizando 340 questões para revisão e seleção de 85 questões que, junto às 35 questões-âncora, compõem o teste de 120 questões a ser aplicado.

Visando a padronização da estrutura das questões, bem como a qualificação da elaboração das questões, anualmente é realizada uma oficina de capacitação de docentes sobre boas práticas para a elaboração de questões objetivas (Quadro 2).

Quadro 2
Síntese de boas práticas para elaboração de questões para o Teste de Progresso nas Escolas de Enfermagem Públicas Paulistas – Ribeirão Preto, SP, Brasil, 2024.

Cada questão deve: – Focar em um conceito relevante para a atuação do enfermeiro; – Avaliar preferencialmente a aplicação do conhecimento ou interpretação de dados, evitando questões que requerem apenas memorização de conteúdo; – Ter enunciado com uma questão clara que possa ser respondida sem o auxílio das alternativas; – Ter enunciado relativamente longo, mas não em excesso, de modo a contextualizar o que se pretende; – Terminar o enunciado com uma pergunta, indicando o foco do que se está avaliando; – Ter quatro alternativas, das quais somente uma é correta; – Ter alternativas plausíveis, que apresentem apenas informações necessárias; – Ter alternativas de tamanho homogêneo entre elas. Deve-se evitar: – Elaborar questões do tipo verdadeiro ou falso; – Enunciados que terminem com a questão “Qual das seguintes alternativas é correta?”; – Formular perguntas de forma negativa, como “todas as seguintes afirmativas são corretas, exceto”, “a incorreta é” ou “qual das alternativas NÃO é verdadeira/correta”; – Criar alternativas com agrupamentos diversos para escolha do conjunto de sequência correto (ex: VI, II, III e I); – Usar termos taxativos ou imprecisos, tais como sempre, nunca, geralmente, com frequência; – Usar informações excessivas e desnecessárias que confundam o estudante; – Usar informações que apresentem elementos que auxiliem ou induzam ao acerto mesmo sem o conhecimento do que se está perguntando.

Cada instituição deve elaborar, em média, 43 questões sobre os temas previamente definidos nas diferentes áreas de conhecimento, com prazo médio de 60 dias.

As questões são elaboradas e revisadas internamente em cada instituição, além de serem anonimizadas, organizadas por área e tema e codificadas, sem a possibilidade de identificação da instituição de origem da questão durante o processo de revisão e seleção. As questões são revisadas e validadas por meio de discussão e consenso entre membros do consórcio e especialistas nas seis áreas do teste e, posteriormente, revisadas e validadas pelos membros do consórcio para a composição da prova final a ser aplicada aos estudantes.

Entende-se que o processo participativo, envolvendo docentes especialistas de todas as instituições, permite uma cobertura mais abrangente do currículo e de temas pertinentes à formação do enfermeiro. A condução do processo por representantes de diferentes instituições e perspectivas reduz possíveis vieses do teste. Adicionalmente, o elevado número de questões analisadas favorece a composição de um banco de questões amplo, que permite revisão e seleção de questões com maior alinhamento com a avaliação pretendida.

Uma vez concluída a validação do teste, sua aplicação se dá em data definida previamente durante o processo de planejamento, junto ao estabelecimento do cronograma anual, para que as instituições possam incluí-lo em seu cronograma letivo e, então, permitir ampla participação dos estudantes. A aplicação do teste é realizada anualmente, tem caráter voluntário e não implica custos para os estudantes.

A formatação, diagramação e impressão das provas (para o ano de 2019) ou configuração de ambiente virtual (para os anos de 2022 e 2023), a correção das respostas, a análise e divulgação dos resultados para os estudantes e as escolas e a emissão de certificado de participação aos estudantes são centralizadas, realizadas por empresa contratada pelas escolas com experiência na aplicação de testes desse tipo.

O consórcio é responsável pela divulgação e promoção de ações de orientação e sensibilização dos estudantes, de forma compartilhada com as instituições, que internamente realizam a divulgação e a orientação dos estudantes.

Cada instituição realiza a inscrição de seus estudantes e o envio da lista de inscritos para a empresa contratada para cadastro em sistema e trâmites operacionais de aplicação do teste, análise e divulgação dos resultados. São elegíveis para participação no TP todos os estudantes regularmente matriculados em uma das oito instituições participantes do consórcio. Após o período de inscrição, os estudantes validaram sua inscrição junto à empresa na semana anterior à aplicação do teste.

O teste foi realizado de forma simultânea para todos os participantes de todas as instituições, aplicado presencialmente em 2019 e virtualmente em 2021 e 2022. Em ambos os modelos, o teste teve a mesma composição, 120 questões, e duração de quatro horas para realização.

Após a realização do teste, os estudantes têm acesso ao gabarito comentado com as referências e à análise do seu desempenho, de forma individual, comparando seu desempenho com o de estudantes do mesmo ano de curso de sua instituição e das instituições do consórcio. No caso de o estudante ter realizado o teste em edições anteriores, é possível visualizar sua progressão entre os testes.

Do ponto de vista institucional, cada escola recebeu a análise de desempenho de seus estudantes, apresentada por ano de curso e por área de conhecimento, com comparação global com a instituição de maior ou menor desempenho, sem identificação de instituições. Internamente, cada instituição é responsável por analisar seus resultados e utilizar as informações da forma mais apropriada, tanto do ponto de vista de devolutiva para os docentes responsáveis pelos conteúdos abordados quanto do ponto de vista de revisão curricular e estratégias relacionadas ao projeto pedagógico.

Na análise dos testes aplicados, foi observado o aumento progressivo do número absoluto e proporcional de estudantes, com participação de 46,1% do total de estudantes matriculados nas oito instituições no ano de 2019 e 57,3% no ano de 2022 (Tabela 1). Apesar de observar-se maior participação, entende-se que as ações de sensibilização e estímulo à participação dos estudantes devam ser continuamente fomentadas, visando à participação do maior número possível de estudantes e um panorama ainda mais fidedigno da avaliação realizada.

Tabela 1
Participação dos estudantes no Teste de Progresso – Ribeirão Preto, SP, Brasil, 2024.

Ano	Estudantes matriculados	Estudantes participantes	Porcentagem
2019	2.399	1.105	46,1%
2021	2.076	1.138	54,8%
2022	2.050	1.175	57,3%

Na análise do índice de dificuldade (Tabela 2), observa-se a distribuição desproporcional entre as questões “fáceis” e “muito fáceis” e as “difíceis” ou “muito difíceis”, com predomínio daquelas de média dificuldade.

Tabela 2
Índice de dificuldade categorizado por ano de aplicação do Teste de Progresso nas Escolas de Enfermagem Públicas Paulistas – Ribeirão Preto, SP, Brasil, 2024.

Dificuldade	2019	2021	2022
Muito fácil	12	17	22
Fácil	39	34	35
Médio	61	67	60
Difícil	7	2	2
Muito difícil	1	0	1

Quanto ao índice de discriminação, observa-se um aumento gradual das questões classificadas como “boas” ou “boas, mas sujeitas a melhorias”, que somadas representaram 68,3%, 80,0% e 82,5%, respectivamente, do total de questões dos testes aplicados nos anos de 2019, 2021 e 2022 (Tabela 3), indicando um processo constante de melhoria na formulação de questões.

Tabela 3
Índice de discriminação categorizado por ano de aplicação do Teste de Progresso nas Escolas de Enfermagem Públicas Paulistas – Ribeirão Preto, SP, Brasil, 2024.

Discriminação	2019	2021	2022
Item deficiente, deve ser rejeitado	16	6	8
Item deficiente, sujeito a reelaboração	22	18	13
Bom, mas sujeito a melhoria	33	33	19
Bom	49	63	80

DISCUSSÃO

O presente estudo possibilitou relatar a experiência do consórcio das oito escolas públicas paulistas na aplicação do TP, assim como apresentar análise descritiva do processo de trabalho e dos resultados obtidos no teste, considerando a participação de estudantes e a classificação dos índices de dificuldade e discriminação das questões.

A experiência de atuar em consórcio tem permitido a condução da avaliação cognitiva da aprendizagem dos estudantes com melhores resultados e maior qualidade. A atuação com diferentes instituições evita a endogenia e agrega ao processo diferentes perspectivas, permitindo a avaliação mais abrangente dos estudantes e avançando em termos de clareza do que se mede, do rigor e da qualidade da prova.

O TP, por meio de suas questões objetivas, possibilita apresentar ao estudante situações, problemas e condições similares aos observados na prática profissional(¹⁵). No entanto, garantir a qualidade da avaliação é fundamental.

Para tanto, promover estratégias de qualificação docente e uso das boas práticas na elaboração de questões objetivas induz à disponibilização de questões capazes de avaliar problemas mais complexos, aumentando a validade e a confiabilidade do teste(¹⁶). A realização de oficinas de elaboração de questões objetivas, apresentadas neste relato, é estratégia também adotada com sucesso em escolas médicas(¹⁷). Adicionalmente, para os docentes autores de questões, são consideradas boas práticas a capacitação, a revisão por pares, o acompanhamento e a comunicação de expectativa por parte de docentes mais experientes, e o feedback sobre a estrutura das questões e seu desempenho psicométrico(¹⁸,¹⁹).

Além de desenvolver a capacidade docente na elaboração de questões e melhorar a qualidade psicométrica das questões, as oficinas ampliam o interesse e o envolvimento dos docentes com o teste(²⁰), permitindo ainda a troca de experiências e informações acerca do conteúdo abordado em cada curso.

A qualidade das questões do TP indica a melhoria progressiva das questões elaboradas pelo consórcio. Ainda que a maior parte das questões tenha boa qualidade técnica, é possível identificar oportunidades de melhoria no processo de elaboração de questões, servindo de base para futuras ações de capacitação docente. Cabe destacar que a análise dos índices psicométricos das questões é fundamental, uma vez que questões com falhas induzem a um erro sistemático da avaliação do desempenho dos estudantes, comprometendo a validade e a interpretação dos resultados do teste e penalizando os estudantes(¹⁸,²¹).

Na perspectiva do compromisso e da colaboração, o estabelecimento e a atuação do consórcio têm permitido a troca de conhecimentos e a atuação conjunta de diferentes atores. Atuar colaborativamente, com representantes de diferentes instituições, permite compreender e utilizar o conteúdo das diferentes áreas de conhecimento sob diferentes perspectivas e abordagens, enriquecendo a estrutura e a qualidade do teste. A implantação do consórcio possibilita, ainda, um processo de colaboração que extrapola o TP, favorecendo a troca de informações e experiências entre as instituições(¹).

Do ponto de vista operacional, a atuação em consórcio consolida a gestão coletiva e interinstitucional e escalona o processo, favorecendo sua eficiência e otimizando custos. Ainda que envolva um número elevado de estudantes participantes, há ganhos operacionais em termos da correção, de modo automatizado, e da comunicação de gabaritos e devolutivas de desempenho(¹⁵).

Cabe destacar que o apoio institucional, incluindo o comprometimento e o envolvimento de diretores, coordenadores e docentes, é essencial tanto na elaboração do teste quanto na participação dos estudantes e na análise e discussão dos resultados(¹⁷). Para a potencial utilização do TP como ferramenta de gestão acadêmica, faz-se necessário que as instituições assumam papel ativo na análise e contextualização dos resultados, permitindo aos gestores inferências e decisões acerca de conteúdos e estratégias pedagógicas pertinentes(²²).

Quando aplicado conjuntamente por diferentes instituições, observa-se que a participação no TP está relacionada à forma como a instituição se envolve no teste, sendo que a participação de estudantes é superior nas instituições que se envolvem mais ativamente, reconhecem a avaliação como parte importante do currículo e visualizam as possibilidades de acompanhar o processo de ensino-aprendizagem. Nessas instituições, os estudantes são mais estimulados a compreender o princípio do teste e a utilizar os resultados como feedback do seu progresso de conhecimento; consequentemente, sentem-se mais motivados a participar e relatam menor receio com a realização do exame(²³).

Dessa forma, a incorporação do teste nas estratégias de avaliação deve ser almejada pelas instituições por meio da otimização da experiência que o teste proporciona aos estudantes, incluindo sua compreensão, contextualização e adequado feedback(²⁴).

O TP representa uma inovação no campo do ensino de enfermagem, com potencial aplicação na avaliação do desempenho cognitivo dos estudantes de forma alinhada com as competências profissionais que se espera do enfermeiro, favorecendo o desenvolvimento de competências e o preparo para lidar com os desafios da prática profissional.

Com base na experiência de outras áreas de atuação e contextos de aplicação, entende-se que o relato aqui apresentado avança o conhecimento sobre as estratégias de avaliação do conhecimento de estudantes, podendo ser base, inclusive, para aplicação de testes em outros contextos, como os exames de residência ou de licenciamento profissional.

Por fim, cabe destacar, como limitação, a incipiente utilização dos resultados como ferramenta de gestão acadêmica. Entende-se que o teste tem sido eficiente do ponto de vista da análise institucional global do desempenho dos estudantes, e para feedback e autogestão do conhecimento por parte dos estudantes, no entanto, ainda são incipientes as ações e propostas de mudanças no projeto pedagógico com base nos resultados do TP.

CONSIDERAÇÕES FINAIS

O estabelecimento do Consórcio dos Cursos de Enfermagem Paulistas para o TP tem permitido a aplicação do teste de forma interinstitucional, ampliando a abrangência e a qualidade do teste, buscando, assim, melhor acurácia na avaliação do desempenho cognitivo dos estudantes de enfermagem.

A ampliação da participação de estudantes e o maior envolvimento das instituições no processo de elaboração do teste e uso de seus resultados para a gestão acadêmica são consequências de um processo contínuo de sensibilização, reconhecimento e credibilidade por parte tanto de estudantes quanto de docentes.

Ainda que a participação de estudantes tenha aumentado ano a ano, espera-se seu incremento nas próximas ofertas do teste, visando ter um panorama mais acurado da avaliação do desempenho cognitivo da totalidade de estudantes de enfermagem.

De maneira geral, observa-se que as questões elaboradas pelo consórcio têm passado por um incremento gradual de qualidade decorrente das ações de melhorias implementadas pelo consórcio, que têm atuado com maior maturidade e clareza dos processos e implicações do TP. Apesar disso, deve-se destacar que, para aplicações futuras, o desenvolvimento do teste deve considerar a elaboração de questões de diferentes níveis de dificuldade, com maior proporção de questões de maior dificuldade.

Por fim, por meio deste relato de experiência, espera-se fomentar a realização do TP em cursos de graduação em enfermagem em outros contextos, seja a nível institucional ou interinstitucional, sempre com vistas a melhoria da qualidade da formação de enfermeiros.

• Apoio financeiro Auxílio à pesquisa concedido pela Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP), processo 2023/00554-8.

REFERENCES

• ^1.
  Bicudo AM, Hamamoto Fo PT, Abbade JF, Hafner MLMB, Maffei CML. Teste de progresso em consórcios para todas as escolas médicas do Brasil. Rev Bras Educ Med. 2019;43(4):151–6. doi: http://doi.org/10.1590/1981-52712015v43n4rb20190018.
  » https://doi.org/10.1590/1981-52712015v43n4rb20190018
• ^2.
  Tio RA, Schutte B, Meiboom AA, Greidanus J, Dubois EA, Bremers AJA. Dutch Working Group of the Interuniversity Progress Test of Medicine. The progress test of medicine: the Dutch experience. Perspect Med Educ. 2016;5(1):51–5. doi: http://doi.org/10.1007/S40037-015-0237-1. PubMed PMID: 26754310.
  » https://doi.org/10.1007/S40037-015-0237-1
• ^3.
  Görlich D, Friederichs H. Using longitudinal progress test data to determine the effect size of learning in undergraduate medical education: a retrospective, single-center, mixed model analysis of progress testing results. Med Educ Online. 2021;26(1):1972505. doi: http://doi.org/10.1080/10872981.2021.1972505. PubMed PMID: 34459724.
  » https://doi.org/10.1080/10872981.2021.1972505
• ^4.
  Alamro AS, Alghasham AA, Al-Shobaili HA, Alhomaidan HT, Salem TA, Wadi MM, et al. 10 years of experience in adopting, implementing and evaluating progress testing for Saudi medical students. J Taibah Univ Med Sci. 2022;18(1):175–85. doi: http://doi.org/10.1016/j.jtumed.2022.07.008. PubMed PMID: 36398029.
  » https://doi.org/10.1016/j.jtumed.2022.07.008
• ^5.
  Reberti AG, Monfredini NH, Ferreira Fo OF, Andrade DF, Pinheiro CEA, Silva JC. Teste de progresso na escola médica: uma revisão sistemática acerca da literatura. Rev Bras Educ Med. 2020;44(1):e014. doi: http://doi.org/10.1590/1981-5271v44.1-20190194.
  » https://doi.org/10.1590/1981-5271v44.1-20190194
• ^6.
  Ali K, Cockerill J, Zahra D, Tredwin C, Ferguson C. Impact of progress testing on the learning experiences of students in medicine, dentistry and dental therapy. BMC Med Educ. 2018;18(1):253. doi: http://doi.org/10.1186/s12909-018-1357-1. PubMed PMID: 30413204.
  » https://doi.org/10.1186/s12909-018-1357-1
• ^7.
  Kirnbauer B, Avian A, Jakse N, Rugani P, Ithaler D, Egger R. First reported implementation of a German-language progress test in an undergraduate dental curriculum: a prospective study. Eur J Dent Educ. 2018;22(4):e698–705. doi: http://doi.org/10.1111/eje.12381. PubMed PMID: 29961963.
  » https://doi.org/10.1111/eje.12381
• ^8.
  Cecilio-Fernandes D, Bicudo AM, Hamamoto Fo PT. Progress testing as a pattern of excellence for the assessment of medical students’ knowledge: concepts, history, and perspective. Medicina. 2021;54(1):e173770. doi: http://doi.org/10.11606/issn.2176-7262.rmrp.2021.173770.
  » https://doi.org/10.11606/issn.2176-7262.rmrp.2021.173770
• ^9.
  Neeley SM, Ulman CA, Sydelko BS, Borges NJ. The value of progress testing in undergraduate medical education: a systematic review of the literature. Med Sci Educ. 2016;26(4):617–22. doi: http://doi.org/10.1007/s40670-016-0313-0.
  » https://doi.org/10.1007/s40670-016-0313-0
• ^10.
  Freeman A, van der Vleuten C, Nouns Z, Ricketts C. Progress testing internationally. Med Teach. 2010;32(6):451–5. doi: http://doi.org/10.3109/0142159X.2010.485231. PubMed PMID: 20515370.
  » https://doi.org/10.3109/0142159X.2010.485231
• ^11.
  Troncon LEA, Elias LLK, Osako MK, Romão EA, Bollela VR, Moriguti JC. Reflections on the use of the Progress Test in the programmatic student assessment. Rev Bras Educ Med. 2023;47(2):e076. doi: http://doi.org/10.1590/1981-5271v47.2-2022-0334.ing.
  » https://doi.org/10.1590/1981-5271v47.2-2022-0334.ing
• ^12.
  Palhares No AA, Batista NA, Diniz RVZ, Oliveira SS, Bollela VR. Teste de Progresso: avanços e perspectivas. Rev Bras Educ Med. 2022;46(Suppl 1):e160. doi: http://doi.org/10.1590/1981-5271v46.supl.1-editorial.
  » https://doi.org/10.1590/1981-5271v46.supl.1-editorial
• ^13.
  Brasil, Ministério da Educação. Resolução CNE/CES n^o 3, de 7 de novembro de 2001. Institui diretrizes curriculares nacionais do curso de graduação em Enfermagem. Diário Oficial da União; Brasília; 2001.
• ^14.
  Sakai MH, Ferreira Fo OF, Matsuo T. Avaliação do crescimento cognitivo do estudante de Medicina: aplicação do teste de equalização no Teste de Progresso. Rev Bras Educ Med. 2011;35(4):493–501. doi: http://doi.org/10.1590/S0100-55022011000400008.
  » https://doi.org/10.1590/S0100-55022011000400008
• ^15.
  Bollela VR, Borges MC, Troncon LEA. Avaliação somativa de habilidades cognitivas: experiência envolvendo boas práticas para a elaboração de testes de múltipla escolha e a composição de exames. Rev Bras Educ Med. 2018;42(4):74–85. doi: http://doi.org/10.1590/1981-52712015v42n4rb20160065.
  » https://doi.org/10.1590/1981-52712015v42n4rb20160065
• ^16.
  Gupta V, Williams ER, Wadhwa R. Multiple-choice tests: A-Z in best writing practices. Psychiatr Clin North Am. 2021;44(2):249–61. doi: http://doi.org/10.1016/j.psc.2021.03.008. PubMed PMID: 34049647.
  » https://doi.org/10.1016/j.psc.2021.03.008
• ^17.
  Duque TB, Chiesa D, Peixoto RAC, de Araújo CAFL. Teste de Progresso para estudantes de Medicina: experiência de um consórcio na Região Nordeste do Brasil. Rev Bras Educ Med. 2022;46(Suppl 1):e152. doi: http://doi.org/10.1590/1981-5271v46.supl.1-20220294.
  » https://doi.org/10.1590/1981-5271v46.supl.1-20220294
• ^18.
  Downing SM. The effects of violating standard item writing principles on tests and students: the consequences of using flawed test items on achievement examinations in medical education. Adv Health Sci Educ Theory Pract. 2005;10(2):133–43. doi: http://doi.org/10.1007/s10459-004-4019-5. PubMed PMID: 16078098.
  » https://doi.org/10.1007/s10459-004-4019-5
• ^19.
  Karthikeyan S, O’Connor E, Hu W. Barriers and facilitators to writing quality items for medical school assessments: a scoping review. BMC Med Educ. 2019;19(1):123. doi: http://doi.org/10.1186/s12909-019-1544-8. PubMed PMID: 31046744.
  » https://doi.org/10.1186/s12909-019-1544-8
• ^20.
  Feliciano CS, Elias LLK, Osako MK, Guimarães FS, Troncon LEA, Bollela VR. Oficina para elaboração de testes de múltipla escolha de ciências básicas aplicadas: relato de experiência. Rev Bras Educ Med. 2023;47(2):e067. doi: http://doi.org/10.1590/1981-5271v47.2-2022-0297.
  » https://doi.org/10.1590/1981-5271v47.2-2022-0297
• ^21.
  Villela EFM, Hyppolito MA, Moriguti JC, Bollela VR. Análise da adequação dos itens do Teste de Progresso em medicina. Rev Bras Educ Med. 2022;46(Suppl 1):e157. doi: http://doi.org/10.1590/1981-5271v46.supl.1-20220303.
  » https://doi.org/10.1590/1981-5271v46.supl.1-20220303
• ^22.
  Pinheiro OL, Spadella MA, Moreira HM, Ribeiro ZMT, Guimarães APC, Almeida Fo OM, et al. Teste de progresso: uma ferramenta avaliativa para a gestão acadêmica. Rev Bras Educ Med. 2015;39(1):68–78. doi: http://doi.org/10.1590/1981-52712015v39n1e02182013.
  » https://doi.org/10.1590/1981-52712015v39n1e02182013
• ^23.
  Schüttpelz-Brauns K, Karay Y, Arias J, Gehlhar K, Zupanic M. Comparison of the evaluation of formative assessment at two medical faculties with different conditions of undergraduate training, assessment and feedback. GMS J Med Educ. 2020;37(4):Doc41. doi: http://doi.org/10.3205/zma001334. PubMed PMID: 32685669.
  » https://doi.org/10.3205/zma001334
• ^24.
  Dion V, St-Onge C, Bartman I, Touchie C, Pugh D. Written-based progress testing: a scoping review. Acad Med. 2022;97(5):747–57. doi: http://doi.org/10.1097/ACM.0000000000004507. PubMed PMID: 34753858.
  » https://doi.org/10.1097/ACM.0000000000004507

Editado por

EDITOR ASSOCIADO

Lilia de Souza Nogueira

Datas de Publicação

• Publicação nesta coleção
  28 Jun 2024
• Data do Fascículo
  2024

Histórico

• Recebido
  16 Nov 2023
• Aceito
  23 Abr 2024