Avaliação em EaD: estudo de caso do curso de especialização em saúde da pessoa idosa da UnASUS/UERJ

Resumo

Objetivo:

este estudo de caso analítico teve o objetivo de avaliar a eficácia do Curso de Especialização em Saúde da Pessoa Idosa da UNA-SUS/UERJ.

Método:

utilizou-se uma avaliação com abordagem mista tendo como referencial teórico os quatro níveis de avaliação de Kirkpatrick.

Resultado:

o curso de especialização em saúde da pessoa idosa da UNA-SUS/UERJ apresentou indicadores de sucesso relativos aos três níveis de avaliação de Kirkpatrick. As variáveis identificadas no estudo podem estar relacionadas a uma mudança na prática do profissional de saúde.

Conclusão:

a avaliação de atividades de EaD no Brasil ainda é uma área em desenvolvimento e tal fato ganha relevância à medida que são desenvolvidas especializações a distância em larga escala, demandando recursos financeiros sem uma proposta de abordagem avaliativa. Acredita-se que este trabalho contribua com o desenvolvimento de novos projetos de avaliação em EaD especialmente nos que demonstrem impacto para a população idosa na Atenção Primária à Saúde, subsidiando novos projetos na EaD na área do envelhecimento.

Palavras-chave:
Educação a Distância; Educação de Pós-Graduação; Atenção Primária à Saúde; Saúde do Idoso; Avaliação Educacional

Abstract

Objective:

this analytical case study aimed to evaluate the effectiveness of the UNA-SUS/UERJ Specialization Course in Elderly Health.

Method:

a mixed-approach evaluation was used, employing the four levels of the Kirkpatrick evaluation model as a reference.

Results:

the UNA-SUS/UERJ Elderly Health Specialization course presented indicators of success in the three proposed levels of the Kirkpatrick evaluation. The variables identified in the study may be related to a change in the practices of health professionals.

Conclusion:

the evaluation of distance learning activities in Brazil is still a developing area, a finding that is of increasing importance as large-scale distance learning specialization courses are established and require financial resources whilst lacking a proposed approach to evaluation. It is believed that the present study can contribute to the development of new evaluation projects in distance learning, especially those that impact the elderly population in Primary Health Care, supporting new distance learning projects in the area of ​​aging and correcting the direction of current initiatives.

Keywords:
Education; Distance; Education, Graduate; Primary Health Care; Health of the Elderly; Educational Measurement

INTRODUÇÃO

Um campo de especial atenção no envelhecimento populacional é o cuidado à população idosa frágil com comprometimento de sua autonomia e independência demandando grande atenção dos profissionais de saúde. Sua abordagem implica busca ativa de idosos em risco ou frágeis levando a uma perspectiva de cuidado ampliado¹.

A Política Nacional de Saúde da Pessoa Idosa (PNSPI) instituída pela Portaria GM/MS Nº 2.528 de 19 de outubro de 2006, procura direcionar medidas individuais e coletivas dentro do Sistema Único de Saúde (SUS), readequando estratégias e programas já em andamento às diretrizes estabelecidas para o cuidado do idoso. Traz a responsabilidade da própria Estratégia de Saúde da Família (ESF) na coordenação do cuidado intersetorial que deve ser dispensado à população idosa².

A amplitude e a complexidade inerentes ao envelhecimento englobam múltiplas dimensões. Essas dimensões não são imutáveis, mas à medida que se intervenha em uma ou mais delas, produz-se uma mudança de configuração nas demais, tal como a analogia de um cubo Rubik ou “Cubo Mágico” como é popularmente conhecido, onde a mudança de um dos 26 cubos, automaticamente influencia no posicionamento dos demais³.

Outro desafio advindo dessa heterogeneidade é a necessidade de respostas singulares de acordo com as necessidades identificadas. Isso demanda capacitação e suporte aos profissionais de saúde, especialmente considerando o desenvolvimento de estratégias de Educação Permanente em Saúde (EPS) de forma ampliada^4,5.

A Educação a Distância (EaD) ganhou cada vez mais espaço especialmente na tentativa de atingir maior número de pessoas e redução de custos^6,7, além disso tem se mostrado como uma saída para o fomento da EPS no SUS considerando sua descentralização e a necessidade de abordagem de forma integral e equitativa do desenvolvimento de competências específicas em áreas de maior carência.

Como forma de desenvolvimento de estratégias de EPS para profissionais de saúde no SUS, a UNA-SUS utiliza a EaD como modalidade de ensino por meio das novas Tecnologias de Informação e Comunicação (TIC)⁸. A estratégia para a educação permanente de profissionais da Atenção Primária à Saúde (APS), em saúde do idoso, contou com a parceria de três universidades possibilitando a estruturação do Curso de Especialização em Saúde da Pessoa Idosa: a Universidade do Estado do Rio de Janeiro (UERJ), a Universidade Federal do Maranhão (UFMa) e a Universidade Federal do Ceará (UFC). As instituições ofereceram 1.500 vagas de especialização em Saúde da Pessoa Idosa, distribuídas de forma equitativa entre as mesmas, totalizando 390 horas de curso, que teve caráter não obrigatório direcionado aos profissionais da APS, nas modalidades de ESF, unidades tradicionais, trabalhadores dos Núcleos de Apoio à Saúde da Família (NASF) e da gestão. As atividades buscavam que os alunos desenvolvessem uma análise a respeito de sua prática, por meio de tarefas e disponibilização de conteúdos no Ambiente Virtual de Aprendizagem (AVA), da mediação do tutor em chats e em fóruns de discussão.

Já é conhecida na literatura a carência de atividades de avaliação em EaD que não acompanha a estruturação das iniciativas nessa área, mas se restringem à avaliações intrínsecas dos alunos⁹. O processo avaliativo de uma dada estratégia de EaD deve ser realizado de forma não linear, crítico-reflexiva, utilizando critérios quantitativos e qualitativos de acordo com os objetivos a serem identificados¹⁰.

Alguns modelos como a avaliação dos quatro níveis de Kirkpatrick¹¹, podem ser úteis para sistematizar o processo avaliativo mais apropriado às atividades de EaD, particularmente na determinação da apropriação do conhecimento na prática do profissional. Segundo Waddill¹¹, a metodologia dos quatro níveis de avaliação de Kirkpatrick, apresenta vantagem sobre outros métodos estudados dado já ser uma técnica reconhecida na literatura para avaliação da eficácia da EaD, além de proporcionar um método de avaliação flexível, voltado para o processo de construção autônoma do conhecimento. Os quatro níveis de avaliação de Kirkpatrick proporcionam uma visão sistêmica necessária à análise de uma iniciativa educacional, especialmente quando há um público em larga escala fazendo parte de um programa específico para a tomada de decisões⁹.

Os quatro níveis de avaliação de Kirkpatrick modificados por Waddill¹¹ podem ser assim resumidos:

• Nível 1: Reação - percepção do aluno sobre o a abordagem do aprendizado proporcionado pelo curso;

• Nível 2: Aprendizado - acúmulo de conhecimento do aluno com o curso;

• Nível 3: Comportamento - utilização e forma de uso do aprendizado com o curso;

• Nível 4: Resultados - retorno do aprendizado para o meio.

Destaca-se ainda que cada um dos níveis de avaliação de Kirkpatrick traz aspectos cumulativos em relação ao nível anterior no ganho de eficiência em avaliação do modelo educacional proposto⁹.

Este artigo tem como objetivo, propor um estudo de caso analítico por meio de uma abordagem mista para avaliar a eficácia do Curso de Especialização em Saúde da Pessoa Idosa da UNA-SUS/UERJ utilizando-se o modelo de Kirkpatrick.

MÉTODO

A metodologia escolhida utilizou uma abordagem mista, com análise documental e avaliação do relatório final do curso contemplando questionários semiestruturados e estruturados realizados de forma anônima pelos alunos e palavras-chave dos projetos de intervenção. Foram levantadas narrativas de 444 alunos que permaneceram no curso de especialização em saúde da pessoa idosa, o índice de aprovação dos 319 alunos concludentes e a categorização de 299 palavras-chave dos projetos de intervenção estruturados pelos alunos ao final do curso.

Como método de análise utilizou-se o modelo dos quatro níveis de Kirkpatrick, sendo abordados os três primeiros níveis de análise uma vez que as variáveis estudadas são relacionadas diretamente aos alunos. O primeiro nível contou com a análise das narrativas dos 444 alunos que permaneceram no curso, sendo levantados 2.643 comentários provenientes de avaliações realizadas ao final de cada módulo e ao final do curso. Todos os comentários foram categorizados de acordo com o aspecto apontado para avaliação sendo que mais de um aspecto poderia ser levantado por cada narrativa, obtendo 2.773 apontamentos para análise. As variáveis contemplaram aspectos inerentes ou não ao curso e de cunho positivo ou negativo, bem como sugestões realizadas em relação a tais aspectos e a presença de autoavaliações. Essas variáveis podem ser denominadas como endógenas ou exógenas ao curso. Entre as variáveis endógenas estão as questões técnicas, o conteúdo, material, a metodologia, tutoria e dificuldade com tarefas. As variáveis exógenas obtidas corresponderam ao acesso à internet, às questões pessoais e manifestações de opiniões sobre o curso.

Para contemplar o segundo nível de avaliação foi realizado o levantamento das avaliações somativas, o índice de aprovação, e a aderência dos alunos após o primeiro mês de curso.

A avaliação do terceiro nível foi obtida por meio do levantamento das palavras-chave dos 299 projetos de intervenção dos egressos, assumindo-se que os projetos estruturados pelos alunos partiram de situações reais de sua prática, na qual a apropriação da aprendizagem durante o curso permite que o aluno acesse o conhecimento adquirido e o internalize, à medida que propõe uma intervenção para problemas identificados em seu universo profissional. As 664 palavras-chave identificadas foram categorizadas, sendo excluídos os termos "saúde", "saúde do idoso" e "idoso" por já corresponderem à especificidade da área em questão. Para identificação do grau de relevância das palavras categorizadas, utilizou-se o recurso de visualização obtido por meio das suas repetições nos projetos e a visualização gráfica em uma nuvem de tags ou "nuvem de palavras" criada a partir de um software denominado Wordle ^TM, Este recurso é capaz de selecionar as palavras que mais aparecem em um texto, ou em um conjunto de textos, conferindo-lhes destaque em tamanho e em cores.

RESULTADOS

Os resultados procuram contemplar os três primeiros níveis de avaliação de Kirkpatrick por meio da análise de questionários aplicados ao início e durante o curso, bem como seu grau de aderência e aprovação, finalizando com análise do grau de relevância das palavras-chave encontradas nos projetos de intervenção.

Análise do primeiro nível de avaliação de Kirkpatrick

A análise das 2.643 narrativas dos alunos levantaram 2.774 apontamentos para avaliação entre aspectos endógenos e exógenos ao curso (Tabela 1), bem como autoavaliações dos alunos representando 177 posicionamentos, e a presença de sugestões ao curso, representando 193 posicionamentos.

Tabela 1
Avaliações realizadas pelos alunos sobre o Curso de Especialização em Saúde da Pessoa Idosa

Variáveis	Aspectos Negativos n (%)	Aspectos Positivos n (%)
Aspectos Exógenos
Manifestações sobre o curso	1 (0,01)	569 (38,49)
Acesso à internet	35 (3,80)	0 (0,00)
Dificuldade com Tarefas	223 (24,10)	0 (0,00)
Questões pessoais	352 (38,10)	0 (0,00)
Aspectos Endógenos
Material	2 (0,03)	156 (10,56)
Tutoria	33 (3,60)	68 (4,60)
Metodologia	47 (5,10)	211 (14,28)
Problemas de ordem técnica	56 (6,20)	0 (0,00)
Conteúdo	177 (19,24)	474 (32,07)
Total	926 (100,00)	1478 (100,00)

A avaliação ao final de cada módulo que contemplou as atividades dos tutores, também foram respondidas ao longo do curso pelos alunos em um questionário estruturado, analisando-se 19 quesitos relativos à tutoria (Figura 1).

Figura 1
Avaliação da atuação dos tutores pelos alunos do curso de especialização em saúde da pessoa idosa.

Análise do segundo nível de avaliação de Kirkpatrick

O curso contou com a inscrição de 511 alunos, dos quais 67 (13,1%) não concluíram o primeiro mês ou não acessaram a plataforma. Outros 125 alunos (24,5%) abandonaram em algum momento após o primeiro mês. Em um total de 319 alunos que concluíram o curso, 20 (6,27%) foram reprovados e 299 (93,73%) realizaram o trabalho de conclusão de curso estruturado mediante abordagem da realidade do próprio aluno, constituindo em um projeto de intervenção.

Nessa perspectiva, houve 71,85% de retenção/permanência observada no curso de especialização em saúde da pessoa idosa, com um índice de aprovação entre os concludentes atingindo 93,73%.

A aderência por categoria profissional também foi objeto de estudo, visto que o curso contou com disparidades em relação ao número de inscritos por profissão. Desta forma a Figura 2 ilustra o percentual de adesão de cada núcleo profissional, sendo que a medicina, o serviço social, a farmácia e a enfermagem obtiveram aderência abaixo da média do curso.

Figura 2
Percentual de aderência ao curso de especialização em saúde da pessoa idosa por núcleo profissional.

Análise do terceiro nível de avaliação de Kirkpatrick

A forma de uso e a compreensão do aprendizado obtido com o curso foram aferidas mediante o levantamento dos projetos de intervenção e de seus temas, analisando-se o título de cada projeto de intervenção, seus objetivos e suas palavras-chave. Com o levantamento dos objetivos, foram identificados 67,55% direcionados às ações voltadas para a população idosa, 23,74% tiveram como foco os profissionais de saúde no cuidado com o envelhecimento e 8,69% tiveram como tema ações voltadas para a gestão e políticas voltadas para a população idosa.

Após o levantamento e categorização das palavras-chave presentes nos 299 projetos de intervenção, utilizou-se o recurso de visualização de seu grau de relevância obtido por meio das suas repetições nos projetos e a visualização gráfica em uma nuvem de tags, percebendo-se uma correspondência das 664 palavras-chave dos projetos de intervenção com os principais temas abordados no curso e o universo de trabalho do profissional de saúde (Figura 3).

Figura 3
Palavras-chave dos projetos de intervenção dos alunos do curso de especialização em saúde da pessoa idosa segundo grau de relevância.

DISCUSSÃO

A EaD demonstra vantagem no processo de ensino-aprendizagem encurtando a distância entre professores e alunos por proporcionar acesso a novas tecnologias educacionais, antes não disponibilizadas amplamente e, consequentemente, possibilita uma apropriação do conhecimento de forma colaborativa e cooperativa⁶.

Destaca-se a necessidade de incorporação da EaD aos processos de formação/capacitação de profissionais da APS, no entanto existem algumas barreiras a serem superadas como o acesso e a utilização das TIC, além das próprias ferramentas de EaD, muitas vezes desconhecidas pelos profissionais que nunca passaram por uma formação à distância¹², corroborando com as variáveis utilizadas no estudo.

O modelo de estudo de caso para a avaliação do curso em saúde da pessoa idosa encontra respaldo na literatura, dado que constitui o estudo de um fenômeno contemporâneo a um dado contexto real e cujos limites entre ambos não se encontram claramente definidos¹³. No modelo misto utilizando-se variáveis qualitativas e quantitativas, existe uma ênfase em estudos com aspectos qualitativos e quantitativos não de oposição, sendo que nos modelos qualitativos é possível avaliar construções sociais durante o processo que influenciam no resultado final¹⁴.

A avaliação realizada pelos alunos ao longo do curso de especialização em saúde da pessoa idosa proporciona uma primeira impressão dos principais problemas e das vantagens do curso. Percebe-se que os aspectos positivos do curso (61,50%) predominaram sobre os aspectos negativos levantados (38,50%). Ao comparar quais aspectos negativos foram mais apontados pelos cursistas, tem-se uma predominância das dificuldades com as tarefas e com prazos para que as mesmas fossem entregues, somando-se ao excesso de conteúdo proposto, seguindo-se por problemas de ordem pessoal que impediram ou dificultaram a progressão do aluno.

Em relação aos aspectos positivos, os alunos utilizaram o espaço para avaliação demonstrando expressões positivas (38,50%), porém sem qualquer especificidade. Também foram levantados aspectos mais específicos como a boa qualidade do conteúdo (32,07%), a metodologia (14,28%) e o material (10,56%). As avaliações positivas podem constituir reflexo da variação de metodologias e de materiais disponibilizados aos alunos em fóruns de discussão, chats bem como troca de informações e orientações por meio de correio eletrônico. Os temas relativos às competências a serem desenvolvidas pelos alunos eram acompanhados por atividades que buscavam uma abordagem crítica a respeito do conhecimento acumulado por meio de uma análise a sobre sua prática.

Fato importante a ser destacado e presente na narrativa dos alunos foi a maior dificuldade com prazos em períodos de feriados prolongados, sendo relatados problemas de acesso à internet, organização do tempo e uma maior percepção de tarefas em excesso com prazos restritos.

Este modelo de avaliação possui correspondência em estudos sobre evasão e suas causas¹⁵. A avaliação sistêmica das causas de evasão está relacionada com fatores endógenos e exógenos ao curso. Avaliando a dimensão biopsicossocial do próprio cursista, os aspectos negativos que mais se relacionam com grau de evasão coincidem com os que são relatados mais frequentemente pelos alunos, sendo apontados nas narrativas, problemas de saúde, familiares e dificuldade de organização do tempo. Tais variáveis foram categorizadas em questões pessoais. Entre os aspectos endógenos ao curso identificados como metodologia, conteúdo, material e tutoria, percebe-se uma predominância maior entre as avaliações positivas, o que poderia influenciar diretamente na retenção/permanência do aluno no curso, conforme demonstrado pelo segundo nível de avaliação de Kirkpatrick.

Fato destacado foi a avaliação longitudinal da tutoria ocorrida em todos os módulos. Os tutores constituem peças fundamentais nas estratégias de EaD à medida que atuam como facilitadores estimulando a aprendizagem crítico-reflexiva dos alunos¹⁶. A classificação como atuação boa ou ótima em 91% das respostas para os 19 quesitos de avaliação não obteve correspondência na maioria das narrativas provavelmente por diferenças em relação ao tipo de questionário, sendo que nas narrativas dos alunos não houve questão norteadora acerca do trabalho do tutor, já no questionário estruturado, a avaliação específica possibilitou que as respostas fossem mais específicas às variáveis em estudo. Podem-se relacionar as avaliações positivas obtidas no questionário estruturado com o acompanhamento dos trabalhos discentes e a composição do corpo tutorial, proporcionando respostas voltadas à realidade trazida pelo aluno, fortalecendo a relação educacional^16,17.

Os aspectos considerados endógenos ou inerentes ao curso como a tutoria, por exemplo, devem ser analisados ao longo do curso para permitir a correção de rumos durante o processo pedagógico, o que também influenciaria em uma menor evasão e uma maior retenção/permanência¹⁵. As avaliações realizadas a cada módulo pelos alunos permitiram que houvesse não só a correção de eventuais equívocos observados nos aspectos didático-pedagógicos, mas também possibilitaram o desenvolvimento de atividades voltadas para uma dada realidade comum aos próprios discentes.

Nos estudos referentes ao segundo nível de avaliação, deve-se refletir sobre o conceito de adesão/aderência, evasão e retenção/permanência. Considera-se que a aderência é parte de uma visão inicial a respeito do curso e a retenção/permanência seria mais apropriada à avaliação longitudinal do aluno em uma dada iniciativa, ambas sob influência de fatores biopsicossociais dos próprios alunos, como sua história de vida e capacidade de se adaptar. A complexidade desta avaliação está na ligação dos aspectos desenvolvidos durante uma iniciativa didático-pedagógica em uma determinada instituição, ou seja, torna o conceito extremamente dependente da estratégia adotada¹³.

Destaca-se ainda a necessidade de estudo da evasão em diversos momentos de uma dada iniciativa de EaD. Percebe-se que nas primeiras semanas de um curso de EaD, notadamente nas semanas de orientações das aulas online, a desistência dos alunos é o dobro quando comparado ao formato de aulas presenciais, não sendo identificadas as variáveis que interferem diretamente na decisão do aluno¹⁵. A mesma diferença entre os cursos em EaD e presenciais não ocorre quando se compara com o período ao longo do curso. Este modelo corrobora com uma das definições de evasão levantadas em uma revisão do tema onde evasão pode ser definida com a saída de um aluno do curso antes de sua conclusão, porém com aquisição do conhecimento ou por ter atingido suas metas pessoais¹⁸. Essa definição leva a questionamentos sobre qual o tempo necessário para atingir algum grau de conhecimento em uma iniciativa de EaD. Especialmente considerando que as primeiras semanas são trabalhados temas relativos à EaD em si bem como acordos sobre as atividades, conhecimento e ambientação em grupo e mesmo adaptação às TIC. Desta forma, justifica-se considerar o grau de evasão utilizando-se alunos que evadiram após o primeiro mês de atividades.

Estudos demonstram uma evasão na ordem de 57,80% para cursos com público-alvo semelhante, bem como evasões na ordem de 49,00% a 58,00% em cursos de pós-graduação que ocorreram em mais de uma etapa. Cabe destacar que cursos com espaços de construção coletiva por meio de reuniões de equipe para execução das atividades, contam com índices de evasão ainda menores, na ordem de 19,7%¹⁹.

Considerando estudos de evasão em cursos de especialização em saúde da família em modalidades presencial e à distância, observa-se que a evasão do curso de especialização em saúde da pessoa idosa permaneceu abaixo da média (28,15%), algumas vezes chegando à metade da evasão observada na literatura¹⁹.

A análise do terceiro nível de avaliação a identificação da mudança do comportamento do profissional, mediante a abordagem à saúde do idoso, pode ser aferido por meio da identificação dos temas apresentados nos projetos de intervenção identificando a população idosa como alvo de 67,55% das ações planejadas, bem como os próprios profissionais de saúde que aparecem em 23,74%, caracterizando uma abordagem multifacetada e interprofissional conforme demonstrado pelas palavras em evidência na nuvem de tags.

A mudança da prática observada por meio dos projetos de intervenção traduz-se em uma nova visão paradigmática no processo educacional com mudanças das ações em saúde, voltadas para uma transformação da realidade a partir da própria ressignificação do saber-fazer e aprender em saúde, tendo como resultado melhorias para o próprio SUS²⁰.

A utilização de ferramentas inovadoras para avaliação de conteúdo já encontra alguns exemplos na literatura, como a demonstração da utilização de nuvem de palavras para análise qualitativa de portfólio digital, especialmente na formação pedagógica de preceptores para a área da saúde, nos programas de residência do Hospital Universitário Pedro Ernesto²¹. Alguns estudos utilizaram a nuvem de palavras para avaliação dos títulos de artigos científicos, identificando os termos que mais ficaram em evidência excluindo-se as palavras que já pertenceriam a um determinado contexto²². A estratégia de análise, em conjunto com aspectos quantitativos, propiciou a avaliação de mudança no foco dos estudos em EaD ou nas novas TIC²¹.

Uma das maiores vantagens da ferramenta é conferir agilidade na informação visual, bem como melhorar memorização, pois corresponde a uma imagem. Segundo Afonso et al.²¹:

"A utilização desta ferramenta em cursos que se fundamentam no modelo pedagógico crítico reflexivo é de extrema importância considerando o potencial de reorganização imediata da trajetória de ensinagem de acordo com o desempenho dos participantes. Cabe também destaque à contribuição desta análise para o feedback imediato, ação fundamental na avaliação de qualidade."

Utilizando-se essa ferramenta para avaliação das palavras-chave encontradas nos projetos de intervenção, consegue-se ter a dimensão da incorporação do conhecimento ao universo crítico-reflexivo do aluno. Destaca-se ainda que não se trata de trabalhos de conclusão de curso sem uma proposta de intervenção na realidade, mas à medida que propõe uma intervenção demonstra não somente palavras sem conexão, mas interligadas com uma aprendizagem significativa levando à mudança de sua prática profissional e consequentemente de sua realidade.

CONCLUSÃO

A avaliação é necessária à medida que promove um processo reflexivo sobre uma determinada ação praticada, com vistas à indução de mudanças processuais alcançando resultados que correspondam cada vez mais com a necessidade observada pelo educando, pela instituição e pela sociedade, construindo e ressignificando os saberes de forma contínua, diária e compartilhada²³. Portanto, em uma abordagem de Educação à Distância para a Atenção Primária à Saúde deve-se colocar em foco a organização do próprio Sistema Único de Saúde²⁴ no sentido de avaliação contínua capaz de subsidiar o profissional para reflexões sobre seu processo de trabalho.

Por meio da análise documental e dos projetos de intervenção dos alunos do curso de especialização em saúde da pessoa idosa e da utilizando-se dos níveis de avaliação de Kirkpatrick, pode-se sugerir uma experiência exitosa do curso envolvendo variáveis inerentes ao próprio, seu conteúdo e sua abordagem didático-pedagógica.

A abordagem qualitativa da análise das respostas aos questionários semiestruturados que ocorreram durante o curso pelos alunos, sugere que teria ocorrido uma devolutiva de forma ágil por parte da equipe pedagógica, bem como interações próximas com os tutores demonstradas pelo grau de satisfação com as atividades de tutoria, respondendo pelo retorno ao aluno de forma eficaz, o que é levantado pela literatura como fundamental para uma boa resposta do aluno^16,17,25.

Entre os aspectos mais destacados pelos alunos em suas narrativas dos questionários semiestruturados deve-se ressaltar o conteúdo, permitindo-se inferir que não só os tutores apresentavam formação específica na área de geriatria e gerontologia, mas também mantinham estreita relação com a equipe pedagógica e com os professores conteudistas, uma vez que o retorno dado para o aluno foi avaliado positivamente nas narrativas.

Apesar de poucos estudos de evasão direcionarem-se para cursos de pós-graduação em Educação à Distância, destaca-se que mesmo utilizando-se critérios de evasão mais rígidos, considerando todos os alunos inscritos tendo ou não entrado na plataforma virtual, o curso de especialização em saúde da pessoa idosa alcançaria uma evasão de 38%, portanto abaixo do esperado para cursos de Educação à Distância para o mesmo público¹⁹, outro aspecto foi o elevado índice de aprovação da ordem de 94% gerando 299 projetos de intervenção direcionados à prática do profissional.

Houve ainda indícios de mudanças no comportamento dos alunos concludentes, demonstrado com a análise dos projetos de intervenção estruturados e os temas pertinentes à área de atuação do aluno, voltados para a saúde do idoso.

Uma das limitações deste trabalho corresponde a não abordagem do impacto dos projetos de intervenção desenvolvidos pelos alunos em seu universo de trabalho. O quarto nível de avaliação de Kirkpatrick sob essa ótica, poderia evidenciar o valor agregado para a sociedade de um dado programa educacional.. A organização por meio dos 4 níveis de avaliação de Kirkpatrick, abordando-se neste estudo os três primeiros níveis, poderia constituir em uma metodologia válida de avaliação. Destaca-se, no entanto, que esta análise deva ocorrer de forma interligada e sistêmica, onde as variáveis estudadas no primeiro nível a partir das impressões dos alunos nos questionários semiestruturados também explicam aspectos de aderência e evasão avaliados no segundo nível, por exemplo. O olhar sistêmico promovido por esta avaliação permitiria sair da relação causa-efeito, para uma análise onde os aspectos qualitativos poderiam influenciar em avaliações mesmo quantitativas como os estudos de evasão. Possibilita que a evasão possa ser explicada sob a perspectiva do reconhecimento de pontos internos ou externos ao curso que influenciariam em seu desfecho final.

O direcionamento de recursos para iniciativas educacionais em áreas de maior fragilidade poderá gerar impacto para a população e para o próprio profissional de saúde. A abordagem do quarto nível de avaliação de Kirkpatrick sob essa ótica poderia evidenciar o valor agregado para a sociedade de um dado programa educacional à medida que possibilita avaliar a não só a aplicação de projetos de intervenção na prática do profissional, mas os resultados de seu desenvolvimento no contexto local.

REFERENCES

• ¹
  Veras R. Envelhecimento populacional contemporâneo: demandas, desafios e inovações. Rev Saúde Pública [Internet]. 2009 [acesso em 29 jan. 2017];43(3):548-54. Disponível em: http://dx.doi.org/10.1590/S0034-89102009005000025
  » http://dx.doi.org/10.1590/S0034-89102009005000025
• ²
  Brasil. Portaria nº. 2.528, de 19 de outubro de 2006. Aprova a Política Nacional de Saúde da Pessoa Idosa. Diário Oficial da República Federativa do Brasil. 20 out. 2006; Seção 1:142.
• ³
  Hill LH. Interactive influences on health and adult education. News Dir Adult Contin Educ [Internet]. 2016 [acesso em 02 fev. 2018];(149):41-51. Disponível em: http://onlinelibrary.wiley.com/wol1/doi/10.1002/ace.20175/full
  » http://onlinelibrary.wiley.com/wol1/doi/10.1002/ace.20175/full
• ⁴
  Motta LB, Aguiar AC, Caldas CP. Estratégia Saúde da Família e a atenção ao idoso: experiências em três municípios brasileiros. Cad Saúde Pública [Internet]. 2011 [acesso em 06 fev. 2017];27(4):779-86. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0102-311X2011000400017&lng=en&nrm=iso
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0102-311X2011000400017&lng=en&nrm=iso
• ⁵
  Merhy EE. Em busca do tempo perdido: a micropolítica do trabalho vivo em saúde. In: Merhy EE, Onocko R, organizadores. Agir em saúde: um desafio para o público. São Paulo: Hucitec;1997. p. 71-112.
• ⁶
  Fratucci MVB. Ensino a distância como estratégia de educação permanente em saúde: impacto da capacitação da equipe de estratégia de saúde da família na organização dos serviços [tese]. São Paulo: Universidade de São Paulo, Programa de Pós-Graduação em Odontologia Social; 2015.
• ⁷
  Gomes LF. EAD no Brasil: perspectivas e desafios. Avaliação [Internet]. 2013 [acesso em 03 fev. 2018];18(1):13-22. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772013000100002&lng=en&nrm=iso
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-40772013000100002&lng=en&nrm=iso
• ⁸
  Oliveira VA. O quebra-cabeça da Universidade Aberta do SUS. In: Gusmão CMG. Relatos de uso de tecnologias educacionais na educação permanente de profissionais de saúde no sistema Universidade Aberta do SUS. Pernambuco: Editora Universitária UFPE; 2014. p.11-28.
• ⁹
  Hallett K, Essex C. Evaluating online instruction: adapting a training model to e-learning in higher education. In: 14th Proceedings ED-MEDIA 2002 World Conference on Educational Multimedia, Hypermedia & Telecommunications; 24-29 june 2002; Denver 2002. Norfolk: AACE; 2002.
• ¹⁰
  Comin FS. Avaliação dos processos de ensino-aprendizagemem ações educacionais ofertadas a distância. Temas psicol [Internet]. 2013 [acesso em 04 fev. 2018];21(2):335-46. Disponível em: http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1413-389X2013000200003&lng=pt&nrm=iso
  » http://pepsic.bvsalud.org/scielo.php?script=sci_arttext&pid=S1413-389X2013000200003&lng=pt&nrm=iso
• ¹¹
  Waddill DD. Action e-learning: an exploratory case study of action learning applied online. Hum Res Dev Int [Internet]. 2006 [acesso em 02 fev. 2018];9(2):157-71. Disponível em: https://www.bvekennis.nl/Bibliotheek/06-0747_Action_E-learning.pdf
  » https://www.bvekennis.nl/Bibliotheek/06-0747_Action_E-learning.pdf
• ¹²
  Martins-Melo FR, Lima MS, Ramos Junior MN, Heukelbach J, Campo MOC. Modalidade de educação a distância na formação profissional em saúde da família: relato de experiência. Rev Bras Med Fam Comunidade [Internet]. 2014 [acesso em 04 fev. 2018];30(9):89-95. Disponível em: https://www.rbmfc.org.br/rbmfc/article/view/486
  » https://www.rbmfc.org.br/rbmfc/article/view/486
• ¹³
  Rodrigues CMC, Ribeiro JLD, Cortimiglia M, Bündchen C. Uma Proposta de instrumento para avaliação da educação a distância. Ensaio Aval Pol Públ Educ [Internet]. 2014 [acesso em 13 fev. 2018];22(83):321-54. Disponível em: http://www.scielo.br/pdf/ensaio/v22n83/a04v22n83.pdf
  » http://www.scielo.br/pdf/ensaio/v22n83/a04v22n83.pdf
• ¹⁴
  Silva LS, Correa EP, Duarte LM, Miranda SA. Formação continuada em educação a distância: percepções sobre as competências na atuação do professor-tutor. EmRede Rev Educ Dist [Internet]. 2016 [acesso em 02 fev 2018];3(2):252-65. Disponível em: https://www.aunirede.org.br/revista/index.php/emrede/article/view/122
  » https://www.aunirede.org.br/revista/index.php/emrede/article/view/122
• ¹⁵
  Fiuza PJ, Sarriera JC. Motivos para adesão e permanência discente na educação superior a distância. Psicol Ciênc Prof [Internet]. 2013 [acesso em 02 fev. 2018];33(4):884-901. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-98932013000400009&lng=en&nrm=iso
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1414-98932013000400009&lng=en&nrm=iso
• ¹⁶
  Claudino-Kamazaki SG, Capellini VLMF, Oliveira AAS, Pedro KM. Formação de professores em educação especial na modalidade EaD: alguns apontamentos sobre seis cursos de especialização. EaD Foco [Internet]. 2017 [acesso em 27 fev. 2018];7(3):29-41. Disponível em: http://eademfoco.cecierj.edu.br/index.php/Revista/article/view/549/268
  » http://eademfoco.cecierj.edu.br/index.php/Revista/article/view/549/268
• ¹⁷
  Bizarria FPA, Silva MA, Tassigny MM, Carneiro TCJ. Papel do tutor no combate à evasão na EAD: percepções de profissionais de uma instituição de ensino superior. Rev Educ Ciênc Cult [Internet]. 2015 [acesso em 27 fev. 2018];20(1):86-102. Disponível em: https://www.researchgate.net/profile/Maria_Silva161/publication/281601630
  » https://www.researchgate.net/profile/Maria_Silva161/publication/281601630
• ¹⁸
  Portal C. Estratégias para minimizar a evasão e potencializar a permanência em EaD a partir de sistema que utiliza mineração de dados educacionais e learning analytics [Dissertação]. Porto Alegre: Universidade do Vale do Rio dos Sinos, Programa de Pós-Graduação em Educação; 2016
• ¹⁹
  Rinaldo RB. Evasão em curso multiprofissional de especialização em saúde da família: comparação entre modalidade a distância versus presencial [Dissertação]. Universidade de Federal do Rio Grande do Sul, Programa de Pós-Graduação Ensino na Saúde; 2014.
• ²⁰
  Vargas FMA, Trindade MCN, Gouveia GDA, Farias MR. A educação a distância na qualificação de profissionais para o Sistema Único de Saúde: metaestudo. Trab Educ Saúde [Internet]. 2016 [acesso em 04 fev. 2017];14(3):849-70. Disponível em: http://www.scielo.br/scielo.php?pid=S1981-77462016000300849&script=sci_abstract&tlng=pt
  » http://www.scielo.br/scielo.php?pid=S1981-77462016000300849&script=sci_abstract&tlng=pt
• ²¹
  Afonso DH, Monteiro A, Carvalho Júnior PM, Dias CC. Análise qualitativa do portfólio digital na formação pedagógica de preceptores da área de saúde: vantagens do wordle. In: 17º Congresso internacional ABED de educação a distância; 30 agosto - 02 setembro de 2011; Manaus. Manaus: ABED; 2011.
• ²²
  Silva IP, Mercado LPL. Levantamento dos temas TIC e EAD na biblioteca virtual Educ@. Cad Pesqui [Internet]. 2015 [acesso em 02 fev. 2018];45(158):970-88. Disponível em: http://www.scielo.br/scielo.php?pid=S0100-15742015000400970&script=sci_abstract&tlng=pt
  » http://www.scielo.br/scielo.php?pid=S0100-15742015000400970&script=sci_abstract&tlng=pt
• ²³
  Abadi AM, Rehfeldt MJH. Autonomia para aprendizagem: uma relação entre o fracasso e o sucesso dos alunos da Educação a Distância. Práxis Educativa [Internet]. 2016 [acesso em 02 fev. 2018];11(2):310-31. Disponível em: http://www.revistas2.uepg.br/index.php/praxiseducativa/article/viewFile/7107/4772
  » http://www.revistas2.uepg.br/index.php/praxiseducativa/article/viewFile/7107/4772
• ²⁴
  Rangel ML, Barbosa EO, Riccio NCR, Souza JS. Redes de aprendizagem colaborativa: contribuição da Educação a Distância no processo de qualificação de gestores do Sistema Único. Interface Comun Saúde Educ [Internet]. 2012 [aceso em 03 fev. 2018];16(41):545-55. Disponível em: http://www.scielo.br/pdf/icse/v16n41/aop3412.pdf
  » http://www.scielo.br/pdf/icse/v16n41/aop3412.pdf
• ²⁵
  Pedro N, Razera F. A influência do papel do tutor na interação em fóruns de discussão: um estudo em EaD com base na análise de redes sociais. Rev E-Curriculum [Internet]. 2018 [acesso em 27 fev. 2018];16(2):467-93. Disponível em: http://dx.doi.org/10.23925/1809-3876.2018v16i2p467-49
  » http://dx.doi.org/10.23925/1809-3876.2018v16i2p467-49

Datas de Publicação

• Publicação nesta coleção
  Sep-Oct 2018

Histórico

• Recebido
  18 Fev 2018
• Revisado
  06 Ago 2018
• Aceito
  24 Ago 2018