Avaliação realista para programas e serviços na área de saúde: revisão integrativa da literatura teórico-metodológica

doi:10.1590/1518-8345.3933.3255

Brasil

home Sumário navigate_before Anterior Atual Seguinte navigate_next

home Sumário

Artigo de Revisão • Rev. Latino-Am. Enfermagem 28 • 2020 • https://doi.org/10.1590/1518-8345.3933.3255 linkcopiar

Avaliação realista para programas e serviços na área de saúde: revisão integrativa da literatura teórico-metodológica

About the SCIMAGO INSTITUTIONS RANKINGS

Objetivo: identificar e analisar os conceitos de avaliação realista e as metodologias recomendadas para o seu desenvolvimento na área da saúde.

Método: revisão integrativa, que incluiu estudos teórico-metodológicos publicados nas seguintes bases de dados: COCHRANE Library, EVIPNet, Health Systems Evidence, LILACS, PDQ-Evidence, PubMed, Rx for Change, SciELO, além de Teses-CAPES e Google Acadêmico, para a literatura cinza. A categoria mediação fundamentou a análise.

Resultados: foram incluídas 19 referências, publicadas entre 1997 e 2018. Trata-se de proposta inovadora, para direcionar o processo de avaliação de programas, intervenções e/ou políticas de saúde, com a participação democrática das partes envolvidas, como usuários, trabalhadores, gestores e pesquisadores; propõe-se a elaborar teorias sobre o que funciona, para quem, em qual contexto e como. A categoria mediação indicou necessidade de que essas teorias não se restrinjam ao microcontexto, mas incorporem os elementos da macroestrutura social aos quais estão conectados.

Conclusão: indica-se que a avaliação realista seja feita em 21 etapas. Ela toma em consideração métodos qualitativos e processuais, o que a torna potente para compreender as relações humanas e sociais no contexto analisado. As teorias que advêm da avaliação sobre o funcionamento dos programas analisados têm maiores chances explicativas se forem construídas por referência à totalidade social.

Descritores: Avaliação em Saúde; Medidas, Métodos e Teorias; Participação dos Interessados; Política Pública; Saúde Pública; Implementação de Plano de Saúde

Base de dados	Estratégia de busca	Referências identificadas
PubMed	"realist evaluation"[Title/Abstract]	278
LILACS	realist [Palavras] and evaluation [Palavras]	5
Cochrane	"Realist evaluation" in Title, Abstract, Keywords in Trials'	36
EVIPNet	ti:(Realist evaluation) OR mh:(Realist evaluation)	0
Health Systems Evidence	"Realist evaluation"	3
Rx for change	"Realist evaluation"	0
PDQ Evidence	"Realist evaluation"	0
SciELO	realist [Abstract] and evaluation [Abstract]	2
Teses CAPES	"avaliação realista"	5
Google Acadêmico	"Realist evaluation"	99
Total		428

N	Autor(es)/Ano/País de filiação do autor principal/Área de conhecimento do primeiro autor	Definições e finalidades da avaliação realista
1	Pawson, Tilley (1997) Reino Unido Sociologia e Política Social⁽⁶⁾	Novo paradigma de avaliação, fundamentada no realismo, que requer o uso de diferentes métodos e análise de dados, que favoreçam a explicação da regularidade e teoria que fundamenta a lógica de funcionamento da iteração dos contextos, mecanismos e resultados da realidade estudada.
2	Henry, Rog (1998) Não descreveu demais dados⁽¹³⁾	Desenvolve uma compreensão contextual, que revela os mecanismos geradores de diferentes resultados. Busca-se entender que tipos de avaliações são úteis para quais públicos sob quais condições políticas. A avaliação realista pode ser aplicada por meio da utilização direta dos resultados na tomada de decisões sobre programas; utilização dos resultados para influenciar o modo como um programa ou seus efeitos são vistos ou para justificar a decisão tomada em relação aos programas.
3	Mark, Henry, Julnes (1998) Não descreveu demais dados⁽¹⁴⁾	A avaliação realista emergente estima os efeitos de programas e avaliar atividades, como avaliar quais valores sociais são atendidos por determinados programas. Assim, busca identificar os mecanismos subjacentes aos efeitos do programa, as condições sob as quais esses mecanismos operam e os tipos de indivíduos para os quais operam.
4	Tilley (2000) Não descreveu demais dados⁽¹⁵⁾	Fornece informações para apoiar o processo de decisão e implementação de políticas públicas. A pergunta da avaliação realista compreende: o que funciona, para quem e em quais circunstâncias? A partir da compreensão de como as medidas produzirão impactos variados em diferentes circunstâncias, acredita-se que o formulador de políticas estará mais bem preparado para decidir quais políticas implementar e em que condições.
5	Kazi, Rostila (2002) Inglaterra Estudos de avaliação⁽¹⁶⁾	Agrega os principais mecanismos, contextos e os principais componentes dos programas no processo de avaliação. Uma das principais contribuições do paradigma de avaliação realista é o conceito de inserção do avaliador no processo/estrutura organizacional. A avaliação realista considera a influência das relações sociais e estruturas organizacionais que constituem o sistema aberto nos resultados do programa. Por se constituir um sistema aberto, é necessário se identificar algumas regularidades, ou seja, características, fatores, mecanismos que levam a resultados melhores ou piores e identificar as condições sob as quais os mecanismos causais seriam acionados para produzir os resultados.
6	Pawson, Tilley (2004) Não descreveu demais dados⁽¹⁷⁾	Avaliação orientada pela teoria, com uma busca explicativa. No processo de avaliação, as teorias são testadas com o propósito de refiná-las. Os autores destacaram a necessidade de compreender a natureza dos programas e como eles funcionam, considerando: 1) A natureza dos programas e como eles funcionam; 2) Conceitos básicos para compreensão dos programas que envolvem mecanismo, contexto e resultados. 3) Estratégias e métodos de avaliação realista; 4) Apresentação e utilização dos resultados da avaliação realista pelo formulador de políticas, para assim, apreender as questões relacionadas à política, prática e limites organizacionais envolvidos na implementação de um programa.
7	Wilson, Mccormack (2006) Austrália Enfermagem⁽¹⁸⁾	Vincula fortemente aos programas de Desenvolvimento da Prática Emancipatória servindo como base para questões de pesquisa eficazes que testarão os resultados da pesquisa e informarão a possibilidade de transferência de mecanismos em diferentes contextos. O resultado depende do contexto pois esse interfere com os mecanismos. Baseia-se nos princípios do realismo e busca apreender o verdadeiro (mecanismos que podem ou não disparar), o real (eventos que podem ou não ser observáveis mas que existem), e o empírico (evidências de experiências e observações realizadas). As explicações exigem, principalmente, interpretações de dados qualitativos para descobrir o raciocínio e as circunstâncias dos atores em contextos específicos, não em abstração deles, o que necessariamente envolve a participação de interessados e a identificação da história local.
8	Westhorp (2008) Reino Unido Filosofia⁽¹⁹⁾	Exige que as teorias e/ou hipóteses implícitas em um programa sejam explicitadas a fim de determinar o que e como avaliar. Implica identificar suposições teóricas, recursos e atividades do programa, relacionados aos mecanismos que levam aos resultados de curto, médio e longo prazo.
9	Keller, et al. (2009) Suécia Negócios⁽²⁰⁾	Deve ser aplicada por aqueles que desejam planejar e implementar inovações considerando o contexto receptivo para a mudança, prontidão do sistema para a inovação, relações de poder, contexto externo sociopolítico. Após a inovação implementada, a avaliação realista pode ser aplicada para fornecer explicação dos padrões de resultado, dependendo dos mecanismos e das restrições contextuais.
10	Kontos, Poland (2009) Canadá Reabilitação⁽²¹⁾	A avaliação realista crítica deriva do realismo crítico, abordagem que é defendida para implementação de inovação em saúde baseada em evidência. A avaliação é inerente ao processo de implementação e não algo deslocado para medir resultados. Considera-se o contexto e o processo, ou seja, as condições que promoveram ou obstaculizaram as mudanças. Estas podem ser avaliadas pela combinação de dados quantitativos e qualitativos, que promoverão compreensão do motivo pelo qual a intervenção funcionou, para quem, e sob quais circunstâncias.
11	Coryn, Noakes, Westine (2011) EUA Avaliação⁽²²⁾	Cinco princípios para a avaliação orientada por teorias: 1) Avaliações/avaliadores orientados por teorias devem formular uma teoria de programa plausível; 2) Avaliações/avaliadores orientados por teorias devem formular e priorizar questões de avaliação em torno de uma teoria de programa; 3) A teoria do programa deve ser usada para orientar o planejamento, projeto e execução da avaliação sob consideração de contingências relevantes; 4) Avaliações/avaliadores orientados pela teoria devem medir os construtos postulados na teoria do programa; 5) Avaliações/avaliadores orientados por teorias devem identificar quebras, efeitos colaterais, determinar a eficácia (ou eficácia) do programa e explicar associações de causa e efeito entre os construtos teóricos.
12	Westhorp, et al. (2011) Austrália Não descreveu⁽²³⁾	Parte do preceito que a organização social ocorre em forma de sistemas. Os sistemas sociais estão abertos: os elementos podem entrar e sair do sistema. Como resultado, qualquer evento tem muitas causas e, ao mesmo tempo, pode ter muitas consequências. Isso também significa que todo resultado de um programa é resultado de múltiplas causas. Os achados provavelmente se concentrarão em um subconjunto de mecanismo-contextos-resultados. Em geral, eles podem indicar: • que uma intervenção específica funciona de maneira separada • que é implementada de diferentes maneiras • que é mais eficaz com alguns grupos do que com outros • que encontrará mais uso em um local do que em outro • que tem consequências intencionais e não intencionais • que seus efeitos provavelmente serão mantidos
13	Pawson, Manzano-Santaella (2012) Reino Unido Sociologia e Política Social⁽²⁴⁾	Orientada pela teoria e captura os resultados de todas as intervenções, visando identificar o que funciona, para quem, em que circunstâncias, em que aspectos, sobre qual duração e por quê. A complexa gama de resultados deve ser explicada para verificar a eficácia do programa. Outro objetivo da avaliação realista é melhorar os programas, distinguindo a efetividade da implementação (efetiva ou inefetiva).
14	Luskin, Ho (2013) EUA Não descreveu⁽²⁵⁾	Deve considerar a melhoria social como o objetivo das avaliações coletivas para que desenvolvedores de programas, participantes, formuladores de políticas e o público em geral possam tomar decisões sobre programas e políticas.
15	Souza (2013) Singapura Educação⁽²⁶⁾	É possível considerar um programa social como o insumo que irá reconfigurar ou ativar de forma diferente os mecanismos causais subjacentes situados dentro de estruturas sociais pré-existentes para gerar mudança ou um potencial diferente existente dentro do contexto de ação. Um contexto de ação compreende aspectos de estrutura, cultura, agência e relações.
16	Manzano (2016) Reino Unido Não descreveu⁽²⁷⁾	Processo de pesquisa será iniciado pela teorização, que será testada, refinadas e testada novamente e, neste processo iterativo, a compreensão do mundo real também é refinada.
17	Wong, et al. (2016) Reino Unido Atenção Primária⁽²⁸⁾	Deve explicitar as teorias subjacentes de um programa, desenvolvendo hipóteses claras sobre como e para quem os programas podem funcionar. Implica em coletar dados, não apenas sobre os impactos do programa ou sobre os processos de implementação do programa, mas também sobre os aspectos específicos do contexto que podem afetar os resultados pretendidos e não intencionais do programa e sobre os mecanismos específicos que podem estar gerando mudanças. A avaliação deve ser adequadamente descrita: em que consiste, quem é o alvo, quem a fornece, qual o alcance geográfico, o que se espera alcançar e assim por diante. Os dados coletados devem incluir informações sobre impactos do programa e os processos de implementação do programa, os aspectos específicos do contexto do programa que podem afetar os resultados do programa e como esses contextos moldar os mecanismos específicos que podem estar criando mudanças Ao buscar informações dos participantes, supõe-se que diferentes participantes tenham diferentes perspectivas, informações e entendimentos sobre como os programas devem funcionar e se de fato funcionam. A metodologia realista é bem adequada ao estudo da Pesquisa Participativa de Base Comunitária. Limitações gerais e específicas de realistas devem ser explicitadas para que os leitores possam interpretar as descobertas à luz delas. Pontos ou limitações impostas por quaisquer modificações feitas nos processos de avaliação também devem ser relatados e descritos.
18	Wong, et al. (2017) Reino Unido Atenção Primária⁽²⁹⁾	Coleta aspectos específicos do contexto que podem impactar nos resultados pretendidos e não intencionais do programa, e sobre os mecanismos específicos que podem estar gerando mudanças nos resultados.
19	Wong (2018) Reino Unido Atenção Primária⁽³⁰⁾	Iniciada com a construção de uma teoria, ou seja, uma explicação de como, por que, para quem, em quais contextos e em que base uma intervenção é destinada a "trabalhar". O resultado de qualquer fenômeno é derivado do contexto e do mecanismo (C+M=O). Avaliações realistas são abordagens de pesquisa que explicitamente e coerentemente ligam o contexto aos resultados e se propõem a lidar com as questões de complexidade.

vertical_align_top file_download show_chart

more_horizclose
- image
- translate
- link
- article
- vertical_align_top
- file_download
- show_chart
- image
- translate
- link
- article

location_on

Escola de Enfermagem de Ribeirão Preto / Universidade de São Paulo Av. Bandeirantes, 3900, 14040-902 Ribeirão Preto SP Brazil, Tel.: +55 (16) 3315-3451 / 3315-4407 - Ribeirão Preto - SP - Brazil
E-mail: rlae@eerp.usp.br

rss_feed Acompanhe os números deste periódico no seu leitor de RSS

Acessibilidade / Reportar erro