Avaliação de programas, estratégias e ações de saúde: um diálogo com o realismo crítico

RESUMO

O realismo crítico se constitui em uma abordagem, no âmbito da filosofia da ciência e da teoria social, que propõe um modelo científico de explicação acerca da realidade que evita os polos epistemológicos tradicionais do positivismo e do relativismo (ou idealismo). Reúne diferentes autores e traz implicações para o debate sobre os caminhos da teoria sociológica contemporânea. No que se refere ao campo da avaliação de políticas e programas sociais em saúde, a abordagem realista crítica tem trazido novas perspectivas e contornos para a problematização sobre evidências, impactos e resultados. Assim, o ensaio teórico teve por objetivo apresentar as principais contribuições do realismo crítico para a avaliação de políticas, programas e intervenções em saúde e dialogar com autores que se apropriaram, direta ou indiretamente, do debate e da reflexão sobre a ontologia dos programas na prática da avaliação e suas implicações para o desenho das intervenções.

PALAVRAS-CHAVE
Avaliação em saúde; Avaliação de políticas e programas; Iniquidades em saúde

ABSTRACT

Critical realism can be defined as an approach within the philosophy of science and social theory, which proposes a scientific model of explanation about the reality that denies the traditional epistemological poles of positivism and relativism (or idealism). It gathers different authors and has implications on the debate about the future of contemporary sociological theory. Regarding the field of evaluation of social policies and programs in health, the critical realistic approach has brought news perspectives regarding evidence, impact, and results. This theoretical essay aimed to present the main contributions of critical realism to the evaluation of policies, programs, and interventions in health, as well as to dialogue with authors that have addressed and reflected directly or indirectly on the ontology of the programs in the practice of evaluation and its implications for the design of such interventions.

KEYWORDS
Health evaluation; Program evaluation; Health inequalities

Introdução

As políticas públicas têm-se caracterizado, nas últimas décadas, por constituírem-se em iniciativas complexas que envolvem múltiplos mecanismos causais, processo sociais não lineares, sistemas sociais abertos e contextos incertos, contingentes e imprevistos. A complexidade dessas iniciativas implica o reconhecimento de que sua implementação se articula às variadas dinâmicas institucionais e comunitárias existentes em cada contexto. Além disso, as intervenções das políticas públicas tendem a mobilizar distintos recursos e a alcançar diferentes alvos. Para Barnes, Matka e Sullivan¹, iniciativas complexas requerem mudanças multiníveis, isto é, transformações no padrão de escolhas individuais, na natureza dos vínculos comunitários, no perfil epidemiológico e na organização institucional.

A dinâmica dos contextos das intervenções em saúde lança desafios para a pesquisa avaliativa, tanto em termos das iniciativas per si como também pela necessidade do uso de referenciais teórico-metodológicos abrangentes. No que se refere à avaliação de iniciativas complexas em saúde, faz menos sentido avaliar uma política isoladamente dado que seus efeitos sobre a população não podem ser artificialmente separados². No caso brasileiro, a Estratégia Saúde da Família é um exemplo de ação intersetorial que requer esforços conjugados no território e equipes multiprofissionais.

Parte-se, portanto, da premissa de que é impossível isolar os efeitos das políticas públicas uma vez que esses se mesclam e adquirem características singulares, dada a diversidade de situações e condições sociais e as infinitas possibilidades de apropriação pelos respectivos usuários. É pertinente, portanto, fazer uso de teorias de avaliação que permitam compreender os mecanismos sociais e os contextos subjacentes às mudanças a serem provocadas pelas políticas, programas e iniciativas, como proposto por Chen³.

Apesar das contribuições das diversas abordagens utilizadas no campo da avaliação de políticas, alguns limites podem ser encontrados. Em linhas gerais, há lacunas no que se refere ao diálogo com a teoria social – entendida como uma dimensão da sociologia ou das ciências sociais que se volta para os grandes problemas teóricos⁴ –, ao mesmo tempo que se confere menor valor ao entendimento das condições sociais e contextos nos quais os resultados foram alcançados^5-10. No âmbito das ciências sociais, insumos teórico-metodológicos foram produzidos, no sentido de fornecer subsídios para o campo da avaliação, e incorporados por autores que, na década de 1980, lançaram críticas aos enfoques (mais difundidos) que não consideravam o contexto e se limitavam a estudar basicamente os resultados dos programas e intervenções¹¹.

Tais críticas resultaram na valorização da análise dos componentes, recursos, objetivos e efeitos pretendidos dos programas de maneira interdependente e balizados pelos desafios e oportunidades próprios de cada contexto social. Com isso, emergiu um razoável consenso de que as diferentes políticas e programas são uma materialização de ideias, expectativas, concepções e teorias sobre processos sociais de mudança. O foco restrito nos chamados outputs ou nos recursos financeiros empregados dificilmente é capaz de favorecer aprendizados sobre quais componentes são mais afetados pela dinâmica local e de aprimorar a tomada de decisão com base em evidências relevantes¹². Sem dúvida, a ênfase na teoria do programa representa um deslocamento importante na prática avaliativa. De acordo com Chen¹³, o fracasso ou sucesso das ações devem ser vinculados à teoria sobre o problema e ao processo de implementação dos programas que visam ao seu enfrentamento.

No intuito de dialogar com perspectivas de avaliação que problematizam a produção de evidências em saúde e que consideram os contextos complexos das intervenções, este ensaio tem por objetivo trazer subsídios para a avaliação de políticas e programas em saúde a partir de autores que se apropriaram, direta ou indiretamente, do debate sobre o realismo crítico para refletir sobre a ontologia dos programas e a prática da avaliação. Nesta perspectiva, a abordagem trazida pelo realismo crítico, sobre a natureza das políticas públicas e dos contextos de implementação, revela-se uma alternativa teórica e metodológica abrangente e desafiante. O ensaio pretende estabelecer conexões entre o realismo crítico e a avaliação destacando algumas das múltiplas vertentes que são por ele influenciadas, como por exemplo a ‘avaliação baseada na teoria’. Especial ênfase é dada às contribuições do realismo crítico e da avaliação realista para o debate sobre a avaliação das políticas e programas de saúde.

Avaliação em saúde: diálogos possíveis com o realismo crítico

Para desenvolver essa discussão, o ensaio apresenta como o realismo crítico se configura em um modelo científico de explicação acerca da realidade e se contrapõe a outros no âmbito das ciências sociais e humanas. Esses modelos fundamentam as perspectivas sobre a ciência e as teorias (incluindo-se a da avaliação); e, dependendo do que for adotado, a capacidade explicativa poderá estar associada com maior ou menor ênfase à posição do observador ou do campo disciplinar a que se filia.

O modelo do realismo parte de alguns pressupostos, e o realismo crítico se localiza neste debate, motivo pelo qual se torna necessário trazer alguns conceitos e termos com base em Roy Bhaskar (1944-2014), um dos principais autores que propõe uma ontologia realista. Uma vez delineado o debate, o ensaio busca estabelecer relações teórico-metodológicas entre o realismo e a avaliação de programas em saúde e como a avaliação baseada na teoria se apropriou desse debate, permitindo assim formular outras perspectivas de análise. Dado o alcance explicativo do realismo crítico, conclui-se que a avaliação de programa baseada na teoria tem produzido insumos importantes para a análise de programas intersetoriais, multiestratégicos e com foco na equidade.

O realismo constitui-se em uma abordagem, no âmbito da filosofia da ciência e da teoria social, que propõe um modelo científico de explicação acerca da realidade social que evita os polos epistemológicos tradicionais do positivismo e do relativismo (ou idealismo). É possível afirmar que, ainda hoje, o realismo configura-se como um dos aspectos-chave da construção do conhecimento. De acordo com Sell¹⁴, no caso da teoria sociológica contemporânea, identifica-se o debate entre realistas e antirrealistas. O realismo é convocado a responder a pergunta “em que medida as teorias científicas acessam e descrevem o mundo tal como ele é?”¹⁴⁽²⁰⁾ e sustenta a tese da correspondência entre teoria e realidade social. Difere, portanto, do antirrealismo (ou idealismo) que argumenta ser todo conhecimento determinado pelo contexto do observador negando, portanto, a possibilidade de existência de um mundo independente ou exterior. De maneira esquemática, é possível assim ilustrar:

Figura 1
Síntese das dimensões da realidade

Contudo, apesar da ilustração anterior, e como enfatizado por Sell e Hamlin¹⁵, não se trata de mera transposição do debate da filosofia para a sociologia, tampouco é possível estabelecer fronteiras rígidas entre o realismo e o antirrealismo. Além do mais, outros autores, como Bhaskar, vão tornar esses limites porosos e tensionar a relação entre conhecimento e realidade social.

Sell enfatiza que, hoje, desenrola-se uma polêmica (e disputa) entre as abordagens realistas e antirrealistas do saber científico-social na qual está em xeque a capacidade de ter acesso às propriedades constitutivas da realidade externa. A posição realista, entre outros aspectos, apresenta a concepção de que existe um mundo exterior independente do observador e que, ainda assim, é possível conhecê-lo em suas estruturas e propriedades mesmo considerando os condicionantes sociais subsumidos na percepção¹⁴. É importante sublinhar que não se trata de uma contraposição entre a construção social da realidade e a realidade que independe desta construção. Para os autores que dialogam com as tensões entre realismo e antirrealismo, outras possibilidades de análise surgem, inclusive aquelas que operam com o princípio de simetria ao considerar os processos de coconstrução ou coconstituição.

Um aspecto fundamental do realismo crítico¹⁵ é que representa uma alternativa às abordagens positivistas e pós-modernas. A primeira, que tende a identificar o real com aquilo que podemos conhecer empiricamente; e a segunda, por concebê-lo como constructo social. Nas palavras de Hamlin:

A crítica de Bhaskar às filosofias dominantes deu origem a uma ontologia geral que define a realidade como algo diferenciado, estruturado e em constante mudança¹⁵⁽⁴⁷⁾.

Para uma aproximação do realismo crítico, torna-se necessário o conhecimento de alguns conceitos-chave e ideias desenvolvidos por Bhaskar^16,17. No caso da área de saúde, as indagações formuladas pelo autor são centrais: primeiro, por reivindicar uma ontologia estratificada da realidade; segundo, por apresentar uma visão crítica em relação às práticas sociais que se estuda, incluindo-se aí ciências sociais e outras teorias.

Realismo crítico e Roy Bhaskar

É importante trazer alguns conceitos desenvolvidos em ‘Philosophy and scientific realism’ e em ‘A realist theory of Science’. Como destacado por Bhaskar, qualquer filosofia da ciência deve encontrar uma maneira de manejar o paradoxo central da ciência, qual seja: os seres humanos em suas atividades sociais produzem um conhecimento que é um produto social como qualquer outro e que, portanto, dependente de sua produção e de quem o produz; esse é um dos lados do conhecimento segundo esse autor¹⁶. O outro lado refere-se ao conhecimento de coisas que não são produzidas pelos seres humanos.

Aqui encontramos uma divisão importante entre o que ‘independe’ da atividade humana (por exemplo, o vírus e outros exemplos advindos das ciências naturais) e se constitui em ‘objetos intransitivos do conhecimento’ e o que ‘depende’ da atividade humana e, por contraposição, configura os ‘objetos transitivos’. A estes, Bhaskar chama de ‘matérias bruta da ciência’: os fatos e as teorias, os paradigmas e os modelos, os métodos e as técnicas de investigação disponíveis em uma determinada escola científica¹⁶. Como sintetizado pelo autor: os objetos intransitivos são geralmente invariáveis em relação ao conhecimento que temos sobre eles e constituem, portanto, as coisas reais e as estruturas, os mecanismos e os processos, os eventos e as possibilidades do mundo e, na maior parte das vezes, são independentes de nós¹⁶.

No diagrama a seguir, uma síntese ilustra os domínios epistemológico (que diz respeito ao conhecimento) e ontológico (que diz respeito ao ser):

Figura 2
Diagrama síntese da realidade estratificada

Uma ‘filosofia adequada da ciência’ deve ser capaz de sustentar tanto o caráter social da ciência quanto a independência da ciência em relação aos objetos do pensamento científico. A ‘ciência da saúde’ (a biomedicina e a saúde coletiva, por exemplo), como qualquer objeto de conhecimento, também se constitui de objetos transitivos e intransitivos. O que chamamos de vírus e bactérias e seus efeitos sobre o corpo humano, por exemplo, independem do conhecimento que se tenha deles.

Outro aspecto importante no pensamento de Bhaskar refere-se à distinção que faz entre o realismo empírico, o idealismo transcendental e o realismo transcendental ou, como resume, as três tradições na filosofia (ocidental) da ciência. Como sintetizado por Sayer, os objetos do conhecimento não são nem fenômenos (empiricismo), nem constructos humanos impostos sobre o fenômeno (idealismo), mas, sim, estruturas reais que perseveram e operam independentemente de nosso conhecimento, nossa experiência e das condições que nos permitem acessá-las¹⁸. Sob a perspectiva do realismo transcendental, a ciência não é um epifenômeno da natureza, nem a natureza é um produto humano.

Somente o realismo transcendental pode sustentar a ideia de um mundo governado por leis que independem dos seres humanos, razão pela qual se torna necessário entender a ciência¹⁶. Para além das demais questões desenvolvidas por Bhaskar (e que não cabe nos deter em razão do escopo do ensaio), é importante sublinhar que, enquanto o realismo transcendental pergunta explicitamente “como o mundo deveria ser para que a ciência seja possível?”, a filosofia clássica pergunta “o que a ciência deve parecer ser para que o conhecimento por ela produzido seja justificado?”¹⁶⁽³²⁾. Para o autor, na segunda pergunta, pressupõe-se que o conhecimento seja justificado, e não visto como um ‘processo em movimento’.

Um dos aspectos problemáticos dessa visão foi caracterizado por Bhaskar como ‘falácia epistêmica’, isto é, a possibilidade de que as questões ontológicas (‘o que é isso?’) possam ser refeitas como se fossem questões epistemológicas (‘como conhecer isso?’)^16,19,20. Nas palavras de Vandenberghe^21(179):

Aqueles/as que confundem nosso conhecimento e modelos de realidade com a própria realidade cometem a falácia epistêmica. Como Kuhn, eles pensam que a cada mudança de paradigma o mundo também muda. O mundo é o que é. Não é, como se pensava Wittgenstein, a totalidade dos fatos, mas sim a totalidade das coisas complexas, os processos interativos e das relações estruturais com poderes causais.

Para Bhaskar, os vieses antropocêntrico e epistêmico da filosofia clássica levaram à dissolução do conceito de domínio ontológico e do qual necessitamos para tornar inteligível o processo transitivo da ciência. Um aspecto fundamental é, portanto, elaborado por Bhaskar, no sentido de reconstituir a dissolução da ontologia da ciência, tarefa essa que depende da filosofia da ciência. Na reconstituição dessa ontologia, as leis causais têm sido, nas palavras do autor, entidades misteriosas: “O que pode significar dizer que elas têm uma base real independente de eventos?”¹⁶⁽³³⁾. A resposta a esta pergunta necessita do desenvolvimento de uma ontologia não antropocêntrica de estruturas, de mecanismos gerativos e de coisas ativas.

No desenvolvimento dessa ontologia, é fundamental compreender que as leis não são declarações empíricas, mas, sim, afirmações sobre as formas de atividades características das coisas no mundo. Por esse motivo, faz distinção entre as estruturas reais e os mecanismos do mundo e os padrões vigentes de eventos que são produzidos¹⁶⁽³⁴⁾. Afirma que:

[...] o mundo consiste de mecanismos e não de eventos. Tais mecanismos se combinam para gerar o fluxo do fenômeno que constitui o estado vigente e acontecimentos do mundo. Eles podem ser ditos como reais, embora seja raro que eles verdadeiramente se manifestem e mais raro ainda que sejam empiricamente identificados pelos seres humanos. Eles são os objetos intransitivos da teoria científica. [tradução das autoras].

Também adiciona que “o mundo consiste de coisas, não de eventos”¹⁶⁽³⁷⁾ e que a maioria das coisas são objetos complexos uma vez que envolvem um conjunto de tendências, obrigações e poderes. A complexidade de tais objetos está diretamente relacionada com o componente experimental da ciência (em sistemas fechados e abertos) cuja plasticidade, como reiterado, não é dada: trata-se de um ‘desenho experimental’ que contém um trabalho teórico substancial. Como formulado pelo autor¹⁶:

[...] ao enfatizar o componente prático da atividade experimental, é importante não esquecer o lado teórico. Em um experimento os seres humanos formulam uma questão para a natureza. Mas eles a formulam em uma linguagem que a natureza entende, assim como de uma forma que torna possível uma resposta ambígua. [tradução das autoras].

Dois tipos de problema surgem da sua análise da atividade experimental. Primeiro, que muito do que conhecemos da ciência se procedeu como uma maneira de ‘pensamento’ ao invés de um experimento real. Em segundo lugar, em muitos outros campos da ciência (história, ciências sociais e até mesmo biologia), a atividade experimental é impossível no sentido de ‘experimentos mentais’.

Estruturas causais e mecanismos geradores da natureza podem existir e agir independentemente das condições que permitam aos seres humanos acessá-las. Por esse motivo, devem ser assumidas como estruturadas e intransitivas. Mecanismos, eventos e experiências constituem então três domínios superpostos da realidade, isto é, os domínios do real, do actual e do empírico. É importante lembrar, como sintetizado por Hamlin, que o domínio do empírico pode ser acessado a partir da observação direta (experiência), o do atual refere-se aos eventos que ocorrem na realidade, sejam eles percebidos ou não, e o do real inclui os mecanismos, isto é: “processos ou estruturas subjacentes que geram os eventos”²²⁽⁵⁵⁾.

Importa compreender como esses três domínios se superpõem, pois é a atividade da ciência que os torna assim possível. As experiências e os fatos que elas geram são produtos sociais e as conjunções de eventos que – quando apreendidas na experiência – fornecem as bases empíricas para as leis causais que são também produtos sociais¹⁶. Por serem produtos sociais, o que foi transformado por meio de treinamento científico não foi o conhecimento em si, mas, sim, os próprios seres humanos. Os poderes causais dizem respeito, portanto, aos seres humanos em sua capacidade de transformar o mundo natural do qual eles são parte. Contudo, como observou Bhaskar, o conceito de mundo empírico é antropocêntrico dado que o mundo é o que os humanos experimentam. Nesse sentido, os conceitos de ‘empírico’ e ‘sensação-experiência’ pertencem inequivocamente ao mundo social da ciência.

Pertencer ao mundo social da ciência significa dizer que as experiências são uma parte deste; e, quando colocadas no contexto da atividade social, adquirem uma parcela epistemologicamente crítica. Entretanto, como adverte, justamente porque são uma parte, as experiências não podem ser utilizadas para definir o mundo. Elas são o resultado de processos sociais de produção e constituem o final da jornada, e não o começo. Sob condições de produção artificialmente instituídas e controladas, é possível então ter acesso às estruturas ativas e permanentes que geram fenômenos no mundo. Por esse motivo, afirma que o realismo empírico depende de uma redução do real ao realizado e do realizado ao empírico e, por conseguinte, pressupõe um mundo fechado e uma ciência completa.

Como informado por Sayer²³, o realismo crítico é uma variante do realismo transcendental (filosofia da e para a ciência natural). No realismo transcendental (ou realismo crítico), as leis são categoricamente independentes dos seres humanos assim como os eventos o são de experiências. O conhecimento, as habilidades perceptivas e os poderes causais fazem parte do contexto social da ciência cujo curso está continuamente sendo estendido e para o qual não há limites a priori. Segundo essa perspectiva, para que ocorra essa extensão, a ciência é incompleta: algumas leis a qualquer momento são desconhecidas e não há necessidade que alguma lei particular exista.

O realismo crítico está relacionado com a ciência social crítica. Nesse caso, na dimensão intransitiva da ciência, encontram-se os fenômenos sociais, o que lança outros desafios. Sayer enfatiza que, no realismo crítico, o mundo independe de meus pensamentos sobre ele. Logo: “Quando as teorias mudam (dimensão transitiva), isto não significa que aquilo com que elas lidam (dimensão intransitiva) necessariamente muda”²³⁽⁸⁾. Por esse motivo, os cientistas sociais desempenham o papel de ‘interpretar’, e não o de ‘construir’ o mundo social²³. Por conseguinte, a “ontologia estratificada” ou a “ontologia realista”, nas palavras de Sayer²³⁽¹¹⁾:

[...] é o reconhecimento da possibilidade de que os poderes podem existir mesmo quando não exercidos, e, assim, que aquilo que aconteceu ou aquilo que se sabe ter acontecido, não exaure o que poderia ter acontecido ou tudo o que aconteceu. Na natureza dos objetos reais possibilita e apresenta, em um tempo dado, restrições àquilo que pode acontecer, mas não determina o que acontecerá [...] torna, portanto, possível compreender como nós poderíamos ser ou tornarmo-nos coisas que atualmente não somos.

Para Sayer, no realismo crítico ou transcendental:

o mundo tem profundidade ontológica: os eventos derivam da operação de mecanismos, que derivam das estruturas dos objetos, e estes localizam-se em contextos geo-históricos²³⁽¹⁵⁾.

Contudo, como os fenômenos sociais são “intrinsecamente significativos”, existe uma dimensão interpretativa ou hermenêutica na ciência social, ou “dupla hermenêutica”²³⁽¹⁸⁾. Esta é um fator distintivo das ciências sociais em relação às ciências naturais (uma única hermenêutica) uma vez que se faz necessário um trabalho interpretativo (pesquisador/pesquisado).

No entanto, como o realismo crítico propõe compreender os significados? De acordo com Sayer: “os significados relacionam-se a circunstâncias materiais e contextos práticos nos quais a comunicação ocorre e aos quais faz referência”²³⁽¹⁹⁾. Por isso a ênfase do autor, entre outros aspectos, na dimensão material, não discursiva, da vida social. Ainda que afirme a dimensão hermenêutica ou interpretativa das ciências sociais, busca explicações causais (no sentido de causação) para as mudanças materiais e toma como princípio que razões também podem ser causas que movem para ações: “ações pressupõem um conjunto já existente de estruturas que incluem sentidos compartilhados”²³⁽²⁰⁾.

Ademais, é importante lembrar que não é suficiente interpretar os significados subjetivos:

[...] muito do que acontece não corresponde à compreensão dos atores; existem consequências não-pretendidas e condições não reconhecidas, e as coisas podem ocorrer as pessoas independente de sua compreensão²³⁽²²⁾.

Nesse sentido, Sayer chama atenção para o risco do subjetivismo e do objetivismo ingênuos, uma vez que conhecimento e prática estão interligados, portanto, responder às questões empíricas pressupõe responder também às questões postas pelos conceitos usados para identificar os objetos.

Por fim, cabe lembrar, como destacado por Crotty²⁴, que os assuntos ontológicos e epistemológicos tendem a emergir juntos, motivo pelo qual tratar da construção do significado implica lidar com a construção de um significado de realidade. Para o autor, a existência de um mundo sem uma mente é considerável, mas não é o caso de um significado sem uma mente, razão pela qual se torna possível compatibilizar o realismo na ontologia e o construcionismo na epistemologia. Giddens e Sutton²⁵ indicam que o realismo crítico passou a ser visto como uma alternativa às abordagens do construcionismo social uma vez que concebe a produção de conhecimento em outras bases. Albert et al.²⁶ problematizam o entendimento dos domínios ontológicos e epistemológicos do realismo crítico ao observar que costumam ser ‘insuficientemente realistas sobre a epistemologia’ e propõem alternativas.

Em síntese, a partir da perspectiva do realismo crítico, algumas considerações se tornam fundamentais para o entendimento das ciências naturais e sociais e, especialmente para avaliação em saúde. Dentre essas, destacam-se: o mundo independe do conhecimento que temos dele (‘o mundo é o que é’); ele é estratificado e diferenciado (domínio do real, do actual e do empírico); consiste não somente de eventos, mas de objetos, incluindo-se aí estruturas que têm poderes e possibilidades de gerar eventos; os fenômenos sociais (ações, textos e instituições) são conceito-dependentes; a ciência e qualquer tipo de conhecimento são uma prática social; mecanismos e estruturas encontram-se em interação; as ciências sociais operam em uma dupla hermenêutica; a dimensão material (não discursiva) da vida social está para além do interpretacionismo.

Essas proposições dialogam com as abordagens da ‘avaliação baseada na teoria’ (e sua vertente da avaliação realista) e trazem desafios para o campo da saúde coletiva. Ao incorporar o realismo crítico, torna-se necessário o desenvolvimento de desenhos metodológicos (de pesquisas e de avaliações) que considerem as dimensões transitivas e intransitivas do conhecimento, bem como dos domínios ontológico e epistemológico. Dito de outro modo, a ênfase sobre a dimensão transitiva, muitas vezes, leva o debate da saúde coletiva a se prender sobre os modos de conhecimento sem, necessariamente, perguntar-se sobre os seus objetos e o que é este campo, quais seus limites e possibilidades. Por outro lado, distintas posturas ontológicas informam sobre a realidade e os modos de atuação na saúde a partir de diversos contextos sócio-históricos.

Realismo, realismo crítico e avaliação de programas em saúde

É possível afirmar que o realismo crítico tem influenciado o debate sobre a avaliação de programas por intermédio de autores como Pawson e Tilley que, mais de 20 anos atrás, propuseram a ‘avaliação realista’²⁷. A disseminação do realismo crítico, nos estudos sobre a saúde, deu-se mediante pesquisas em avaliação, podendo, portanto, ser ampliada. O realismo crítico, difundido por Bhaskar, passou a ser incorporado (direta e indiretamente) por um conjunto variado de autores que realizam pesquisa em avaliação e privilegiam um diálogo com as ciências sociais.

As pesquisas em avaliação percorreram uma trajetória marcada por diferentes e múltiplas abordagens; e, para alguns autores, a teoria ocupa um lugar central, o que torna possível relacionar a prática da avalição aos estudos em teoria social e filosofia da ciência. A teoria, entre esses autores, apresenta significados diversos, mas, em comum, reconhecem a importância de conhecer os modelos teóricos nos quais as pesquisas em avaliação se embasam. O lugar ocupado pela teoria é importante e diferencia esses autores, seja porque privilegiam a construção de modelos teóricos, seja por atribuir às teorias um elemento-chave no processo de avaliação. Os autores que propõem uma abordagem em avaliação que prioriza a teoria desenvolveram pesquisas que tomam como referência os programas e as políticas públicas. Ter como objeto de avaliação os programas exige uma pergunta investigativa sobre a natureza (ou framework) dos programas, o que requer conceituações e conhecimento sobre a concepção e execução de ações ou intervenções a serem implementadas em determinados contextos sociais.

A avaliação baseada na teoria, conforme diversos trabalhos^13,28-30, parte do estudo da ontologia dos programas. Essa perspectiva avaliativa reúne diferentes autores e se constitui em um amplo debate a partir de críticas e contribuições acumuladas nas últimas décadas. Abrange múltiplas nomenclaturas, contudo, a avaliação realista e a avaliação baseada na teoria não são sinônimos, mas estão imbricadas. Logo, diferentes denominações foram sendo adotadas, caracterizando-se, assim, por distintos enfoques. De acordo com a revisão sistemática realizada por Coryn et al.^31(201), o termo é adotado para:

designar estratégias ou enfoques que explicitamente integram ou usam os stakeholders, as ciências sociais, algum tipo de combinação de, ou outros tipos de teorias ao conceituar, desenhar, conduzir, interpretar e aplicar uma avaliação. [tradução das autoras].

É necessário um estudo mais aprofundado sobre a disseminação (ainda escassa) da avaliação baseada na teoria, na América Latina e no Brasil, para melhor compreender o diálogo entre os autores e as experiências avaliativas colocadas em prática. Estudos sobre promoção da saúde problematizam o modelo biomédico de produção de evidências, reúnem autores que dialogam com a avaliação baseada na teoria. Como destacado por Potvin e Chabot³²⁽³³⁾:

Tradicionalmente, a epidemiologia formou a base metodológica para a avaliação das intervenções em saúde pública. [...] Os processos sociais, no entanto, não fazem parte da mesma natureza dos comportamentos de risco. Eles somente adquirem e produzem significado em relação aos seus contextos espaciais e temporais. É essa rede de relacionamentos sociais que precisa ser capturada pela avaliação da promoção da saúde para, dessa forma, sair do domínio da epidemiologia clássica.

Em busca de superar esse domínio, estudos realizados por pesquisadores na América Latina^33-37 no âmbito da saúde pública/coletiva e da promoção da saúde têm chamado a atenção para importância da dimensão investigativa e da teoria que fundamenta a avaliação e, especialmente, para sua conversão em um aparato reflexivo.

Essa perspectiva de análise procura valorizar tanto padrões institucionais mais amplos como também as percepções, interesses e resistências de profissionais, técnicos e demais stakeholders. Parte da premissa de que existem discrepâncias entre o que foi previsto no desenho original do programa e as ações desenvolvidas no processo de implementação. Nessa direção, pretende explorar as relações entre modelos teóricos que estruturam os programas, as associações causais entre atividades, contextos e resultados previstos e imprevistos.

A avaliação orientada pela teoria do programa se justifica por vários aspectos, entre os quais se destacam dois elencados por Pawson³⁸: i) a avaliação pretende descobrir se os programas funcionam; e ii) os programas são teorias (teorias encarnadas). Por conseguinte, a avaliação é um teste da teoria (cf. Rein citado em Weiss³⁹) ou como informado por Pawson e Tilley^28(217): “os padrões de resultado são um teste da teoria”. Em outras palavras, todo programa traz em si uma teoria de como mudanças podem ser produzidas, teorias estas subjacentes às ideias dos planejadores de políticas públicas: “se nós providenciarmos os recursos para essas pessoas isso poderá mudar o comportamento delas?”^20(472). Esses recursos podem ser materiais, sociais, cognitivos ou até mesmo emocionais como lembram os autores.

Partindo da compreensão de que os programas sociais se inserem em uma teoria geral de mudanças dos sistemas sociais²⁸ e que os programas sociais são um caso específico de mudança, os formuladores de políticas também tentam ‘disparar’ uma série de mudanças. Ao conceberem um programa, o sucesso das iniciativas depende da extensão em que a teoria do programa foi capaz de prever e controlar a espiral interpretativa de ideias e condições sociais. Nesse sentido, um aspecto importante é considerar porque os programas sociais têm potencial para provocar mudanças.

Pawson e Tilley²⁸⁽⁵⁶⁾ lançaram as bases da então denominada avaliação realista e estavam, entre outros aspectos, fundamentalmente preocupados em explicar ‘como as coisas mudam’, o que requer uma grande guinada de pensamento sobre as prioridades explicativas e de revisão de como se organiza o trabalho empírico. Tomam como fundamentação teórica o realismo e assim o conceituam:

[...] um modelo de explicação científica que evita os polos epistemológicos tradicionais do positivismo e do relativismo. A principal característica do realismo é sua ênfase nos mecanismos de explicação, e sua tentativa de mostrar que o uso de estratégias explicativas pode levar a um corpo progressivo de conhecimento. [tradução das autoras].

Assumem o tom reconhecidamente polêmico que imprimiram ao livro ‘Realistic Evaluation’ que também consideram ser um manifesto que confere à avaliação um status científico. Chamam atenção para o quão recente é a prática de avaliação (década de 1960) e, ainda assim, com um arco bastante diversificado em termos dos desenhos que adquirem e suas taxonomias. No modelo construído pelos autores (avaliação realística), uma referência fundamental é o trabalho de Chen e Rossi, que cunharam o termo ‘avaliação orientada pela teoria’, mas não se trata aqui de uma teoria sociológica, mas da teoria per si ou as ‘distinções mundanas’ que são feitas e que conformam o conhecimento prévio das diversas circunstâncias que envolvem uma política pública²⁸.

Um aspecto central, inaugurado por Chen e Rossi (1981), foi a pergunta sobre ‘o que é um programa’ e, na busca por respondê-la, propõem sair da ‘caixa preta da avaliação’ restrita então à relação entre insumos e resultados dos programas. A ênfase sobre a pergunta de cunho ontológico (o que é um programa) ao invés de epistemológico (como conhecer um programa) leva os autores a importantes deslocamentos no âmbito da avaliação. Para respondê-la, pressupõem que há uma teoria subjacente a cada programa (os programas operam segundo algumas teorias acerca da realidade social), bem como os programas geram ou pretendem gerar mudanças. Nesse sentido, as ciências sociais são convocadas a contribuir para fundamentação teórica a fim de apoiar a compreensão dos processos pelos quais as mudanças são ou não alcançadas. Por esse motivo, o entendimento de cada contexto em que as mudanças ocorrem e sobre as quais os programas buscam intervir é imprescindível. Enfatizam, ainda, que existem mecanismos gerativos que são ativados em intervenções complexas que pretendem gerar mudanças.

Na avaliação realista, a perspectiva epistemológica (como conhecer) prioriza a explicação causal baseada em princípios gerativos (de mudanças) e supõe que as regularidades, nos padrões de atividades sociais, são trazidas por certos mecanismos constituídos por pessoas e pelos recursos que estas são capazes de mobilizar em contextos particulares e que, muitas vezes, independem delas. Cabe à pesquisa a tarefa de ‘testar as teorias’ de como os resultados do programa são gerados por mecanismos e contextos específicos, o que requer comparações inter e intraprogramas de modo a identificar quais configurações Contexto-Mecanismo-Resultado (CMR) são mais eficazes.

Os programas são vistos como uma tentativa de ‘conhecimento corporificado’ uma vez identificado ‘o que funciona, para quem e quais circunstâncias’²⁸. Segundo Pawson e Tilley, o conhecimento se dá de forma acumulativa, e, por sucessivas tentativas de intervenções dos programas, também é possível gerar conhecimento. Soma-se a esse conhecimento aquele produzido por pesquisas, fornecendo aos formuladores de políticas diferentes ‘famílias’ de teorias constituídas por distintas configurações Contexto-Mecanismo-Resultado. Acreditam que o conhecimento é produzido por um processo de ensino e aprendizado.

Sob essa perspectiva, amplia-se a necessidade de realizar avaliações que partem das problematizações acerca das evidências a serem geradas, bem como que produzam conhecimento³⁵. A avaliação baseada na teoria, ao privilegiar o estudo do contexto, nos quais as intervenções ou programas ocorrem, problematiza, por exemplo, a ideia de que as políticas de saúde possam ser descontextualizadas, verticalizadas, alheias às perspectivas dos múltiplos agentes. Soma-se a essa visão a de que as políticas de saúde tendem a ser intersetoriais, multifacetadas e englobam diferentes propósitos (individuais, coletivos, territoriais) de acordo com o contexto local. Nessa perspectiva, é crucial compreender a natureza dos desafios presentes em cada realidade. No contexto latino-americano e brasileiro, marcado por descontinuidade política, fragilidade institucional, baixo investimento em programas sociais, pobreza e violência, é inescapável a busca de aprimoramento das estratégias avaliativas a fim de subsidiar o processo decisório e garantir mudanças efetivas.

Conclusões

O realismo crítico de Bhaskar influenciou autores que se dedicaram aos estudos da avaliação ou, ao menos, tensionaram as possibilidades de correspondência entre a realidade e a teoria científica, no caso, entre a realidade social e as teorias sobre a saúde. As teorias científicas sobre a saúde (e o campo no qual se insere) informam sobre os programas e as políticas públicas. Sem compreendê-las, compromete-se a capacidade explicativa das avaliações em saúde.

O diálogo com o realismo crítico tanto contribui para análises em saúde⁴⁰ quanto também para outras áreas como a teoria social e a avaliação. No caso da saúde, é fundamental reconhecer a importância da pesquisa avaliativa para o aprimoramento do processo de implementação dos programas e o alcance de mudanças substantivas no perfil de equidade⁴¹. Também é fundamental compreender que os programas na área tendem a ser complexos e exigem o investimento na análise dos diferentes pontos de vista dos agentes sociais8. Nas abordagens da avaliação orientada pela teoria e na avaliação realista, outras perspectivas interpretativas em saúde são suscitadas ao romper com a postura positivista e idealista na ciência⁴². Ao reconstruir as teorias e as concepções que as fundamentam, confrontando-as com sua implementação a partir dos mecanismos gerativos (visíveis e invisíveis), enfrenta-se o desafio de produzir resultados contextualizados e informação relevante para a tomada de decisão.

O modelo da avaliação orientada pela teoria, independentemente de constituir-se ou não em um paradigma da avaliação, acolhe diferentes perspectivas, desde aquela originalmente fundamentada por Chen e Rossi até outras, como a avaliação realística (ou realista), como depois denominada por Pawson e Tilley. Brousselle e Buregeya⁴³, por outro percurso metodológico e argumentativo, advogam uma nova geração de avaliações constituída por avaliações baseadas na teoria e na qual o realismo crítico é central. Para as autoras, a nova geração (que inclui os enfoques da análise lógica, da avaliação realista e da contribution analysis) está fundamentada no paradigma do realismo crítico que articula uma ontologia realista, uma epistemologia relativista e uma rationality do julgamento.

Conceitos da teoria sociológica são apropriados de maneira indireta pelos autores do campo da saúde coletiva, cuja audiência é formada por profissionais das políticas públicas e, notadamente, pelos especialistas em avaliação, o que ajuda a entender por que a teoria social é apropriada de maneira particular. Ao tratar da teoria (ou teoria da teoria do programa/metateoria), a avaliação passa a ser vista como um empreendimento investigativo, científico e reflexivo. Assim, o programa não pode ser entendido em si mesmo e fora do contexto, motivo pelo qual o estudo de sua implementação é fundamental. Por fim, nos termos de Pawson^44(473): “avaliação é um teste da teoria”.

As maneiras como se concebem os programas em saúde pública dizem respeito a diferentes posturas ontológicas sobre a realidade³⁶. Para Potvin, Gendron e Bilodeau, uma concepção realista empírica, uma idealista e uma realista crítica resultam em distintos modos de analisar os programas de saúde e as situações problemáticas a que respondem. Sob esse aspecto, é possível perguntar como a ‘realidade’ deveria parecer ser para que um determinado problema fosse possível? Partindo de como ela deveria ser, os programas em saúde são concebidos e implementados e superpõe-se a eles os modos de analisá-los e avaliá-los, gerando assim determinados resultados segundo tais escolhas teóricas e metodológicas

A avaliação de programas, na área da saúde pública e da saúde coletiva, insere-se em contextos complexos e marcados por extremas desigualdades que impactam diretamente as condições de vida e de saúde das populações. Tais condições resultam de um mundo (ou realidade) que é estratificado, diferenciado e estruturado. A área da saúde coletiva enfeixa múltiplas tensões a partir de diferentes perspectivas teóricas que ora pendem para estudos da biomedicina, ora dele se afastam. A própria concepção sobre ‘saúde’ varia ao longo do tempo e de lugar para lugar, expressando disputas e controvérsias sobre a produção de conhecimento, incluindo-se aí a ciência. No âmbito deste debate constituinte da ‘saúde coletiva’, ganha relevância a reflexão sobre o alcance explicativo e os múltiplos sentidos das disciplinas das ciências sociais e humanas e, por conseguinte, das condições de possibilidade para a produção de conhecimento sobre o real a partir das dimensões biológica e social.

Agradecimentos

Ao Programa de Pós-Graduação Stricto Sensu em Saúde Pública (Escola Nacional de Saúde Pública Sergio Arouca/Fundação Oswaldo Cruz (Ensp/Fiocruz), pela seleção para a Oficina de Artigos (2018); a F. Vandenberghe (Instituto de Filosofia e Ciências Sociais/Universidade Federal do Rio de Janeiro) e ao Sociofilo, Co-Laboratório de Teoria Social pelos comentários à versão original.

• Suporte financeiro: não houve
• *
  Orcid (Open Researcher and Contributor ID).

Referências

• ¹
  Barnes M, Matka E, Sullivan H. Evidence, understanding and complexity: evaluation in non-linear systems. Eval. rev. 2003; 9(3):265-284.
• ²
  Magalhães R. Implementação de programas multiestratégicos: uma proposta de matriz avaliativa. Ciênc. Saúde Colet. 2014; 19(7):2115-2123.
• ³
  Chen H. Applications of theory-driven evaluations. In: Chen H. Theory-driven evaluations. Londres: Sage; 1990. p. 77-86.
• ⁴
  Barnard A. History and theory in Anthropology. United Kingdom: Cambridge University Press; 2000.
• ⁵
  Pawson R, Tilley N. Realistic evaluation. London; Thousand Oaks: Sage; 1997.
• ⁶
  Patton MQ. Evaluation focus options: developmental evaluation and other alternatives. In: MQ Patton. Utilization Focused Evaluation. 4. ed. USA: Londres: Sage; 2008. p. 271-305.
• ⁷
  Salazar L. Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas. Santiago (CL): Universidad del Valle; 2011.
• ⁸
  Magalhães R, Bodstein R. Avaliação de iniciativas e programas intersetoriais em saúde: desafios e aprendizados. Ciênc. Saúde Colet. 2009; 14(3):861-868.
• ⁹
  Eslava-Schmalbach J, Garzón-Orjuela N, Elias V, et al. Incorporación de equidad en salud en la investigación sobre implementación: revisión de los modelos conceptuales. Rev panam salud pública. 2017; 41(126):1-8.
• ¹⁰
  Hartz ZMA. Avaliação em saúde: dos modelos conceituais a prática na análise da implantacao de programas. Rio de Janeiro: Fiocruz; 1997.
• ¹¹
  Marchal B, Van Belle S, Van Olmen J, et al. Is realist evaluation keeping its promise? A review of published empirical studies in the field of health systems research. Eval rev. 2012; 18(2):192-212.
• ¹²
  Magalhães R. Avaliação da Política Nacional de Promoção da Saúde: perspectivas e desafios. Ciênc. Saúde Colet. 2016; 21(6):1767-1776.
• ¹³
  Chen H. Theory-driven evaluations. London (UK): SAGE Publications; 1990.
• ¹⁴
  Sell CE. Introdução. O que é a teoria social contemporânea? In: Sell CE, Martins CB, organizadores. Teoria sociológica contemporânea: autores e perspectivas. São Paulo: Annablume; 2017. p. 13-43.
• ¹⁵
  Hamlin CL. Realismo crítico. In: Sell CE, Martins CB, organizadores. Teoria sociológica contemporânea: autores e perspectivas. São Paulo, SP: Annablume; 2017. p. 48-74.
• ¹⁶
  Bhaskar R. Philosophy and scientific realism. In: Archer M, Bhaskar R, Collier A, et al. editores. Critical realism: essential readings. London; New York: Routledge; 1998. p. 16-47. [acesso em 2020 jan 23]. Disponível em: https://internationalcentreforcriticalrealism.files.wordpress.com/2013/04/archer-et-al_cr-essential-readings-1998-bhaskar-genl-intro.pdf
  » https://internationalcentreforcriticalrealism.files.wordpress.com/2013/04/archer-et-al_cr-essential-readings-1998-bhaskar-genl-intro.pdf
• ¹⁷
  Bhaskar R. Postscript to the second edition. In: Roy Bhaskar. A realist theory of science. London; New York: Routledge; 2008. p. 243-53.
• ¹⁸
  Sayer A. Características chave do realismo crítico na prática: um breve resumo. Estudos de Sociologia. Rev. do Programa de Pós-Graduação em Sociologia da Universidade Federal de Pernambuco. 2014; 6(2):7-32.
• ¹⁹
  Vandenberghe F. O maremoto do Realismo Crítico. Teor cult. 2014; 9(1):8-30.
• ²⁰
  Vandenberghe F. What's critical about critical realism? essays in reconstructive social theory. London; New York: Routledge; 2014.
• ²¹
  Vandenberghe F. Obituário Roy Bhaskar. Polif. 2016; 23(3):179-182.
• ²²
  Hamlin CL. Realismo crítico. In: Sell CE, Martins CB, organizadores. Teoria sociológica contemporânea: autores e perspectivas. São Paulo: Annablume; 2017. p. 48-74.
• ²³
  Sayer A. Características chave do realismo crítico na prática: um breve resumo. Estudos de Sociologia. Rev. do Programa de Pós-Graduação em Sociologia da Universidade Federal de Pernambuco. 2014; 6(2):7-32.
• ²⁴
  Crotty M. The foundations of social research: meaning and perspective in the research process. Thousand Oaks (CA): Sage Publications; 1998.
• ²⁵
  Giddens A, Sutton PW. Conceitos essenciais de sociologia. São Paulo: Unesp; 2016.
• ²⁶
  Albert K, Brundage JS, Sweet P, et al. Radicalizing epistemology in critical realism. XIX ISA World Congress of Sociology. Presentation, Toronto, Canada. 2018.
• ²⁷
  Jagosh J, Tilley N, Stern E. Realist evaluation at 25: Cumulating knowledge, advancing debates and innovating methods. Eval rev. 2016; 22(3):267-269.
• ²⁸
  Pawson R, Tilley N. Realistic evaluation. Thousand Oaks (CA): Sage Publications; 1997.
• ²⁹
  Potvin L, McQueen DV, Hall M. Health promotion evaluation practices in the Americas: values and research. New York: Springer; 2008.
• ³⁰
  Weiss CH, Weiss CH. Evaluation: methods for studying programs and policies. 2. ed. Upper Saddle River (NJ): Prentice Hall; 1998.
• ³¹
  Coryn CLS, Noakes LA, Westine CD, et al. A systematic review of theory-driven evaluation: practice from 1990 to 2009. American Journal of Evaluation. 2011; 32(2):199-226.
• ³²
  Potvin L, Chabot P. O esplendor e a miséria da epidemiologia na avaliação da promoção da saúde. In: Hartz Z, Potvin L, Bodstein R, orgnizadores. Avaliação em promoção da saúde: uma antologia comentada da parceria entre o Brasil e a cátedra de abordagens comunitárias e iniquidades em saúde (CACIS), da Universidade de Montreal de 2002 a 2012. Brasília, DF: CONASS; 2014. p. 23-37.
• ³³
  Magalhães R. Avaliação da Política Nacional de Promoção da Saúde: perspectivas e desafios. Ciênc. Saúde Colet. 2016; 21(6):1767-1776.
• ³⁴
  Magalhães R. Implementação de programas multiestratégicos: uma proposta de matriz avaliativa. Ciênc. Saúde Colet. 2014; 19(7):2115-2123.
• ³⁵
  Salazar L. Reflexiones y posiciones alrededor de la evaluación de intervenciones complejas. Santiago (CL): Universidad del Valle; 2011.
• ³⁶
  Potvin L, Gendron S, Bilodeau A. Três posturas ontológicas concernentes à natureza dos programas de saúde: implicações para a avalição. In: Bosi MLM, Mercado FJ, organizadores. Avaliação qualitativa de programas de saúde: enfoques emergentes. Petrópolis, RJ: Vozes; 2006. p. 65-86.
• ³⁷
  Souza LV, McNamee S, Santos MA. Avaliação como construção social: investigação apreciativa. Psicol Soc. 2010; 22(3):598-607.
• ³⁸
  Pawson R. Nothing as Practical as a Good Theory. Evaluation. 2003; 9:471-490.
• ³⁹
  Weiss CH. Understanding the program. In: Weiss Carol H. Evaluation: Methods for Studying Programs and Policies. 2. ed. United States: Prentice Hall; 1998, p. 46-71.
• ⁴⁰
  Roy Bhaskar, Danermark B. Metatheory, interdisciplinarity and disability research: a critical realist perspective. Scand J Disabilty Res. 2006; 8(4):278-297.
• ⁴¹
  Sridharan S, Zhao K, Nakaima A. Editors' Notes: New Dir Eval. 2017; (154):9-16.
• ⁴²
  Bodstein R. The complexity of the discussion on effectiveness and evidence in health promotion practices. IUHPE. 2007; 14(1):16-20.
• ⁴³
  Brousselle A, Buregeya JM. Theory-based evaluations: Framing the existence of a new theory in evaluation and the rise of the 5th generation. Eval. rev. 2018; 24(2):153-68.
• ⁴⁴
  Pawson R. Nothing as Practical as a Good Theory. Eval. rev. 2003; 9(4):471-490.

Datas de Publicação

• Publicação nesta coleção
  13 Jul 2020
• Data do Fascículo
  2019

Histórico

• Recebido
  14 Mar 2019
• Aceito
  31 Out 2019