Por um gesto de leitura materialista do discurso da avaliação em saúde: critérios e padrões

RESUMO

Este ensaio parte da inquietação epistemológica de avaliadores em saúde na busca por compreender os sentidos de sua prática profissional e suas formulações teóricas. Tal inquietação emerge a partir do estranhamento acumulado em anos de atuação no campo e um crescente questionamento, face à naturalização da relação entre os conceitos empregados na avaliação em saúde e suas implicações para a manutenção de relações de poder. Apresentamos, neste ensaio, uma proposta analítica para a compreensão dos conceitos mobilizados pela avaliação em saúde amparados pela Análise de Discurso de Michel Pêcheux, pela Filosofia Materialista de Louis Althusser e pela Epistemologia Histórica de Georges Canguilhem. Propomos um gesto de leitura materialista para a análise do discurso normatizado acerca do desenvolvimento da avaliação, buscando contribuir para a superação de leituras idealistas em torno de abordagens e padrões que se sucedem e são estabilizados enquanto verdades, com vistas a avançar para uma compreensão histórica. Compreender a formação do discurso conceitual em torno da prática social da avaliação em saúde no Brasil - e, assim, compreender o funcionamento ideológico de sua enunciação - pode nos auxiliar a aprofundar a análise acerca dos sentidos que operam na prática e na formulação deste espaço social.

PALAVRAS-CHAVE:
Avaliação em saúde; Saúde coletiva; Epistemologia; Discurso; História.

ABSTRACT

This essay is based on the epistemological concerns of health evaluators in their search to understand the meanings of their professional practice and their theoretical formulations. Such concerns emerge from the strangeness accumulated over years of work in the field and a growing questioning, given the naturalization of the relationship between the concepts used in health evaluation and their implications for the maintenance of power relations. In this essay, we present an analytical proposal for understanding the concepts mobilized by health evaluation supported by Michel Pêcheux’s Discourse Analysis, Louis Althusser’s Materialist Philosophy, and Georges Canguilhem’s Historical Epistemology. We propose a materialist reading approach for the analysis of the standardized discourse about the development of evaluation, seeking to contribute to overcoming idealistic readings around approaches and standards that succeed one another and are stabilized as truths, with a view to advancing towards a historical understanding. Understanding the formation of the conceptual discourse around the social practice of health evaluation in Brazil-and, thus, understanding the ideological functioning of its enunciation-can aid us to deepen the analysis of the meanings that operate in the practice and formulation of this social space.

KEYWORDS:
Health evaluation; Public health; Epistemology; Discourse; History.

Introdução

Este estudo surge a partir de questões e preocupações do grupo de pesquisadores e avaliadores do Laboratório de Estudos e Avaliação em Saúde (Aval-Lab), da Universidade Federal de São Paulo (Unifesp), ao longo de anos de atuação com o tema da avaliação. No decorrer dessa trajetória, vários esforços de análise sobre a própria avaliação em saúde como área de formulações e práticas foram empreendidos, a partir de diferentes olhares e práticas. Podemos citar a compreensão da avaliação enquanto dispositivo de mudanças institucionais por meio da abordagem construtivista¹, a abordagem sociológica das dinâmicas sociais e de poder envolvidas na emergência da avaliação em saúde no Brasil² e a análise sobre os fundamentos filosóficos e epistemológicos que embasam a prática de avaliação³. Trata-se, também, de área em que estamos implicados enquanto práticos, por meio da condução de avaliações de programas e serviços no interior do Sistema Único de Saúde (SUS)^4-8.

Especificamente, este estudo parte de um estranhamento das posições hegemônicas da avaliação em saúde em torno de suas práticas e conceitos mobilizados, cujos sentidos são tidos como transparentes, apresentando-se enquanto verdades a partir de enunciados que produzem um reconhecimento com efeito de evidência e, por isso, ideológico⁹. Tais posições compreendem o desenvolvimento da avaliação enquanto uma sucessão de abordagens metodológicas, enfoques privilegiados por avaliadores, cronologias de autores ou modelos que se sucedem em uma lógica linear de superação de abordagens anteriores, gerando uma profusão de classificações com pretensões teóricas e metodológicas para a prática da avaliação. Além disso, a avaliação tem sido caracterizada pela imposição de padrões e critérios que regulam o que seriam avaliações mais ou menos adequadas, normatizando condutas, tanto para as avaliações quanto para as meta-avaliações, ou avaliações das avaliações.

O objetivo deste ensaio é introduzir um gesto de leitura materialista, ou seja, uma forma de análise que considera o conhecimento enquanto processo histórico de produção, propondo que a própria história e a função social da avaliação sejam abordadas a partir das relações dialéticas e materiais que estabelecem em seus processos de produção, com base em determinações estruturais. Tal gesto é amparado pela teoria da Análise de Discurso elaborada por Michel Pêcheux e pela Epistemologia Histórica de Georges Canguilhem, além das formulações da Filosofia Materialista propostas pelo filósofo Louis Althusser. A combinação destas abordagens teóricas nos parece oferecer caminhos para a análise dos sentidos da avaliação em saúde na direção de uma reflexividade crítica que, em última instância, sirva ao objetivo de questionar relações materiais cujos sentidos são ideologicamente constituídos e produtores de assimetrias de poder, a partir da reprodução de conceitos que respondem a um determinado modelo hegemônico de sociedade.

A análise empregada neste ensaio se dá pela associação entre o problema, o objeto e o método empregado, e tal articulação tem se apresentado a nós como um processo de experimentação analítica que simultaneamente busca aplicar uma lente teórica a um objeto determinado e produz suas questões no decurso da investigação. Do ponto de vista da Análise de Discurso, compreende-se que as questões de investigação, ou aquelas do discurso, emergem em ato, durante o processo analítico, razão pela qual não se compreende a Análise de Discurso enquanto um método, de forma que novos caminhos, relações e contradições vão emergindo, sem necessariamente ter um ponto específico de partida e um ponto final de chegada. Isto equivale a afirmar que o entendimento do problema a ser analisado neste estudo surge justamente do aporte teórico aplicado sobre nosso objeto, buscando escapar da armadilha empirista⁹. Ou seja, o problema dos inventários normativos para a compreensão dos sentidos da avaliação em saúde emerge como tal somente em função da lente teórica que estabelecemos para compreender nosso próprio campo de atuação e elaborações: a Análise de Discurso, a Epistemologia Histórica e a Filosofia Materialista. Enquanto ensaio teórico, este estudo busca tensionar e provocar a expansão dos limites analíticos de nosso objeto, a partir de um caminho reflexivo e interpretativo, à luz de uma abordagem teórica explícita, cujas premissas e análises precisam ser coerentes, evitando subjetivações e o recurso a evidências anedóticas¹⁰.

Partindo da abordagem da Análise de Discurso, constituímos um arquivo - aqui entendido enquanto um conjunto de relações de sentido, que se dão a partir de suportes formais, como os do tipo textual, e não o conteúdo dos documentos em si mesmo^11,12 - formado por artigos, livros, teses, manuais orientativos para a prática e documentos de diretrizes profissionais da avaliação de programas. Tal conjunto é assumido, neste ensaio, como referência, constituindo a visão que tem se mostrado hegemônica para explicar o desenvolvimento da avaliação de programas e a orientação da prática tida como adequada. A partir disto, estabelecemos uma relação de entrechoque entre essa discursividade e nossa lente teórica da Análise de Discurso, da Epistemologia Histórica e dos aportes de uma Filosofia Materialista, propondo um gesto de leitura materialista que oriente futuras interpretações de sentido do discurso conceitual da avaliação e, mais especificamente, da avaliação em saúde.

Por um gesto de leitura materialista para análise dos conceitos em avaliação: articulação entre a Análise de Discurso e a Epistemologia Histórica

Como afirmou Sérgio Arouca em ‘O dilema preventivista’¹³, obra na qual o autor se ancora em Canguilhem para produzir uma das mais importantes bases teórico-conceituais do campo da saúde coletiva, o aporte de uma Epistemologia Histórica das ciências opera enquanto um dispositivo capaz de delimitar o ideológico nas práticas sociais, favorecendo, assim, uma prática teórica capaz de oferecer novos instrumentais analíticos para as práticas em saúde¹⁴, como é o caso da prática da avaliação.

Desse modo, compreendemos, a partir da Epistemologia Histórica, que a história de uma determinada disciplina científica (e aqui assumimos a avaliação como uma disciplina científica ou um saber com pretensões científicas)¹⁵ se dá pela compreensão do contexto conceitual e dos objetivos em torno dos quais se compõem seus efeitos de sentido. Ou seja, não nos parece suficiente, em um estudo que busca compreender os sentidos do discurso da avaliação, partirmos de uma conceitualização ampla e genérica, tal como aquela que entende a avaliação como uma prática sistemática que utiliza abordagens científicas para determinar mérito e valor, por meio do julgamento de uma intervenção social. Esta concepção amplamente aceita e replicada alhures, em diversas referências sobre o tema, nos parece mais provocar questionamentos - ou, até mesmo, apagamentos - do que esclarecer pressupostos.

Tomar um objeto de investigação como discurso significa compreender que a realidade material de um determinado objeto, em um dado contexto histórico, não se apresenta enquanto um fenômeno explicitamente visível e disponível ao olhar de um investigador¹². Tomar o objeto de investigação a partir de sua discursividade - em nosso caso, de sua discursividade textual - significa propor uma forma específica de ler, ver e ouvir, e, mais do que isso, uma forma específica de produzir conhecimento a partir dos enunciados que constituem relações de sentido.

Não se trata, portanto, de coletar dados dispostos na realidade como frutos já amadurecidos em uma plantação (como a própria palavra ‘coleta’, tomada como metáfora, pode sugerir), o que equivaleria à defesa de uma posição epistemológica empirista, que apartaria o sujeito conhecedor do objeto a ser conhecido¹⁶. Nossa postura nesta investigação - ou nosso gesto de leitura, em relação àquilo que produz efeitos de sentidos do discurso que queremos investigar - pressupõe que, ao abordarmos o discurso, estamos imersos em um processo de produção mais amplo, determinado, em última instância, por uma estrutura produtiva específica, no âmbito da sociedade de classes e suas disputas¹⁷, e sobredeterminada a partir das relações dialéticas que se estabelecem no bojo dos conflitos de classes sociais¹⁸.

O emprego da Epistemologia Histórica nos orienta a abordar os enunciados científicos a partir dos conceitos que sustentam suas práticas, compreendendo-os como ‘células de conhecimento’ - como cunhou Bachelard (cellules de savoir)¹⁹ - que constituem a ligação entre os enunciados universais (ou teorias) e a materialidade histórica, a qual possibilita aos cientistas formularem, designarem e constituírem os objetos que compõem a realidade. Por meio de uma filosofia da ciência que se estabelece contrária à Teoria do Conhecimento, a Epistemologia Histórica constitui o discurso científico - entendido enquanto conceitos em ação, sob regras - como o seu objeto ou, mais apropriadamente, a história desse discurso e, consequentemente, a sua historicidade²⁰. Em especial, referendamo-nos nos pressupostos sobre a história das ciências proposta por Canguilhem²¹, para quem não há ciência sem conceitos, e os conceitos são historicamente determinados. Isto é, um conceito não existe desde sempre, de forma imutável, mas sim emerge a partir de condições específicas e é reformulado, corrigido, refinado, ampliado, abandonado - poderíamos mesmo afirmar que os conceitos são historicamente disputados. Além disto, os conceitos estão imersos em relações com outros conceitos que lhes conferem sentido, de modo que o pesquisador precisa reconstituir a síntese na qual o conceito está inserido²⁰.

O conceito deve ser, ainda, compreendido por meio de sua relação com uma problemática, uma vez que a definição de um conceito é, também, a de um problema: é na relação entre problema e conceito que se encontra a condição de possibilidade de busca da cientificidade, razão pela qual os problemas a que um conceito foi chamado a responder são o que melhor podem dar corpo a seus sentidos²⁰.

Considerando que os conceitos designam, constituem, formulam e definem questões cruciais de uma área, tornando alguns problemas passíveis de abordagem pelo pensamento e outros mesmo impensáveis²², e levando em conta a pluralidade que marca as práticas da avaliação em saúde, reconhecemos a abordagem dos conceitos e sua função privilegiada na composição de uma área científica enquanto forma de viabilizar a compreensão das determinações discursivas que definem as problemáticas conceituais da avaliação em saúde. Nossa tomada de posição para leitura e análise de nosso objeto permite uma compreensão crítica acerca da relação estabelecida entre a prática da avaliação e suas abordagens específicas, a qual nos cabe aqui detalhar.

Nas formulações da avaliação de programas tradicional - termo que usamos para designar as produções advindas, sobretudo, do contexto estadunidense, ao longo do século XX, e que formaram as bases para a avaliação em saúde no interior da saúde coletiva brasileira² -, a prática genérica da avaliação adquire seus sentidos à medida que emergem as diferentes abordagens práticas e os problemas a elas relacionados, historicamente determinados, sempre estabelecendo uma relação de dependência de sentido com aquilo que melhor qualifica o foco, escopo ou objeto da avaliação. Tal relação entre as abordagens específicas e os problemas que subjazem sua emergência não aparece de forma explícita nos enunciados técnicos, científicos e normativos, cabendo ao analista remontar tais contextos a partir dos enunciados que constituem seus sentidos. Em outras palavras, as abordagens propostas para a avaliação e sua normatividade nos indicam os problemas aos quais os conceitos associados à avaliação foram mobilizados a responder, e não o contrário; e tal funcionamento não está explícito, mas é, antes, apagado na discursividade que confere linearidade e objetividade para o desenvolvimento da avaliação em torno de modelos e normas, e não de conceitos em funcionamento.

O que propomos neste ensaio é partirmos de uma posição de leitura que questiona a relação dada entre sujeito e objeto¹⁷, ou entre os chamados teóricos da avaliação^23,24, e as concepções sistematizadas acerca das abordagens praticadas e normas estabelecidas, implicando, assim, em um gesto de leitura materialista²⁵. Ao questionarmos o objeto deste discurso, as abordagens e normas de avaliação, e seu desenvolvimento a partir do acúmulo de produções que se sucedem de forma linear e progressiva, compreendemos a relação entre discurso e objeto, e não mais entre sujeito e objeto¹⁷.

É preciso, neste ponto, reconhecer o desafio intelectual dessa tomada de posição de leitura materialista, na medida em que o sujeito que analisa mantém uma relação intrínseca com seu objeto; no caso, o analista de discurso é, também, um avaliador de programas (e isto se aplica tanto para os autores dos textos que compõem nosso arquivo quanto aos próprios autores deste ensaio). Talvez esse fator tenha sido pouco refletido nas produções acerca do desenvolvimento da avaliação, o que é compreensível, dado que a posição idealista de investigação se caracteriza enquanto uma forma de funcionamento espontâneo da forma-sujeito, em que a relação entre sujeitos do conhecimento e objeto é tida como natural. Tal funcionamento leva à ilusão empirista de que os sujeitos são produtos de suas próprias concepções, logo, as abordagens em avaliação seriam concepções oriundas de sujeitos, e não determinadas historicamente por formações discursivas específicas¹⁷.

As leituras sobre avaliação por nós analisadas, que compõem a montagem de nosso arquivo²⁶, parecem incidir na definição de objetos já concebidos no arcabouço de suas próprias concepções e teorias explicativas, em um movimento endógeno, idealista. A esse respeito, foi em Pêcheux que encontramos a explicação desse funcionamento da ideologia, na reprodução do chamado ‘efeito-sujeito’, que auxilia na compreensão do problema em torno dos inventários e na ilusão idealista do sujeito como fonte do conhecimento, no seguinte trecho de ‘Semântica e Discurso’^25(149-150):

[....] o funcionamento da Ideologia em geral como interpelação dos indivíduos em sujeitos (e, especificamente, em sujeitos de seu discurso) se realiza através do complexo das formações ideológicas (e, especificamente, através do interdiscurso intrincado nesse complexo) e fornece ‘a cada sujeito’ sua “realidade”, enquanto sistema de evidências e de significações percebidas - aceitas - experimentadas. Ao dizer que o EGO, isto é, o imaginário no sujeito (lá onde se constitui para o sujeito a relação imaginária com a realidade), não pode reconhecer sua subordinação, seu assujeitamento ao Outro, ou ao Sujeito, já que essa subordinação-assujeitamento se realiza precisamente no sujeito sob a forma da autonomia, não estamos, pois, fazendo apelo a nenhuma transcendência (um Outro ou ao Sujeito reais); estamos simplesmente, retomando a designação que Lacan e Althusser - cada um a seu modo - deram (adotando deliberadamente as formas travestidas e fantasmagóricas inerentes à subjetividade) do processo natural e sócio-histórico pelo qual se constitui-reproduz o efeito-sujeito como interior sem exterior, e isso pela determinação do real (exterior), especificamente - acrescentaremos - do interdiscurso como real (exterior).

Mas cumpre, neste momento, esclarecer o que estamos chamando de um gesto de leitura materialista sobre as abordagens de avaliação de programas, foco central deste ensaio. Em suas notas introdutórias do livro ‘Ler o capital’¹⁷, Althusser se dedica a explicitar ao leitor de que forma irá se relacionar com a obra máxima de Marx, ou que tipo de leitura irá empreender. Althusser esclarece que seu gesto de leitura será por meio da lente da Filosofia Materialista, empregando o mesmo ‘veneno’ que Marx aplica a seu objeto na referida obra. Assim, diferentemente de uma leitura a partir da Economia, por exemplo, que buscaria, em ‘O Capital’, analisar e associar elementos internos da própria disciplina da Economia ou, até mesmo, a partir da perspectiva da disciplina da História - cuja análise levaria ao estabelecimento de relações históricas e da dinâmica dos objetos, compreendendo a lógica interna da História como campo do saber -, a leitura a partir da Filosofia questiona, de início, a relação - dada como transparente - entre sujeito e objeto de análise. Essa delimitação inicial em torno da elucidação da relação entre sujeito e objeto parte de uma negação da naturalização de que objeto e sujeito estão imbricados, o que seria o equivalente a dizer que os próprios sujeitos são fontes originais de seus objetos de conhecimento, ou que os sujeitos produzem seus próprios objetos do conhecimento¹⁷.

Para Pêcheux, um gesto de leitura representa um tipo de abordagem à leitura, a forma como será interpretado um determinado arquivo (inserido, em nosso caso, no discurso do tipo textual). Em seu texto ‘Ler o arquivo hoje’¹², Pêcheux apresenta o emprego de um determinado tipo de leitura de arquivo, começando pela identificação de duas culturas tradicionais que delimitam gestos de leitura específicos ao longo da história. A primeira delas é preocupada com uma leitura não implicada na produção de um conhecimento original, uma leitura classificatória e burocrática, tida como objetiva, que encontra na figura do escrivão ou do copista seus exemplos mais clássicos. Este gesto de leitura nos é muito familiar, pois representa a forma como o discurso científico tem, de maneira hegemônica, normatizado os gestos de leitura, como fica evidente, por exemplo, nas diversas técnicas estruturadas para a delimitação da leitura científica, como os protocolos de revisão sistemática, a bibliometria e as variações oriundas das análises de conteúdo (inscritas no espaço lógico-matemático). Aqui, não há brechas para um deslize da língua, de seus sentidos, das relações de ambiguidades, visto que justamente se busca controlar esse transbordamento de sentidos que escapam aos instrumentos ‘objetivos’ definidos para a leitura. Não por acaso, tal modelo tem sido visto como um limite para o desenvolvimento teórico da ciência, em um raciocínio que prioriza a ênfase descritiva dos objetos de investigação, na qual o objetivismo e o empirismo sobrepõem o papel da teoria na construção de um conhecimento original²⁷.

Pêcheux ainda apresenta um segundo gesto de leitura, a do tipo literária, uma maneira de ler que parte da individualidade do autor e estabelece uma forma específica de ler (‘singular e solitária’)¹². Compõem esta tradição de leitura os historiadores, os filósofos e as pessoas de letras, cujos debates e tensões não ultrapassam os limites disciplinares, conservando um gesto de leitura implícito. Aqui, ambos os gestos de leitura e, inclusive, as tensões entre elas partem da premissa de que os enunciados têm um significado dado, com sentidos transparentes. Se o primeiro gesto de leitura amparou o discurso científico e seus interesses próprios, o segundo define de forma normativa os sentidos da leitura, por meio do olhar de cada especialista, hermético às pressões e exigências contextuais. Para Pêcheux, uma leitura do discurso não assume que o óbvio está dado na língua, mas sim que os sentidos se constroem nas diversas possibilidades de relações entre os discursos, variando a partir da relação que cada sujeito do discurso estabelece¹².

O texto do autor francês, que nos empresta seu arcabouço teórico para o presente estudo, provoca e questiona a posição isolada de cada tipo de leitura e seus sujeitos (literatos e cientistas) frente a uma conjuntura que ameaça a própria concepção de memória, e impõe, cada vez mais, a normatização dos sentidos¹², talvez possa subsidiar nossa própria provocação aos cientistas e aos literatos da avaliação diante de ambos os gestos de leitura tradicionais.

Por um lado, gestos de leitura buscam, cada vez mais, normatizar e tornar linear o desenvolvimento do campo, em suas abordagens metodológicas e em sua padronização de termos e condutas, em prol da busca da cientificação e da profissionalização da avaliação, ainda que, como Patton, esta associação invoque a ‘luta contra as trevas’ que ameaçam o conhecimento²⁸. Estaria embutido em tal gesto de leitura - e produtor de sentidos - um esforço de dotar a prática social da avaliação de referenciais ‘cientificamente embasados’, com aportes teóricos que delimitam seus procedimentos, muito embora - é preciso dizer - este objetivo normativo não se sustente na prática, pois nem sempre a prática da avaliação se dá a partir de referenciais teórico-metodológicos consagrados, que estabeleceriam seu sentido imediato²⁹.

A prática da avaliação de programas no Brasil também se constitui enquanto uma prática profissional inserida em um mercado próprio de serviços, que tem buscado estabelecer parâmetros normativos para regular sua atuação, por diferentes grupos de interesses. Assim, além do discurso normativo em torno das abordagens em avaliação, cuja interface podemos afirmar, ter se dado com o campo acadêmico, há, ainda, disputas no campo da atuação profissional e interesses corporativos³⁰.

Ademais, por outro lado, caberia provocar um gesto de leitura que circunscrevesse a interpretação do campo da avaliação a si mesmo, por meio de seus intelectuais ou teóricos, isolando seu objeto do tecido histórico que determina e sobredetermina a produção de seus sentidos. Neste tipo de leitura, o contexto histórico costuma aparecer enquanto coadjuvante, como um cenário cujas mobílias ilustram narrativas de descobertas, insights e trajetórias individuais dotadas de especiais atributos pioneiros. É, como diz Pêcheux, no entremeio destas duas culturas do ler, destes dois gestos de leitura e suas formas específicas de se manifestar no interior do campo da avaliação, que buscamos nos posicionar.

Com isso, queremos defender uma posição de leitura que desnaturaliza a relação entre o sujeito e o objeto que produz um determinado conhecimento de seu próprio campo, compreendendo tal relação enquanto determinações de um processo discursivo.

O que essa tomada de posição acerca de nossa leitura (materialista) implica na forma como vamos nos relacionar com o nosso objeto de investigação, a avaliação e seus conceitos? Em primeiro lugar, estamos delimitando aquilo que Althusser¹⁷ chama de uma leitura com culpa, ou seja, uma leitura que admite a contestação do enunciado e sua forma, dado como conhecimento. Ao questionarmos os enunciados que buscam construir uma historicidade da avaliação, a partir de uma relação sujeito-objeto empirista, estamos partindo do pressuposto de que a avaliação é um tipo de prática social, o que implica compreender que, em última instância, são as relações de produção historicamente determinadas que lhe conferem sentido, e não os indivíduos praticantes isoladamente, visto que, em uma leitura materialista, os indivíduos são interpelados pela ideologia como sujeitos^16-18. Deste modo, mais do que uma sucessão de abordagens propostas e descobertas desenvolvidas ao longo da história por ‘teóricos’ e praticantes da avaliação, o que nos parece mais importante é compreendermos o contexto histórico e suas determinações para os conceitos da avaliação.

Ao questionarmos a leitura dos conceitos de avaliação como se estes fossem transparentes, como se toda a natureza do objeto se reduzisse à simples condição do dado, o que buscamos é escapar do “mito especular do conhecimento como visão de um objeto dado, ou leitura de um texto estabelecido, que são sempre a própria transparência”, como ensina Althusser¹⁷⁽¹⁸⁾ a respeito da perspectiva empirista. O conhecimento é produção porque ele tem a capacidade de transformação do objeto: o que os teóricos ou ‘inventariadores’ da avaliação deixam escapar em suas cronologias é que não há um objeto pré-existente, solto na história, a desenvolver-se em gerações³¹, ondas³² ou ramos de uma árvore²³, ou, ainda, um conjunto de padrões de qualidade para conduta profissional virtuoso por si mesmo, mas sim um objeto que este mesmo esforço de produção do conhecimento gera em sua própria operação de conhecimento.

Partimos do pressuposto de que tal contexto vale a pena ser relido e ter sua memória disputada, buscando compreender sentidos cuja transparência discursiva lhe confira status de memória estabelecida como verdade; uma compreensão que busque ir além da transparência dos discursos gerais sobre o tema, já escritos, lidos e falados, mas que podem conter interditos, não ditos, e condições históricas determinantes de sentidos ainda por elucidar.

O problema dos inventários de abordagens e padrões em torno da avaliação: cronologias e disputas entre profissionais e associações reguladoras da avaliação

Inventariar abordagens, campos e metodologias de avaliação já sistematizadas tem sido uma forma muito comum de organizar as diferentes produções desenvolvidas ao longo da história da avaliação de programas, a partir das fragmentações e definições de focos específicos. Tais inventários existem em abundância, e deles têm se servido autores e praticantes da avaliação, cuja necessidade de orientação prática - como modo de compreender diferentes formas de avaliar determinados objetos, produzindo, até mesmo, uma certa historicidade de seu desenvolvimento enquanto área profissional - tem sido comum.

É assim que Guba e Lincoln³¹ desenvolvem o que podemos chamar de uma cronologia metodológica geracional, no interior da qual grupos de avaliadores exercem suas práticas em função da ênfase em determinados objetivos das avaliações, em distintos espaços cronológicos. Os autores caracterizam as avaliações em função de determinados períodos, identificando um período cujo foco é a mensuração do desempenho observado nos programas, por meio da aplicação de testes e comparação normativa com padrões pré-estabelecidos (primeira geração); uma geração na qual a ênfase se dá na descrição pormenorizada de como os programas produzem ou não os resultados esperados (segunda geração); outra em que a preocupação está na prescrição, a partir de um julgamento, do desempenho dos programas em função do alcance de seus resultados (terceira geração); e, por fim, uma geração que se caracteriza por propor avaliações enquanto processos de negociação compostos por diferentes partes envolvidas com as intervenções e na interpretação de seus olhares sobre o objeto avaliado, de forma a investir em avaliações sensíveis às demandas de seus beneficiários e construtivas em relação à produção de informações e aprendizagem em seu processo (quarta geração). Esta última, como sabemos, constitui a própria proposição dos autores³¹, e podemos considerar que estaria hierarquicamente situada no topo das abordagens, como a avaliação de última geração, já que os autores situam as outras abordagens como gerações anteriores, sugerindo tacitamente uma escala evolutiva.

Poderíamos citar outras propostas de inventários para as abordagens em avaliação, como aquela formulada por Robert Stake³³, que apresenta sua análise a partir da polarização de autores e abordagens metodológicas privilegiadas, ou aquela de Marvin C. Alkin²³, que, em sua metafórica árvore da avaliação, delimita um conjunto de abordagens mediante a ênfase dada por avaliadores tidos como expoentes a características como valor, método e uso. Há, também, a vinculação estrita do histórico da avaliação a paradigmas e ideias de ‘teóricos’ da área, que equivalem percurso histórico a estágios de desenvolvimento teórico estanque e ligado a nomes e personalidades específicos, prescindindo do contexto sócio-histórico, a não ser como pano de fundo ilustrativo, como podemos ver em Shadish et al.²⁴.

As abordagens de avaliação também já foram inventariadas por Evert Vedung, a partir da metáfora de ondas³², em que quatro ondas se sobreporiam umas às outras, deixando sedimentos que influenciariam as avaliações ao longo do tempo: a onda científica, que marca o início das avaliações de programas no contexto das décadas de 1950 e 1960; a onda da avaliação orientada pelo diálogo, que marca uma crítica em relação ao modelo anterior, no início dos anos 1970; a onda neoliberal, que emerge no final da década de 1970 e marca uma pressão para orientar as avaliações à lógica de mercado; e a onda da avaliação baseada em evidências, a partir da metade da década de 1990, que, para o autor, é tida como uma retomada da tradição expressa na primeira onda.

Em um importante livro sobre avaliação traduzido para o português, Worthen, Sanders e Fitzpatrick³⁴ trazem um conjunto extenso de abordagens e procedimentos práticos, onde temos vários exemplos disso que vimos expondo: avaliações centradas em objetivos; avaliações centradas na administração; avaliações centradas nos consumidores; avaliações centradas em especialistas; avaliações centradas em adversários; e avaliações centradas nos participantes. No que concerne à avaliação em saúde, podemos citar inventários que definem tipos específicos de avaliações, como aquele organizado por Brousselle et al.³⁵: apreciação normativa; análise estratégica; análise lógica; análise de produção; análise de efeitos; avaliação econômica; e análise de implementação; e aqueles ainda propostos por Vieira-da-Silva, já no contexto de demandas e necessidades que emergem em sistemas de saúdes universais, como é o caso do Brasil³⁶: avaliações de cobertura, acesso, equidade, efetividade, eficiência, qualidade, implantação e percepção dos usuários. Mais recentemente, esforço semelhante foi feito por grupo de pesquisadoras avaliadoras em saúde, na proposição de modelos e métodos específicos para a prática da avaliação, com ênfase na abordagem centrada na teoria e modelização de intervenções³⁷. Podemos citar, também, a proposta desenvolvida por Russel Glasgow³⁸ para a avaliação do impacto, o modelo RE-AIM (sigla inglesa para os atributos componentes do modelo, quais sejam: reach, efficacy, adoption, implementation and maintanance), que traduzido e adaptado para o contexto brasileiro³⁹, se constitui por cinco dimensões: alcance, adoção, implementação, eficácia e manutenção.

A definição de padrões, critérios, atributos e dimensões para caracterizar a avaliação também tem servido para a sua própria normatização, ao definir focos prioritários de análise que, em última instância, representam conceitos cujos efeitos de sentidos são notáveis, mas não explicitados. É o caso, por exemplo, dos seis critérios de avaliação definidos pela Rede de Desenvolvimento em Avaliação (DAE, na sigla em inglês), da Organização para Cooperação e Desenvolvimento Econômico (OCDE): relevância, efetividade, impacto, coerência, eficiência e sustentabilidade⁴⁰. Há, também, o estabelecimento de padrões a serem seguidos nos processos de meta-avaliação, ou avaliação das avaliações e seus praticantes, que abarcam dimensões como conduta e postura dos avaliadores e conceitos a serem aplicados, como o proposto pelo Joint Committee on Standards for Educational Evaluation (JCSEE), uma associação de profissionais estadunidenses e canadenses com foco na qualidade das avaliações, adotando os seguintes padrões: utilidade, viabilidade, propriedade, precisão e responsabilidade⁴¹.

Nota-se que, associada à definição de critérios para a avaliação, a lógica em torno dos inventários avança, ainda, para a normatização das práticas profissionais em torno da própria avaliação, como já esboçado na proposta da JCSEE em outros documentos, que poderíamos chamar de regulatórios. A Associação Americana de Avaliação (AEA, na sigla em inglês) define um conjunto de princípios orientadores para a prática profissional de avaliadores, em torno de cinco dimensões: investigação sistemática, competência, integridade, respeito pelas pessoas, e bem comum e equidade (systematic inquiry, competence, integrity, respect for people, and common good and equity), cujos objetivos declarados são “reger o comportamento de avaliadores em todas as fases da avaliação”⁴². É o caso de produção feita no contexto da América Latina e do Caribe, por iniciativa da Rede de Monitoramento, Avaliação e Sistematização da América Latina e Caribe (ReLAC), que organiza em documento um conjunto de quatro diretrizes para a prática da avaliação: Rigorosidade, Ética e Princípios Jurídicos, Compreensão Cultural, e Relevância e Utilidade⁴³. Diretrizes para a prática da avaliação também foram desenvolvidas por rede que busca orientar e normatizar a atuação profissional de avaliadores no contexto brasileiro, sob o argumento de garantir sua qualidade, a Rede Brasileira de Monitoramento e Avaliação (RBMA), que estabelece os seguintes padrões: Aprendizagem e Utilidade, Direitos e Integridade, Contextualização e Valoração, e Método e Viabilidade⁴⁴.

Em todos esses exemplos de produções em torno de tipologias, abordagens, critérios, padrões e normas para as avaliações, temos uma relação de sentido que associa a avaliação a algum outro elemento qualificador, ou a outros - estes sim constituídos de formulações conceituais opacas, que merecem ser compreendidas, uma vez que são tais conceitos que fundamentam os sentidos mais gerais das diversas práticas avaliativas. O funcionamento discursivo de tais produções opera a partir de construções que buscam se apresentar entre as dimensões políticas e técnicas, exibindo-se enquanto dotadas de ampla aceitabilidade e inconteste relevância, sob o argumento de que a avaliação precisa atender a critérios de qualidade, como os mencionados acima.

O que essas formas de inventariado das abordagens em avaliação têm em comum, em termos de lógica de organização de seu raciocínio, é, em primeiro lugar - como identificam Furtado e Vieira-da-Silva⁴⁵, ao analisarem a cronologia metodológica geracional de Guba e Lincoln, mas que serve para outros atores que vimos citando -, o recurso a um artifício que confere linearidade e homogeneidade a uma leitura pretensamente histórica, como se as gerações se sucedessem sem conflitos, contradições ou apartadas de determinações históricas, o que se associa a uma forma tradicional de interpretação histórica das ciências⁴⁶. Em segundo lugar, observamos que essas propostas em torno de inventários cronológicos de abordagens em avaliação, cujas características metodológicas são imperativas para delimitar distinções, compartilham da ênfase nos autores e suas trajetórias individuais, suas capacidades inventivas e formulações que supostamente romperam paradigmas problemáticos, tidos como tradicionais, ultrapassados ou limitados.

Compreendemos que tal lógica empregada na literatura que vimos expondo busca sustentar um discurso racional para o desenvolvimento histórico da avaliação e, ainda que possamos apontar os méritos em sistematizar a profusão de aplicações que esta área tem acumulado ao longo dos anos, baseia-se em uma posição epistemológica em que opera uma primazia dos sujeitos enquanto produtores de suas práticas sociais. É assim que emerge, na literatura acima citada, a associação direta entre autores praticantes da avaliação e suas formulações metodológicas como um fluxo imaginativo capaz de colocar em movimento as engrenagens de uma área de práticas estabelecida e autônoma, na qual os sujeitos seriam a fonte de suas próprias formulações.

De forma semelhante, observamos, no conjunto de documentos que buscam normatizar a prática da avaliação - tanto em sua dimensão profissional enquanto serviço vendido no mercado de consultoria quanto naquela prática de pesquisa no interior de universidades e centros de pesquisa -, um conjunto de padrões que se apresentam como evidentes e inquestionáveis, justificando, assim, sua universalização (padronização). Neste tipo de discurso, é opaca a intencionalidade de associações e redes profissionais (e, até mesmo, de nações), bem como de organismos e instituições intra e transnacionais, ao determinar - a partir de suas posições privilegiadas - aquilo que deve ou não ser a norma para um campo de práticas tão plural e contextualmente diverso tal qual a avaliação, como já observado³⁰.

Diferentemente de tal lógica, e com base em uma concepção epistemológica histórica, parece-nos que a prática da avaliação de programas encontra, em seus objetos, em suas abordagens metodológicas privilegiadas, em aspectos específicos das intervenções que delimita para estabelecer seu foco, e nos tipos de condutas que define para seus praticantes, justamente as relações conceituais que lhe determinam os sentidos, e não na formulação de sujeitos. É na relação com o objeto e com as escolhas privilegiadas que podemos captar resquícios discursivos que revelam os atravessamentos de sentido, ou seja, é com a pluralidade de determinações possíveis que a avaliação começa a emergir, a partir de seus conceitos fundantes, ou melhor, dos problemas que justificam o desenvolvimento de seus conceitos. É neste apagamento do funcionamento dos conceitos, em detrimento dos sujeitos enquanto fontes de seus saberes e normas, que aportamos nosso gesto de leitura específico.

Considerações finais

Ao mobilizarmos a Análise de Discurso e a Epistemologia Histórica como pressupostos teóricos para abordar a avaliação de programas e serviços, a partir de suas formulações no contexto da program evaluation estadunidense - que, como dito, produz efeitos de sentido na avaliação em saúde no Brasil -, partimos do estranhamento àquilo que nos é mais familiar, pois se constitui enquanto nosso principal objeto de investigação e nossa própria prática profissional. Tal escolha exige um constante processo de reflexividade crítica e implicação analítica, precisamente por entendermos que não estamos alheios à armadilha idealista do sujeito enquanto produtor do conhecimento, como já discutido. Não se trata, também, de se colocar acima dos conflitos, dos interesses e da reprodução de possíveis apagamentos de sentidos que o funcionamento ideológico do discurso produz em todo e qualquer analista. O que buscamos aqui é justamente elucidar este funcionamento e propor gestos de leitura capazes de, se não superar, estranhar e desnaturalizar uma discursividade que se impõe como verdade, encobrindo outras determinações, no caminho de construir um conhecimento teórico.

Buscamos, neste ensaio, apresentar as bases teóricas e analíticas para uma primeira compreensão e crítica do discurso dominante da avaliação de programas e serviços que, por meio de sua documentação oficial, no que concerne a abordagens, métodos e modelos, e também a normas e padronizações aplicadas à prática profissional da avaliação em diferentes contextos, estabiliza um discurso e o torna opaco em suas intencionalidades e disputas históricas de sentido.

Em um última instância, trata-se de um primeiro esforço para romper a estabilidade discursiva de uma área cujos pressupostos e intencionalidades estão em constantes disputas e representam propostas distintas e, até mesmo, antagônicas de sociedade: a avaliação de programas e serviços, especificamente no setor de saúde, pode tanto produzir efeitos materiais que apoiem transformações sociais e fortaleçam as lutas por independência e protagonismo político e epistemológico quanto reproduzir sentidos conservadores, que visam manter as relações de poder tais como estão, fortalecendo privilégios.

O gesto de leitura materialista para Análise de Discurso da avaliação em saúde, sob a forma transversal que apresentamos neste ensaio, constitui o primeiro passo para compreender que tal discurso se orienta por meio do estabelecimento de conceitos que, por sua vez, aportam sentidos que merecem ser analisados. Por se tratar de uma área que lança mão de uma profusão de conceitos para estruturar seu discurso científico (métodos e abordagens) e político (normas e padrões de conduta), e as diversas imbricações entre estes, uma primeira aproximação mais geral nos pareceu necessária.

Seja por meio de uma construção discursiva que busca remontar uma história linear e dotada de objetividade, seja na definição de normas e padrões estabilizados, tidos como parâmetros para boas avaliações, o que vimos no discurso normatizado acerca da avaliação de programas - a partir de um gesto de leitura específico - foi uma tentativa de racionalizar a área, por meio de construções que tornariam invisíveis suas contradições. Em última instância, cronologias, inventários de abordagens e parametrizações de condutas não se apresentam como o resultado de arranjos e disputas materiais forjadas no interior da prática da avaliação, em suas relações com formações discursivas específicas, mas se impõem como força de verdade amparada pela lógica da tecnicidade e do desenvolvimento harmônico de abordagens e modelos de avaliação, ao longo do tempo. Os conceitos mobilizados não são tratados como históricos ou imersos em redes de outros conceitos significantes, que lhes conferem sentido material, mas antes enquanto proposições tidas como soluções técnicas mais arrojadas, a depender de cada contexto e intencionalidade da avaliação e de seus praticantes.

Cremos ser possível, a partir deste primeiro impulso, o mergulho em conceitos específicos, cujos sentidos merecem ser analisados e disputados, em um movimento de desestabilização e busca por sínteses explicativas, sempre transitórias e complexas, acerca das determinações e implicações ideológicas de tais conceitos para o discurso da avaliação em saúde no Brasil.

• Suporte financeiro: Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes)

Referências

• ¹
  Furtado JP. Um método construtivista para a avaliação em saúde. Ciênc saúde coletiva. 2001;6(1):165-181. DOI: https://doi.org/10.1590/S1413-81232001000100014
  » https://doi.org/10.1590/S1413-81232001000100014
• ²
  Furtado JP, Vieira-da-Silva LM. A avaliação de programas e serviços de saúde no Brasil enquanto espaço de saberes e práticas. Cad Saúde Pública. 2014;30(12):2643-2655. DOI: https://doi.org/10.1590/0102-311X00187113
  » https://doi.org/10.1590/0102-311X00187113
• ³
  Gasparini MFV. Bases filosóficas e epistemológicas da avaliação: caminhos a serem trilhados. Rev Aval [Internet]. 2020 [acesso em 2024 jan 10];3(17):12-31. Disponível em: http://periodicos.ufc.br/aval/article/view/60287/161879
  » http://periodicos.ufc.br/aval/article/view/60287/161879
• ⁴
  Gasparini MFV, Furtado JP. Longitudinalidade e integralidade no Programa Mais Médicos: um estudo avaliativo. Saúde debate. 2019;43(120):30-42. DOI: https://doi.org/10.1590/0103-1104201912002
  » https://doi.org/10.1590/0103-1104201912002
• ⁵
  Furtado JP. Avaliação da situação atual dos Serviços Residenciais Terapêuticos no SUS. Ciênc saúde coletiva. 2006;11(3):785-795. DOI: https://doi.org/10.1590/S1413-81232006000300026
  » https://doi.org/10.1590/S1413-81232006000300026
• ⁶
  Borysow IC, Furtado JP. Acesso, equidade e coesão social: avaliação de estratégias intersetoriais para a população em situação de rua. Rev Esc Enferm USP. 2014;48(6):1069-1076. DOI: https://doi.org/10.1590/S0080-623420140000700015
  » https://doi.org/10.1590/S0080-623420140000700015
• ⁷
  Iacabo P, Furtado JP. Núcleos de Apoio à Saúde da Família: análises estratégica e lógica. Saúde debate. 2020;44(126):666-677. DOI: https://doi.org/10.1590/0103-1104202012606
  » https://doi.org/10.1590/0103-1104202012606
• ⁸
  Carvalho AP, Furtado JP. Moradia assistida para pessoas em situação de rua no contexto da política de drogas brasileira: avaliação de implantação. Physis. 2021;31(1):e310116. DOI: https://doi.org/10.1590/S0103-73312021310116
  » https://doi.org/10.1590/S0103-73312021310116
• ⁹
  Althusser L. Sobre o trabalho teórico: dificuldades e recursos. In: Barison T, organizador. Teoria marxista e análise concreta: textos escolhidos de Louis Althusser e Étienne Balibar. São Paulo: Expressão Popular; 2009. p. 83-114.
• ¹⁰
  Meneghetti FK. O que é um Ensaio-Teórico? RAC. 2011;15(2):320-332. DOI: https://doi.org/10.1590/S1415-65552011000200010
  » https://doi.org/10.1590/S1415-65552011000200010
• ¹¹
  Barbosa Filho FR. Ler o arquivo em análise de discurso: observações sobre o alienismo brasileiro. Cad Est Ling. 2022;64:e022007. DOI: https://doi.org/10.20396/cel.v64i00.8664658
  » https://doi.org/10.20396/cel.v64i00.8664658
• ¹²
  Pêcheux M. Ler o arquivo hoje. In: Orlandi EP, organizador. Gestos de leitura: da história no discurso. Tradução: Bethânia S. C. Mariani. Campinas: Editora da Unicamp; 1994. p. 55-66.
• ¹³
  Arouca S. O dilema preventivista: contribuição para a compreensão e crítica da Medicina Preventiva. São Paulo, Rio de Janeiro: Ed. Unesp, Ed. Fiocruz; 2003. DOI: https://doi.org/10.7476/9788575416105
  » https://doi.org/10.7476/9788575416105
• ¹⁴
  Ayres JRCM. Georges Canguilhem e a construção do campo da saúde coletiva brasileira. Intell Rev Hist Intelec. 2016;2(1):139-155. DOI: https://doi.org/10.11606/issn.2447-9020.intelligere.2016.115732
  » https://doi.org/10.11606/issn.2447-9020.intelligere.2016.115732
• ¹⁵
  Narzetti C. Para uma história epistemológica do conceito de formação discursiva. Ling (Dis)curso. 2018;18(3):647-663. DOI: https://doi.org/10.1590/1982-4017-180311-12917
  » https://doi.org/10.1590/1982-4017-180311-12917
• ¹⁶
  Althusser L. Iniciação à filosofia para os não-filósofos. São Paulo: WMF Martins Fontes; 2019.
• ¹⁷
  Althusser L, Balibar E, Establet R. De o capital à filosofia de Marx. In: Althusser L, Balibar E, Establet R. Ler o Capital. Rio de Janeiro: Zahar editores, 1980. v. II. p. 11-74.
• ¹⁸
  Althusser L. Por Marx. Campinas, SP: Unicamp, 2015.
• ¹⁹
  Peña-Guzmán DM. French epistemology: discourse, concepts, and the norms of rationality. Stud Hist Philos Sci. 2020;79:68-76. DOI: https://doi.org/10.1016/j.shpsa.2019.01.006
  » https://doi.org/10.1016/j.shpsa.2019.01.006
• ²⁰
  Narzetti C. Para uma história epistemológica do conceito de formação discursiva. Ling (Dis)curso. 2018;18(3):647-663. DOI: https://doi.org/10.1590/1982-4017-180311-1291
  » https://doi.org/10.1590/1982-4017-180311-1291
• ²¹
  Canguilhem G. Estudos de história e filosofia das ciências: concernentes aos vivos e à vida. Rio de Janeiro: Forense Universitária; 2012.
• ²²
  Canguilhem G. O normal e o patológico. Rio de Janeiro: Forense Universitária; 2020.
• ²³
  Alkin MC, editor. Evaluation roots: tracing theorists’ view and influences. Thousand Oaks: Sage; 2004. DOI: http://doi.org/10.1177/1098214006287988
  » http://doi.org/10.1177/1098214006287988
• ²⁴
  Shadish WR, Cook TD, Leviton LC. Foundations of program evaluation: theories of practice. Newbury Park: Sage Publications; 1995.
• ²⁵
  Pêcheux M. Semântica e discurso: uma crítica à afirmação do óbvio. Tradução Eni Pulcinelli Orlandi. 5. ed. Campinas, SP: Editora da Unicamp; 2014.
• ²⁶
  Orlandi EP, organizador. Gestos de leitura: da história no discurso. Tradução: Bethânia S. C. Mariani. Campinas: Editora da Unicamp; 1994.
• ²⁷
  Faria JH. Foi e não se sabe se volta: o sumiço progressivo da teoria original. Rev Adm Contemp. 2023;27(1):e220065. DOI: https://doi.org/10.1590/1982-7849rac2022220065.por
  » https://doi.org/10.1590/1982-7849rac2022220065.por
• ²⁸
  Patton MQ. Evaluation Science. Am J Eval. 2018;39(2):183-200. DOI: https://doi.org/10.1177/1098214018763121
  » https://doi.org/10.1177/1098214018763121
• ²⁹
  Christie CA. What guides evaluation? A study of how evaluation practice maps onto evaluation theory. New Dir Eval [Internet]. 2003 [acesso em 2024 jan 10];(97):7-35. Disponível em: https://wmich.edu/sites/default/files/attachments/u58/2015/What_Guides_Evaluation.pdf
  » https://wmich.edu/sites/default/files/attachments/u58/2015/What_Guides_Evaluation.pdf
• ³⁰
  Furtado JP. Por uma meta-avaliação sem metafísica. Rev Bras Aval. 2022;11(2):e112022. DOI: http://dx.doi.org/10.4322/rbaval202211020
  » http://dx.doi.org/10.4322/rbaval202211020
• ³¹
  Guba EG, Lincoln YS. Avaliação de quarta geração. Campinas: Unicamp; 2011.
• ³²
  Vedung E. Four Waves of Evaluation Diffusion. Evaluation. 2010;16(3):263-277. DOI: https://doi.org/10.1177/1356389010372452
  » https://doi.org/10.1177/1356389010372452
• ³³
  Stake RE. Evaluación compreensiva y evaluación basada en estándares. Barcelona: Graó; 2006.
• ³⁴
  Worthen BR, Sanders JR, Fitzpatrick JL. Avaliação de programas: concepções e práticas. São Paulo: Gente; 2004.
• ³⁵
  Brousselle A, Champagne F, Contandriopoulos AP, et al., organizadores. Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz; 2011.
• ³⁶
  Vieira-da-Silva LM. Avaliação de políticas e programas de Saúde. Rio de Janeiro: Editora Fiocruz; 2014. 110 p.
• ³⁷
  Santos EM, Cardoso GCP, Oliveira EA. Aprendendo Avaliação: modelos e métodos aplicados. Rio de Janeiro: Cebes; 2023. DOI: https://doi.org/10.5935/978-65-87037-06-6.B001
  » https://doi.org/10.5935/978-65-87037-06-6.B001
• ³⁸
  Glasgow RE, Vogt TM, Boles SM. Evaluating the public health impact of health promotion interventions: the RE-AIM framework. Am J Public Health. 1999;89(9):1322-7. DOI: https://doi.org/10.2105/ajph.89.9.1322
  » https://doi.org/10.2105/ajph.89.9.1322
• ³⁹
  Almeida FA, Brito FA, Estabrooks PA. Modelo RE-AIM: Tradução e Adaptação cultural para o Brasil. REFACS. 2013;1(1):6-16. DOI: https://doi.org/10.18554/refacs.v1i1.602
  » https://doi.org/10.18554/refacs.v1i1.602
• ⁴⁰
  Organisation for Economic Cooperation and Development. Applying evaluation criteria thoughtfully. Paris: OECD Publishing; 2021. DOI: https://doi.org/10.1787/543e84ed-en
  » https://doi.org/10.1787/543e84ed-en
• ⁴¹
  Yarbrough DB, Shula LM, Hopson RK, et al. The Program Evaluation Standards: A guide for evaluators and evaluation users [Internet]. 3. ed. Thousand Oaks, CA: Corwin Press; 2010 [acesso em 2024 jan 10]. Disponível em: https://jcsee.org/program/
  » https://jcsee.org/program/
• ⁴²
  American Evaluation Association. American Evaluation Association: Guiding Principles for Evaluators [Internet]. Washington, DC: AEA; 2011 [acesso em 2023 jan 25]. Disponível em: https://www.eval.org/Portals/0/Docs/AEA_289398-18_GuidingPrinciples_Brochure_2.pdf
  » https://www.eval.org/Portals/0/Docs/AEA_289398-18_GuidingPrinciples_Brochure_2.pdf
• ⁴³
  Bilella PR, Martinic SV, Soberón LA, et al. Diretrizes para Avaliação para a América Latina e o Caribe [Internet]. Ciudad Autónoma de Buenos Aires: Akian Grafica Editora S.A; 2016 [acesso em 2024 jan 10]. Disponível em: https://www.deval.org/fileadmin/Redaktion/Bilder/2016_FINAL_ESTANDARES_DIGITAL_PORTUGUES.pdf
  » https://www.deval.org/fileadmin/Redaktion/Bilder/2016_FINAL_ESTANDARES_DIGITAL_PORTUGUES.pdf
• ⁴⁴
  Silva RR, Joppert MP, Gasparini MFV, organizadores. Diretrizes para a prática de avaliação no Brasil [Internet]. Rio de Janeiro: Rede Brasileira de Monitoramento e Avaliação; 2020 [acesso em 2024 jan 10]. Disponível em: https://sinapse.gife.org.br/download/diretrizes-para-pratica-de-avaliacoes-no-brasil
  » https://sinapse.gife.org.br/download/diretrizes-para-pratica-de-avaliacoes-no-brasil
• ⁴⁵
  Furtado JP, Vieira-da-Silva LM. A avaliação de programas e serviços de saúde no Brasil enquanto espaço de saberes e práticas. Cad Saúde Pública. 2014;30(12):2643-2655. DOI: https://doi.org/10.1590/0102-311X00187113
  » https://doi.org/10.1590/0102-311X00187113
• ⁴⁶
  Althusser L. Apresentação. In: Canguilhem G. O normal e o patológico. Rio de Janeiro: Forense Universitária; 2020. p. 137-139.

Editado por

Editora responsável:

Lenaura de Vasconcelos Costa Lobato

Datas de Publicação

• Publicação nesta coleção
  11 Nov 2024
• Data do Fascículo
  Jul-Sep 2024

Histórico

• Recebido
  15 Jan 2024
• Aceito
  10 Jun 2024