Avaliação dos Programas de Saúde: A Eficiência em Questão¹

Resumos

Considerando a importância estratégica dos Programas de Saúde para as desejáveis mudanças preconizadas pelas reformas sanitárias em diferentes países, apresenta-se uma revisão da recente bibliografia acerca desta temática do ponto de vista da pesquisa avaliativa. Inicialmente, defende-se a pertinência da questão, na perspectiva do Sistema Único de Saúde (SUS), seguido de algumas pontuações metodológicas. A partir daí, discutem-se vantagens e limitações de algumas modalidades de estudos de eficiência. Os problemas mais comuns para medir os custo e a eficácia são ressaltados e uma abordagem interdisciplinar envolvendo a Epidemiologia e a Economia é recomendada para minimizar ou prevenir vieses. Sugere-se, então, uma classificação de prioridades para estudos de custo-efetividade no Brasil, ilustrando-a com alguns exemplos. Finalmente, salientam-se os problemas políticos implicados no uso e abuso dos resultados de uma avaliação dos Programas de Saúde.

Avaliação dos Programas de Saúde; Eficiência dos Sistemas de Saúde; Análise custo-efetividade; Pesquisa avaliativa

Health program's efficiency is very important for changes suggested by Health Systems reforms. In the present paper we make a review of recent literature on this subject, from the point of view of evaluative research. We discuss some methodological considerations: concepts and concerns about the validity of measures and research designs. The advantages and constraints of four types of efficiency studies are discussed: costs minimizing, cost-benefit analysis, cost-efficacy/effectiveness analysis, and cost-utility analysis. Problems most commonly found in measuring costs and effects are addressed, and an interdisciplinary approach of Epidemiology and Economics is recommended for minimizing or preventing biases. In the third part, a set for classifying priorities in cost-effectiveness studies in Brazil is suggested, adding some practical examples. Finally, a warning is made about political problems involved in the (mis)use of evaluation results.

Health Programs evaluation; Efficiency in the Health Systems; Cost-effectiveness analysis; Evaluative research

Introdução

Discutir sobre avaliação de eficiência, no momento de implementação do Sistema Único de Saúde (SUS), obriga-nos a justificar a escolha do tema e a proceder a algumas precisões conceituais. Nos últimos anos, na literatura científica nacional, a questão da avaliação dos programas e serviços de saúde vem sendo abordada por diversos autores (Silver, 1992; Hartz, 1993;Silva et al., 1994;Nemes, 1995; Camacho et al., 1996; Stenzel, 1996), mas a análise dos custos e dos efeitos não tem sido contemplada no âmbito dos referidos estudos. Esta lacuna na produção de conhecimento, que implica a inclusão das técnicas de análise de custeio, é igualmente percebida pelos economistas de saúde (Ugá, 1994). Como explicar tal problema: falta de pertinência da questão no contexto brasileiro ou dificuldades metodológicas que reduziriam o interesse dos pesquisadores neste campo?

O presente trabalho tem como objetivo tentar responder a essa dupla indagação, explorando algumas pistas na bibliografia que vem dando suporte às nossas experiências pessoais na área de avaliação epidemiológica e econômica das intervenções de saúde, construindo uma reflexão comum, coerente com sua natureza interdisciplinar. A função do instrumental da Epidemiologia e da Economia é sintetizada por Lily Moto (1995) - a Epidemiologia permite apreender melhor o peso da doença para a coletividade e sua gravidade para os indivíduos em termos de freqüência; os critérios econômicos vão além da eficácia experimental, buscando o máximo de rendimento para a saúde nas estratégias empregadas.

Esta reflexão abrangerá as modalidades de estudo que visam uma avaliação de eficiência, a medida dos indicadores epidemiológicos e dos custos que lhes são associados, bem como as vantagens e as dificuldades deste tipo de investigação. É preciso esclarecer que, ao focalizarmos as ações programáticas em saúde, não estamos nos referindo a um modelo de organização vertical das intervenções, mas sim nos posicionando no espaço das práticas que superam as tradicionais dicotomias do preventivo/curativo, individual/coletivo, condição indispensável aos princípios de integralidade e hierarquização da atenção preconizada pela reforma sanitária.

A avaliação de programas permite incorporar as dimensões da garantia de qualidade dos serviços na perspectiva das bases populacionais às quais se dirige (Clemenhagen & Champagne, 1986), em uma integração sanitária na qual a utilização dos modelos da clínica e da saúde pública não são antagônicos mas circunstanciais (Souza Campos, apud Stenzel, 1996). Em suma, tal processo avaliativo pode abranger as ações dos diferentes serviços públicos ou privados, que o marco legal define como de relevância pública (Brasil, 1996), e que devem ter seus objetivos e práticas articulados de modo coerente com as diretrizes políticas do SUS. O programa se torna, em última instância, um suporte operacional para a análise das políticas públicas (Hartz & Camacho, 1996).

Pertinência na Perspectiva do SUS

Para Smith (1992), a preocupação com a eficiência tem origem na década de 60 com o modelo americano de gestão PPBS(Planning Programming Budgeting System), cujos componentes de base, que permanecem consensuais em qualquer contexto de planejamento, são: especificação de objetivos; definição e mensuração dos resultados desejados; identificação e medida dos custos; revisão de abordagens alternativas frente aos objetivos programados; estabelecimento de parâmetros para os programas de governo. Nestes últimos estariam qualificados os campos em que o governo intervém por considerar insuficiente a ação da iniciativa privada ou para favorecer a eqüidade pelo caráter redistributivo da alocação diferencial de alguns recursos entre indivíduos ou regiões.

Sem que seja necessário recorrer exaustivamente à literatura internacional sobre o tema, a pertinência do desenvolvimento desta área nos parece inerente à qualquer Sistema Nacional de Saúde fundamentado na solidariedade entre sadios e doentes, ricos e pobres, cujo financiamento tem como base o recolhimento de impostos ao tesouro público. É então legítimo e desejável promover a eficiência das práticas públicas que resultam desta solidariedade, em que o estabelecimento de prioridades se impõe para os serviços e bens a serem disponibilizados (Pouvourville, 1995b).

Nos países em desenvolvimento, os estudo econômicos, ainda que incipientes e raramente comparativos quanto às alternativas programáticas, têm o mérito de introduzir o problema de affordability, gravemente negligenciado (Mills, 1985). Brunet-Jailly (1997) defende a análise da eficiência como uma dimensão ética indispensável, cuja omissão tem sido tradicionalmente dissimulada, opondo-se teoria de justiça e teoria econômica com o propósito de não enfrentar a realidade desafiadora dos parcos recursos. O autor relata, como exemplo, a adoção de um "pacote mínimo" ou "assistência limitada" nos países que, dispondo apenas de US$12,00 por habitante para as despesas de saúde, se vêem obrigados a "se contentar em fornecer apenas diagnósticos, conselhos e alívio da dor"para um grande número de problemas de saúde. Esta restrição é imposta para que se possa propiciar - à totalidade da população - atenção ao pré-natal e parto, quimioterapia da tuberculose, assistência médica à criança doente e controle de doenças sexualmente transmissíveis, entre outros serviços. Um outro argumento indispensável, ao justificar uma avaliação de eficiência nos países em desenvolvimento, é o de que este processo de racionalização não pode ser confundido com racionamento de despesas; devendo sim ser entendido como um forte argumento contra o subfinanciamento de algumas ações, com base na importância de seus efeitos.

No caso da Reforma Sanitária brasileira, Stenzel (1996), realizando uma apreciação sumária de sua Lei Orgânica, detecta que quase metade dos incisos, nas atribuições diretivas do SUS (art. 15 a 18), se relacionam à avaliação técnico-financeira, fato que deve impulsionar o desenvolvimento deste campo da pesquisa avaliativa no Brasil. Além disso, o texto legal explicita a necessidade de utilização da Epidemiologia para o estabelecimento de prioridades, a orientação programática e a alocação de recursos. A busca de modos de financiamento diversificado de apoio aos programas, em coerência com o perfil epidemiológico, recomenda o aporte da avaliação econômica quanto à decisão dos que serão favorecidos. A análise dos indicadores epidemiológicos, associados aos efeitos esperados das intervenções naquele contexto, evitaria que fosse superestimada a necessidade de recursos para algumas áreas em detrimento de outras com maior número de fatores de risco e, eventualmente, com serviços de saúde mais eficazes (Hauet, 1996). Além de pertinente, a eficiência pode assim contribuir para a maior eqüidade e credibilidade do sistema, devendo ser vista como uma aliada na luta dos que estão empenhados em "credenciar o setor saúde a recuperar o apoio da opinião pública na reivindicação por mais verbas. Esse apoio é indispensável, até porque é desse bolso que saem os recursos públicos" (Silva Jr., 1995:7).

Precauções na Pesquisa Avaliativa

A eficiência ou rendimento de uma intervenção, que procura relacionar os recursos empregados com os efeitos obtidos, constitui uma modalidade de pesquisa avaliativa. Processo esse que consiste aqui em estabelecer um julgamento ex-postde uma intervenção utilizando métodos científicos, geralmente, com o objetivo de ajudar na tomada de decisões (Contandriopoulos et al., 1997). A avaliação da eficiência se faz geralmente com a ajuda dos estudos de minimização dos custos, custo/benefício, custo/eficácia ou custo/utilidade(Drummond & Stoddart, 1985). Examinaremos, a seguir, os seus princípios, indispensáveis para a continuidade de nossa reflexão.

Os estudos de minimização dos custos são recomendados quando os resultados de morbi-mortalidade ou de qualidade de vida esperados são exatamente os mesmos a partir de iniciativas distintas. Como exemplo, pode-se citar a escolha entre diferentes estratégias que tomam por base o custo por unidade de serviço produzido ou paciente coberto.

Os estudos custo-benefício visam a comparar as vantagens de investir os benefícios em ações de saúde, devendo, portanto, ser traduzidos em valores monetários (Watson, 1997). Tais pesquisas têm contribuído para melhorar a qualidade dos investimentos públicos em geral e têm como um dos marcos de referência a construção do metrô londrino. Cook (1990) chegou mesmo a propor sua universalização para qualquer programa governamental, mas cabe observar que eles podem dar origem a sérias discordâncias, como na comparação de duas avaliações de um mesmo programa com uma razão benefício-custo variando de 1,1 a 6,7, divergindo consideravelmente sobre o valor da intervenção (Corbeil & McQueen, 1991).

No âmbito da saúde, estes estudos têm sido bastante utilizados para estimar benefícios econômicos resultantes da prevenção de doenças com a introdução de vacinas, como no caso da recente discussão acerca da prevenção da gripe (Helliwell & Drummond, 1988). Por outro lado, eles têm-se mostrado limitados quando se trata de maximizar ganhos econômicos, estimando-se o valor da vida como capital humano ou potencial de produção. É o queEvans (1984) denomina Eskimo economics: em caso de rarefação de recursos que ameace a sobrevivência da comunidade, a população idosa deve ser sacrificada seguindo-se a de crianças e mulheres e depois os homens, os mais fortes seriam deixados por último porque teriam mais chance de conseguir alimento. Nesse caso, seria caricatural mas não ilógico que um programa de eutanásia - não só para os pacientes terminais, mas para todos os improdutivos, inclusive aposentados - representasse o de melhor custo-benefício do ponto de vista da saúde pública. Nossa sociedade não adota esta cultura de sobrevivência, e, como lembra o autor, é emblemático que nos salva-vidas esteja escrito "Women and children first".

Os estudos custo-eficácia estabelecem também uma relação entre os custos das ações de saúde e seus benefícios. Entretanto, apresentam maior flexibilidade, pois, embora exigindo a quantificação dos indicadores de resultado em termos de estado de saúde ou sobrevida, dispensam a conversão monetária. Tais pesquisas vinham sendo objeto de críticas por privilegiarem o uso de indicadores clínicos do estado de saúde, tidos como objetivos, sem levar em conta resultados subjetivos (Pouvourville, 1995b). Em resposta a essas críticas, têm surgido instrumentos que permitiriam medir a qualidade (ou não) de vida (QALY - Quality Adjusted Life Years) decorrentes das intervenções de saúde discriminadas pelas diferentes patologias. Desse modo, obter-se-ia um indicador tradicional, como o custo por ano de vida ganho, ponderado pela qualidade da sobrevida, sendo esta última representada pelas dimensões de autonomia e/ou bem-estar físico referidas em inquéritos específicos.

Apesar dos avanços obtidos com os novos instrumentos, estes continuam sob avaliação, como se constata nas comunicações de Siegelet al. (1996) ou Simeoni et al. (1996).

Além disso, não eliminam o viés sistemático que desfavorece as pessoas idosas com esperanças de vida mais curtas e menor autonomia (Pouvourville, 1995a). O mesmo viés permanece quando se privilegia o número de anos de vida perdidos em relação ao número de óbitos por patologia (Pineault & Goulet, 1996). De qualquer modo, o conceito subjacente predominante é o de óbitos evitáveis, como no estudo divulgado pela American Public Health Association (APHA) em 1994, em que se questionam algumas estratégias de prevenção do câncer estimadas a U$ 750,000.00 por óbito evitado, em média.

No caso das ações programáticas, devemos estender o conceito de eficácia e falar deefetividade ou eficácia epidemiological a influência da implantação da intervenção técnica considerada sobre o conjunto da população a risco, medida pelo total de casos curados ou evitados, o que depende não apenas da competência profissional mas de sua aceitabilidade e acessibilidade na população-alvo (Brunet-Jailly, 1989). Aanálise custo-efetividade, incorporada pela técnicaBasic Assessment Schema for Interventions Costs and Consequences methodology (BASICC), testada e recomendada pelos CDC - Centers for Disease Control -, nos parece a mais adequada, incorporando os princípios da medicina baseada em evidências científicas para programas de saúde pública (Gorski & Teutsch, 1995; Haddix et al.,1996; Teutsch, 1997). Tal tipo de análise é desejável quando se necessita (Haddix & Shaffer 1996): (1) prover um suporte empírico para estratégias previamente subfinanciadas; (2) comparar alternativas de intervenção com objetivos idênticos; (3) escolher o melhor método de intervenção para uma população específica; e (4) identificar práticas que não devem ser mantidas.

Os estudos custo-utilidade se situam no quadro teórico de uma "economia do bem-estar", mas sabe-se que em saúde a racionalidade de escolha do usuário, apoiada na lógica do "mercado perfeito", não funciona. Recorre-se então aos métodos de explicitação da preferência dos indivíduos, tomando a otimização da alocação de recursos como proxi da maximização do bem-estar. Independentemente de uma definição precisa de utilidade, tem-se a "qualidade de vida" como conceito subjacente para revelar as preferências entre as probabilidades de viver mais ou de viver melhor, qualquer que seja a técnica utilizada.

A análise custo-utilidade pode também ser definida como aquela em que os resultados são medidos em termos de seu valor social (Jenicek, 1995). As dificuldades aumentam no momento de tentar construir umafunção coletiva de utilidade, seja na perspectiva de tentar atingir unanimidade, usando a média das preferências individuais, seja na de garantir eqüidade, quando se parte da percepção de uma amostra considerada como representativa da população (usuários e excluídos). Os inúmeros métodos de agregação sugeridos constituem por si só um indicativo da ausência de resposta unívoca (Lily Moto, 1995), o que talvez obrigue a limitar tais pretensões, passando-se a utilizá-la apenas como uma abordagem participativa em processo decisório, após uma análise prévia de custo efetividade com resultados similares ou conflitivos (Aguilar & Ander-Egg, 1994). Permanece a questão de representatividade dos "escolhidos", nesta passagem do julgamento individual à ordem coletiva das preferências em que o maior mérito reside na tomada de precauções para uma maior visibilidade deste processo.

Medindo Custos e Conseqüências

Qualquer que seja a natureza do estudo, traduzir a eficácia em termos de custeio traz dificuldades vinculadas à noção de custos, que é sempre relativa ao processo decisório de um observador em face de um determinado evento, em sua inserção espacial e temporal (Pouvourville, 1995a). À espacialidade do evento analisado, se associa a noção decustos diretos, vinculados aos procedimentos propriamente ditos, como o pagamento dos atos médicos no ponto de vista do seguro-saúde, e osindiretos, decorrentes das perdas de produção em decorrência da doença e suas seqüelas. O período coberto pela análise remete à noção decustos variáveis e fixos, dependendo da relação que existe entre a utilização de um dado volume de recursos de custeio e bens duráveis com relação às unidades de serviço produzidas. O custo marginalrepresenta o montante agregado ao custo total para produção de unidades suplementares, dado bastante útil quando se pretende ampliar a população-alvo de um programa.

A agregação dos custos assistenciais sob a forma de indicadores sintéticos tais como o custo total e o custo médio exige diferentes técnicas estatísticas ou de contabilidade analítica, detalhadas em Lily Moto (1995), que escapam dos objetivos deste trabalho, Todavia vale salientar que as medidas efetuadas são sempre passíveis de contestação, já que os componentes de uma planilha ,de custos estão diretamente condicionados pelo ponto de vista do(s) observador(es) em pauta o que, em matéria de saúde, abrange pelo menos quatro pontos de vista: a sociedade, o financiador, o prestador e o beneficiário. No modeloBASICC apenas os custos diretos (fixos e variáveis) são contabilizados, mas adota-se uma perspectiva dita "societal" em que os pontos de vista de financiadores/ prestadores e usuários devem ser considerados (Gorskyet al., 1996).

A mensuração das conseqüências ou efeitos também precisa ser discutida, pois a análise da eficiência repousa sobre a noção de que o programa funciona adequadamente e que seus efeitos vêm sendo alcançados. Como afirma Evans (1984), se não funciona não deve ter nenhum valor econômico. O problema, bem sinalizado por Cutler (1996), é que 80-90% dos tratamentos não foram avaliados por ensaios clínicos adequado, apesar do reconhecido avanço para o desenvolvimento de uma medicina baseada em evidências (Cochrane, 1972; Williams, 1997), sendo ainda mais raros os ensaios de base populacional, particularmente em nossa realidade (ABRASCO, 1995; Camacho et al., 1996). Uma das justificativas para o problema estaria relacionada às divergências entre uma Epidemiologia de natureza acadêmica e as necessidades de investigação médica em saúde pública que, segundo Unger e Dujardin (1992), exigem uma adaptação dos métodos epidemiológicos. Os modelos experimentais ou quase-experimentais e as novas abordagens como os estudos de caso-controle (Selby-1994) se mostram muitas vezes inadequados dada a interdependência de variáveis, a impossibilidade de se estabelecerem grupos-controle ou de se dispor de base de dados prévia à instalação dessas intervenções (Breart & Bouyer, 1991).

No caso específico da efetividade dos programas, Brunet-Jailly (1989) levanta a possibilidade de se aproximar a medida da eficácia epidemiológica ao produto da eficácia clínica, quando assim referida na literatura, por sua cobertura com relação à população-alvo. Acreditando-se na viabilidade do ajustamento de riscos - entre as populações do ensaio clínico e a que está sendo observada - seria indispensável considerar a adequação ou qualidade técnica dos serviços que estão sendo avaliados (Iezzonni, 1994). O problema, no caso do Brasil, é que as ações programáticas raramente foram avaliadas em sua implantação, não se conhecendo, minimamente, em uma analogia aos protocolos de tratamento dos ensaios terapêuticos, o nível de integralidade (quantitativo e qualitativo) da intervenção recebida pelos usuários (ABRASCO, 1995). Nestas circunstâncias vemos como promissora a revalorização dos estudos ecológicos (Joyce et al., 1988) e as estratégias de uma pesquisa avaliativa nos moldes da análise de implantação(Denis & Champagne, 1990; Hartz, 1993) e integrando o modelo BASICC (Hartz & Pouvourville, 1997). A análise de implantação se baseia na medida da correlação existente entre os efeitos observados e o grau de adequação da estrutura e funcionamento do programa, à qual poderia ser agregada a análise de custos (Figura 1), adaptando-se às etapas operacionais de BASICC, subentendidas na Figura 1 (A→l-3;B→4-5):

Figura 1

• completa descrição do programa (objetivos, população-alvo; evidência científica das conseqüências esperadas; restrições/facilidades contextuais; recursos requeridos; dispositivos de monitoramento);

• tempo previsto para os resultados após a implantação;

• custo da intervenção por unidade de tratamento dispensado;

• proporção do problema evitado pelo programa;

• custo por unidade de problema evitado.

A análise de implantação conta ainda com a vantagem de incluir os determinantes do contexto organizacional. Corbeil (1994) chega a afirmar que a análise custo-efetividade constitui evidência de que a melhor estrutura organizacional foi selecionada, sem lacunas (gaps) ou superposições(overlaps). Os estudos de caso, que não se apóiam na abordagem experimental, mas sim na modelagem desenvolvida para descrever e medir as variáveis constituintes do objeto em estudo, são fortemente recomendados para a análise de implantação dos programas. A credibilidade de sua evidência científica e a reprodutibilidade do modelo (validade externa) se constroem por múltiplas linhas de concordância ou coerência dos resultados obtidos (Denis & Champagne, 1990; Contandriopoulos et al.,1997).

Na análise dos efeitos é importante considerar não somente os usuários mas também toda a população-alvo e, eventualmente, outras populações não visadas diretamente pela intervenção (externalidade dos resultados). É recomendado também incluir os efeitos não desejáveis ou inesperados (Brèart & Bouyer, 1991), pois um programa pode causar prejuízo a outras atividades ou impedir que novas necessidades de intervenção sejam detectadas ou consideradas de forma prioritária. A especificidade de determinados problemas, como as doenças infecciosas, tem de ser tratada de forma diferenciada, já que o custo por caso evitado pode aumentar com sua efetividade em reduzir as taxas de incidência, sem que o risco seja completamente eliminado (Jenicek, 1995). Outra dificuldade levantada por este autor seria a medida dos efeitos das ações educativas, de prevenção e de promoção da saúde, que continuam sendo consideradas "um pesadelo" para os epidemiologistas. Entretanto, o trabalho de Byers et al.(1995) - ou outras experiências como as dos CDC - indicam uma boa efetividade de intervenções desta natureza que deveriam ser priorizadas no âmbito das políticas (inter)setoriais.

Cabe sublinhar que os custos e os valores utilizados para as variáveis clínico-epidemiológicas (coeficentes demográficos, prevalência, falsos positivos etc.) constituem aproximações ou inferências obtidas a partir de diferentes fontes de informação (dados administrativos ou secundários, técnicas de consenso, revisão da literatura e mesmo dados primários), em que os ajustes e a redução de viéses podem ser insuficientes (Iezzonni, 1994; Stinnett, 1996). Nesses casos, que são a maioria, sugere-se a análise de sensibilidade (sensitivity): uma simulação com a substituição de diferentes valores probabilísticos que possam alterar substancialmente as conclusões. O clássico exemplo de Griffiths (1981) nos leva a constatar como a variação de estimativas da taxa de prevalência do câncer de seio pode alterar o julgamento sobre a relação custo-efetividade referente à triagem das populações a risco. Os limites máximo e mínimo dos intervalos de confiança para os valores estimados na avaliação (Joyce et al., 1988) poderiam servir para este tipo de análise.

Acrescentamos ainda três observações referentes a este tópico. A primeira concerne à afirmação de que a medida da efetividade de uma estratégia interessa ao economista apenas como medida quantificada dos resultados de saúde expressos em unidades físicas - vida ganha, casos evitados de doenças - mas fugiria à sua competência (Lily Moto, 1995). Considerando que a abordagem clínico-epidemiológica não é isenta de problemas e que a análise de custos mantém com ela vínculos estreitos, a busca de uma relação de causalidade não deve ser dissociada de suas finalidades, o que significaria, na nossa opinião, assumir sempre que possível a interdisciplinaridade do projeto de avaliação em todas as etapas, como mecanismo facilitador dos impasses da pesquisa. Williams (1997) reforça nosso ponto de vista, ao afirmar que o custo deve sempre ser considerado sistematicamente ao longo das medidas da efetividade, uma vez que representam ganhos de saúde que podem ter sido negados a outros, sendo melhor tratá-los conjuntamente em um mesmo contexto analítico de decisão (decison analytic framework).

A segunda é uma advertência sobre a "magia dos números" (Poitvin, 1995) que permitem sumarizar uma grande quantidade de dados, mas, por outro lado, têm sua significação restrita a algumas dimensões do objeto. Além disso, a sofisticação dos métodos estatísticos sempre estará aquém do conjunto de necessidades da Economia ou da Epidemiologia na abordagem das questões de saúde (Contandriopoulos, 1995). Perrin (1994) se preocupa com uma certa tendência dos avaliadores de acentuar os aspectos facilmente mensuráveis, encorajando-se, assim, uma acumulação de estatísticas "aceitáveis" que podem falsear a qualidade do serviço. O autor cita Deming, considerado o pai da "qualidade total" orientada por controles estatísticos, que afirma não se poder aquilatar o êxito apenas com números, tendo em vista que muitos fatores importantes não são quantificáveis. O próprio Conselho Científico de Avaliação da França (CSE, 1996) recomenda que, sempre que possível, se proceda à "triangulação" de dados quantitativos e qualitativos sobre o mesmo problema e unidade de análise.⁴

A terceira seria a importância de se ter em mente que nenhum desenho ou instrumento de medida assegura a validade de um estudo. Deve-se considerar, como melhor caminho, aquele que proporciona informações relevantes sobre os efeitos do programa, com o grau de rigor requerido para a tomada de decisões em um dado contexto (Mayne, 1992).

Parcimônia ao Avaliar

Com a reestruturação dos serviços públicos, o Brasil apresenta um contexto em que a avaliação pode ser extremamente útil (Perrin, 1994), configurando áreas que poderíamos mesmo denominar "experimento natural", devido à implantação diversificada do processo de descentralização e conseqüente reorganização dos serviços de saúde. No entanto, a pesquisa não é uma atividade de rotina, como é o caso de avaliações restritas ao monitoramento de programas (Rossi & Freeman, 1993), e por isso tem de ter seus interesses criteriosamente definidos, como em um raciocínio auto-aplicativo de custo-eficácia.

Evans (1984) argumenta que em relação à pesquisa, a prioridade não eqüivale necessariamente a um big problem,na verdade, deve-se pensá-la como a probabilidade de a realização de uma pesquisa contribuir para a solução de um problema, cuja importância justifique este esforço. Confrontando-se com uma demanda de pesquisa, a parcimônia é um requisito ético do avaliador, que optará certamente por uma avaliação preliminarda factibilidade e das conseqüências do projeto, cujas conclusões muitas vezes já respondem a algumas das questões dos interessados ou comanditários (CSE, 1996). Ela é particularmente recomendada em programas de maior complexidade, com uma multitude de efeitos que precisam ser limitados e parcimoniosamente organizados, permitindo a pesquisa de seus diversos componentes ou subprogramas (Mohr, 1992:39).

A parcimônia tem de estar também presente em função da temática, jamais exaustiva, dos programas que podem ser priorizados com relação a uma análise de eficiência. Em regra, indagar-se-ia primeiramente sobre o custo associado ao "beneficio alcançável que não foi alcançado" na coletividade (Lombrail, 1995). Nessa perspectiva, os estudos preliminares poderiam talvez caracterizar o que denominaríamos "eficiência presumida" das diferentes intervenções e/ou contextos: o custo per capita de cobertura em relação aos diferenciais observados de morbi-mortalidade, quando comparados a um valor médio ou padrão, serviria para orientar a seleção do problema e a extensão apropriada da análise, prevenindo-se sub/super amostragem populacional.

Nos países com tradição reconhecida na institucionalização da avaliação de programas, como os Estados Unidos e o Canadá, um conjunto de critérios foi elaborado de modo a definir prioridades de investigação. Destacaremos, a seguir, sem hierarquizá-los, alguns critérios de elegibilidade prioritária para financiamento de projetos, que poderiam ser adaptados na perspectiva do SUS, e que constam do Guia dos Serviços Humanos da Saúde (HHS Guidelines), da Divisão de Avaliação de Programas do General Accounting Office (GAO, 1993):

• as questões formuladas só podem ser respondidas por uma pesquisa científica;

• devem ser de interesse local, mas coerentes com as prioridades nacionais;

• devem ter valor de demonstração que possa implicar a reestruturação organizacional de outros locais ou regiões;

• devem desenvolver modelos de avaliação para programas bem específicos, incluindo subsídios à elaboração de manuais ou guias metodológicas;

• devem servir para implantar e validar sistemas de informações.

Para exemplificar, começaríamos lembrando intervenções já consagradas pelo seu grande potencial custo-efetividade, como é o caso da atenção materno-infantil em saúde, e que necessitam ser implementadas, particularmente em seu componente de atenção perinatal (Leal, 1996). Nesse campo, a literatura sugere pistas de investigação interessantes como a análise de Joyce et al. (1988), relacionando o perfil epidemiológico dos nascimentos de 1977 com os programas de saúde americanos. Os autores, testando a influência de diferentes subprogramas, demonstram que a atenção pré-natal e a suplementação alimentar das gestantes são as estratégias de melhor custo-efetividade para a redução da mortalidade neonatal, e que esta última é ainda mais efetiva em casos de população de maior risco. Tais resultados diferem da avaliação (exante) do programa perinatalidade da França que, tratando isoladamente cada subprograma, baseado em uma meta-análise da literatura, julgou a reanimação em sala de parto a estratégia mais vantajosa (Chapalain, 1978). Outra linha a ser explorada é a relação custo-efetividade da reanimação infantil em função da transferência pré ou pós-natal (Naiditch & Weill, 1996). O programa dos agentes comunitários, mencionado por Silva (1995) como de grande importância na redução dos óbitos infantis, talvez se beneficiasse a partir de uma análise desta natureza, pois seu custo anual de funcionamento variava de US$ 0.6 a 15.4 por habitante (Cf. Rosse & Plessas, 1984).

Alguns programas, como o de controle da AIDS, que se caracterizam por múltiplos episódios agudos e pela importância do cuidado prévio para a evolução do paciente, e que merecem desenhos específicos (Schmid, 1995; Simpson, 1995), deveriam ser contemplados por sua complexidade. Um outro argumento a favor provém de recentes indicações das vantagens econômicas da terapia tríplice (Bardon, 1997), infelizmente, não acessível à maioria dos países em desenvolvimento (Montaigner, 1997).

Os programas de screening, em casos de câncer prevenível ou de outras doenças crônicas com abordagens similares, cuja continuidade das intervenções constitui preocupação permanente (Mercer & Goel, 1994), se beneficiariam desse aperfeiçoamento metodológico, proporcionando um desejável acúmulo de experiências. A análise de custos, associada aos problemas de saúde causados por acidentes e violência (Harlan et al., 1990), pode ser ela mesma o ponto de partida para a implantação experimental de novas intervenções em condições mais favoráveis quanto à estimativa de sua eficiência.

Resumindo, qualquer que seja o programa escolhido, a direcionalidade da avaliação deveria ser dada pela reorganização dos sistemas locais privilegiada pelo SUS. A descentralização, fundamentada na regionalização e hierarquização da rede de serviços, constitui um ponto de coincidência de reorientação dos sistemas nacionais de saúde, mesmo em países desenvolvidos, exatamente por seu potencial em aumentar globalmente a eficiência. De fato, o estudo de Starfield (1995) demonstra que os países que privilegiam a estratégia organizacional apoiada nos cuidados primários (primary care) - que não pode ser confundida com uma abordagem restrita à atenção simplificada para pobres -, e que garante a continuidade e integralidade assistencial pela coordenação e articulação entre os diferentes níveis de atenção, têm melhor performance custo-efetividade, além de escores mais elevados de satisfação nos inquéritos populacionais. Em oposição, a insuficiente coordenação e a falta de consenso técnico-operacional no interior de uma rede interorganizacional reduz a eficácia das intervenções como foi constatado, na região Nordeste, no caso da implantação insatisfatória do programa materno-infantil com a conseqüente manutenção de um grande número de óbitos evitáveis (Hartz, 1993). Um dos fatores agravantes do problema, analisado pela autora, era a modalidade de transferência dos recursos por produtividade, sem mecanismos de regulação da qualidade da assistência ou relação com os objetivos de saúde considerados prioritários, favorecendo antes a concorrência do que a cooperação entre a atenção primária e hospitalar.

Em face dessa problemática, conhecer as vantagens de alternativas de financiamento global por programa, incluindo mecanismos de incentivo à interação dos diversos prestadores, como rede de informações e tarifas especiais, constitui hoje um desafio para os administradores do sistema e um campo fecundo de avaliação. Não se pode igualmente esquecer que apesar da reconhecida importância de se combinar dados ambulatoriais e hospitalares na análise da performance dos sistema de saúde, como evidenciado por Billings et al. (1996), a construção e a busca da validade de um sistema de informação integrado, que compatibilize as nomenclaturas médico-assistenciais hospitalar e ambulatorial, continua sendo uma questão de pesquisa, tanto do ponto de vista epidemiológico como da análise econômica (Pouvourville, 1996).

Uso e Abuso da Avaliação de Eficiência

Sustentando a tese da pertinência, e mesmo premência, de estudos sobre eficiência dos programas de saúde no contexto brasileiro, é importante discutir mecanismos de implementação desta área de pesquisa, provavelmente condicionados a seu potencial de utilização. Parece-nos interessante refletir sobre algumas lições/sugestões da experiência internacional, em que estes estudos, apesar de considerados insuficientes, são prioritários na agenda política. Assim, o relatório doGeneral Accounting Office dos Estados Unidos (GAO, 1993), referente ao período 1988-1992, conclui que seu potencial não tem sido satisfatório na capacidade de informar ao Congresso americano sobre a efetividade dos investimentos no âmbito dos serviços públicos de saúde, sobretudo, no que concerne à assistência médica. Uma das recomendações do GAO quanto a esta problemática é recuperar a totalidade dos fundos que devem ser destinados à avaliação (dispositivo legal de 1970, que fixa em até 1% dos recursos anuais destinados aos serviços públicos de saúde). O GAO recomenda também que se faça obrigatoriamente a síntese de resultados dos estudos avaliativos, a ser comunicada ao Congresso. Nesse sentido, o relatório do Verificador Geral do Canadá, referente a 1993, sublinha que, apesar do sistema de avaliação ter-se institucionalizado desde 1985, somente um quarto das despesas governamentais haviam sido avaliadas para uma meta de 100% em cinco anos (Ward & Barrados, 1994). Definindo como prioridade absoluta para os próximos anos a utilização destes estudos para a alocação de recursos, o que implica aumentar a acessibilidade do Parlamento a estas informações, o Verificador deixa clara sua posição: qualquer que seja a técnica utilizada para a avaliação, os resultados devem ser comunicados aos clientes de uma maneira compreensível. Também na França, a credibilidade e a compreensão da lógica de todo o processo de avaliação na resposta às questões formuladas pelos interessados constituem fatores determinantes da utilização da pesquisa avaliativa (CSE, 1996)

Na percepção dos avaliadores (Sailly & Lebrun, 1992) este processo configura uma prática difícil, devido à diversidade de competências e interesses envolvidos, mas também porque a difusão dos resultados é lenta. Por isso, questiona-se muitas vezes se eles chegarão a tempo de influenciar as decisões e qual será a amplitude das modificações operadas após a difusão. Corbeil (1992), concordando com os dois outros autores citados, afirma que o problema da pesquisa não se resume a "desenhar" um estudo capaz de minimizar erros metodológicos (tática), mas planejá-lo (estratégia) de modo a maximizar a utilização dos resultados. Para Stevens e Dial (1994) o problema não é só o uso, mas o abuso(misuse) dos dados provenientes da avaliação. Segundo Palumbo (1994), isso ocorre porque o avaliador quer agradar o cliente ou, em outras situações, porque o próprio cliente já está politicamente comprometido com o encerramento ou a manutenção do programa, independentemente dos seus resultados. Vaté (1995) alerta os pesquisadores a se precaverem contra o que denomina duplo obstáculo, que advém dos interesses políticos: o arbitrário, de um lado (a avaliação servindo de álibi), e o tecnocrático, de outro (o refinamento da avaliação disfarçando a falta de vontade para decisão).

Para concluir, respondendo às indagações iniciais, sem negligenciar os problemas metodológicos e operacionais associados aos estudos da eficiência, reconhecemos que eles certamente problematizam a produção científica nessa área, mas, como demonstra a literatura internacional, devem ser assumidos como limitações que se superam na prática avaliativa. Os estudos de custo-efetividade, quando criteriosamente indicados, proporcionam bases de cálculos mais rigorosas sobre as conseqüências das ações de saúde em termos dos recursos utilizados, confirmando ou relativizando (pre)conceitos anteriores, e sinalizam, com melhor direcionalidade, novas prioridades de pesquisa (Pouvourville, 1996). Saber que sempre estaremos nos confrontando com o risco de informações incompletas e inadequadas e que a busca da eficiência é um processo complexo e uma prática corajosa (Sailly & Lebrun, 1996) não reduz nossa convicção sobre a pertinência desses estudos na perspectiva de uma gestão democrática do SUS, pressupondo escolhas participativas. Os instrumentais da Economia e da Epidemiologia, apesar de metodologicamente imperfeitos e politicamente limitados, certamente podem contribuir para responder a esta difícil mas inadiável questão ao se "cair n(a)o real": com determinados recursos públicos, quais os melhores programas e serviços de saúde que se podem oferecer para a promoção e a proteção da saúde da população brasileira?

Referências bibliográficas

• AGUILAR, M.J. & ANDER-EGG, E. (1994) - Avaliação de Serviços e Programas Sociais. Petrópolis: Editora Vozes.
• ABRASCO (1995) - II Plano Diretor para o Desenvolvimento da Epidemiologia no Brasil, 1995-1999. Rio de Janeiro: ABRASCO.
• APHA (American Public Health Association) (1994) - New Study Raises Question: How Costly is Prevention? Nation's Health, edição de 7 de agosto, p. 7.
• BARDON A. (1997) - L'Éfficacité Économique des Trithérapies Demontrée. Impact Quotidien, edição de 29 de janeiro, p. 5.
• BERAUD, C. (1995) - Epidémiologie et Assurance-maladie. In: Séminaire Étude des Populations et Épidémiologie en Planification Sanitaire, mimeo.
• BILLINGS, J; ANDERSON, G.M. & NEWMAN, L.S. (1996) - Recent Findings on Preventable Hospitalizations. Health Affairs15(3):239-249.
• BREART, G & BOUYER, J. (1991) - Méthodes Épidémiologiques en Évaluation. Révue d'Épidemiologie et Santé Publique39(sup.):5-14.
• BYERS, T.; MULLIS, R.; ANDERSON, J. et al. (1995) - The Costs and Effects of a Nutritional Education Program Following Work-site Cholesterol Screening. American Journal of Public Health85(5):650-655.
• BRUNET-JAILLY, J. (1989) - L'Évaluation Économique des Actions de Santé. In: Rougemont, A & Brunet-Jailly, J. (orgs.) - Planifier; Gerer, Évaluer la Santé en Pays Tropicaux. Paris: Doin.
• BRUNET-JAILLY, J. (1997) - L'Évaluation Économique des Programmes de Santé, Est-elle Éthique? Ruptures 4(1):8-22.
• CAMACHO, L.A.B; HARTZ, Z.M.A.; GOLDBAUM, M.; NOVAES, H.M.D. (orgs.) (1996) - Epidemiologia e Avaliação de Serviços de Saúde. Cadernos de Saúde Pública 12(sup. 2.).
• CHAPALAIN, M.T. (1978) - Le Programme Perinatalité. Cahiers Français de Santé et Économie 188:14-19.
• CHEN, H-T. (1997) - Reconciling Conflicts and Expanding Options in Policy or Program Evaluation: the Contingency Perspective. Actes du Colloque International L'Evaluation des Politiques Publiques. Paris: GAPP/CNRS.
• CLEMENHAGEN, C. & CHAMPAGNE, F. (1986) -Quality Assurance as Part of Program Evaluation: Guidelines for Managers and Clinical Departmental Heads. Journal of Quality Assurance12:383-387.
• COCHRANE, A.L. (1972) - Effectiveness and Efficiency. Random Reflexion on Health Services. Londres: The Nutfield Provincial Hospital Trust.
• CONTANDRIOPOULOS, A.-P. (1995) - Epidemiology and Economics of Health. Resumos do III Congresso Brasileiro de Epidemiologia, p. 411., Salvador, Bahia.
• CONTANDRIOPOULOS, A.-P.; CHAMPAGNE, F.; DENIS, J. L. & PINEAULT, R. (1997) - A Avaliação na Área da Saúde: Conceitos e Métodos. In: Hartz, Z.M.A. (org.) - Avaliação em Saúde: Dos Modelos Conceituais à Prática na Análise da Implantação de Programas. Rio de Janeiro: Editora Fiocruz.
• CORBEIL, R.C. (1992) - Evaluation Assessment: a Case Study of Planning an Evaluation. In: Hudson, J.; Mayne, J. & Thomlison, R. (orgs.)- Action Oriented Evaluation in Organizations Canadian Practice.Toronto: Wall & Emerson.
• CORBEIL, R. C. & McQUEEN, C. (1991) - Improving the Quality of Evaluation. In: Love, A. J. (org.) - Evaluation Methods Sourcebook. Toronto: CES. CSE (Conseil Scientifique de l'Évaluation) (1996) - Petit Guide de l'Évaluation des Politiques Publiques. Paris: La Documentation Française.
• CUTLER, C.M. (1996) - Research Needs for Managed Care.Health Affairs 15(3):93-94.
• DENIS, J.L. & CHAMPAGNE, F. (1990) - L' Analyse de l'Implantation: Modèles et Méthodes. La Revue Canadienne d'Évaluation de Programme 5:47-67.
• DRUMMOND, M.F. & STODDART, G.L. (1985) -Principles of Economic Evaluation of Health Programs. World Health Statistics Quarterly38:355-367.
• EVANS, R.G. (1984) - Evaluating Health Care Programs: Efficiency, Effectiveness and Cost. In: Strained Mercy. The Economics of Canadian Health Care. Toronto: Butterworths.
• GAO (General Accounting Office) (1993) - Public Health Service: Evaluation has not Realized its Potential to Inform the Congress.Washington: GAO/PMED.
• GORSKY, R.D. & TEUTSCH, S.M. (1995) - Assessing the Effectiveness of Disease and Injury Prevention Programs. MMWR44(10):1-10.
• GORSKI, R.D; HADDIX, A.C & SHAFFER, P.A (1996) - Cost of an Intervention. In: Haddix, A.C. et al. (orgs.) -Prevention Effectiveness. A Guide to Decision Analysis and Economic Evaluation. Oxford: Oxford University Press.
• GRIFFITHS, D.A. (1981) - Economic Evaluation of Health Services. Concepts and Methodology Applied to Screening Programs. Révue d'Épidémiologie et Santé Publique 29:85-101.
• GROSSE, R.N & PLESSAS, D.J. (1984) - Cálculo del Costo de la Atención Primária de Salud. Foro Mundial de Salud5:261-266.
• HADDIX, A.C; TEUTSCH, S.M; SHAFER, P.A. & DUÑET, D.O (orgs.) (1996) - Prevention Effectiveness. A Guide to Decision Analysis and Economic Evaluation.. Oxford. Oxford University Press.
• HADDIX, A.C. & SHAFER, P.A. (1996) - Cost-Effectiveness Analysis. In: Haddix, A.C. et al. (orgs.) - Prevention Effectiveness. A Guide to Decision Analysis and Economic Evaluation.Oxford: Oxford University Press.
• HARLAN, L.C.; HARLAN, W.R. & PARSONS, P.E. (1990) - The Economic Impact of Injuries: A Major Source of Medical Costs. American Journal of Public Health 80(4):453-460.
• HARTZ, Z.M.A. & CAMACHO, L.A.B. (1996) - Formação de Recursos Humanos em Epidemiologia e Avaliação dos Programas de Saúde. Cadernos de Saúde Pública 12(sup.2):13-20.
• HARTZ, Z.M.A. & POUVOURVILLE, G de. (1997) -Construindo um Modelo para Avaliação da Eficiência de Ações Programáticas: Enfocando a Atenção Perinatal. Relatório Final de Pesquisa apresentado ao CNPq, mimeo.
• HAUET, E. (1996) - Les Problémmes Posés par la Mésure des Besoins en Santé des Populations. Notas do Seminário de Projetos do IMAGE/ ENSP, França, mimeo.
• HELLIWELL, B.E. & DRUMMOND, M.F. (1988) - The Costs and Benefits of Preventing Influenza in Ontario's Elderly. Canadian Journal of Public Health 79:175-180.
• IEZZONI, L.I. (1994) - Risk Adjustement for Measuring Health. Michigan: Health Administration Press.
• JENICEK, M. (1995) - Treatment and other Clinical and Community Health Interventions. In: Jeniceck, M. (org.) - Epidemiology, the Logic of Modern Medicine. Montreal: Epimed.
• JOYCE, T.; CORMAN, H. & GROSSMAN, M. (1988) -A Cost-Effectiveness Analysis of Strategies to Reduce Infant Mortality.Medical Care 26(4):348-360
• LEAL, M.C. (1996) - Mortalidade Neonatal no Estado do Rio de Janeiro de 1979 a 1993. Tese de Doutorado, Escola Nacional de Saúde Pública/ Fiocruz, Rio de Janeiro, mimeo.
• LILY MOTO, J. (1995) - Evaluation Epidémiologique des Programmes de Santé. Évaluation Économique. In: Santé et Multidisciplinarité. Choix et Décisions. Paris: Ed. Hermés.
• LOMBRAIL, P. (1995) - Deux Composants de l'Évaluation des Soins à l'Hôpital: Continuité et Accessibilité. Le Cas de l'Urgence Pediatrique à l'Hôpital Robert Debré. Tese de Doutorado, Université de Paris XI, Paris, mimeo.
• MAYNE, J. (1992) - Research Designs for Measuring Program Outcomes. In Hudson, J.; Mayne, J. & Thomlison, R. (orgs.) - Action Oriented Evaluation in Organizations Canadian Practice. Toronto: Wall & Emerson, Inc.
• MERCER, S.L. & GOEL, V. (1994) - Program Evaluation in the Absence of Goals: A Comprehensive Approach to the Evaluation-based Breast Screening Program. The Canadian Joumal of Program Evaluation9:97-112.
• BRASIL. Ministério de Saúde (1996) - Documento Básico do Sistema de Informações de Saúde [D.O.U. 08/01].
• MILLS, A. (1985) - Survey and Examples of Economic Evaluation of Health Programms in Developing Countries. World Health Statistics Quarterly 38:402-421.
• MOHR, L. B. (1992) - Impact Analysis for Program Evaluation.Beverly Hills: Sage Pub.
• MONTAIGNER, L. (1997) - La Lutte Mondiale contre le SIDA: Un Grand Dessein pour l'Europe. Le Monde, edição de 1º de fevereiro, p. 15.
• NAIDITCH, M. & WEILL, C. (1996) - Transferts d'Enfants en France: Pourquoi les Pratiques Évoluent-elles si Lentement. Actesde la XXVI Journées Nationales de la Societé Française de Médecine Périnatale. Paris: Ed. Arnette Blackwell.
• NEMES, M.I.B. (1995) - Avaliação do Trabalho Programático na Atenção Primária à Saúde. Tese de Doutorado, Faculdade de Medicina da Universidade de São Paulo, São Paulo, mimeo.
• PALUMBO, D.J. (1994) - The Political Root of Misuse of Evaluation.New Directions for Program Evaluations64:15-231.
• PERRIN, B. (1994) - L'Évaluation a-t-elle sa Place dans la Réinvention et la Restructuration des Services Publiques? Bulletin de Liaison de la Societé Canadienne d'Évaluation14(1):1-4.
• PINEAUL,T. R. & GOULET, J. (1995) - Les Indicateurs de Santé: Les Utiliser mais ne pas en Abuser. Ruptures2(2):140-150.
• POITVIN, L. (1995) - La Magie des Chiffres. Ruptures2(2):136-138.
• POUVOURVILLE, G. de (1995a) - L'Évaluation Économique en Santé. Principes-exemple de la Cholécystectomie Laparoscopique. Annales de Chirurgie, 49(10):881-888.
• POUVOURVILLE, G. de (1995b) - Pourquoi Maîtriser les Dépenses de Santé? In: Actualités en Réanimation et Urgences. Paris: Societé de Réanimation de Langue Française/Ed. Arnette
• POUVOURVILLE, G. de & MINVIELLE, E (1995) -Connaissances Scientifiques et Aide à la Décision: La Diffusion des Innovations en Santé. In: Charue-Duboc, F. (org.) - Des Savoirs en Action. Paris: L'Harmatan.
• POUVOURVILLE, G. de (1996) - L'Evaluation Économique des Actions de Soins. Sciences Sociales et Santé 14(4):65-72.
• ROSSI, P.H. & FREEMAN, H.E. (1993) - Program Monitoring for Evaluation and Management. In: Rossi, P.H. & Freeman, H.E. (orgs.) -Evaluation: A Systematic Approach. Beverly Hills: Sage Publications.
• SAILLY, J.C. & LEBRUN, T. (1992) - L'Évaluation Économique des Stratégies Diagnostiques et Thérapeutiques. Reflets et Perspectives de la Vie Économique. Tome XXXI: 195-212.
• SCHMID, G.P. (1995) - Understanding the Essentials of Economic Evaluation. Journal of Acquired Immune Deficiency Syndromes and Human Retrovirology 10(sup. 4):6-13.
• SELBY, J.V. (1994) - Case-Control Evaluations of Treatment and Program Efficacy. Epidemiologic Reviews 16: 90-101.
• SIEGEL, P.Z.; MORIARTY, D.G.& ZACK, M.M. (1996) - A New Tool for Measuring and Monitoring Quality of Life in the United Sates. Journal d'Économie Médicale (n. hors série, oct.).
• SILVA Jr., J.B. (1995) - A Guerra das AIHs. Suplemento nº 2 doD.O. de Pernambuco p.7.
• SILVA, M.L.V. & FORMIGLI, V.L.A. (1994) - Avaliação em Saúde: Limites e Perspectivas. Cadernos de Saúde Pública10(1):80-91.
• SILVER, L. (1992) - Aspectos Metodológicos em Avaliação dos Serviços de Saúde. In: Gallo E.; Rivera, F.J.U. & Machado, M.H. (orgs.) -Planejamento Criativo: Novos Desafios em Políticas de Saúde.Rio de Janeiro: Editora Relume-Dumará.
• SIMEONI, M.C.; AUQUIER, P. & MOLINES, C. (1996) - Les Échelles de Qualité de Vie. Sont-elles Sous-tendue par une Formalisation Conceptuelle?Journal d'Économie Médical (n. hors série, oct.).
• SIMPSON, K.N. (1995) - Design and Assessment of Cost-Effectiveness Studies in AIDS Populations; Journal of Acquired Immune Deficiency Syndromes and Human Retrovirology 10(sup. 4):28-33.
• SMITH, D.A. (1992) - Assessing Program Efficiency. In Hudson, J.; Mayne, J. & Thomlison, R. (orgs.) - Action Oriented Evaluation in Organizations in the Canadian Practice.Toronto: Wall & Emerson, Inc.
• STARFIELD, B. (1995) - Health Systems Effects on Health Status Financing the Organization of Services. American Journal of Public Health 85(10):350-351.
• STEVENS, C.J. & DIAL, M.I. (1994) - What Constitutes Misuse?New Directions for Program Evaluations64:1-13.
• STENZEL, A.C.B. (1996) - A Temática da Avaliação em Saúde Coletiva: Uma Bibliografia Comentada. Dissertação de Mestrado, UNICAMP, São Paulo, mimeo.
• STINNET, A.A. (1996) - Adjusting for Bias in C/E Ratio Estimates.Health Economics 5:470-472.
• TEUTSCH, S.M. (1997) - Public Health Focus: Effectiveness of Disease and Injury Prevention. MMWR 46(4):73-74.
• UGÁ, M.A.D. (1994) - Instrumentos de Avaliação Econômica. Texto de apoio do curso de Epidemiologia e Avaliação de Programas, Ensp/ Fiocruz (mimeo).
• UNGER, J.P. & DUJARDIN, B. (1992) - Epidemiology's Contribution to Health Service Management and Planning in Developing Countries: A Missing Link. Bulletin of the World Health Organization70(4):487-492.
• VATE, M. (1995) - L'Évaluation ...en quelques Mots. Journal d'Économie Médicate 13(3-4):189-194.
• WARD, P. & BARRADOS, M. (1994) - Rapport du Bureau du Vérificateur Géneral. Points Saillants portant sur l'Evaluation de Programmes.Bulletin de Liaison de la Societé Cannadienne d'Evaluation14(1):6-7.
• WATSON, K. (1997) - Cost-Benefit Analysis in the Nineties.The Canadian Journal of Program Evaluation (Special Issue): Editorial.
• WILLIAMS, A. (1997) - All Cost Effective Treatment Should Be Free... or How Archie Cochrane Changed my Life! Journal of Epidemiology and Community Health 51:116-120.
• YIN, R.K. (1993) - Case Study Designs for Evaluating High-risk Youth Programs: The Program Dictates the Design. In: Yin, R.K. (org.) -Applications of Case Study Research. Newbury Park: Sage Publications.
• YIN, R.K. (1994) - Discovering the Future of the Case Study Method in Evaluation Research. Evaluation Practice15:283-290.

• 1
  Trabalho parcialmente financiado por bolsa de de pós-doutorado do CNPq conferida a ZMAH
• 4
  Os textos de Yin (1994) e Chen (1997) são bastante elucidativos em relação a este tema.

Datas de Publicação

• Publicação nesta coleção
  Jan-Jun 1998