Pesquisa avaliativa e epidemiologia: movimentos e síntese no processo de avaliação de programas de saúde

Evaluative research and epidemiology: trends and synthesis in the health programs evaluation process

REVISÃO REVIEW

Pesquisa avaliativa e epidemiologia: movimentos e síntese no processo de avaliação de programas de saúde

Evaluative research and epidemiology: trends and synthesis in the health programs evaluation process

Álvaro Hideyoshi Matida^I; Luiz Antônio Bastos Camacho^II

^IAssessoria de DST/AIDS, Coordenadoria de Vigilância Epidemiológica, Superintendência de Saúde Coletiva, Secretaria de Estado de Saúde do Rio de Janeiro, Rio de Janeiro, Brasil

^IIDepartamento de Epidemiologia e Métodos Quantitativos em Saúde, Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil

^{Endereço para correspondência}

RESUMO

Este artigo enfoca alguns antecedentes da avaliação de programas de saúde e aponta a diversidade de teorias e métodos que informam o campo. Com o objetivo de fornecer subsídios para pesquisas avaliativas em HIV/AIDS, discutem-se alguns pressupostos clássicos da epidemiologia, em especial da teoria de inferência causal e seus limites na abordagem de enfermidades infecciosas. Argumenta-se que os debates recentes acerca da lógica e aplicabilidade dos estudos de tipo ecológico marcam interesses convergentes entre a epidemiologia e a pesquisa avaliativa, preocupada na incorporação de variáveis contextuais nos modelos de análise. Explicitam-se preceitos e tipologias da pesquisa avaliativa contemporânea com vistas à defesa de um modelo de análise de processos de saúde-doença na perspectiva da avaliação de ações e programas. Por fim, sublinham-se os propósitos comuns e movimentos convergentes da epidemiologia e da pesquisa avaliativa, que servem de referência à discussão sobre os limites e potencialidades do modelo proposto.

Síndrome de Imunodeficiência Adquirida; Inferência Causal; Avaliação

ABSTRACT

This article focuses on antecedents in the evaluation of health programs and highlights the diversity of theories and methods applied to the field. In order to provide support for evaluative research in HIV/AIDS, the article discusses several classical principles in epidemiology, particularly the theory of causal inference and its limits for approaching infectious diseases. The article contends that recent debates concerning the logic and applicability of ecological studies establish convergent interests between epidemiology and evaluative research, concerned with incorporating contextual variables into the analytical models. The principles and typologies of contemporary evaluative research are explained with a view towards defending an analytical model for health-disease processes from the perspective of evaluating actions and programs. The article concludes by highlighting common proposals and convergent trends in epidemiology and evaluative research, serving as the framework for discussion on the limits and potentialities of the proposed model.

Acquired Immunodeficiency Syndrome; Causal Inference; Evaluation

Introdução

Que teoria informa o tratamento e os objetivos preconizados pelo programa? Quais os métodos utilizados para avaliar as necessidades do programa? Qual é a capacidade de resposta do programa em função das condições do contexto? O que dizem os financiadores do programa sobre os seus resultados? Os grupos alvo estão satisfeitos com os efeitos do programa? Qual o impacto do programa em relação ao problema enfrentado ^1,2,3?

Estas são algumas das perguntas cujas respostas interessam a todos os envolvidos no desenvolvimento de programas voltados para o enfrentamento de situações-problemas de ordem e natureza diversas que afligem indivíduos, grupos ou sociedades. A abordagem destes questionamentos implica considerar quem demanda e que uso se pretende fazer das respostas. Trata-se de medir e fazer um julgamento de valor sobre os efeitos de um "conjunto de meios (físicos, humanos, financeiros, simbólicos) organizados em um contexto específico, e em um dado momento, para produzir bens e serviços com o objetivo de modificar uma situação problemática" (Contandriopoulos et al. ¹ p. 31). O ponto de partida é a noção de programa enquanto uma resposta institucional ou comunitária a uma situação-problema. Além disso, ambos, o problema e o programa, são processos sociais complexos e dinâmicos que comungam de um mesmo contexto que os modifica e por eles é modificado ².

Supõe-se que a demanda por uma avaliação, por simples que seja, requer não apenas a identificação de perguntas e formulação de hipóteses mas, antes, a verificação do conjunto de atores envolvidos, dos recursos disponíveis, do grau de complexidade do problema e das ações e, em particular, a concordância de perspectivas entre quem pleiteia a avaliação e quem a executa. Há que se eleger portanto, com base nestes parâmetros, a ciência e as ferramentas adequadas para mensurar o problema e os efeitos do programa preconizado para modificá-lo, vis-à-vis as variáveis contextuais em interação sistemática com estes dois fenômenos.

Este artigo apresenta uma reflexão sobre a abordagem epidemiológica da avaliação de programas de saúde, baseada em uma revisão bibliográfica e na interface entre a epidemiologia e a área de avaliação em saúde. Argumenta-se que os debates recentes acerca da lógica e aplicabilidade dos estudos de tipo ecológico marcam interesses convergentes entre a epidemiologia e a pesquisa avaliativa, preocupada na incorporação de variáveis contextuais nos modelos de análise.

Explicitam-se preceitos e tipologias da pesquisa avaliativa contemporânea com vistas à defesa de um modelo de análise de processos de saúde-doença na perspectiva da avaliação de ações e programas. Por fim, sublinham-se os propósitos comuns e movimentos convergentes da epidemiologia e da pesquisa avaliativa, que servem de referência à discussão sobre os limites e potencialidades do modelo proposto.

Embora motivada pelas questões suscitadas pela avaliação do programa de controle da AIDS, a análise apresentada pretende enfocar questões comuns a outros programas de controle de doenças transmissíveis com semelhanças no perfil de transmissão e controle.

Dimensionamento do programa e seus resultados

Nas últimas décadas, o desenvolvimento científico-tecnológico em ritmo acelerado e a crescente responsabilização do Estado no financiamento de programas sociais geraram um aumento dramático nos gastos governamentais em programas de educação e de saúde públicos. Investimentos para expansão dessas políticas somaram-se àqueles destinados a incorporação de novas tecnologias ­ em especial relacionadas aos cuidados à saúde ­ quer em nível do indivíduo, quer no âmbito coletivo. Em contrapartida, a partir dos anos 60, crescem (especialmente por parte dos organismos financiadores) movimentos no sentido do diagnóstico e justificação de necessidades e da racionalização dos gastos ⁴.

A utilização do método epidemiológico na avaliação de práticas clínicas, presente em diversos textos selecionados em uma antologia publicada pela Organização Mundial da Saúde (OMS) sobre intervenções de saúde ⁵, emerge neste contexto reforçando a tendência de assegurar aos processos avaliativos em saúde, contornos de investigação científica.

Assim, assumindo características interdisciplinares e instrumentalizando-se cientificamente, os estudos avaliativos ganham vulto e complexidade. A criação de organismos destinados a avaliar tecnologias em saúde é parte integrante de um conjunto de medidas adotadas pelos Estados Unidos, Canadá, França, Austrália, entre outros, para garantir a racionalização dos gastos e fornecer parâmetros científicos para resposta às crescentes expectativas de incorporação das intervenções em saúde emergentes ¹.

Esta tendência de focar a avaliação de programas principalmente na responsabilidade fiscal e na demonstração de efeitos se mantém até os dias atuais. A atual política brasileira de reestruturação por programas, instituída em 1998 para ser implementada a partir de 2000 e portanto, em plena vigência, ressuscita e revigora esse enfoque ⁶. Inspirada nos resultados da reforma administrativa norte americana, essa estratégia guarda similaridade com as propostas de reforma de diversos países desenvolvidos como Grã-Bretanha, Canadá, Austrália e França, que enfatizam a administração pública via gestão por resultados ⁶. Medir os efeitos atribuídos aos programas sociais é ainda o grande desafio. Somam-se às preocupações teórico-metodológicas e à crescente complexidade dos programas, a necessidade ­ atualmente prioridade política e institucional ­ de demonstrar resultados.

No Brasil, os desafios contemporâneos que se colocam à avaliação em saúde são ainda maiores. Por um lado identificam-se dificuldades relativas à estrutura e ao modo de produção da ciência e da tecnologia em saúde ^7,8 e a incompletude das políticas sanitárias para a consolidação dos princípios e ações do Sistema Único de Saúde (SUS) ⁹; por outro, embora sejam reconhecidos os avanços no campo ¹⁰, evidenciam-se sua curta trajetória e suas lacunas ^7,11,12, em particular em relação a análises de efeitos e de eficiência ¹³, próprias do estágio ainda incipiente do desenvolvimento do campo da avaliação em saúde no país.

Em que pesem as barreiras e dificuldades estruturais enfrentadas, emergem na literatura cientifica brasileira, especialmente nos últimos anos, várias iniciativas de avaliação de serviços e programas, seja no campo das tecnologias em saúde em geral, seja na área específica das ações de controle e prevenção das DST/HIV/ AIDS. Em relação ao primeiro, vale a referência de alguns artigos do início dos anos noventa, buscando conformar o campo da avaliação em saúde enquanto área de construção de conhecimentos ^14,15,16. Edições de Cadernos de Saúde Pública ¹⁰ e de Ciência & Saúde Coletiva ¹⁷, dedicados à veiculação de artigos relacionados ao tema e as recentes publicações de títulos nacionais centrados na avaliação em saúde ^6,18,19 são alguns exemplos do interesse crescente nesta área. Além disso, estudos enfocando a correlação entre indicadores de acesso e uso de serviços de saúde e a qualidade do sistema de informações de morbimortalidade poderão fornecer evidências e estimular interlocuções entre pesquisadores, prestadores de serviços e profissionais de saúde responsáveis pela manutenção e aprimoramento do sistema de informação de agravos à saúde. Neste sentido, são extremamente promissores os esforços visando a organização e gestão de um "sistema nacional de informações que articule os diversos tipos de base de dados incluindo as estatísticas vitais, os dados sobre produção de serviços, e os inquéritos de base populacional" (Viacava ²⁰ p. 609). Ainda que se leve em conta as limitações da Pesquisa Nacional por Amostra de Domicílios, edição 1998 (PNAD/1998), em especial aquelas relacionadas ao nível de desagregação (restritas até o nível de Estados), a revisão do Suplemento de Saúde ­ PNAD/1998, incorporando novos dados importantes para a formulação e avaliação de políticas de saúde, as recentes produções científicas decorrentes da análise dessas informações por pesquisadores da área de saúde coletiva brasileiros são reflexos deste esforço ²¹.

No âmbito das iniciativas nacionais de avaliação das ações voltadas ao controle da epidemia de AIDS, a partir da década de noventa, e em especial com a vigência do Acordo de Empréstimo celebrado entre o Governo Federal e o Banco Mundial, a disponibilização de recursos externos, somados àqueles de contrapartida nacional (federal, estadual, municipal) e o compromisso multilateral de investi-los especificamente no desenvolvimento de políticas de controle e prevenção em DST/AIDS ²², geraram condições para a execução de atividades e projetos voltados à implementação dos programas de DST/AIDS, em todos os níveis do sistema de saúde. Há que se considerar contudo, com base na análise sobre gasto público federal em HIV/AIDS, que aqueles referentes ao componente "desenvolvimento institucional", onde, entre outros, estão localizados os gastos com pesquisa, contemplaram 12,4% e 9,3% do montante de recursos empenhados em 1997 e 1998, respectivamente; contrastando com os 73,0% e 60,8% destinados ao componente assistência ²³. Ainda assim, no âmbito dos estudos focando a avaliação de serviços e programas, vislumbram-se desde análises de custos ^23,24, às investigações sobre o desempenho de tecnologias de assistência aos portadores de HIV/ AIDS ^25,26; sobre acesso a serviços ²⁷ e a medicamentos ²⁸ e sobre o impacto das políticas de universalização de anti-retrovirais na redução da mortalidade e aumento da sobrevida dos pacientes ^29,30. Também merecem referência, iniciativas como as da Associação Brasileira Interdisciplinar de AIDS (ABIA), em conjunto com o Ministério da Saúde (MS), na edição e produção de material didático ^31,32 e no desenvolvimento e execução de cursos de avaliação de ações e programas em HIV/AIDS.

Diversidade de conceitos e métodos para medir resultados de programas

A grande diversidade de concepções e enfoques metodológicos em avaliação de programas tem sido apontada por diversos autores ^33,34,35. Além disso, concepções como as de Fairweather ³⁶ confrontadas às de Parlette & Hamilton (apud Rundall ³), ilustram bem a falta de consenso na área. Se para o primeiro a avaliação implica, em última instância, a realização de um experimento com alocação aleatória de participantes; para os dois últimos autores, numa avaliação o pesquisador não busca manipular, controlar ou eliminar variáveis contextuais, mas toma-as enquanto integrantes do cenário que ele encontra.

Embora múltiplo em concepções, o ato de avaliar um dado objeto ­ sob a ótica do método científico ­ implica invariavelmente medir e emitir um julgamento de valor sobre um objeto determinado, com base em um modelo teórico. No âmbito da teoria sociológica, contribuições como as de Campbell & Stanley ³⁷ e Carmines & Zeller ³⁸, na revisão e síntese do conceito e de atributos e métodos de medida, atendem às movimentações no sentido da objetivação e demarcação dos estudos avaliativos em outros campos das ciências. Em última instância, esses autores tratam de relacionar indicadores ­ efeitos observados ­ a conceitos, insistindo no princípio fundamental da pesquisa científica: associar o empiricamente observado às proposições teóricas. A lapidação de definições e critérios de confiabilidade e validade em pesquisa e os esforços de classificação de delineamentos de estudos ^37,38, integram o processo de separar o julgamento subjetivo daquele orientado por um modelo teórico. Transposto para o campo avaliação de programas, trata-se de distinguir avaliações baseadas em técnicas daquelas dirigidas por uma análise teórica sobre as relações entre a intervenção, o contexto e os resultados observados ³⁹.

Na área de saúde a avaliação assume novos contornos teórico metodológicos a partir dos exaustivos trabalhos de Donabedian ⁴⁰. Ocupando-se primariamente com a avaliação da assistência médica e enfocando o conceito de "qualidade", o autor sistematiza uma série de atributos relacionados aos efeitos do cuidado médico (eficácia, efetividade, impacto); aos custos (eficiência); à disponibilidade e distribuição dos recursos (acessibilidade, equidade) e à percepção dos usuários sobre a assistência recebida (aceitabilidade). Além dos atributos, Donabedian ⁴⁰ propõe as etapas de produção do cuidado médico explicitando três dimensões para sua avaliação: estrutura, processo e resultados.

Ainda sob a ótica do método científico, Rundall ³ (p. 1834) argumenta que "o problema em avaliar a efetividade de um programa é idêntico ao de demonstrar que o programa é a causa de alguns efeitos específicos". A avaliação de resultados de uma intervenção exige procedimentos para evidenciar a existência de relação de causalidade entre o programa e os efeitos observados. Reportando-se ao que Campbell & Stanley ³⁷ denominam de "ameaças à validade", Rundall ³ reitera os critérios gerais a serem satisfeitos para demonstrar relação causal.

Assumir que as ações do programa "são a causa" das mudanças observadas implica excluir "outras causas" igualmente possíveis. A correlação estatística também ocorre se os efeitos condicionam o programa ou se outra variável produz interferência tanto no programa quanto em seus efeitos. Além disso, o modelo exige a exclusão do acaso e o controle de todas as outras variáveis, potencialmente consideradas causais, explicativas da associação: a presença de ordenamento temporal entre causas e efeitos e a existência de evidencias, com base em outros estudos, de que os resultados são plausíveis. Sem se referir à epidemiologia, Rundall ³ sintetiza nesse enfoque uma convergência de propósitos e aproxima o objeto de conhecimento da avaliação àquele da pesquisa epidemiológica.

A noção de fator de risco como conceito ampliado de causa, os recursos estatísticos fundados no princípio da probabilidade, o controle de "viéses" e de fatores de "confundimento" são pautas que traduzem a forma pela qual a epidemiologia se apropria e lida com as "ameaças" inerentes à "inferência causal". É nessa perspectiva que essa teoria assume centralidade no desenvolvimento do método epidemiológico e é, de certa forma, corolário do papel que a epidemiologia vem desempenhando na delimitação e objetivação do campo da avaliação em saúde.

Embora paradigmática, a "inferência causal" vem sendo alvo de múltiplos questionamentos. Nesta direção, no próximo segmento, discutem-se limitações inerentes ao modelo, as questões de validade e suas implicações para a avaliação em saúde.

Dimensionamento do contexto ­ tendências contemporâneas da epidemiologia e da avaliação em saúde

Na última década vislumbram-se dois tipos de enfoques críticos ao modelo de inferência causal: um apontando problemas internos à teoria; e outro, de natureza estrutural, situando suas lacunas num panorama mais geral de crise da própria saúde pública ⁴¹ e, em particular, da epidemiologia. Na primeira vertente encontram-se, por exemplo, as abordagens recentes indicando limitações teórico-metodológicas do modelo frente ao monitoramento do risco envolvendo doenças infecciosas em geral ^42,43,44 e a epidemia de HIV/AIDS em particular ^45,46. Esse eixo de discussão evidencia que o princípio da "independência dos eventos" e sua "estrutura linear" ­ bases da "inferência causal" ­ sofrem violação quando se trata de enfermidades infecciosas. Nessa situação a freqüência do evento "depende" do número de indivíduos já infectados e do padrão de interação entre infectados e não infectados.

A segunda vertente ­ das análises estruturais ­ é representada por inúmeros trabalhos de autores contemporâneos em diversos países. O debate crítico acerca da história e do campo de aplicação da saúde pública imbricado no movimento em torno dos determinantes sociais do processo de saúde e doença; a vigência de modelos econômicos excludentes e seu impacto sobre as condições de vida e trabalho geram desafios teórico-metodológicos singulares à área na América Latina ^47,48,49. Esse é o cenário que suscitou a emergência da chamada Epidemiologia Social. Nesta direção as análises de Almeida Filho ⁵⁰, Barata ⁵¹, Breilh ⁵², Ayres ⁵³, se somam a de outros ocupados em discutir acerca da própria delimitação do objeto e da renovação da agenda dessa disciplina. A questão da iniqüidade em saúde e da sua superação, do ambiente e qualidade de vida e a avaliação do impacto das tecnologias nos níveis de saúde são alguns dos inúmeros temas que sugerem interfaces da epidemiologia com outras disciplinas e emergem neste contexto.

A explicitação da crise na epidemiologia é também objeto de conhecimento de vários autores norte-americanos. Análises críticas como as de Krieger ⁵⁴, evidenciando a falta de fundamento teórico da chamada "rede multicausal" e da produção científica da disciplina, refletem essa tendência. Susser & Susser ⁵⁵, transitando de meados do século XIX aos tempos atuais, tratam da evolução histórica da epidemiologia moderna, demarcando três eras distintas e discutindo as contribuições e limites de seus respectivos paradigmas (a era das estatísticas sanitárias e a teoria miasmática; a era da epidemiologia das doenças infecciosas e a teoria dos germes e a era da epidemiologia das doenças crônicas, a teoria da multicausalidade e o "modelo da caixa preta"). Com base nessa síntese histórica e dos argumentos acerca dos limites da teoria adotada em estabelecer as causas das doenças crônicas emergentes a partir da Segunda Guerra, os autores abordam as perspectivas e compromissos no processo de desenvolvimento de uma nova disciplina ­ a "eco-epidemiologia" ­ e os desafios para a construção de um paradigma correlato ­ o "modelo da caixa chinesa" ⁵⁶. Esse último, em contraponto ao "modelo da caixa preta" e em sintonia com a nova era, pressupõe múltiplos níveis de organização (molecular, individual e social) e sua aplicação requer a incorporação e integração desses níveis no delineamento, análise e interpretação da realidade.

Analisando o desenvolvimento da epidemiologia, em especial nas duas últimas décadas, o conjunto de autores citados ­ ainda que partindo de realidades e países diversos ­ corroboram o paradoxo apontado por Castellanos ⁵⁷ (p. 130-1): "apesar do explosivo desenvolvimento científico e tecnológico no campo da epidemiologia e da vertiginosa produção de pesquisas epidemiológicas no mundo contemporâneo, cada vez a epidemiologia contribui menos para a compreensão dos problemas de saúde das populações e cada vez mais as intervenções de saúde pública tendem a se concentrar em intervenções sobre indivíduos". O autor analisa que essa situação é resultado da substituição das abordagens populacionais sobre determinantes do processo de adoecer e morrer, que marcaram o nascimento da saúde pública nos séculos XVIII e XIX, por um modelo centrado no indivíduo.

Seguindo esse eixo argumentativo, é parte da agenda da epidemiologia contemporânea ­ enquanto disciplina estruturante da saúde pública ­ recuperar a dimensão populacional como seu nível de realidade interpretativa e operacional. Interessa, portanto, precisar o conceito de população: "não se trata de qualquer conjunto de indivíduos agrupados segundo critérios utilitários do pesquisador" (Castellanos ⁵⁷ p. 131), nem de "um somatório de indivíduos independentes" (Koopman & Lynch ⁵⁸ p. 1170). O atributo essencial de população é a interação entre seus membros. Além disso, supor que "toda a interação gera organização e hierarquias" (Simon apud Castellanos ⁵⁷ p. 131) implica reconhecer que "população é um grupamento de subpopulações que interagem como sistemas complexos hierárquicos e indecomponíveis" (Castellanos ⁵⁷ p. 131).

Esses são os princípios que diferenciam os delineamentos populacionais daqueles focados no indivíduo. O que caracteriza e garante especificidade desses dois enfoques é o nível de abordagem do fenômeno e não a quantidade de pessoas estudadas. Nessa perspectiva, as variáveis são hierarquizadas segundo o nível de análise. Defende-se a noção de variáveis "estruturais" (de nível superior), "contextuais" (de mesmo nível) e "analíticas" (de nível inferior), e o princípio da "coerência de nível". Essas proposições implicam reconhecer que qualquer fenômeno sofre algum grau de interferência, dadas as interações que ocorrem em níveis infinitamente distantes, acima e abaixo do nível no qual ele é estudado. Seguindo a hierarquia, essa interferência é tão mais evidente quão mais próximo estejam os níveis considerados em relação àquele da abordagem. Além disso, reconhece-se a necessidade de desenvolver procedimentos adequados para articular, em um mesmo estudo, variáveis de diferentes níveis sem violar a especificidade de cada nível. Trata-se de definir estratégias para evitar freqüentes erros de interpretação ao transitar entre um nível de análise e outro ­ cross level bias ^56,57,59. Integram esse debate: (a) a revitalização das discussões em torno da "falácia ecológica" e o debate sobre suas conseqüências indesejáveis, tanto para os estudos em nível do indivíduo quanto para análises populacionais ⁶⁰; (b) o enfoque sobre viéses ecológicos relacionados a efeitos individuais, "confundimentos" e modificação de efeito, apontando procedimentos para sua abordagem ⁶¹; (c) as revisões de estudos sobre correlações entre exposição ao risco e doença nos níveis individual e coletivo e o alerta dos modelos não lineares, demonstrando que a variação dos riscos individuais no interior de cada grupamento gera valores diferentes nos coeficientes que expressam essas correlações ⁴⁴; (d) o entendimento de que essas discrepâncias entre correlações, no nível individual e no coletivo, podem inclusive contribuir na compreensão dos riscos nos indivíduos ⁶².

A epidemiologia contemporânea deve portanto assumir o desafio de incorporar os progressos da disciplina, reconhecendo avanços conceituais e técnicos dos estudos de nível individual e identificando quais e como (esses avanços) podem contribuir ao processo de formulação de novos princípios e métodos que garantam a identidade e o desenvolvimento de modelos populacionais ­ não mais como subsidiários dos estudos individuais ­ numa perspectiva includente ⁵⁷.

O atual cenário de globalização da economia e da reestruturação produtiva, a agudização das desigualdades sociais e o agravamento das iniqüidades em saúde ­ hoje objeto e contexto de inúmeros estudos ­ fornecem concretude e complexidade a esse desafio. Esse quadro exige, por um lado, novas reflexões/atuações e, por outro, suscita recuperar os fundamentos que orientaram autores como Rosen ⁶³, nos estudos sobre a emergência e o desenvolvimento da saúde pública e da medicina social nos séculos XVIII e XIX.

Trata-se de um longo debate, ainda em curso, que está longe de seu final. O que cabe sublinhar é que os argumentos de Castellanos em direção à "epidemiologia social" ⁴⁷ e pelo "ecológico na epidemiologia" ⁵⁷; as teses de Susser & Susser ⁵⁵ sobre a "eco-epidemiologia"; as proposições de Shy ⁶⁴ por uma "macroepidemiologia"; e os argumentos de Koopman & Lynch ⁵⁸ em torno de "modelos populacionais sistêmicos em epidemiologia" são constructos teóricos que fazem contrapontos às tendências centrais da epidemiologia das duas últimas décadas. Relativizando e reconhecendo o papel dos estudos ao nível do indivíduo, situando suas propriedades e limites, esses autores reabilitam os chamados estudos descritivos, enfatizando novas aplicações aos estudos epidemiológicos de tipo ecológico.

Aqui interessa referir esse debate enquanto conjunto articulado de argumentos que serviram para habilitar o modelo proposto e a ênfase reservada à "dimensão de contexto".

O contexto na pesquisa avaliativa

"Too many evaluations which disregard context lie gathering dust on shelves while critical decisions about programs are made despite evaluation findings" (Guttentag & Struening ⁶⁵ p. 3).

O modelo teórico é a dimensão que diferencia a "pesquisa avaliativa" das avaliações primariamente centradas nos efeitos/resultados de programas e serviços. A teoria subjacente desses últimos delineamentos é o "modelo da caixa preta". Seguindo as argumentações de Denis & Champagne ⁶⁶ (p. 50), nessa lógica, "a intervenção é tratada como variável dicotômica (ausência-presença da intervenção) e uma entidade relativamente homogênea de onde é fácil definir o conteúdo e os diferentes componentes. A intervenção, a partir desse modelo, apresenta pouca ou nenhuma variação ao ser implantada e é impermeável às características dos meios onde é introduzida". Assim, embora tenham contribuído ao campo em relação ao desenvolvimento de métodos, avaliações com base nessa teoria convivem com sérias limitações relacionadas à validade externa. Sob esse prisma, essas análises não respondem (ou o fazem impropriamente) a questionamentos do tipo: "Que condições determinaram os efeitos observados?" "Em que medida, os resultados auferidos podem ser reproduzidos em outro contexto?".

O necessário zelo com a validade interna não substitui a atenção que deve ser reservada à validade externa de uma avaliação. Ainda que fazendo referência e louvando os esforços de Campbell & Stanley ³⁷ e Cook & Campbell ⁶⁷ ­ enfocando a validade interna como atributo primeiro para apreciação da qualidade de um estudo ­, Denis & Champagne ⁶⁶ (p. 52) não deixam de apontar que "essa ênfase contribuiu para negligenciar o desenvolvimento de estratégias para aumentar a validade externa das avaliações e limitou, desta forma, as repercussões práticas deste tipo de pesquisa".

Assim, em consonância ao posicionamento de inúmeros epidemiologistas, críticos da "inferência causal", e de seus princípios teóricos ­ o "modelo da caixa preta" ­ esses autores defendem a "pesquisa avaliativa". Argumentam que, este modelo, centrado na caracterização das condições de produção dos efeitos observados (variáveis contextuais) com base no programa, amplia o potencial de generalização da "pesquisa avaliativa". Enfocando a influência do status de desenvolvimento do programa e do contexto sobre os efeitos observados e avaliando a correlação de variáveis contextuais no ciclo evolutivo do programa, estes desenhos de análise avançam sobre as tendências avaliativas centradas nos resultados ². Busca-se, nessa vertente, "primariamente, compreender os efeitos da interação, identificados por Campbell & Stanley (1966) como uma ameaça eventual à validade externa de um estudo. Por efeito de interação entendemos o papel ativo desempenhado por um conjunto de variáveis que não a intervenção (características dos atores, da organização...) na determinação dos efeitos observados" (Denis & Champagne ⁶⁶ p. 51-2).

Nesse ponto cabe situar convergências entre estes movimentos emergentes da "pesquisa avaliativa" e as argumentações, advindas da epidemiologia, em torno da reabilitação dos estudos ecológicos. Sugere-se que epidemiologistas e avaliadores em saúde que atuam nessa lógica enfrentam desafios semelhantes: como incorporar variáveis contextuais, estruturais e analíticas em uma mesma abordagem?

Por um modelo contextualizado de pesquisa avaliativa

Considera-se aqui o esforço de alguns autores em conceituar e estabelecer os limites da avaliação em saúde. "Avaliar consiste fundamentalmente em fazer um julgamento de valor a respeito de uma intervenção (programa) ou sobre qualquer um de seus componentes, com o objetivo de ajudar na tomada de decisões" (Contandriopoulos et al. ¹ p. 31). Argumenta-se ainda que um programa, qualquer que seja, "pode sofrer os dois tipos de avaliação. (...) por um lado, estudar cada um dos componentes da intervenção em relação a normas e critérios ­ avaliação normativa ­ e por outro, examinar por um procedimento científico as relações que existem entre os diferentes componentes de uma intervenção ­ pesquisa avaliativa". Detalhando a concepção e seus múltiplos enfoques, esses autores defendem que a pesquisa avaliativa "trata de analisar a pertinência e os fundamentos teóricos (análise estratégica), os objetivos (análise da intervenção), a produtividade, os efeitos (análise de efetividade) e o rendimento de uma intervenção e o contexto (análise de implantação) no qual ela se situa"(Contandriopoulos et al. ¹ p. 31).

Analisando princípios e métodos na avaliação de programas de promoção da saúde e defendendo a abordagem das relações entre as intervenções e os resultados, Potvin et al. ² enunciam que as questões em avaliação são de duas naturezas. Uma enfocando os componentes do programa: quão coerente é a "teoria de tratamento" associando os objetivos, recursos e atividades/serviços do programa? Quais os ganhos das atividades e serviços do programa? E a outra relacionada à interação programa-contexto: Quão relevantes são os objetivos do programa em relação ao alvo das mudanças? Qual a capacidade de resposta do programa em função das condições do contexto?

Considerando a multiplicidade de concepções em avaliação em saúde, interessa reconhecer que a opção pelos princípios e métodos da pesquisa avaliativa emergente oferece pelo menos quatro grandes vantagens ao que vem sendo discutido até aqui. A primeira por conter o que é consensual ao campo ­ "avaliar é fazer um julgamento de valor". Outra vantagem é conferir à avaliação, quer seja ela administrativa quer seja científica, um objetivo ­ subsidiar a tomada de decisões. A aplicabilidade do ato de avaliar integra o seu conceito. Supõe-se uma interlocução entre quem avalia e quem decide pela mudança ou continuidade da intervenção. O terceiro aspecto relevante é que, esses autores reconhecem interseções da área de pesquisa e da área de avaliação. Isto é, sugere-se uma interação entre instâncias que geram conhecimentos com as que produzem as intervenções. Por fim, a referência exaustiva às dimensões do contexto e o empenho em apreender, no processo de pesquisa, suas múltiplas interferências sobre o problema e as intervenções preconizadas para modificá-lo. A avaliação é assumida enquanto um "sistema de feedback" entre o programa e seu contexto, onde o objetivo fundamental é a produção de informações e conhecimentos que, por um lado aprimore as teorias de tratamento e, conseqüentemente, o entendimento de como o programa funciona em outros contextos e, por outro, forneça subsídios às intervenções locais. Vale dizer que, considerando programas de abrangência nacional, o modelo possibilita o fortalecimento e o resgate do papel de seus diversos níveis de desenvolvimento.

Transpondo esta discussão à sua finalidade última ­ oferecer subsídios para pesquisas avaliativas em HIV/AIDS, trata-se de enfocar a análise na adequação entre o programa, epidemia e em seus determinantes, vis-à-vis as condições e o meio onde estes fenômenos estão inseridos⁶⁸. Isso implica avaliar as ferramentas utilizadas no dimensionamento do problema, isto é, verificar os estimadores adotados para definir as necessidades. Além disso, trata-se ainda de identificar "indicadores contextuais" que possam ter favorecido ou dificultado a evolução da epidemia, por um lado, e a implantação do programa, por outro.

Concluindo

"(...) nossa incapacidade de controlar a epidemia reside nas lacunas relativas à compreensão da transmissão da infecção e da doença no contexto social. Sabemos quais comportamentos sociais precisam ser mudados, mas pouco sabemos sobre como mudá-los, mesmo quando sociedades inteiras estão envolvidas" (Susser & Susser ⁵⁵ p. 671).

Na proposição deste modelo de avaliação buscaram-se interlocuções em dois movimentos. Um mais específico, envolvendo a atual agenda de análise e desenvolvimento de intervenções em DST/AIDS, a ser abordado em um próximo artigo e o segundo mais geral, relacionado a trajetórias contemporâneas da saúde pública e da epidemiologia.

Cabe aqui aproximar e indicar nexos do modelo preterido em relação ao segundo movimento, mais estrutural e onde se identificam dois debates contemporâneos. O primeiro relativo à crítica em torno da epidemiologia e da ênfase das pesquisas epidemiológicas centradas primariamente no indivíduo. Reconhecem-se mudanças e reestruturações da disciplina enquanto contribuições às tendências contemporâneas de reformulação de concepções e métodos da avaliação em saúde. Apontar fundamentos dessa sintonia de propósitos defendidos por epidemiologistas e avaliadores em saúde cumpre aqui dupla finalidade: compreender a natureza das contribuições entre as duas disciplinas vis-à-vis seus respectivos objetos de conhecimento e interpretar a noção, os princípios e a reemergência de desenhos de tipo ecológico imbricado ao movimento que revigora as abordagens populacionais enquanto nível de realidade adequado para a epidemiologia. O segundo debate com o qual o modelo interage refere-se às tendências da avaliação centrada na interação do "contexto" sobre o problema e os efeitos do programa implantado para modificá-lo.

Esses dois eixos discursivos comungam os mesmos argumentos acerca das limitações do "modelo de inferência causal". O enfoque sobre a natureza estreita e parcial dos estudos avaliativos centrados primariamente nos resultados dos programas e serviços de saúde, corrobora a crítica que a epidemiologia contemporânea dirige à "inferência causal". Trata-se de resgatar as questões abordadas por Campbell & Stanley (apud Rundall ³), sobre as "ameaças" à validade interna (os efeitos observados são "causados" pelo programa?) e externa (os resultados observados e computados ao programa podem ser generalizados?).

As dificuldades a ser enfrentadas no desenvolvimento de uma pesquisa avaliativa desta natureza são aquelas próprias da história e da maturidade do programa, das mudanças de enfoque decorrente de pressões sociais e das variações no perfil da epidemia, particularmente de sua duração e da heterogeneidade de graus de desenvolvimento das intervenções em nível das municipalidades. No modelo proposto estas limitações são na realidade, aprioristicamente assumidas como estimulo à investigação. Em última instância trata-se de explicitar, com base nos indicadores definidos (epidemiológicos, contextuais e no padrão de desenvolvimento do programa) e nos princípios da pesquisa avaliativa, as diferenças e semelhanças entre as unidades de análise e seus determinantes. Desta forma, buscam-se aproximações com inúmeros autores contemporâneos que vêm investigando as múltiplas e complexas relações entre o contexto e a saúde. Karpati et al.⁶⁹ (p. 1768), por exemplo, ao estudarem as interações contexto-saúde em dois estados norte-americanos explicitam que "para a vigilância em saúde ou para a pesquisa epidemiológica, a variabilidade na saúde de grupos populacionais e seus determinantes pode fornecer características mais informativas que o nível absoluto de um componente em particular. Da mesma forma, para a avaliação de políticas e de programas de saúde, a variabilidade pode ser útil para medir os efeitos relativos de diferentes intervenções". As referências em torno do contexto e os recursos adotados na organização e análise de dados devem seguir este eixo de análise.

Além disso, conforme se apontou, a utilização de dados secundários gerados de diferentes sistemas de informação em saúde, é fonte freqüente de erros nos estudos ^70,71. Não cabe aqui abordar cada estratégia adotada para fazer frente a essas limitações, mesmo porque outras tantas estão presentes e certamente carecem de solução. Cumpre entretanto o registro de que, no processo de delineamento deste modelo, buscou-se identificar problemas e minimizar seus efeitos.

Assim é que, em síntese, a hipótese operacional deste modelo de avaliação do programa de controle de DST/AIDS pode ser enunciada com a questão central: quais os estimadores utilizados para avaliar as necessidades do programa? E a questionamentos correlatos do tipo: O desenvolvimento do programa, em cada municipalidade, tem correspondência com o perfil da epidemia? Existem intervenções do componente de prevenção do Programa nestes municípios? Municípios com maior incidência de casos dispõem de serviços de assistência adequados às necessidades do portador de HIV/AIDS?

Trata-se de uma pesquisa avaliativa e, na perspectiva da gestão do programa, supõe-se que seus resultados tragam subsídios à tomada de decisões com vistas a sua adequação às necessidades que o enfrentamento da epidemia segue produzindo.

Por fim, interessa ainda mencionar o recente debate em torno do desenvolvimento da epidemiologia brasileira e sua interlocução com os movimentos que buscam fortalecer o campo da avaliação em saúde no Brasil. A partir do início dos anos 90, vislumbram-se inúmeras argumentações reiterando a necessidade de considerar o atual processo de reformas no SUS e de operar interações da Epidemiologia com teorias organizacionais e gestão de serviços. Um número considerável de publicações sobre avaliação em saúde, acessíveis em bases de dados (LILACS) ou reunidas em números especiais de periódicos brasileiros da área de saúde pública (Cadernos de Saúde Pública, v. 12, sup. 2, 1996 e Revista Brasileira de Epidemiologia, v. 5, n. 1), vêm sugerindo aplicações da disciplina em conjunto com outras áreas de conhecimento (planejamento e gestão; ciências sociais e políticas, entre outras) no sentido de contribuir no processo de tomada de decisões consoantes com as mudanças no perfil de adoecimento e morte da população brasileira e, em especial, com os múltiplos processos que vêm determinando essas mudanças. Este modelo emerge nessa lógica e se recria vislumbrando esse contexto dinâmico e fértil de avanços e lacunas, tensões e desafios.

Colaboradores

A. H. Matida foi responsável pela elaboração da primeira versão do artigo, com base nas discussões com L. A. B. Camacho. L. A. B. Camacho contribuiu no processo de elaboração da versão final, acrescentando ao artigo aspectos técnicos e referencial bibliográfico no campo da interação entre a Pesquisa Epidemiológica e a Avaliação em Saúde.

Recebido em 06/Dez/2002

Versão final reapresentada em 03/Jun/2003

Aprovado em 21/Jul/2003

• 1. Contandriopoulos AP, Champagne F, Denis JL, Pineault R. A avaliação na área da saúde: conceitos e métodos. In: Hartz ZMA, organizadora. Avaliação em saúde: dos modelos conceituais a práticas da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 29-47.
• 2. Potvin L, Haddad S, Frohlich KL. Beyond process and outcome evaluation: a comprehensive approach for evaluating health promotion programmes. In: Rootman I, editor. Evaluation in health promotion. Principles and perspectives. Copenhagen: World Health Organization; 2001. p. 45-62. (WHO Regional Publications, European Series, vol 92).
• 3. Rundall TG. Evaluation of health services program. In: Last J, editor. Maxcy-Roseanau public health and preventive medicine. 12^th Ed. Norwalk: Appleton & Lange; 1990. p. 1831-47.
• 4. Rossi PH, Freeman HE. Evaluation: a systematic approach. 5^th Ed. Newbury Park: Sage Publications; 1993.
• 5. White KL. Investigaciones sobre servicios de salud: una antología. Washington DC: Organización Panamericana de la Salud; 1992. (Publicación Científica, vol 534).
• 6. Hartz ZMA. Avaliação de programas de saúde: perspectivas teórico metodológicas e políticas institucionais. Ciênc Saúde Coletiva 1999; 4:341-53.
• 7. Novaes HMD. Epidemiologia e avaliação em serviços de atenção médica: novas tendências na pesquisa. Cad Saúde Pública 1996; 12 Suppl 2:7-12.
• 8. Marques MB. Gestão, planejamento e avaliação de políticas de ciência e tecnologia: hora de rever? Ciênc Saúde Coletiva 1999; 4:383-92.
• ⁹
  Conselho Nacional de Saúde. Relatório preliminar da 11^a Conferência Nacional de Saúde. Brasília: Conselho Nacional de Saúde; 2000.
• 10. Camacho LAB, Hartz ZMA, Goldbaum M, Novaes HMD. Editorial. Cad Saúde Pública 1996; 12 Suppl 2:4-5.
• 11. Schraiber LB, Nemes MIB, Sala A, Peduzzi M, Castanheira ERL, Kon R. Planejamento, gestão e avaliação em saúde: identificando problemas. Ciênc Saúde Coletiva 1999; 4:221-42.
• 12. Stenzel ACB. A temática da avaliação no campo da saúde coletiva: uma bibliografia comentada [Dissertação de Mestrado]. Campinas: Faculdade de Ciências Médicas, Universidade Estadual de Campinas; 1996.
• 13. Hartz ZMA, Pouvourville G. Avaliação dos programas de saúde: a eficiência em questão. Ciênc Saúde Coletiva 1998; 3:68-82.
• 14. Azevedo AC. Avaliação de desempenho de serviços de saúde. Rev Saúde Pública 1990; 25:64-71.
• 15. Novaes HMD. Avaliação do atendimento ambulatorial. Saúde em Debate 1991; 3:62-5.
• 16. Sala A. A avaliação de programas de saúde. In: Schraiber LB, organizadora. Programação em saúde hoje. 2^a Ed. São Paulo: Editora Hucitec; 1993. p. 117-38. (Saúde em Debate, Série Didática).
• 17. Minayo MCS. Editorial. Ciênc Saúde Coletiva 1999; 4:341-53.
• 18. Minayo MCS. O desafio do conhecimento. Pesquisa qualitativa em saúde. São Paulo: Editora Hucitec; 1992.
• 19. Tanaka OY, Melo C. Avaliação de programas de saúde do adolescente: um modo de fazer. São Paulo: Edusp; 2001.
• 20. Viacava F. Informações em saúde: a importância dos inquéritos populacionais. Ciênc Saúde Coletiva 2002; 7:607-21.
• 21. Viacava F, Leite IC, Travassos C. Editorial. Ciênc Saúde Coletiva 2002; 7:604-6.
• ²²
  Ministério da Saúde. Aids no Brasil: um esforço conjunto governo-sociedade. Brasília: Coordenação Nacional de DST/AIDS; 1998.
• ²³
  Ministério da Saúde. Brasil: contas em Aids. Gasto público federal em 1997 e 1998 e estimativa de gasto nacional em 1998. Brasília: Ministério da Saúde; 2000. (Série Avaliação, vol 2).
• 24. Cyrillo DC, Aguirre BMB. Custos de modalidades de assistência à saúde a portadores do HIV. Informações (Fundação Instituto de Pesquisas Econômicas) 1998; 216:20-2.
• 25. Filgueiras SL, Deslandes S. Avaliação das ações de aconselhamento. Análise de uma perspectiva de prevenção centrada na pessoa. Cad Saúde Pública 1999; 15 Suppl 2:121-31.
• 26. Minayo MCS, Souza ER, Assis SG, Cruz Neto O, Deslandes SF, Silva CMFP. Avaliação dos Centros de Orientação e Apoio Sorológico/CTA/Coas da região nordeste do Brasil. Cad Saúde Pública 1999; 15:355-67.
• 27. Acurcio FA, Cesar CC, Guimarães MDC. Health care utilization and survival among patients with AIDS in Belo Horizonte, Minas Gerais, Brazil. Cad Saúde Pública 1998; 14:811-20.
• 28. Oliveira MA, Esher AFSC, Santos EM, Cosendey MAE, Luiza VL, Bermudez JAZ. Avaliação da assistência farmacêutica às pessoas vivendo com HIV/AIDS no Município do Rio de Janeiro. Cad Saúde Pública 2002; 18:1429-39.
• 29. Casseb J, Pereira Jr LC, Silva GL, Medeiros LA. Decreasing mortality and morbidity in adult Aids patients from 1995 to 1997 in São Paulo, Brazil. AIDS Patient Care STDs 1999; 13:213-4.
• 30. Lowndes CM, Bastos FI, Giffin KM, Vaz-dos-Reis AC, D'Orsi E, Alary M. Differential trends in mortality from AIDS in men and women in Brazil (1984-1995). AIDS 2000; 14:1269-73.
• 31. Nemes MIB. Avaliação em saúde: questões para os programas de DST/Aids no Brasil (versão preliminar). Rio de Janeiro: Associação Brasileira Interdisciplinar de AIDS; 2000. (Coleção ABIA Fundamentos de Avaliação, vol 1).
• 32. Sessions G. Avaliação em HIV/Aids: uma perspectiva internacional (versão preliminar). Rio de Janeiro: Associação Brasileira Interdisciplinar de Aids; 2000. (Coleção ABIA Fundamentos de Avaliação, vol 2).
• 33. House ER. Evaluation with validity. Beverly Hills: Sage Publications; 1980.
• 34. Patton MQ. Practical evaluation. Beverly Hills: Sage Publications; 1982.
• 35. Selby JM. Program management: evaluation and project monitoring. Boise: Health Policy Analysis and Accountability Network; 1978.
• 36. Fairweather GW. Community psychology for the 1980's and beyond. Eval Program Plann 1980; 3:245-50.
• 37. Campbell DT, Stanley JC. Experimental and quasi-experimental designs for research. Chicago: Rand McNally; 1966.
• 38. Carmines EG, Zeller RA. Reliability and validity assessment. Beverly Hills: Sage Publications; 1989.
• 39. Chen TH. Theory-driven evaluations. Beverly Hills: Sage Publications; 1990.
• 40. Donabedian A. The definition of quality and approaches to its assessment. Explorations in quality assessment and monitoring. Ann Arbor: Health Administration Press; 1980.
• 41. Paim JS, Almeida Filho N. A crise da saúde pública e a utopia da saúde coletiva. Salvador: Casa da Qualidade; 2000.
• 42. Halloran ME, Struchiner CJ. Study designs for dependent happenings. Epidemiology 1991; 2:331-8.
• 43. Halloran ME, Struchiner CJ. Causal inference in infectious diseases. Epidemiology 1995; 6:142-51.
• 44. Koopman JS, Longini Jr I. The ecological effects of individual and nonlinear disease dynamics in populations. Am J Public Health 1994; 84:836-42.
• 45. Koopman JS, Longini Jr IM, Jacquez JA, Simon CP, Ostrow PG, Martin WR, et al. Assessing risk factors for transmission of infection. Am J Epidemiol 1991; 133:1199-209.
• 46. Susser M. Some principles in study design of preventing HIV transmission: rigor or reality. Am J Public Health 1996; 86:1713-6.
• 47. Castellanos PL. Avances metodológicos en epidemiología. In: Anais do I Congresso Brasileiro de Epidemiologia; Rio de Janeiro: Campinas: ABRASCO; 1990. p. 201-16.
• 48. Laurell AC, Wences MI. Do poverty programs alleviate poverty? Int J Health Serv 1994; 24:381-401.
• 49. Samaja J. Epistemología y metodología. Elementos para una teoría de la investigación científica. Buenos Aires: Eudeba; 1993.
• 50. Almeida Filho N. O problema do objeto do conhecimento na epidemiologia. In: Costa DC, organizador. Epidemiologia: teoria e objeto. São Paulo: Editora Hucitec/ABRASCO; 1990. p. 203-19.
• 51. Barata RCB. Epidemiologia: teoria e método. In: Anais do I Congresso Brasileiro de Epidemiologia; Rio de Janeiro: ABRASCO; 1990. p. 216-23.
• 52. Breilh J. La epidemiología (crítica) latinoamericana. In: Franco S, Nunes ED, Breilh J, Laurell AC, organizadores. Debates en medicina social. Quito: Organización Panamericana de la Salud; 1991. p. 164-215. (Serie Desarrollo de Recursos Humanos).
• 53. Ayres JRCM. Epidemiologia e emancipação. São Paulo: Editora Hucitec/ABRASCO; 1995.
• 54. Krieger N. Epidemiology and the web of causation: has anyone seen the spider? Soc Sci Med 1994; 39:887-903.
• 55. Susser M, Susser E. Choosing a future for epidemiology: I. Eras and paradigms. Am J Public Health 1996; 86:668-73.
• 56. Susser M, Susser E. Choosing a future for epidemiology: II. From black box to Chinese boxes and eco-epidemiology. Am J Public Health 1996; 86:674-7.
• 57. Castellanos PL. O ecológico na epidemiologia. In: Almeida Filho N, Barreto ML, Veras RP, Barata RB, organizadores. Teoria epidemiológica hoje: fundamentos, interfaces e tendências. Rio de Janeiro: ABRASCO/Editora Fiocruz; 1998. p. 129-47.
• 58. Koopman JS, Lynch JW. Individual causal models and population system models in epidemiology. Am J Public Health 1999; 89:1170-4.
• 59. Morgenstern H. Uses of ecologic analysis in epidemiologic research. Am J Public Health 1982; 72:1336-44.
• 60. Susser M. The logic of ecological: I. The logic of analysis. Am J Public Health 1994; 84:825-9.
• 61. Greenland S, Morgenstern H. Ecological bias, confounding, and effect modification. Int J Epidemiol 1989; 18:269-74.
• 62. Schwartz S. The fallacy of the ecological fallacy: the potential misuse of a concept and the consequences. Am J Public Health 1994; 84:819-24.
• 63. Rosen G. Da polícia médica à medicina social. Rio de Janeiro: Editora Graal; 1980.
• 64. Shy MC. The failure of academic epidemiology: witness for the prosecution. Am J Epidemiol 1997; 145:479-87.
• 65. Guttentag M, Struening EL. The relationship between program content and evaluation techniques. Handbook of Evaluation Research 1975; 2:3-7.
• 66. Denis JL, Champagne F. Análise de implantação. In: Hartz ZMA, organizadora. Avaliação em saúde: dos modelos conceituais a práticas da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 49-88.
• 67. Cook TD, Campbell DT. Quasi-experimentation: design and analysis for field settings. Boston: Houghton Mifflin; 1979.
• 68. Matida AH. A Aids e seus múltiplos ecos: contribuições para a avaliação do Programa de Controle e Prevenção de DST/Aids do Estado do Rio de Janeiro. Rio de Janeiro: Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz; 1997.
• 69. Karpati A, Galea S, Awerbuch T, Levins R. Variability and vulnerability at the ecological level: implications for understanding the social determinants of health. Am J Public Health 2002; 92:1768-72.
• 70. Veras CMT, Martins MS. A confiabilidade dos dados nos formulários de autorização de internação hospitalar (AIH), Rio de Janeiro, Brasil. Cad Saúde Pública 1994; 10:339-55.
• 71. Wray NP, Ashton CM, Kuykendall DH, Hollingsworth JC. Using administrative databases to evaluate the quality of medical care: a conceptual framework. Soc Sci Med 1995; 40:1707-15.

Datas de Publicação

• Publicação nesta coleção
  08 Mar 2004
• Data do Fascículo
  Fev 2004

Histórico

• Aceito
  21 Jul 2003
• Revisado
  03 Jun 2003
• Recebido
  06 Dez 2002