Avaliação em Atenção Básica à Saúde no Brasil: mapeamento e análise das pesquisas realizadas e/ou financiadas pelo Ministério da Saúde entre os anos de 2000 e 2006

Assessment of Primary Health care in Brazil: mapping and analysis of research conducted and/or financed by the Ministry of Health from 2000 to 2006

REVISÃO REVIEW

Avaliação em Atenção Básica à Saúde no Brasil: mapeamento e análise das pesquisas realizadas e/ou financiadas pelo Ministério da Saúde entre os anos de 2000 e 2006

Assessment of Primary Health care in Brazil: mapping and analysis of research conducted and/or financed by the Ministry of Health from 2000 to 2006

Patty Fidelis de Almeida; Ligia Giovanella

Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz, Rio de Janeiro, Brasil

^{Correspondência}

RESUMO

O artigo apresenta mapeamento e análise das pesquisas de monitoramento e avaliação em Atenção Básica à Saúde realizadas e/ou financiadas pelo Ministério da Saúde, concluídas e publicadas entre 2000 e 2006. Foram localizadas 11 pesquisas finalizadas, 84 em andamento, 14 concluídas e com divulgação parcial dos resultados. Os primeiros estudos realizados entre 2000 e 2002, foram, principalmente, análises do processo de implantação do Programa Saúde da Família para detectar fragilidades, potencialidades e custos, podendo ser caracterizados como "avaliação para decisão", com privilégio da visão de gestores e profissionais. Outra característica parece ter sido a fragmentação na realização dessas pesquisas, muitas vezes desenvolvidas simultaneamente, com objetivos e metodologias semelhantes. Quanto à divulgação dos resultados, a maior parte encontra-se em formato de relatórios técnicos, com linguagem de difícil apreensão. Considera-se que os Estudos Linhas de Base, realizados a partir de 2004, representam um avanço ao incorporar elementos que parecem superar debilidades dos processos anteriores como: avaliação de impacto, compartilhamento das metodologias e resultados, envolvimento de atores das secretarias municipais e estaduais, capacitação de técnicos para avaliação e o ponto de vista dos usuários.

Atenção Primária à Saúde; Programa Saúde da Família; Monitoramento

ABSTRACT

This article presents a mapping and analysis of monitoring and assessment research in Primary Health Care conducted and/or financed by the Ministry of Health and completed and published from 2000 to 2006. A total of 109 studies were identified, of which 11 had been completed, 84 were ongoing, and 14 had been concluded and had published partial results. First, studies from 2000 to 2002 were addressed to analyze the implementation of the Family Health Program and detect its weaknesses, potentialities, and costs. This phase could be described as "evaluation for decision-making", emphasizing the views of managers and health professionals. Another characteristic was the fragmentation/overlapping of studies, often conducted simultaneously and with similar objectives and methodologies. Most of the studies were published as technical reports using specialized, complicated language. The PROESF baseline studies performed since 2004 represent a step forward by incorporating elements for overcoming weaknesses in previous processes; these new elements include impact assessments, methodologies, and results-sharing, involving actors from Municipal and State health secretariats, and staff training in evaluation activities, and the perspectives of health services users.

Primary Health Care; Family Health Program; Monitoring

Introdução

Estudos apontam que sistemas orientados pela Atenção Primária à Saúde apresentam resultados positivos em relação à provisão de melhores cuidados em saúde para suas populações, tanto no que se refere ao alcance de maior eqüidade e eficiência quanto em relação à continuidade da atenção e satisfação dos usuários ^{1,2,3,4,5,6,7,8}. Além disso, há um certo consenso de que a atenção primária deve constituir-se como base do sistema de saúde com capacidade para organizá-lo em sua totalidade ^4,9,10.

No Brasil, a Atenção Básica à Saúde, denominação que corresponderia ao que a literatura internacional tem chamado de Atenção Primária à Saúde, vem sofrendo inovações importantes desde os anos de 1990, principalmente a partir da expansão de cobertura pela Estratégia Saúde da Família. Para o ano de 2006, segundo dados do Ministério da Saúde, aproximadamente 82 milhões de brasileiros estavam cadastrados por equipes de saúde da família. Nesse cenário, são crescentes a necessidade e o interesse em avaliar e monitorar os resultados alcançados em relação à organização e provisão dos serviços, e também no que se refere aos possíveis impactos produzidos na saúde e bem-estar das populações.

A partir dos anos 2000, observaram-se esforços no sentido de avaliar a Atenção Básica à Saúde em seus diversos aspectos, empreendidos por centros acadêmicos e fortemente induzidos pelo Ministério da Saúde por meio de financiamento, apoio e realização de pesquisas na área de monitoramento e avaliação. Nesse mesmo período, foi criada a Coordenação de Investigação no interior do Departamento de Atenção Básica (DAB), da Secretaria de Atenção à Saúde do Ministério da Saúde, com o objetivo de formular e conduzir propostas de avaliação em atenção básica que, neste primeiro momento, focaram o monitoramento da estrutura, processo e resultado por meio de dados obtidos nos sistemas de informação em saúde e de avaliações normativas ¹¹.

Em 2003, frente à considerável expansão de cobertura pela Estratégia Saúde da Família e dos novos desafios decorrentes da implantação, principalmente nos centros urbanos com população superior a 100 mil habitantes, a então Coordenação de Investigação passou a chamar-se Coordenação de Acompanhamento e Avaliação da Atenção Básica (CAA/DAB), com a missão de fortalecer o papel da avaliação enquanto importante instrumento para a gestão do Sistema Único de Saúde (SUS) com vistas à criação de uma cultura avaliativa nas três esferas de governo. Ganhou ênfase a partir desse período a preocupação em disseminar os resultados obtidos nos estudos e a interlocução entre o saber produzido e os atores envolvidos nos processos decisórios. Também no ano de 2003 uma série de discussões foi desencadeada a fim de construir as bases de uma política nacional para o monitoramento e avaliação da Atenção Básica à Saúde, com a formação da Comissão de Avaliação da Atenção Básica, envolvendo gestores e técnicos de vários setores do Ministério da Saúde ¹².

Entre os desafios presentes no campo, encontra-se a realização de pesquisas que aportem evidências sobre os impactos das inovações propostas pela Estratégia Saúde da Família na organização do sistema e na saúde das populações. Segundo Almeida & Macinko ¹³, a maior parte das avaliações realizadas no país enfoca os processos de implementação do Programa Saúde da Família (PSF) e avalia o impacto da atenção por meio de indicadores fortemente determinados por fatores como renda, saneamento, educação, entre outros. Para os autores ainda são escassos os estudos que propõem avaliar o desempenho do sistema de atenção básica de forma global. Outro desafio a ser enfrentado relaciona-se à criação de mecanismos institucionais que permitam regularidade de análise dos dados ¹⁴.

Com o objetivo de contribuir para as discussões em torno do estado da arte dos estudos em avaliação e monitoramento da Atenção Básica à Saúde no Brasil, o presente artigo apresenta um mapeamento e análise das pesquisas realizadas e/ou financiadas pelo Ministério da Saúde, concluídas e publicadas no período de 2000 a 2006. A escolha justificou-se pelo reconhecimento dos esforços e iniciativas do gestor federal na tentativa de institucionalizar a avaliação da Atenção Básica à Saúde no SUS e o significativo número de estudos realizados ou apoiados por esta esfera de governo. O período foi selecionado em função das transformações institucionais ocorridas no interior do Ministério da Saúde com a criação da CAA/DAB, a instituição da Comissão de Avaliação da Atenção Básica e a significativa expansão de cobertura pelo PSF observada entre os anos de 2000 e 2006.

Métodos

Para efeito da seleção dos trabalhos analisados considerou-se "avaliação" todas as pesquisas cujo objetivo principal foi proceder a um julgamento sobre uma intervenção ou alguns de seus elementos constitutivos para auxiliar na tomada de decisão, descrever ou caracterizar determinada realidade, testar hipóteses, fazer recomendações ou estabelecer normas. Assim, foram selecionados todos os estudos, quantitativos e/ou qualitativos, cujos objetivos e desenho metodológico envolveram coleta sistemática de informações por meio de dados primários e/ou secundários, com o propósito de fornecer algum tipo de subsídio aos processos decisórios ou auxiliar o planejamento e expansão da Atenção Básica à Saúde no país.

As pesquisas selecionadas foram classificadas em um amplo espectro como "avaliação da atenção básica". Reconhece-se que este conjunto de trabalhos incorporou também os estudos de monitoramento e de avaliação pontual. Segundo Vieira-da-Silva ¹⁵ (p. 16), "o monitoramento corresponderia ao acompanhamento sistemático sobre alguma característica dos serviços enquanto que a avaliação pontual refere-se ao julgamento sobre os mesmos em um determinado ponto do tempo". Para a autora, embora o monitoramento possa produzir informações necessárias à realização de uma avaliação, não pode ser tomado como sinônimo, ao menos quando esta atividade se resume ao registro contínuo de variáveis ao longo do tempo. A realização de pesquisas ou investigações avaliativas exigiria a formulação de uma pergunta específica para orientar a análise dos achados empíricos. Hartz ¹⁶ discute a histórica ligação entre monitoramento e avaliação, mas também reconhece a distinção entre os dois tipos de estudo. Aponta ainda que a apreensão dos possíveis componentes inovadores no campo da atenção básica exige, além do monitoramento dos indicadores já existentes, desenvolvimento de pesquisas avaliativas.

Consideram-se freqüentemente como pesquisa avaliativa os trabalhos cujo desenho metodológico atende aos requisitos da pesquisa experimental, que corresponderiam aos ensaios clínicos randomizados, fortemente induzidos pelo movimento da Medicina Baseada em Evidências. Contudo, no campo da Saúde Pública, e particularmente na área de avaliação de programas, esse modelo vem sofrendo uma série de críticas tanto éticas quanto operacionais como a dificuldade e altos custos na escolha aleatória de participantes, longo tempo demandado para realização e impossibilidade ética de observar um grupo de pessoas com determinado problema sem apontar soluções ou submetê-las a práticas "placebo" ^15,17. Além disso, um dos limites dos estudos experimentais refere-se às longas cadeias causais que caracterizam os fenômenos coletivos. Ao contrário da pesquisa clínica, na qual é relativamente curta a cadeia causal entre a exposição e o desfecho, na saúde pública as cadeias causais são longas, complexas e modificáveis por fenômenos externos à intervenção sob análise. Assim, conforme aponta Santos & Victora ¹⁷, há um certo consenso no campo da avaliação de programas de saúde de que os estudos randomizados nem sempre são factíveis, apropriados ou mesmo necessários, principalmente quando se deseja testar o impacto em larga escala destes programas.

Considerou-se para seleção das pesquisas, além dos estudos de monitoramento, aqueles classificados como estruturados que englobam os clássicos desenhos experimentais, os quase-experimentais e os não-experimentais, e os chamados semi-estruturados. Entre as estratégias estruturadas estão os estudos do tipo caso-controle, coorte, ecológico, transversal, entre outros. Como exemplos de desenhos semi-estruturados destacam-se os estudos de caso com a utilização de técnicas de coleta de dados como a observação etnográfica, os grupos focais, entrevistas, história de vida e análise documental ^15,18. Conforme será discutido posteriormente, os estudos analisados neste artigo foram do tipo observacional, principalmente, estudos ecológicos, transversais e estudos de caso com o objetivo de geração de diagnósticos e hipóteses com base em etapas iniciais de implementação do PSF.

Baseando-se nos critérios apresentados, procedeu-se a busca das pesquisas e dos relatórios por meio da página do Ministério da Saúde (http:// www.saude.gov.br), no link "Saúde da Família". Na página do DAB há entradas específicas para "Acompanhamento e Avaliação", "Publicações", "Estudos e Pesquisas". Também foi realizada busca na base de dados da Biblioteca Virtual em Saúde (BVS; http://www.saudepublica.bvs.br) considerando-se as publicações do "Portal de Bases Bibliográficas" no "Acervo da Biblioteca do Ministério da Saúde" a partir dos descritores: "Atenção Básica à Saúde", "Avaliação do Programa Saúde da Família" e "Programa Saúde da Família". O objetivo foi constatar se havia alguma pesquisa em avaliação da Atenção Básica à Saúde realizada no âmbito do Ministério da Saúde que não estava disponível em sua página. Foram consultados também documentos institucionais como Editais de Pesquisa e Termos de Referência relacionados ao tema.

Neste artigo é descrito o conjunto dos estudos em avaliação e monitoramento da Atenção Básica à Saúde financiados e/ou realizados pelo Ministério da Saúde entre os anos de 2000 e 2006, mas analisados apenas aqueles finalizados até 2006 e cujos relatórios finais ou síntese foram publicados no período. Cabe destacar que eventuais pesquisas podem ter sido realizadas entre esses anos, mas não divulgadas nas fontes de informação consultadas para este artigo. Para análise alguns aspectos das pesquisas selecionadas são destacados: objetivos, desenho metodológico, atores considerados e divulgação dos resultados. O critério utilizado para analisar um dos aspectos da disseminação dos resultados das pesquisas foi a busca de artigos científicos gerados com base nos estudos selecionados em periódicos considerados pelo próprio Ministério da Saúde como publicações de interesse para os temas de avaliação e monitoramento da Atenção Básica à Saúde. A busca foi realizada a partir dos nomes dos pesquisadores, coordenadores e/ou equipes de coordenação responsáveis pela condução do trabalho. Foram selecionados cinco periódicos nacionais cujos mecanismos de pesquisa on-line permitem a busca por autores: Cadernos de Saúde Pública, Ciência & Saúde Coletiva, Revista Brasileira de Saúde Materno-Infantil, Revista de Saúde Pública e Revista Saúde em Debate.

Por fim, apresenta-se uma categorização dos estudos com base em alguns elementos da tipologia proposta por Novaes ¹⁹ que, por meio de critérios busca orientar conceitual e metodologicamente a construção de processos de avaliação, quais sejam: objetivo da avaliação, posição do avaliador, enfoque priorizado, contexto, forma de utilização da informação produzida, tipo de juízo formulado e temporalidade da avaliação.

Resultados

Foi identificado um total de 110 pesquisas classificadas em três grandes grupos: estudos "Linha de Base do Projeto de Expansão e Consolidação do Saúde da Família (PROESF)" selecionados por edital público, estudos de fomento à pesquisa acadêmica selecionados por meio do "Edital MCT-CNPq/MS-DAB/SAS - nº. 49/2005 - pesquisas avaliativas em Atenção Básica à Saúde" e "Estudos de apoio à expansão do PSF". No primeiro grupo encontram-se 14 lotes de pesquisas distribuídos entre todos os municípios com população acima de 100 mil habitantes, já concluídas mas com divulgação parcial de resultados até o ano de 2006. O segundo é composto por 84 pesquisas de apoio a teses de doutorado, dissertações de mestrado e auxílio à pesquisa, iniciadas, porém não concluídas no período analisado. O terceiro grupo está conformado por 12 pesquisas finalizadas cujos relatórios finais ou síntese estão disponíveis nas bases de dados consultadas. Do conjunto de estudos, apenas um foi excluído da análise por tratar-se de uma validação de instrumento para medida da qualidade em saúde da família, logo não atendia aos requisitos determinados para seleção dos trabalhos.

Linha de Base do Projeto de Expansão e Consolidação do Saúde da Família (PROESF)

No ano de 2004 foi realizada chamada pública pelo DAB por meio de Termo de Referência para o desenvolvimento de estudos avaliativos - Linhas de Base - como parte de um dos componentes do PROESF, financiado pelo Banco Mundial. O propósito da realização dos estudos foi subsidiar e fortalecer a institucionalização do monitoramento e avaliação em Atenção Básica à Saúde, o planejamento local em saúde e compreender os diversos "movimentos de expansão" e possíveis transformações decorrentes da implantação da Estratégia Saúde da Família. Além disso, a constituição de um amplo estudo de linha de base possibilitaria o acompanhamento subseqüente dos resultados e impactos do programa. Ao envolver diferentes atores na realização dos estudos como as secretarias estaduais e municipais de saúde, pólos de educação permanente e instituições de ensino e pesquisa, buscou-se estimular a co-responsabilidade e unificação de esforços ²⁰.

As propostas apresentadas deveriam ser estruturadas em quatro dimensões: político-institucional; organizacional da atenção; do cuidado integral; e do desempenho dos sistemas de saúde, avaliadas por meio de estudos quantitativos e qualitativos. A divulgação de resultados parciais aponta a realização desde estudos ecológicos com o uso de dados secundários, a estudos transversais e estudos de caso cuja base populacional foi composta por áreas com e sem o PSF (Tabela 1). Destacou-se a pluralidade de fontes de dados como questionários, entrevistas, documentos e sistemas de informação, até grupos focais. As avaliações consideraram a perspectiva de diversos atores: gestores, profissionais, usuários do sistema de saúde e representantes do controle social. Alguns estudos incorporaram também representantes do legislativo e executivo municipais ²¹.

Conforme demonstra a Tabela 1, os estudos foram realizados em todos os municípios brasileiros com população superior a 100 mil habitantes, agrupados em 14 lotes, e executados por oito instituições de pesquisa, localizadas em seis estados ²². O Termo de Referência previa também o compartilhamento das experiências de pesquisa, tanto das metodologias utilizadas quanto dos resultados alcançados entre as diversas instituições acadêmicas, além de publicações e divulgação em seminários e outros eventos. Embora todos tenham sido finalizados até o ano de 2006, os relatórios finais ainda não foram disponibilizados pelo Ministério da Saúde no período abarcado por este trabalho. Contudo, resultados parciais desse conjunto de pesquisas foram publicados em número temático de periódico nacional [Ciência & Saúde Coletiva 2006; 11(3)].

Edital MCT-CNPq/MS- DAB/SAS - nº. 49/2005 - pesquisas avaliativas em Atenção Básica à Saúde

Outra importante iniciativa do Ministério da Saúde foi o Edital MCT-CNPq/MS-DAB/SAS - nº. 49/2005 - Pesquisas Avaliativas em Atenção Básica à Saúde - que financia uma série de projetos com o objetivo de expandir o conhecimento básico e aplicado sobre avaliação da atenção básica para fortalecer a institucionalização destas ações no SUS. Foram aprovados 84 projetos de pesquisas, sendo 18 na modalidade apoio à dissertação de mestrado, 18 de apoio à tese de doutorado e 48 na de auxílio à pesquisa. As propostas deveriam contemplar um dos cinco grandes eixos referidos no edital: avaliação da gestão e reorganização da atenção básica em municípios acima de 100 mil habitantes; complexo produtivo em saúde e financiamento da atenção básica; institucionalização da avaliação na atenção básica no âmbito do SUS; desenvolvimento e validação de metodologias de análise e avaliação da atenção básica; e processo de trabalho em saúde ²³. Além do caráter indutivo desempenhado pelo Ministério da Saúde ao financiar esse conjunto de pesquisas, está previsto a constituição de grupos de acompanhamento dos estudos a fim de promover maior inter-relação entre pesquisadores e instâncias gestoras locais ¹⁴.

Embora as pesquisas ainda estejam em fase de execução sendo o prazo máximo previsto de dois anos, é possível mapear alguns aspectos destes estudos com base na análise dos resumos das propostas disponibilizados na página de Internet do Ministério da Saúde ²⁴. A Tabela 2 mostra que a maior parte dos estudos enfocou o tema da gestão, principalmente na modalidade de auxílio à pesquisa. Esse grupo englobou estudos de financiamento, processo de trabalho, análises de implantação, acesso, utilização de serviços, integralidade, entre outros, abordados principalmente por meio de estudos quantitativos e qualitativos. Entre as 18 teses de doutorado, também há predomínio das avaliações na área de gestão. Entre as dissertações de mestrado, destacaram-se as avaliações de programas. Foram agrupados na área temática "programas" 30 estudos: de saúde materno-infantil (8), que são a maioria; saúde bucal (5); hipertensão/diabetes (4); tuberculose (3); saúde mental (3); saúde do idoso (2); saúde do trabalhador (2); hanseníase (1); saúde da pessoa portadora de deficiência (1) e; alimentação e nutrição (1). Aproximadamente 42% dos projetos aprovados associaram abordagens quantitativas e qualitativas, sendo a menor proporção de estudos apenas quantitativos encontrados entre as teses e dissertações. Ainda que o edital seja voltado a pesquisas avaliativas em Atenção Básica à Saúde, algumas propostas trataram de investigações acerca da percepção e crença dos profissionais sobre práticas em saúde, desenvolvimento de competências e construção de modelos teóricos.

Estudos de apoio à expansão do PSF

Em relação aos estudos financiados e/ou realizados pelo Ministério da Saúde, concluídos e com relatórios finais ou relatórios síntese divulgados entre os anos de 2000 e 2006, foram identificados 11 que atendem à classificação adotada neste trabalho para caracterizar as pesquisas em "avaliação da atenção básica", conforme mostra a Tabela 3. Esses estudos foram classificados como de apoio à expansão do PSF e, na maior parte das vezes, realizados por meio de demandas esparsas a instituições acadêmicas, por consultores contratados ou técnicos do próprio Ministério da Saúde. A maioria dos estudos foi realizada entre os anos 2001 e 2002, que coincide com o período de grande expansão da cobertura por equipes de saúde da família. Os principais aspectos abordados foram referentes ao processo de implantação e monitoramento do PSF, embora sejam encontrados estudos sobre temas específicos como promoção da saúde e educação permanente. As instituições acadêmicas executoras encontram-se, predominantemente, na Região Sudeste, principalmente no eixo Rio de Janeiro e São Paulo.

• Quanto aos objetivos propostos

Para o conjunto das 11 pesquisas analisadas em relação ao objetivo principal, observou-se que a maior parte, ou seja, quatro estudos, buscou avaliar e monitorar o processo de implantação do PSF no país a partir da caracterização dos municípios quanto às condições de gestão, rede de serviços de saúde, posição de atores-chave, maturidade institucional, mecanismos de referência e contra-referência, infra-estrutura das unidades e processo de trabalho das equipes para identificar, principalmente, condições de contexto que favoreciam ou dificultavam a substituição do modelo de atenção ^25,26,27,28.

Foram encontrados três estudos com foco na determinação de padrões de custo e financiamento do PSF a fim de avaliar a suficiência e montante de recursos necessários à expansão do programa. A avaliação do impacto da descentralização dos recursos financeiros por meio do Piso de Atenção Básica (PAB) também foi alvo desses estudos ^29,30,31.

Tanto as análises de implantação quanto às avaliações de custo e financiamento foram realizadas entre os anos 2000 e 2002, e buscaram oferecer elementos para subsidiar a etapa de expansão do saúde da família, principalmente nos municípios com população acima de 100 mil habitantes, nos quais, historicamente, foram identificadas as maiores dificuldades em relação ao aumento de cobertura. Entre as principais barreiras identificadas para expansão destacou-se o modelo de transferência de recursos financeiros em função da faixa de cobertura, a convivência paralela de diferentes modelos de atenção básica, a ausência de mecanismos de integração da rede, entre outras.

Foi realizado também um conjunto de estudos para avaliar os pólos de educação permanente em saúde com o objetivo de construir tipologias, analisar a estrutura organizacional, a articulação interinstitucional, as estratégias educacionais, o projeto de ensino e a relação entre o projeto educacional dos Pólos e as necessidades operacionais das equipes de saúde da família ^32,33.

Entre os 11 estudos finalizados e disponíveis para consulta, um descreveu e analisou experiências de promoção da saúde em atenção básica desenvolvidas por equipes de saúde da família, bem como as principais representações sociais acerca do tema. Identificou-se condições favoráveis à replicabilidade e sustentabilidade dessas práticas em diferentes contextos sociais e demográficos ³⁴.

Um estudo descreveu a cobertura do PSF no país entre os anos de 1998 a 2004, e a evolução de indicadores nas áreas de saúde da criança, mulher e adulto segundo cobertura pela Estratégia Saúde da Família e também pelo Índice de Desenvolvimento Humano Municipal (IDH-M). O trabalho apresentou tendências de comportamento de alguns indicadores de saúde relacionando-os à cobertura pelo programa, ressaltando-se, contudo, os limites deste tipo de abordagem em função do impacto de fatores sócio-econômicos, demográficos, políticos e culturais na determinação das condições de vida e situação de saúde, além da própria mobilidade em relação à cobertura pelo PSF ³⁵.

• Sobre as metodologias utilizadas

Conforme mostra a Tabela 3, em relação às metodologias utilizadas predominaram as abordagens quantitativas. Entre os 11 estudos selecionados, sete foram quantitativos do tipo estudo ecológico, estudo transversal e estudo de caso. Consideram-se estudos ecológicos aqueles nos quais a unidade de análise é uma determinada população ou grupo de pessoas pertencentes a uma área geográfica delimitada, como por exemplo, um estado ou um município, e que utilizam como fonte de informação bases de dados nacionais ³⁶. Nos estudos ecológicos analisados, as principais fontes de dados foram os sistemas nacionais de informação do SUS (Departamento de Informática do SUS - DATASUS; http://www.datasus.gov.br) como: o Sistema de Informações Ambulatoriais (SIA), Sistema de Informações Hospitalares (SIH), Sistema de Informações sobre Nascidos Vivos (SINASC), Sistema de Informação da Atenção Básica (SIAB), Programa Nacional de Imunizações (PNI), Sistema de Informações sobre Orçamento Público em Saúde (SIOPS) e o Sistema de Informações sobre Mortalidade (SIM); o Censo Demográfico 2000 do Instituto Brasileiro de Geografia e Estatística (IBGE; http://www.ibge.gov.br) e as estimativas populacionais para os anos seguintes; e o Atlas do Desenvolvimento Humano no Brasil (disponível na página da Internet do Programa das Nações Unidas para o Desenvolvimento - PNUD; http://www.pnud.org.br).

Os estudos classificados como transversais caracterizam-se pela observação direta de determinado número de indivíduos em uma única oportunidade cujo recurso de medida, geralmente, é o questionário ³⁷. Já os estudos de caso buscam responder a questões do tipo "como" e "por que", com foco em fenômenos inseridos em contexto da vida real, em que o pesquisador tem pouco controle sobre os acontecimentos e cujo objetivo é contribuir para o conhecimento de fenômenos individuais, organizacionais, sociais, políticos e de grupos ³⁸. Seu desenho implica incorporação de metodologias quantitativas e qualitativas e de fontes de informação diversas. Nas pesquisas analisadas, o principal instrumento utilizado para a coleta de dados primários tanto nos estudos transversais como nos estudos de caso foi o questionário de autopreenchimento ou aplicado por pesquisadores de campo a gestores do SUS, profissionais das equipes, representantes do controle social e famílias usuárias dos serviços de saúde. Entre as fontes de informação dos estudos de caso encontraram-se também entrevistas semi-estruturadas e observação participante.

Dos sete estudos quantitativos analisados, quatro foram classificados como de monitoramento, ou seja, caracterizados pela aplicação de critérios e normas ao acompanhamento de determinada condição ³⁹. O Programa de Saúde da Família: Evolução de sua Implantação no Brasil ²⁵ foi um estudo ecológico que analisou os 3.902 municípios que haviam implantado o PSF até dezembro de 2001. Variáveis e indicadores da situação sócio-econômica e demográfica, gestão, financiamento, produção ambulatorial e hospitalar, implantação e cobertura pelo PSF foram acompanhados no período de 1998 a 2001.

Realizada entre os anos 2000 e 2001, a pesquisa Indicadores de Monitoramento da Implantação do PSF em Grandes Centros Urbanos ²⁸ por meio de um estudo ecológico cuja unidade de análise também foi o município com população acima de 100 mil habitantes, propôs a construção de um banco de indicadores para monitorar o desempenho da atenção básica a partir da caracterização sócio-econômica e demográfica, da trajetória dos sistemas de saúde e da criação de tipologias de município com e sem o PSF. Nesse mesmo estudo, para identificar estratégias e dificuldades para implementação do programa foi realizado inquérito com secretários municipais de saúde e coordenadores do PSF.

A Avaliação Normativa do Programa Saúde da Família no Brasil: Monitoramento da Implantação e Funcionamento das Equipes de Saúde da Família: 2001-2002 ²⁷ realizada pelo próprio Ministério da Saúde, foi um estudo transversal de caráter censitário desenvolvido em todos os municípios com equipe de saúde da família entre os anos de 2001 e 2002, com aplicação de questionário para profissionais de saúde a fim de identificar aspectos da implantação, infra-estrutura da unidade, processo de trabalho, acesso aos serviços, procedimentos de referência e recursos humanos.

O quarto trabalho classificado como de monitoramento - Saúde da Família no Brasil: Uma Análise de Indicadores Selecionados - 1998- 2004 ³⁵ - também realizado no interior do Ministério da Saúde, foi um estudo ecológico de caráter exploratório cuja unidade de análise foi o município. Ao contrário dos três estudos anteriores que investigaram questões relativas à implantação do PSF, esse trabalho objetivou monitorar a cobertura pelo programa buscando correlacioná-la a possíveis mudanças em indicadores de saúde reconhecidamente sensíveis às ações de atenção básica.

Outros dois estudos de caso com abordagem quantitativa: Determinação e Avaliação do Custo do Programa Saúde da Família - PSF ²⁹ e Custo e Avaliação de Impacto da Implantação da Parte Fixa do Piso de Atenção Básica - PAB ³⁰ , desenvolveram análises de custos com utilização de questionário e dados dos sistemas nacionais de informação. O primeiro, realizado entre os anos 2000 e 2001, por meio do preenchimento de questionários por técnicos das prefeituras, secretarias municipais de saúde e profissionais das equipes, calculou os custos das ações desenvolvidas pelo PSF, estimando-se os valores necessários para atingir a cobertura de 80 milhões de habitantes. O segundo estudo, realizado entre 2001 e 2002, buscou estimar os custos dos itens financiados pela parte fixa do PAB, a fim de analisar a suficiência dos recursos repassados pelo Ministério da Saúde e os efeitos do incentivo na produção ambulatorial dos municípios.

A pesquisa A Concepção dos Pólos como Recurso Institucional de Capacitação, Formação e Educação Permanente de Pessoal para Saúde da Família ³³, também de abordagem quantitativa, mediante aplicação de questionário para secretários municipais de saúde, profissionais do PSF e famílias usuárias, analisou as atividades desenvolvidas pelos pólos de educação permanente e as necessidades detectadas pelas equipes de saúde.

Apenas dois estudos utilizaram exclusivamente abordagens qualitativas. A pesquisa A Formação de Profissionais para Saúde da Família: Avaliação dos Pólos de Capacitação, Formação e Educação Permanente de Pessoal para o PSF - Etapa 2 ³² por meio de entrevista semi-estruturada e análise documental buscou caracterizar os pólos de educação permanente de dez estados quanto às atividades desenvolvidas, relações interinstitucionais, relação pólo/PSF e as estratégias educacionais. O estudo Promoção de Saúde na Atenção Básica no Brasil ³⁴, realizado em 2005, analisou a sustentabilidade das práticas de promoção por meio da intersetorialidade, participação social, acesso a bens e serviços, educação em saúde e desenvolvimento de condições de vida saudáveis.

Dos 11 estudos, dois utilizaram metodologias qualitativas e quantitativas. A pesquisa Análise de Reestruturação dos Modelos Assistenciais de Saúde em Grandes Cidades: Padrões de Custo e Formas de Financiamento ³¹ desenvolveu estudo ecológico de caráter exploratório em municípios com população acima de 100 mil habitantes e estudos de caso em municípios, por meio de entrevistas semi-estruturadas e análise documental. Assim como os dois outros estudos de custo já mencionados, também analisou estratégias de financiamento e padrões de custos necessários à substituição do modelo assistencial. Por fim, Saúde da Família: Avaliação da Implementação em Dez Grandes Centros Urbanos ²⁶, realizado entre os anos 2000 e 2001, apresentou estudos em profundidade de grandes centros urbanos com base em estudo transversal com aplicação de questionários para profissionais do PSF e famílias usuárias, e entrevistas semi-estruturadas com gestores das secretarias municipal e estadual de saúde e representantes dos conselhos municipais para identificar elementos facilitadores e limitantes à implementação do PSF, considerando-se o estabelecimento de vínculos entre Estratégia Saúde da Família e a comunidade, substituição do modelo de atenção à saúde e articulação com a rede de serviços.

• Quanto aos atores privilegiados

Conforme mostra a Tabela 3, entre as pesquisas que coletaram dados primários, tanto por meio de entrevistas semi-estruturadas quanto pela aplicação de questionários, observou-se que os atores privilegiados foram os gestores e técnicos das secretarias municipais de saúde, consultados em oito dos nove estudos que utilizaram esta fonte de dados. Técnicos e representantes dos pólos de educação permanente foram entrevistados em uma pesquisa ³². Os componentes da equipe de saúde da família foram entrevistados em seis estudos. Nessa categoria destacaram-se os profissionais de nível superior, principalmente médicos e enfermeiros. Apenas três estudos incorporaram profissionais de nível médio e agentes comunitários de saúde. Os usuários foram consultados em três pesquisas, e representantes do Conselho Municipal de Saúde em apenas dois estudos.

• Estratégias de divulgação

Entre as 11 pesquisas analisadas neste artigo, quatro foram encontradas em publicações impressas pelo próprio Ministério da Saúde ^26,27,31,35. Os exemplares das pesquisas foram distribuídos para secretarias municipais e estaduais de saúde e em eventos científicos promovidos em parceria com instituições acadêmicas. Além das publicações impressas, os relatórios de todas as pesquisas analisadas e suas respectivas sínteses encontram-se disponíveis na página eletrônica do DAB do Ministério da Saúde (http://dtr2004.saude.gov.br/dab/index.php).

Para analisar mais uma das estratégias de divulgação dos resultados dos estudos foi realizada busca em cinco periódicos nacionais por meio dos nomes dos técnicos e coordenadores e/ou equipes de coordenação, para identificar artigos publicados com base nas pesquisas geradas até o final do ano de 2007. Foram encontrados quatro artigos: um nos Cadernos de Saúde Pública e um na Revista Saúde em Debate, referentes aos resultados do estudo Saúde da Família: Avaliação da Implementação em Dez Grandes Centros Urbanos ²⁶; e dois artigos publicados no periódico Ciência & Saúde Coletiva a partir da pesquisa Custo e Avaliação de Impacto da Implantação da Parte Fixa do Piso de Atenção Básica - PAB ³⁰.

• Categorização dos estudos

Novaes ¹⁹, baseando-se na literatura internacional na área de avaliação de programas, serviços e tecnologias em saúde, apresenta uma síntese das principais referências conceituais e metodológicas que orientam processos de avaliação. Neste artigo buscou-se categorizar os estudos analisados segundo alguns elementos da tipologia proposta pela autora, ressaltando-se, que em função da própria complexidade do objeto, cada categoria adotada representa formas dominantes, mas não exclusivas. Além disso, não haveria modalidades melhores ou piores, apenas opções conceituais e metodológicas legitimadas pelo conhecimento científico ou por meio de práticas.

A Tabela 4 mostra uma classificação dos 11 estudos em análise com base nos seguintes critérios: "objetivo da avaliação", considerando-se a produção de conhecimento científico ou conhecimento para tomada de decisão ou gestão; "posição do avaliador" que poderá ser interno ou externo; "enfoque priorizado" voltado à caracterização e/ou compreensão de determinada intervenção ou à quantificação e medidas de impacto; o "contexto" da avaliação caracterizado como natural ou controlado; quanto à "utilização da informação produzida" dirigida à demonstração, informação ou para a gestão, com o desenvolvimento ou aprimoramento de indicadores; o "tipo de juízo formulado" voltado à comprovação ou negação de hipóteses, recomendações ou normas; e quanto à "temporalidade da avaliação" que poderá ser pontual, corrente ou contínua. Considerando-se ainda a combinação entre as características e variáveis dos processos de avaliação, Novaes ¹⁹ identifica três grandes tipologias: pesquisa de avaliação ou investigação avaliatória, avaliação para decisão e avaliação para gestão.

Observou-se que a maior parte dos estudos poderia ser caracterizada como "avaliação para decisão", cujos objetivos foram, principalmente, subsidiar os processos decisórios referentes à expansão da Estratégia Saúde da Família. Quanto ao enfoque priorizado predominaram estudos para caracterizar e quantificar o objeto de análise, com a utilização de metodologias quantitativas e dados produzidos a partir da aplicação de questionários e dos bancos nacionais de informação. Também foram empreendidos estudos voltados à compreensão em profundidade de casos específicos. Conforme ressalta a autora, a própria complexidade das avaliações voltadas aos processos decisórios demanda a combinação entre abordagens quantitativas e qualitativas em contextos preferencialmente naturais.

Outra característica da avaliação voltada para decisão é a geração de informações mais sistematizadas do que aquelas existentes previamente, e cujo valor está em sua capacidade de gerar recomendações positivas, capazes de contribuir para a solução de problemas identificados. Esses estudos são marcados por seu caráter pontual, uma vez que, são realizados para responder a demandas específicas e localizadas em determinado tempo.

Dos 11 estudos analisados, quatro foram classificados como "avaliação para gestão", ou seja, voltados ao aprimoramento da intervenção avaliada com utilização predominante de metodologia quantitativa. Em todos eles buscou-se a caracterização de uma condição já dada a partir do monitoramento de indicadores ou da relação entre eles, principalmente no que se referiu a características da implantação e cobertura do PSF. Novaes ¹⁹ ressalta que nesse tipo de estudo a presença do avaliador interno é condição necessária, contudo, entre as quatro pesquisas classificadas nesta categoria observaram-se dois estudos empreendidos exclusivamente por agentes externos. Quanto à informação produzida, destacou-se o desenvolvimento ou aprimoramento de indicadores já existentes. Outro resultado desejado nesse tipo de estudo é o acompanhamento e monitoramento desses indicadores nos processos de gestão. Para isso, deveriam ter um caráter contínuo e integrado em detrimento de estudos pontuais.

Discussão

O mapeamento das pesquisas financiadas ou realizadas pelo Ministério da Saúde confirma a assertiva de que é considerável o número de estudos no campo da avaliação e monitoramento da Atenção Básica à Saúde no Brasil induzidos pelo gestor federal. Entre pesquisas concluídas e em andamento foi localizado um total de 109 estudos com a utilização de metodologias e fontes de informações diversas. Não menos importante é a influência de organismos internacionais como o Banco Mundial, provedor de assistência técnica e financeira de reconhecida influência nos países em desenvolvimento, que incorpora a "capacidade em avaliação" como uma das prioridades para a gestão do setor público com o objetivo de garantir a sustentabilidade dos programas e como requisito para a realização de empréstimos ⁴⁰. Ao analisar o conjunto das pesquisas é possível também tecer algumas considerações sobre a evolução do processo de avaliação e da política nacional de acompanhamento e monitoramento da Atenção Básica à Saúde no país.

Observou-se que os primeiros estudos desenvolvidos entre os anos de 2000 a 2002, focaram, principalmente, o processo de implantação do PSF com vistas a detectar suas fragilidades e potencialidades. A análise dos objetivos principais apontou para o predomínio dos temas relacionados a condições contextuais necessárias à expansão da Estratégia Saúde da Família, em termos institucionais, financeiros ou de infra-estrutura. Foram realizados estudos de caráter censitário, principalmente entre os municípios com população acima de 100 mil habitantes, que ofereceram um amplo conjunto de dados sobre o panorama nacional do programa naquele momento, até mesmo em relação ao funcionamento e processo de trabalho das equipes. Esses estudos, em sua maioria, poderiam ser classificados como voltados à tomada de decisão. Embora Novaes ¹⁹ ressalte que nesse tipo de avaliação ganha destaque a posição do avaliador interno em função da utilização das informações produzidas para a tomada de decisão, todos foram realizados por avaliadores externos provenientes de instituições acadêmicas.

As primeiras pesquisas realizadas constituíram-se principalmente por avaliações de processo ou de resultados pontuais com a finalidade de identificar problemas e estratégias de enfrentamento. Percebeu-se, naquele momento, a ausência de parâmetros que permitissem comparações de desempenho entre unidades de PSF e unidades ditas tradicionais. Outra característica parece ter sido a fragmentação na realização das pesquisas, muitas vezes realizadas simultaneamente, por diferentes instituições acadêmicas, mas com objetivos e utilização de estratégias metodológicas semelhantes. Segundo Felisberto ¹⁴ o próprio Ministério da Saúde reconhece os limites dessas primeiras iniciativas, empreendidas de forma pontual, sem regularidade de análise dos dados produzidos e, muitas vezes sem uma definição explícita tanto das diretrizes políticas quanto das estratégias de pesquisa que favorecessem a produção de conhecimentos necessários a uma ação mais coordenada no campo da avaliação da Atenção Básica à Saúde no país.

Quanto aos atores privilegiados na produção dos dados primários nas pesquisas analisadas, destacaram-se gestores e técnicos das secretarias de saúde. Embora, conforme já mencionado, esse grupo de estudos tenha focado aspectos vinculados à implantação do PSF, chama a atenção o predomínio da visão de técnicos/gestores e profissionais de saúde de nível superior. Considerando-se que mudanças promovidas no modelo assistencial objetivam sobretudo a melhoria das condições de acesso a uma atenção em saúde integral e de qualidade, que se diferencia do modelo anterior justamente por considerar as necessidades de seus usuários, estes seriam atores fundamentais a serem considerados desde os primeiros processos avaliativos.

Outro ponto refere-se à divulgação dos resultados das pesquisas. Ainda que quatro estudos tenham sido impressos e distribuídos pelo Ministério da Saúde, a maior parte encontra-se na forma de relatórios técnicos, com linguagem e formato de difícil apreensão. As estratégias metodológicas utilizadas nem sempre estavam descritas de forma clara e objetiva, o que dificultou a classificação dos estudos em relação ao tipo e desenho predominante. Além disso, o pequeno número de artigos publicados baseando-se nessas pesquisas também poderia ser considerado um entrave à maior apropriação do conhecimento produzido tanto por gestores, profissionais de saúde, pesquisadores, estudantes e demais atores interessados. Estudos realizados vêm apontando as dificuldades na interação entre gestores e pesquisadores, com conseqüências para a apropriação dos resultados das pesquisas na tomada de decisão. Esses problemas relacionam-se tanto a características do processo decisório como mudança nos temas prioritários e valorização de informações diretas, quanto a dificuldades relacionadas ao acesso à Internet e à utilização de microcomputadores, e também a aspectos relativos ao próprio desenvolvimento dos estudos. Desse modo, a otimização da influência das pesquisas na gestão poderia ser conseguida por maior capacidade propositiva dos estudos frente aos problemas apresentados, produção de evidências sobre a efetividade de diferentes intervenções e de seus impactos sobre a saúde das populações e, sobretudo, pela apresentação dos resultados de forma compreensível para gestores e técnicos ⁴¹.

Em relação às questões colocadas, considera-se que o Termo de Referência dos Estudos Linha de Base, realizados a partir do ano de 2004, representou avanços em relação aos processos anteriores e, de certo modo, demonstra a maturidade que o campo da avaliação vem atingindo ao longo do tempo. Embora os resultados ainda não tenham sido divulgados na íntegra, o próprio Termo de Referência incorpora elementos que parecem superar algumas debilidades dos processos anteriores como a avaliação de impacto, oficinas e outras estratégias para o compartilhamento das metodologias e resultados encontrados, o envolvimento de atores das secretarias municipais e estaduais nas etapas de desenvolvimento dos estudos e a capacitação de técnicos destas instâncias nas funções de avaliação e monitoramento. Outro ponto que pode ser ressaltado como bastante positivo é a incorporação de propostas de avaliação que consideraram o ponto de vista dos diversos stakeholders, entre os quais os beneficiários da atenção. Em relação ao processo de divulgação desses estudos, a maior parte já teve resultados parciais publicados por meio de periódico científico cujos artigos estão disponibilizados na íntegra em meio eletrônico.

Essas ações tentam responder a obstáculos já reconhecidos no processo de apropriação dos resultados de pesquisas para subsidiar a gestão do SUS. Nesse sentido, além de maior cooperação e apoio entre municípios e instituições acadêmicas no desenvolvimento dos estudos, o Departamento de Ciência e Tecnologia do Ministério da Saúde vem propondo outras estratégias como a utilização de distintas formas de publicação como livros, revistas temáticas, boletins e artigos em revistas de ampla circulação, apoio a eventos técnicos e científicos, seminários temáticos com a participação dos atores envolvidos e interessados ⁴¹. Não menos importante foi a contratação de instituições de ensino e pesquisa que historicamente não haviam participado das avaliações em Atenção Básica à Saúde promovidas pelo Ministério da Saúde no período analisado. Esse aspecto pode ser considerado um elemento indutor na formação de técnicos e pessoal especializado distribuídos de forma mais democrática pelas diversas regiões, além de incorporar outras experiências no desenvolvimento de pesquisas.

Por fim, considera-se que as iniciativas de avaliação empreendidas e induzidas pelo gestor federal coadunam-se à reestruturação pela qual as diretrizes da política de monitoramento e avaliação da Atenção Básica à Saúde vêm passando desde o ano de 2003, motivada, sobretudo, pela expansão de cobertura pela Estratégia Saúde da Família. Nesse contexto, a palavra de ordem parece ser "institucionalização" compreendida como "... estratégia presente em diversas ações/atividades, projetos e políticas, com o objetivo explícito de incorporar a avaliação no cotidiano de gestores e profissionais, partindo de uma visão abrangente dos processos avaliativos" ¹⁴ (p. 554). Apesar dos inegáveis esforços do Ministério da Saúde na indução de uma cultura avaliativa nas três esferas de governo do SUS, e da conseqüente colocação do tema da avaliação na agenda, a questão agora parece ser observar até que ponto todos os esforços empreendidos produzirão, de fato, elementos capazes de subsidiar as políticas de saúde, o planejamento local, enfim, os processos decisórios rumo a um sistema de saúde mais equânime, de melhor qualidade e capaz de dar respostas às necessidades de saúde da população.

Colaboradores

P. F. Almeida realizou o trabalho de pesquisa, concepção e redação do artigo. L. Giovanella foi responsável pela revisão crítica do artigo.

Agradecimentos

À Professora Cláudia Travassos e Eronildo Felisberto pela leitura do artigo. À Iracema Benevides pelas informações fornecidas e leitura.

Recebido em 19/Set/2007

Versão final reapresentada em 09/Mai/2008

Aprovado em 20/Mai/2008

• 1. Hulka BS, Wheat JR. Patterns of utilization: the patient perspective. Med Care 1985; 3:438-60.
• 2. Starfield B. Is primary care essential? Lancet 1994; 344:1129-33.
• 3. Bindman AB, Grumbach K, Osmond D, Komaromy M, Vranizan K, Lurie N, et al. Preventable hospitalizations and access to health care. JAMA 1995; 274:305-11.
• 4. Mendes EV. Uma agenda para a saúde. São Paulo: Editora Hucitec; 1999.
• 5. Macinko J, Starfield B, Shi L. The contribution of primary care systems to health outcomes within Organization for Economic Cooperation and Development (OECD) countries, 1970-1998. Health Serv Res 2003; 38:831-65.
• 6. Starfield B. Atenção primária: equilíbrio entre necessidades de saúde, serviços e tecnologia. Brasília: Organização das Nações Unidas para a Educação, a Ciência e a Cultura/Ministério da Saúde; 2002.
• 7. Watson DE, Broemeling AM, Reid RJ, Black C. A results-based logic model for primary health care: laying an evidence-based foundation to guide performance measurement, monitoring and evaluation. Vancouver: Centre for Health Services and Policy Research, University of British Columbia; 2004.
• ⁸
  Organização Pan-Americana da Saúde. Renovação da atenção primária em saúde nas Américas. Washington DC: Organização Mundial da Saúde; 2005.
• 9. Testa M. Pensar em saúde. Porto Alegre: Editora Artes Médicas; 1992.
• 10. Giovanella L. A atenção primária à saúde nos países da União Européia: configurações e reformas organizacionais na década de 1990. Cad Saúde Pública 2006; 22:951-63.
• ¹¹
  Coordenação de Acompanhamento e Avaliação, Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Avaliação na atenção básica em saúde: caminhos da institucionalização. Brasília: Ministério da Saúde; 2005.
• ¹²
  Coordenação de Acompanhamento e Avaliação, Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Documento final da Comissão de Avaliação da Atenção Básica. http://dtr2004.saude.gov.br/dab/caa/avaliacao.php (acessado em 10/Jan/2007).
• 13. Almeida C, Macinko J. Validação de uma metodologia de avaliação rápida das características organizacionais e do desempenho dos serviços de atenção básica do Sistema Único de Saúde (SUS) em nível local. Brasília: Organização Pan-Americana da Saúde/Ministério da Saúde; 2006. (Série Técnica Desenvolvimento de Sistemas e Serviços de Saúde, 10).
• 14. Felisberto E. Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: reabrindo o debate. Ciênc Saúde Coletiva 2006; 11:553-63.
• 15. Vieira-da-Silva LM. Conceitos, abordagens e estratégias para a avaliação em saúde. In: Hartz ZMA, Vieira da Silva LM, organizadoras. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: EdUFBA/Rio de Janeiro: Editora Fiocruz; 2005. p. 15-39.
• 16. Hartz ZMA. Pesquisa em avaliação da atenção básica: a necessária complementação do monitoramento. Divulg Saúde Debate 2000; 21:29-35.
• 17. Santos IS, Victora CG. Serviços de saúde: epidemiologia, pesquisa e avaliação. Cad Saúde Pública 2004; 20 Suppl 2:S337-41.
• 18. Hartz ZMA. Institucionalizing the evaluation os health programs and policies in France: cuisine internationale over fast food and sur mesure over ready-made. Cad Saúde Pública 1999; 15:229-59.
• 19. Novaes HMD. Avaliação de programas, serviços e tecnologias em saúde. Rev Saúde Pública 2000; 34:547-59.
• ²⁰
  Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Desenvolvimento de estudos de linha de base nos municípios selecionados para o componente 1. Termo de referência para o subcomponente D, linha de ação 3 - estudos linha de base. http://dtr2004.saude.gov.br/dab/caa/publicacoes.php (acessado em 08/Jan/2007).
• ²¹
  Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Seminário de discussão dos estudos de linha de base em saúde da família. http://dtr2004.saude.gov.br/dab/caa/apresentacoes.php#seminario _estudo_linha_base_sf (acessado em 19/Jan/2007).
• ²²
  Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Estudo de linha de base nos grandes municípios brasileiros: uma ação do Projeto de Expansão e Consolidação do Saúde da Família (Proesf). Brasília: Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde; 2005. (Informe da Atenção Básica, 27)
• ²³
  Conselho Nacional de Desenvolvimento Científico e Tecnológico, Ministério da Ciência e Tecnologia/Ministério da Saúde. Edital MCT-CNPq/MS-DAB/SAS - nº. 49/2005. http://dtr2004.saude.gov.br/dab/caa/projetos.php (acessado em 07/Jan/2007).
• ²⁴
  Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Acompanhamento e avaliação - projetos em andamento. http://dtr2004.saude.gov.br/dab/caa/localiza_cadastro.php (acessado em 14/Jan/2007).
• ²⁵
  Instituto de Saúde Coletiva, Universidade Federal da Bahia. O Programa de Saúde da Família: evolução de sua implantação no Brasil. http://dtr2004.saude.gov.br/dab/caa/estudos.php (acessado em 10/Jan/2007).
• ²⁶
  Departamento de Administração e Planejamento em Saúde, Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz. Saúde da família: avaliação da implementação em dez grandes centros urbanos. Brasília: Ministério da Saúde; 2005. (Série C. Projetos, Programas e Relatórios).
• ²⁷
  Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Avaliação normativa do Programa Saúde da Família no Brasil: monitoramento da implantação e funcionamento das equipes de saúde da família: 2001-2002. Brasília: Ministério da Saúde; 2004. (Série C. Projetos, Programas e Relatórios).
• ²⁸
  Núcleo de Estudos de Políticas Públicas, Universidade Estadual de Campinas. Indicadores de monitoramento da implantação do PSF em grandes centros urbanos. http://dtr2004.saude.gov.br/dab/caa/estudos.php (acessado em 12/Jan/2007).
• ²⁹
  Fundação Getúlio Vargas/EPOS Health Consultants. Determinação e avaliação do custo do Programa de Saúde da Família - PSF. http://dtr2004.saude.gov.br/dab/caa/estudos.php (acessado em 12/Jan/2007).
• ³⁰
  Escola Nacional de Saúde Pública, Fundação Oswaldo Cruz. Custo e avaliação de impacto da implantação da parte fixa do Piso de Atenção Básica - PAB. http://dtr2004.saude.gov.br/dab/caa/estudos.php (acessado em 12/Jan/2007).
• ³¹
  Departamento de Atenção Básica, Secretaria de Políticas de Saúde, Ministério da Saúde. Análise de reestruturação dos modelos assistenciais de saúde em grandes cidades: padrões de custo e formas de financiamento. Brasília: Ministério da Saúde; 2002. (Série C. Projetos, Programas e Relatórios).
• ³²
  Núcleo de Estudos de Políticas Públicas, Universidade Estadual de Campinas. A formação de profissionais para a saúde da família: avaliação dos pólos de capacitação, formação e educação permanente de pessoal para o PSF - etapa 2. http://dtr2004.saude.gov.br/dab/caa/estudos.php (acessado em 10/Jan/2007).
• ³³
  Núcleo de Estudos de Políticas Públicas, Universidade Estadual de Campinas. A concepção dos pólos como recurso institucional de capacitação, formação e educação permanente de pessoal para saúde da família - etapa 3. http://dtr2004.saude.gov.br/dab/caa/estudos.php (acessado em 10/Jan/2007).
• ³⁴
  Núcleo de Estudos em Saúde Coletiva, Faculdade de Medicina, Universidade Federal de Minas Gerais. Promoção de saúde na atenção básica no Brasil. http://dtr2004.saude.gov.br/dab/caa/estudos.php (acessado em 10/Jan/2007).
• ³⁵
  Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Saúde da família no Brasil: uma análise de indicadores selecionados - 1998-2004. Brasília: Ministério da Saúde; 2006. (Série C. Projetos, Programas e Relatórios).
• 36. Medronho RA. Estudos ecológicos. In: Medronho RA, organizador. Epidemiologia. São Paulo: Editora Atheneu; 2003. p. 191-8.
• 37. Klein CH, Bloch KV. Estudos seccionais. In: Medronho RA, organizador. Epidemiologia. São Paulo: Editora Atheneu; 2003. p. 125-50.
• 38. Yin RK. Estudo de caso: planejamento e métodos. Porto Alegre: Bookman; 2005.
• 39. Contrandiopoulos AP, Champagne F, Pineault DJL. Avaliação na área da saúde: conceitos e métodos. In: Hartz ZMA, organizadora. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 29-47.
• 40. Picciotto R. Evaluation in the Word Bank. In: Chelimsky E, Shadish WR, editors. Evaluation for the 21st century. London: Sage Publications; 1997. p. 201-13.
• 41. Secretaria de Ciência, Tecnologia e Insumos Estratégicos, Departamento de Ciência e Tecnologia, Ministério da Saúde. Pontes e obstáculos à apropriação de resultados de estudos e pesquisas para a gestão do SUS. Rev Saúde Pública 2008; 42:165-7.

Datas de Publicação

• Publicação nesta coleção
  08 Ago 2008
• Data do Fascículo
  Ago 2008

Histórico

• Aceito
  20 Maio 2008
• Recebido
  19 Set 2007
• Revisado
  09 Maio 2008