Resumos
O objetivo do estudo foi avaliar o processo de implantação do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica no Estado do Ceará. Como referencial teórico, utilizou-se o Modelo de Avaliação CIPP — Contexto, Inputs, Processos e Produto. A metodologia foi abordagem qualitativa de natureza exploratória-descritiva. Empregou-se a pesquisa documental e entrevista estruturada. A organização e análise de dados foi a partir análise temática de conteúdo. Nos resultados, o estudo apontou que a implantação do Programa se deu de forma verticalizada pelo Ministério da Saúde, que há necessidade de readequação dos recursos humanos, tecnológicos e financeiros, além da melhoria da participação do Estado no financiamento da Atenção Básica.
Avaliação de programas e projetos de saúde; Atenção Primária à Saúde; Qualidade, Acesso e Avaliação da Assistência à Saúde
The aim of the study was to evaluate the implantation of the National Program for Access and Quality Improvement in Primary Care in the state of Ceará. The theoretical approach used the CIPP Evaluation Model — Context, Inputs, Processes and Product. The methodology used the qualitative approach of exploratory-descriptive nature. We used a structured interview and documentary research. The organization and analysis of the data were done based on the Thematic Content Analysis. The results of the study indicated that the implementation of the program took place in a vertical manner by the Ministry of Health, also indicating the need of upgrading the human, technological and financial resources, besides the role of the State in the funding of primary care.
Program evaluation; Primary Health Care; Health care quality, access, and evaluation
Introdução
A partir da década de 90, foi criada a Coordenação de Investigação no interior do Departamento de Atenção Básica (DAB), na Secretaria de Atenção à Saúde do Ministério da Saúde, cujo objetivo era formular e conduzir propostas de avaliação em Atenção Básica que, inicialmente, focava o monitoramento da estrutura, do processo e do resultado por meio de dados obtidos dos sistemas de informação em saúde e de avaliações normativas (BRASIL, 2005______. Ministério da Saúde. Avaliação para Melhoria da Qualidade da Estratégia Saúde da Família. Brasília: Ministério da Saúde, 2005.).
Em 2003, o Ministério da Saúde desencadeou um processo de fortalecimento da Atenção Básica em Saúde (ABS) por meio do Projeto de Expansão e Consolidação Saúde da Família (PROESF). Com a previsão de ser desenvolvido em três fases no período de oito anos, o projeto visava assegurar melhor organização dos sistemas locais de saúde, a qualificação do processo de trabalho e a melhoria nos desempenhos de serviços. A primeira fase estruturava-se em três componentes: 1) apoio à conversão do modelo de atenção; 2) formação e capacitação de recursos humanos; 3) monitoramento e avaliação (BRASIL, 2003BRASIL. Ministério da Saúde. Projeto de Expansão e Consolidação do Saúde da Família - PROESF. Brasília: Ministério da Saúde, 2003.). Os componentes 2) e 3) destinavam-se ao conjunto de municípios, independentemente do porte populacional, e seu principal objetivo era a qualificação da Estratégia Saúde da Família (ESF). O componente de monitoramento e avaliação foi compreendido como fator impulsionador de uma política de avaliação que vinha se desenhando no âmbito da Diretoria de Atenção Básica do Ministério da Saúde.
Ao se investir na institucionalização da avaliação, busca-se contribuir decisivamente com o propósito de qualificar a atenção à saúde, promovendo-se a construção de processos estruturados e sistemáticos, coerentes com os princípios do Sistema Único de Saúde (SUS) - universalidade, equidade, integralidade, participação social, resolutividade, acessibilidade - e, abrangentes em suas várias dimensões, da gestão, do cuidado e do impacto sobre o perfil epidemiológico (FELISBERTO, 2004FELISBERTO, E. Monitoramento e avaliação na Atenção Básica: novos horizontes. Revista Brasileira de Saúde Materno Infantil, Recife, v. 4, n. 3, p. 317-321.).
No ano de 2006, cerca de 82 milhões de brasileiros estavam cadastrados pelas equipes de Saúde da Família, segundo dados do Ministério da Saúde. Nesse contexto, os debates voltaram-se aos impactos produzidos na saúde com a implantação da ESF, à necessidade e ao interesse em avaliar e monitorar os resultados alcançados em relação à organização e provisão dos serviços, bem como ao crescimento contínuo no acesso aos serviços da ABS. Diante disso, ressurge a discussão sobre a institucionalização da avaliação, redimensionando as competências da Coordenação de Acompanhamento e Avaliação do Departamento de Atenção Básica da Secretaria de Atenção à Saúde do Ministério da Saúde (CAA/DAB/SAS/MS) que, além de monitorar e avaliar a Atenção Básica, é instrumentalizar a gestão e fomentar a cultura avaliativa no SUS (BRASIL, 2005______. Ministério da Saúde. Avaliação para Melhoria da Qualidade da Estratégia Saúde da Família. Brasília: Ministério da Saúde, 2005.).
Com o acelerado crescimento da ESF, surge a necessidade de reflexão sobre sua concepção, operacionalização e sustentabilidade. Nisso, Bodstein (2009)BODSTEIN, R. Processo decisório e avaliação em saúde: ampliando o debate sobre o Programa Saúde da Família. Ciência & Saúde Coletiva, Rio de Janeiro, v. 14, suppl.1, p. 1336-1338, 2009. defende a necessidade de se avaliar a significativa expansão que a ESF teve no país. É preciso verificar seu impacto sobre a saúde da população e os resultados quanto ao seu desempenho dentro do sistema de saúde. Diversos autores já evidenciaram a relevância da prática avaliativa no processo de tomada de decisão em qualquer ponto do sistema de saúde (FIGUEIREDO; TANAKA, 1996FIGUEIREDO, A. M. A.; TANAKA, O. A avaliação no SUS como estratégia de reordenação da saúde. Cad Fundap, São Paulo, v. 19, p. 98-105, 1996.; HARTZ, 1999HARTZ, Z. M. A. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and surmesure over ready-made. Cad Saúde Pública, Rio de Janeiro, v.15, n. 2, p. 229-59, 1999.; NOVAES, 2000NOVAES, H. M. D. Avaliação de programas, serviços e tecnologias em saúde. Rev Saúde Publica, São Paulo, v. 34, n. 5, p. 547-59, 2000.; BRASIL, 2005______. Ministério da Saúde. Avaliação para Melhoria da Qualidade da Estratégia Saúde da Família. Brasília: Ministério da Saúde, 2005.). Como prática desse processo, os países desenvolvidos têm utilizado como ferramenta a incorporação da avaliação como política governamental (HARTZ; VIEIRA SILVA, 2005HARTZ, Z. M. A.; VIEIRA SILVA, L. M. (org.) Avaliação em Saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: EDUFBA; Rio de Janeiro: Fiocruz, 2005. 275p) e, consequentemente, como prática institucional (SARTI ET AL. 2008SARTI, T. D. et al. A institucionalização da avaliação na Atenção Básica: alguns aspectos para a construção de práticas democráticas no contexto da Estratégia Saúde da Família. UFES Rev Odont, Vitória, v. 10, n. 1, p. 63-69, 2008.).
Nessa lógica, o Ministério da Saúde lança a Avaliação para Melhoria da Qualidade (AMQ) com a finalidade de estreitar a relação entre os campos da avaliação e da qualidade, permitindo aos atores envolvidos nos municípios a apropriação de princípios, métodos e ferramentas para a construção dessa história por si mesma. Esse processo dar-se-á de forma voluntária pela adesão por parte dos gestores e com uma metodologia de autoavaliação, orientando a formação de um diagnóstico acerca da organização e do funcionamento dos serviços e suas práticas. No entanto, no decorrer dos anos, foram identificadas algumas limitações na AMQ que foram enfraquecendo o programa, tais como baixa adesão em nível nacional; ausência de definição de escores; padronização em face da diversidade de cenários do Brasil; paradoxo da adesão livre sem financiamento e a necessidade dos recursos, dentre outros.
Nesse cenário, o Ministério da Saúde instituiu, em 2011, o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) com o objetivo de instigar a ampliação do acesso e a melhoria da qualidade da ABS, com garantia de um padrão de qualidade comparável nacional, regional e localmente, de maneira a permitir maior transparência e efetividade das ações governamentais direcionadas à ABS(BRASIL, 2011A______. Ministério da Saúde. Portaria GM/MS Nº 1.654, de 19 de julho de 2011. Institui, no âmbito do Sistema Único de Saúde, o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) e o Incentivo Financeiro do PMAQ-AB, denominado Componente de Qualidade do Piso de Atenção Básica Variável - PAB Variável. Diário Oficial da União, Brasília, 2011a. Disponível em: <http://bvsms.saude.gov.br/bvs/saudelegis/gm/2011/prt1654_19_07_2011.html>. Acesso em:
http://bvsms.saude.gov.br/bvs/saudelegis...
).
Em face desse contexto de evolução das práticas de avaliação da ABS no Brasil, o objetivo do estudo foi avaliar formativamente o processo de implantação do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) no estado do Ceará. Especificamente, foi modelada uma matriz de avaliação formativa do processo de implantação do PMAQ-AB orientada para a tomada de decisões; em seguida, essa matriz de avaliação foi aplicada no cenário do estado do Ceará comparando as percepções, opiniões, conhecimentos e comportamentos comuns, convergentes e divergentes, dos atores envolvidos na implantação do PMAQ-AB. O presente artigo é fruto da dissertação de mestrado aprovada no Programa de Pós-Graduação em Saúde da Família da Universidade Federal do Ceará - Campus Sobral.
Ressalta-se a relevância deste estudo pela incipiência do PMAQ-AB e, em virtude disso, a necessidade de pesquisar seu processo de implantação, a roupagem nova do AMQ dentro do Programa, bem como a concomitância da pesquisa e do acompanhamento e monitoramento do primeiro ano de implantação, período da pesquisa, visando produzir conhecimento para viabilizar tomada de decisões necessárias à reorientação do programa. Ademais, pode ter um valor de descrição de implantação, podendo contribuir nas potencialidades e fraquezas do processo. Resultado de um processo de negociação entre as três esferas de governo, o PMAQ-AB foi instituído em um cenário onde se estimava que mais de 50% da população brasileira era coberta pela ESF, e que uma média de 30% da população tinha cobertura de outros modelos de ABS, surgindo, assim, a necessidade de ampliação do acesso e da qualidade dos serviços.
O objetivo do PMAQ-AB é induzir a ampliação do acesso e a melhoria da qualidade da ABS, com garantia de um padrão de qualidade comparável nacional, regional e localmente, de maneira a permitir maior transparência e efetividade das ações governamentais direcionadas à ABS (BRASIL, 2011B______. Ministério da Saúde. Manual instrutivo do programa nacional para melhoria do acesso e qualidade na Atenção Básica (PMAQ-AB). Brasília, DF: Ministério da Saúde, 2011b.). De acordo com o programa, a melhoria da qualidade deverá ser pauta prioritária em todas as esferas de gestão interfederativa do SUS (Federal, Estadual e Municipal), em todas as adesões e em todas as discussões, sendo fortalecida pelo aperfeiçoamento e desenvolvimento de novas iniciativas e realidades contextualizadas em cada região, haja vista a sua complexidade epidemiológica, demográfica e as expectativas da população quanto a sua eficiência.
Após reflexão a respeito desses desafios e observação das melhorias instauradas pela implantação Política Nacional da Atenção Básica (PNAB), o Ministério da Saúde, juntamente com representantes das esferas de gestão estadual e municipal, elaborou o PMAQ-AB, estruturado em sete diretrizes que norteiam a sua organização e o seu desenvolvimento (BRASIL, 2011C______. Ministério da Saúde. Portaria GM/MS Nº. 2488, de 21 de outubro de 2011. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas para a organização da Atenção Básica, para a Estratégia Saúde da Família (ESF) e o Programa de Agentes Comunitários de Saúde (PACS). Diário Oficial da União, Brasília, 2011c. Disponível em: <http://bvsms.saude.gov.br/bvs/saudelegis/gm/2011/prt2488_21_10_2011.html>. Acesso em:
http://bvsms.saude.gov.br/bvs/saudelegis...
).
Referencial teórico
No campo da avaliação, Shadish et al. (1991)SHADISH, W. R. et al. Foundations of program evaluation: theories of practice. Newbury Park: SAGE Publications, 1991, 529 p indicam que uma teoria avaliativa ideal descreveria e justificaria por que certas práticas avaliativas levariam a tipos particulares de resultados através de situações com as quais os avaliadores são confrontados. Nesse sentido, ela teria o papel de: (1) tornar claros as atividades, os processos e os objetivos da avaliação; (2) explicar as relações entre as atividades avaliativas, os processos e os objetivos que essas atividades facilitam e (3) testar empiricamente as proposições formuladas com a intenção de identificar aquelas que conflitam com a pesquisa avaliativa e com o conhecimento já sedimentado sobre a avaliação.
A avaliação de programas enquanto prática formal ainda está em franca maturação. A despeito de ser tão antiga no setor público, remontando a 2000 a.C. quando oficiais chineses conduziam exames púbicos para medir a proficiência de candidatos a posições no governo imperial, foi apenas durante as quatro últimas décadas que ela teve seu mais rápido e consistente desenvolvimento (FITZPATRICK; SANDERS; WORTHEN, 2004FITZPATRICK, J. L.; SANDERS, J. R.; WORTHEN, B. R. Program evaluation: alternative approaches and practical guidelines. 3. ed. Boston: Pearson Education, 2004.).
No cenário brasileiro, por outro lado, existe um grande número de programas, projetos e ações desenvolvidas nos últimos anos para os quais poucas avaliações foram realizadas, não se conhecendo minimamente o grau de integralidade das ações ofertadas, sua eficiência, eficácia e efetividade (HARTZ; VIEIRA SILVA, 2005HARTZ, Z. M. A.; VIEIRA SILVA, L. M. (org.) Avaliação em Saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: EDUFBA; Rio de Janeiro: Fiocruz, 2005. 275p).
Dado o seu caráter sempre conjuntural e de contexto, uma das formas frequentes de criar categorias para as avaliações de programas é pela especificação da fase (ou fases) do programa que está sendo avaliado (de desenvolvimento e proposição, também denominados de estratégica, de implantação e de resultados e impacto) e pelo detalhamento da questão, ou questões, que orienta a avaliação ou o(s) foco(s) a ser privilegiado (descritivo, causal, comparativo, prospectivo, econômico, de mobilização social, de monitoramento, entre outros), gerando longas listas de tipos de avaliação, que mais confundem do que auxiliam na sua compreensão (CONTANDRIOPOULOS ET AL. 1997CONTANDRIOPOULOS A. P. et al. A avaliação na área da saúde: conceitos e métodos. In: HARTZ, Z. M. A. (Org). Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Editora Fiocruz; 1997. p. 29-48).
Nas últimas décadas, várias iniciativas voltadas para a avaliação em Saúde vêm sendo desenvolvidas progressivamente. Primeiramente, foram realizadas pesquisas acadêmicas a fim de investigar serviços ou sistemas de saúde. Posteriormente, os Programas de Extensão de Cobertura (PECs) e outros programas especiais demonstravam uma preocupação quanto à avaliação com indicadores e montagem do sistema de informações (HARTZ, 2008). Contudo, o cenário brasileiro ainda se ressente da incorporação de modelos avaliativos já consagrados na literatura do campo da avaliação, e mesmo do desenvolvimento de novos modelos, sendo um fator limitante ao desenvolvimento do campo em nosso país, particularmente no Setor Saúde.
Tentando superar esse óbice, foi adotado neste estudo, para avaliar o PMAQ-AB, um modelo de avaliação desenvolvido na década de 1960 nos Estados Unidos, denominado Modelo CIPP (acrônimo de Contexto, Inputs, Processos e Produto), o qual tem sido utilizado nas empresas e instituições, em áreas de serviços, incluindo habitação, educação, segurança e transporte, centrado na função da avaliação voltada à tomada de decisões (STUFFLEBEAM, 2003______. The CIPP model for evaluation: an update, a review of the model's development, a checklist to guide implementation. In: ANNUAL CONFERENCE OF THE OREGON PROGRAM EVALUATORS NETWORK (OPEN), 2003, Portland, OR.). O Modelo CIPP, aqui entendido em sua função de objetivação e na acepção morfológica arquitetônica, é composto por quatro tipos de avaliação (Contexto, Inputs, Processos e Produto), muito embora não seja preciso utilizar os quatro tipos para alcançar as finalidades de uma dada avaliação. Especificamente, este artigo trabalhará somente o composto Avaliação de Processos.
Esse composto avalia a implementação de planos para ajudar o profissional a exercer as suas atividades e, mais tarde, também ajudar um grupo mais amplo de usuários no desempenho do programa e no julgamento e na interpretação dos resultados. Para Stuffebleam (1971)STUFFLEBEAM, D. L. et al. Educational evaluation and decision making. Itasca, IL: Peacock. 1971, a Avaliação de Processos promove acompanhamento de informações e relatórios aos gestores com o objetivo de garantir a execução do programa. Seus questionamentos podem ser: os projetos e ações inerentes ao programa obedecem ao cronograma? As ações são aplicáveis às estratégias do programa? Os recursos são suficientes para a execução das estratégias?
O Modelo CIPP é um esquema global de orientação de avaliações formativa e somativa de projetos, programas, pessoal, produtos, instituições e sistemas. O modelo é configurado para uso em avaliações internas realizadas por avaliadores de uma organização (de autoavaliações realizadas por equipes de projetos ou por prestadores de serviços individuais) ou por avaliadores contratados para avaliações externas. O modelo tem sido empregado em todo os EUA e ao redor do mundo, em avaliações de curto e longo prazos, em investigações tanto de pequeno quanto de grande portes (STUFFLEBEAM, 2003______. The CIPP model for evaluation: an update, a review of the model's development, a checklist to guide implementation. In: ANNUAL CONFERENCE OF THE OREGON PROGRAM EVALUATORS NETWORK (OPEN), 2003, Portland, OR.).
Conforme destacam Lima (2008)LIMA, M.A.M. Auto-avaliação e desenvolvimento institucional: projeto aplicado em cursos de administração. Fortaleza: Edições UFC, 2008, 626 p., o Modelo CIPP procura promover a cultura da avaliação no âmbito das organizações (empresariais e educacionais) para fundamentar as decisões gerenciais com base em investigações sistemáticas, pautadas na coleta de dados relevantes (fatos) e na análise racional destes.
Em revisão de literatura, não foram identificados trabalhos que utilizassem o Modelo CIPP na Avaliação em Saúde. Não obstante, em estudo realizado no Brasil, Andriola (2010)ANDRIOLA. W. B. Avaliação da Formação de Agentes Prisionais do Ceará em Educação de Jovens e Adultos (EJA). Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, Madrid, v. 9, n. 4, p. 79-92, 2010. ilustra o emprego do Modelo CIPP para efetivar diagnóstico das atividades educacionais aplicadas a alunos reclusos em unidades prisionais brasileiras desenvolvidas nos estados do Acre, Espírito Santo, Maranhão, Mato Grosso do Sul, Pará e Pernambuco. Conforme seu estudo, dentre as principais vantagens do Modelo CIPP, destaca-se a boa adaptação em quaisquer tipos de avaliação, tais como avaliação de projetos, de programas e de organizações. Outro benefício é o fato de esse modelo poder fornecer informação proativa (formativa), isto é, informação que pode ser usada para suportar decisões de alteração dos objetivos e processos durante a própria implementação, como também informação retroativa (somativa), ou seja, julgar o mérito e o valor após o término da avaliação (STUFFLEBEAM, 2001STUFFLEBEAM, D. L. The metaevaluation imperative. American Journal of Evaluation, Washigton, DC, v. 2, n. 2, p. 183-209, 2001.).
O Modelo CIPP trata a avaliação como um corolário essencial da melhoria e prestação de contas dentro de um quadro de valores adequados e como uma busca por uma clara e inequívoca resposta. Ele tem, pois, potencialidades de emprego no setor saúde que ensejaram sua escolha para este estudo como referência teórica para esta pesquisa avaliativa.
Métodos
Para a consecução dos objetivos deste artigo, realizou-se uma pesquisa qualitativa, de natureza exploratória-descritiva. A pesquisa qualitativa é vista como uma ciência baseada em textos, ou seja, a coleta de dados produz textos que nas diferentes técnicas analíticas são interpretados hermeneuticamente (FLICK; KARDORFF; STEINKE, 2000FLICK, U.; KARDORFF, E.; STEINKE, I. Was ist qualitative forschung? Einleitung und überblick. In:; FLICK, U.; KARDORFF, E. STEINKE, I. (Org.). Qualitative forschung: ein handbuch. Reinbek: Rowohlt, 2000. p. 13-29.). Segundo Minayo (2006)MINAYO, M. C. S. O desafio do conhecimento: pesquisa qualitativa em saúde. 9 ed. São Paulo: Hucitec, 2006, 406 p., a abordagem de pesquisa qualitativa é entendida como aquela capaz de
incorporar a questão do 'significado' e da 'intencionalidade' como inerentes aos atos, às relações, e às estruturas sociais, sendo essas últimas tomadas tanto no seu advento quanto na sua transformação, como construções humanas significativas (p. 22-23, grifos do autor).
Para Minayo e Sanches (1993)MINAYO, M. C. S.; SANCHES, O. Quantitativo-qualitativo: oposição ou complementaridade? Cad. Saude Publica, Rio de Janeiro, v. 9, n.3, p. 237-248, 1993., esse tipo de abordagem faz com que exista uma aproximação íntima entre o pesquisador e o interlocutor, uma vez que
ela se volve com empatia aos motivos, às intenções, aos projetos dos atores, a partir dos quais as ações, as estruturas e as relações tornam-se significativas (MINAYO; SANCHES, 1993MINAYO, M. C. S.; SANCHES, O. Quantitativo-qualitativo: oposição ou complementaridade? Cad. Saude Publica, Rio de Janeiro, v. 9, n.3, p. 237-248, 1993., P. 244).
Conforme Flick, Kardorff e Steinke (2000)FLICK, U.; KARDORFF, E.; STEINKE, I. Was ist qualitative forschung? Einleitung und überblick. In:; FLICK, U.; KARDORFF, E. STEINKE, I. (Org.). Qualitative forschung: ein handbuch. Reinbek: Rowohlt, 2000. p. 13-29., a pesquisa qualitativa apresenta quatro bases teóricas: a realidade social é vista como construção e atribuição social de significados; a ênfase no caráter processual e na reflexão; as condições objetivas de vida tornam-se relevantes por meio de significados subjetivos; e o caráter comunicativo da realidade social permite que o refazer do processo de construção das realidades sociais torne-se ponto de partida da pesquisa.
O cenário do estudo é o estado do Ceará. Foram definidos como participantes da pesquisa informantes-chave representativos das três esferas de gestão interfederativa do SUS de acordo com a prioridade do PMAQ-AB, obedecendo-se ao critério de amostragem por máxima variação (PATTON, 2007PATTON, M. Q. How to use qualitative methods in evaluation. Newbury Park, CA: Sage, 2007.), a saber: Macrocontexto com quatro participantes (gestores federais do SUS, universidades - Avaliação Externa), Mesocontexto com um participante (gestor estadual do SUS) e Microcontexto com quatro participantes (gestores municipais do SUS, representados por diretores do Conselho da Secretaria Municipal de Saúde do Ceará (COSEMS) e por secretários de saúde dos municípios de pequeno, médio e grande porte do estado do Ceará).
Para as finalidades heurísticas deste estudo, utilizou-se duas técnicas de pesquisa: a pesquisa documental e a entrevista estruturada. A pesquisa documental foi dirigida ao Manual do PMAQ-AB (BRASIL, 2011B______. Ministério da Saúde. Manual instrutivo do programa nacional para melhoria do acesso e qualidade na Atenção Básica (PMAQ-AB). Brasília, DF: Ministério da Saúde, 2011b.), que foi submetido à análise preliminar, incluindo: o exame do contexto social no qual ele foi produzido; a identificação dos stakeholders que se expressam nos documentos, bem como sua ideologia e interesses; a informação sobre a qualidade da informação transmitida, particularmente sobre a autenticidade e a confiabilidade do texto; a caracterização da natureza do texto; e a compreensão dos conceitos-chave e da lógica interna do texto (CELLARD, 2008CELLARD, A. A análise documental. In: POUPART, J. et al. A pesquisa qualitativa: enfoques epistemológicos e metodológicos. Petrópolis: Vozes, 2008, p. 295-316.). A seguir, o material de texto coligido dessa análise preliminar foi submetido à etapa de 'pré-análise de conteúdo', cujos produtos foram registrados em fichas elaboradas em processador de texto, compondo o corpus para as demais etapas da Análise de Conteúdo.
A entrevista estruturada foi descrita por Marconi e Lakatos (2005, P. 199)MARCONI, M. A.; LAKATOS, E. M. Fundamentos da metodologia científica. São Paulo: Atlas, 2005. como aquela que "o entrevistador segue um roteiro previamente estabelecido e é efetuada de preferência com pessoas selecionadas de acordo com um plano". Para Lakatos (2005), a padronização permite obter dos entrevistados respostas para as mesmas perguntas, consentindo que elas sejam examinadas com o mesmo conjunto de perguntas, e que as diferenças devam retratar diferenças entre os respondentes e não diferenças nas perguntas. Foi utilizado um 'roteiro de entrevista estruturada' com questões abertas, que versam sobre avaliação de 'processos', observando-se a Matriz de Avaliação do PMAQ-AB elaborada com base no Modelo CIPP, apresentada no quadro 1.
Quanto à análise de conteúdo, Bardin,
[...] um conjunto de técnicas de análise das comunicações visando obter, por procedimentos, sistemáticos e objetivos de descrição do conteúdo das mensagens, indicadores (quantitativos ou não) que permitam a inferência de conhecimentos relativos às condições de produção/recepção (variáveis inferidas) destas mensagens. (1977, p. 42).
A investigação dessas variáveis inferidas (as causas que se procura determinar no processo heurístico) a partir dos efeitos (variáveis de inferência ou indicadores; referências no texto) confere à análise de conteúdo o caráter de ser um bom instrumento de indução. Em uma palavra, a indução é a essência do método. Este está organizado em diferentes fases, em torno de três polos cronológicos: pré-análise; exploração do material; e tratamento dos resultados obtidos e interpretação. Consistiu essencialmente na operação de releitura vertical do corpus e de codificação e enumeração. Para Bardin:
A codificação corresponde a uma transformação - efetuada segundo regras precisas - dos dados brutos do texto, transformação esta que, por recorte, agregação e enumeração, permite atingir uma representação do conteúdo, ou da sua expressão, susceptível de esclarecer o analista acerca das características do texto. (1977, P. 103).
A organização da codificação utilizada neste estudo compreendeu a escolha de unidades de registro e de unidades de contexto, e a enumeração, a qual, considerando que a análise de conteúdo efetuada aqui foi do tipo qualitativa, fundou-se na regra da presença (ou da ausência) de unidades de registro (no caso aqui expresso, dos temas sobre o PMAQ-AB que emergiram do material). Para cada componente do corpus, recortes a nível semântico, ou seja, tendo o 'tema' por unidade de registro cuja noção é largamente utilizada em análise temática e é característica da análise de conteúdo. Trata-se da unidade de significação que se liberta naturalmente de um texto analisado segundo certos critérios relativos à teoria que serve de guia à leitura. O tema é geralmente utilizado como unidade de registro para estudar motivações de opiniões, de atitudes, de valores, de crenças, de tendências etc. Assim,
fazer uma análise temática, consiste em descobrir os 'núcleos de sentido' que compõem a comunicação e cuja presença, ou frequência de aparição podem significar alguma coisa para o objetivo analítico escolhido (BARDIN, 1977, P. 105BARDIN, L. Análise de conteúdo. Lisboa: Edições 70, 1977.).
Após o tratamento dos dados, foram identificadas cinco categorias nas quais foram agrupados 24 temas, conforme distribuição apresentada abaixo:
-
Ações que efetivam as diretrizes do PMAQ-AB: (1) transparência do processo, (2) construção coletiva, (3) cultura de negociação, (4) desenvolvimento tecnológico, (5) educação permanente, (6) rotinas de supervisão e visitas técnicas, (7) não há nenhuma ação que tenha efetivado as diretrizes do PMAQ-AB;
-
Processo de adesão: (1) adesão voluntária como processo de construção coletiva, (2) não adesão das equipes por rivalidade política, (3) divulgação do processo de adesão, (4) processo de adesão por obrigatoriedade;
-
Adequação dos recursos ao Programa: (1) recursos humanos estão inadequados, (2) recursos tecnológicos são inadequados, (3) recursos financeiros são ainda insuficientes, (4) todos os recursos são inadequados;
-
Obstáculos a serem vencidos na atual fase do Programa: (1) logística, (2) conclusão da Avaliação Externa, (3) conscientização do gestor, (4) intersetorialidade dentro da secretaria de saúde, (5) quebra de paradigmas de muitos profissionais, (6) reestruturação da Avaliação Externa;
-
Necessidade de eventos para reorientação do Programa: (1) eventos para debater o programa, trocar experiências e principalmente incentivar a discussão nos municípios, (2) esclarecimentos do que está acontecendo na fase atual e de qual será a próxima fase, (3) educação permanente como medida eficiente para reorientar o programa.
Análise e discussão
Ações que efetivam as diretrizes do PMAQ-AB
Na percepção dos representantes do Ministério, muitas ações estão sendo desenvolvidas para a efetivação das diretrizes do PMAQ-AB conforme o que preconiza no programa. Das ações, destacamos a inovação de ferramentas tecnológicas para monitoramento e avaliação dos indicadores e programa de acompanhamento por parte do usuário. Outra novidade é o papel do apoiador institucional na discussão contextual em parceira com o estado e municípios. Na fala do representante do estado a seguir, é intensificado sua exclusão no processo, embora tenha inserido em sua rotina de trabalho ações que acompanham o PMAQ-AB nos municípios. Quanto aos municípios, o discurso é que o processo está lento, o Ministério tem atrasado os repasses dificultando as ações e que existe uma dificuldade de envolver o profissional médico na construção do processo.
O gestor municipal adere sem que seus trabalhadores saibam que ele está aderindo, está pactuando melhor dizendo, está pactuando ali compromissos, indicadores, resultados, etc. e os trabalhadores nunca ficaram sabendo, ou se ficaram sabendo ficaram de maneira muito vaga, e não fizeram nenhum tipo de movimento pra alinhar suas ações a essa pactuação que foi feita pelo gestor municipal (MACRO 1).
Eu vejo muita pouca ação nesse momento. Hoje simplesmente o ministério tá vindo ao município faz a vistoria e decide se vai pagar ou não. Acho que essa ação punitiva de análise que está acontecendo, embora esteja baseada em legislação, ela não tá fazendo com que os municípios tenham uma tranquilidade de organizar suas equipes para que consigam acessar esses recursos com mais facilidade (MICRO 1).
Adesão
Na maioria da percepção macro e micro, o processo de adesão se deu, voluntariamente, com uma ampla divulgação que inclui as equipes da Estratégia Saúde da Família e equipes tradicionais da Atenção Básica. Surgiram questões de equipes que não aderiram ao processo por rivalidade política, em que membros da equipe não aderiram por não serem do mesmo partido político do gestor municipal. Outra fala relevante, mas que não aconteceu no estado do Ceará, local deste estudo, é que gestores manipularam o processo de adesão. Quanto à percepção meso, o discurso do Estado permanece como excludente do processo, mas que participou ativamente na divulgação da adesão ao PMAQ-AB, inclusive com o COSEMS. Por último, uma fala do representante municipal que apresenta o processo de adesão como obrigatório, já que era o único modelo proposto pelo Ministério: "Foi realmente voluntário, mas que a gente sabe que muitas equipes que gostariam de aderir não tiveram a oportunidade de aderir foi bem democrático" (MACRO 4).
Aliás, minto, em alguns municípios a gente soube que foi uma adesão que os gestores pediram, não vi isso no nosso estado, em outro estado um gestor pegou as assinaturas dos profissionais da saúde de uma ata de uma reunião, e utilizou essas assinaturas como se esses profissionais tivessem aderindo ao PMAQ-AB, então quando nossos avaliadores chegaram pra avaliar essa equipe foi uma confusão, porque eles disseram que não pediram a avaliação, Então assim, até onde nós sabemos não aconteceu no nosso estado, mas aconteceu em estados vizinhos, triste né... E a gente sabe também... que várias equipes não aderiram por estarem 'contra' a gestão municipal... 'ah eu vou aderir pro município ganhar mais dinheiro, então não vou aderir.' Foi uma represaria dos profissionais quanto a gestão do município (MACRO 4).
Como esse processo foi todo, a gente não acompanhou muito isso, porque esse processo foi ministério/município, então nós não acompanhamos muito não... nós não interferimos em nada disso não, não tivemos nenhuma influencia nisso não, tivemos reuniões com os COSEMS alertando para a questão da adesão, sempre lembrando, adesão, como era o processo, esclarecendo a questão dos indicadores mas muito por iniciativa própria mesmo (MESO).
Foi apresentada a portaria ao gestor, o gestor aceitou o processo, e depois foi discutida com a coordenação da Atenção Básica e o colegiado de gestão, foi aprovado por todos, repassado para as gerentes das unidades de saúde que o município teve a adesão de todo o potencial que devia ser aderido (MICRO 4).
"Não foi voluntária fomos obrigados pois não temos outro modelo" (MICRO 3).
Adequação dos recursos ao Programa
Na percepção de todos, existe uma inadequação dos recursos humanos. Uma necessidade de capacitação dos profissionais, de fixação nos municípios e de melhor preparação para atuar na Atenção Básica. Destacamos, em especial, o profissional médico, que é apresentado por não cumprir a carga horária exigida, não trabalhar em equipe e em alguns casos não estarem preparados para atuar na Atenção Básica.
Eu acho que é um grande gargalo, do ponto de vista dos recursos humanos nós temos desde o problema da falta de profissionais, sobretudo médicos, mas isso em algumas situações pode estar relacionado a ausência de outros profissionais também, ainda no campo dos recursos humanos a gente encontra situações de baixa qualificação dos trabalhadores em muitas localidades. É muito comum na maior parte das vezes são trabalhadores recém-formados e eventualmente mal formados, que se deparam com situações extremamente complicadas e se veem com pouca habilidade para poder enfrentar e dar conta dessas situações (MACRO 1).
Inadequados olha, eu diria que dentro desses recursos, eu acho que o recurso humano ele precisa de muita qualificação, precisamos de muita ênfase na qualificação do profissional que atua na Atenção Básica e nós precisamos caminhar muito nesse sentido (MACRO 2).
Eu acho que a gente em recursos humanos temos que melhorar, melhorar a qualidade a visão mesmo da atuação do profissional médico... tecnológica lógico que nós temos também que modernizar, temos que tá com tudo informatizado, temos que ter um crescimento muito grande nisso... e a gente sabe que com esse recurso financeiro não dá pra colocar ainda na visão de alta tecnologia (MICRO 2).
"Todos os recursos são inadequados" (MICRO 3).
Referente aos recursos tecnológicos, a falta de computadores e de conectividade à internet é um problema que se encontra nos municípios dificultando o desenvolvimento do programa.
Acho que essa tecnologia não só de computador, mas de telefone, de e-mail, as equipes e os gestores vão conseguir se comunicar mais com a gente via site, o que for que consiga fazer com que eles fiquem mais próximos... pelo sistema, várias coisas são online e a gente sabe que muitos municípios tem uma dificuldade de estar online pela própria internet, ou por falta de computador (MACRO 3).
Da parte tecnológica, de equipamentos... estrutura inadequada para posto de saúde, as vezes é uma casa que foi desapropriada e aquela casa se transformou numa unidade de saúde, as portas são estreitas, não entra cadeirantes, não tem iluminação, não tem uma pia dentro do consultório...o compressor do dentista fica dentro da sala com aquela 'zuada' horrorosa pra atender o paciente, equipamento de esterilização ainda muito com estufas e autoclave, e algumas estufas não estão funcionando adequadamente (MACRO 4).
Quanto aos recursos financeiros, todos reconhecem que os recursos ainda são insuficientes, inclusive para atender aos objetivos que o PMAQ-AB pretende, com exceção do Estado que apresenta como adequado os recursos financeiros. No entanto, é apresentada a ausência do Estado no cofinanciamento da Atenção Básica que poderia oxigenar as ações de saúde nos municípios minimizando essa inadequação financeira. Outro fator colocado nas falas a seguir é que os recursos vêm em caixinhas destinadas a serem utilizadas para tal fim sem poder manejar o recurso, isto é, o recurso entra como destino de gasto.
Os recursos financeiros, eles deram uma oxigenação e vão dar não tenho dúvida disso, uma oxigenação no processo. O grande problema da inadequação dos recursos financeiros é que diz respeito às vezes a uma, a uma não, quase nenhuma contrapartida por parte dos estados no co-financiamento da Atenção Básica. Isso precisa ser ressignificado, precisa ser mais refletido no campo da Atenção Básica no sentido de haver maior paridade de iniciativas no campo do financiamento da Atenção Básica (MACRO 2).
Mas a gente escutou muito eles reclamando de falta de recursos, de liberdade de gasto, porque às vezes o dinheiro está lá, mas a equipe não tem como gastar, as vezes eu tenho papel higiênico demais e papel toalha de menos, as vezes eu tenho muita pasta de dente e não tenho nenhuma escova de dente. Então as vezes não é nem tanto o recurso que tá faltando, é a dificuldade de se gastar certos recursos com a dinâmica que é, de gerir uma unidade de saúde (MACRO 4).
Recursos financeiros eu acho que eles não estão inadequados não...recursos humanos eu acredito que sim por conta da rotatividade que a gente ainda tem, eu acho que o maior problema ainda é a questão de recursos humanos (MESO).
Obstáculos a serem vencidos na atual fase do Programa
Na percepção do Macrocontexto, são vários os obstáculos a serem vencidos na fase atual do PMAQ-AB, como a logística e conclusão da Avaliação Externa, bem como a validação deste processo. Por último, a conscientização do gestor de que o PMAQ-AB não é um programa que avalia e dá uma nota, mas um processo contínuo de avaliação visando aperfeiçoar os processos, melhorar a qualidade e aumentar o acesso à população.
É garantir logisticamente a execução da própria Avaliação Externa, que é uma coisa colossal... mas, o grande problema é garantir a operacionalização de tudo isso, a logística desse trabalho de coleta, de chegada aos municípios, nas unidades básicas de saúde para poder fazer essa Avaliação Externa (MACRO 1).
A gente tá na Avaliação Externa né, os principais obstáculos eu acho que é pro gestor municipal e pra equipe entender que o PMAQ-AB não é só Avaliação Externa, eles não vão tá sendo só avaliados pra ganhar uma nota e continuarem no programa, eu acho que a gente precisa discutir mais com eles... debater mais com eles essa coisa da avaliação cíclica e do que essa avaliação vai proporcionar de melhoria para o município e para o trabalho deles frente a população (MACRO 3).
São dois os obstáculos na percepção da gestão estadual. Primeiro, o de conscientização do gestor sobre os projetos e programas da Atenção Básica, principalmente os novos prefeitos e secretários do processo eleitoral municipal.
Agora nós temos um desafio grande por conta dos resultados das eleições aqui a gente vai ter um trabalho muito intenso para que os novos prefeitos, e é claro as novas secretarias, os novos secretários entendam não só o PMAQ-AB, mas entendam todos os projetos e programas que a gente tem na Atenção Básica, principalmente a política nacional (MESO).
Em segundo a intersetorialidade dentro da secretaria da saúde, entre vigilância à saúde e Atenção Básica por exemplo, e entre as secretarias da mesma gestão. Um desafio que aí a gente trabalha fragmentado, eu não sei como que a gente pode tá corrigindo isso, nesse momento vigilância e atenção tem que andarem juntos, e é um dificultador muito expressivo... (MESO).
Na percepção dos representantes municipais, o obstáculo atual a ser vencido é a quebra de paradigmas de muitos profissionais em que o programa do PMAQ-AB é mais uma política provisória do Ministério da Saúde e que somente com a educação permanente é que esses paradigmas irão romper. Outro obstáculo é a reestruturação da Avaliação Externa, sua forma e seus instrumentos de avaliação, que também são apresentados como impedimentos que devem ser trabalhados. Apontamos, ainda, a falta de transparência do processo como obstáculo.
Eu acho que é quebrar os paradigmas de muitos profissionais que não acreditam nessa política de melhoria do acesso e da qualidade, esse paradigma nós só iremos quebrar com educação profissionalizante, com educação permanente em saúde (MICRO 1).
"Não sabemos em que fase estamos pois não tem transparência e ninguém sabe informar nada (MICRO 3)."
"Eu acho que a reestruturação da forma avaliativa, dos instrumentos de avaliação e da forma como os avaliadores fazem isso dentro da unidade de saúde (MICRO 4)."
Necessidade de eventos para reorientação do Programa
Os representantes das três esferas de governo foram unânimes quanto à extrema necessidade de eventos para esclarecimentos e reorientação do programa. O objetivo desses encontros é debater o programa, trocar experiências e principalmente incentivar esta discussão nos municípios, o que deve acontecer através da educação permanente. Para isso, o Ministério da Saúde conta com o apoiador institucional descentralizado em todo território nacional.
Considerados como absolutamente essenciais, os eventos estão programados por meio de oficinas, seminários, rodas e fazem parte da rotina do Ministério da Saúde.
A gente tá sempre preocupado com isso, a realização de eventos de uma maneira geral faz parte da nossa rotina, sobretudo dos apoiadores do departamento de Atenção Básica, que estão aí pelo território nacional debatendo com estados, municípios e as vezes até com trabalhadores (MACRO 1).
Eu acho que são necessários, principalmente encontros de esclarecimento do que está acontecendo. Os municípios agora estão meio perdidos, tem tanta coisa acontecendo ao mesmo tempo que eles não conseguem absorver essa informação, e as vezes a informação muda também......acho que se eles entendessem melhor esse processo eles não estariam usando essas artimanhas que a gente viu. O PMAQ-AB é uma avaliação, acho que os profissionais que estão envolvidos na Estratégia Saúde da Família precisam de educação permanente para que consigam desenvolver melhor suas atividades, mas os gestores precisam de encontros que esclareçam os objetivos do PMAQ-AB (MACRO 4).
Altamente necessário, porque assim, chegou num prazo muito curto, teve que ser discutido, implantado, solicitado avaliação, foi tudo num prazo muito curto, se sente como se a união tivesse um dinheiro destinado para aquilo e tivesse que gastar em tempo recorde pra não deixar de gastar o recurso, que é um programa muito bom mas precisava ter sido feito encontros de educação permanente sobre o programa pra todo mundo ter entendido melhor, muita gente até não aderiu pela falta de compreensão (MICRO 4).
Conclusões
Analisando as percepções, opiniões, conhecimentos e comportamentos comuns dos entrevistados, apontamos que a implantação do PMAQ-AB no estado do Ceará se deu de forma verticalizada pelo Ministério da Saúde propondo uma adesão voluntária com ausência de esclarecimentos e prazos ínfimos para discussão do programa com os gestores municipais, exclusão do governo estadual no processo de implantação e com um discurso normativo, conhecedor do programa e da PNAB. Quanto aos demais representantes, identificamos um discurso prático de quem executa e que precisa principalmente de apoio técnico e recursos financeiros, tecnológicos e humanos, considerados inadequados, como visto acima, e que podem ser reorientados através da educação permanente.
Outro ponto é a precariedade dos recursos humanos nos municípios, que sem nenhum apoio técnico especializado, alta rotatividade de profissionais e sobrecarga de trabalho vem desenvolvendo as ações em saúde de forma corajosa, embora fragilizada. Com relação aos recursos tecnológicos, percebemos que o próprio Ministério da Saúde apresentou problemas na aquisição de equipamentos para os avaliadores externos. Nos municípios, essa dificuldade se agrava, tendo em vista que o programa prevê um sistema de informações na rede, a realidade existente é de equipamentos de informática obsoletos, ausência de internet ou mesmo internet lenta e dificuldades de técnicos de informática.
Ressaltamos ainda o subfinanciamento como outro aspecto que deve ser discutido apesar do incentivo ao PMAQ-AB ser considerado um aspecto positivo na gestão da Atenção Básica nos últimos anos, é um gargalo que os municípios têm enfrentado com a variedade de programas e ações que o Ministério da Saúde estabelece, visto que os recursos para a implantação desses programas requerem um alto valor de contrapartida do município. Como proposta, o estudo identificou como uma das alternativas apresentadas pelos representantes da esfera federal e municipal a participação efetiva do Estado no cofinanciamento da saúde na Atenção Básica, hoje considerado insignificante. Por fim, verificamos como fundamental para o desenvolvimento do PMAQ-AB a participação popular no processo, oficinas ou seminários para esclarecimento na utilização dos recursos financeiros do programa, principalmente quanto ao incentivo aos profissionais por cumprimento de metas e, por último, o aumento de apoiadores institucionais e a lotação dos mesmos nas regiões de saúde do estado.
Este estudo teve como passo inicial avaliar a implantação do PMAQ-AB. Portanto, é importante que outras pesquisas deem continuidade à proposta aqui trabalhada, de forma a proporcionar uma contribuição à Melhoria do Acesso e Qualidade da Atenção Básica.
Referências
- ANDRIOLA. W. B. Avaliação da Formação de Agentes Prisionais do Ceará em Educação de Jovens e Adultos (EJA). Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, Madrid, v. 9, n. 4, p. 79-92, 2010.
- BARDIN, L. Análise de conteúdo Lisboa: Edições 70, 1977.
- BODSTEIN, R. Processo decisório e avaliação em saúde: ampliando o debate sobre o Programa Saúde da Família. Ciência & Saúde Coletiva, Rio de Janeiro, v. 14, suppl.1, p. 1336-1338, 2009.
- BRASIL. Ministério da Saúde. Projeto de Expansão e Consolidação do Saúde da Família - PROESF. Brasília: Ministério da Saúde, 2003.
- ______. Ministério da Saúde. Avaliação para Melhoria da Qualidade da Estratégia Saúde da Família Brasília: Ministério da Saúde, 2005.
- ______. Ministério da Saúde. Portaria GM/MS Nº 1.654, de 19 de julho de 2011. Institui, no âmbito do Sistema Único de Saúde, o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) e o Incentivo Financeiro do PMAQ-AB, denominado Componente de Qualidade do Piso de Atenção Básica Variável - PAB Variável. Diário Oficial da União, Brasília, 2011a. Disponível em: <http://bvsms.saude.gov.br/bvs/saudelegis/gm/2011/prt1654_19_07_2011.html>. Acesso em:
» http://bvsms.saude.gov.br/bvs/saudelegis/gm/2011/prt1654_19_07_2011.html - ______. Ministério da Saúde. Manual instrutivo do programa nacional para melhoria do acesso e qualidade na Atenção Básica (PMAQ-AB) Brasília, DF: Ministério da Saúde, 2011b.
- ______. Ministério da Saúde. Portaria GM/MS Nº. 2488, de 21 de outubro de 2011. Aprova a Política Nacional de Atenção Básica, estabelecendo a revisão de diretrizes e normas para a organização da Atenção Básica, para a Estratégia Saúde da Família (ESF) e o Programa de Agentes Comunitários de Saúde (PACS). Diário Oficial da União, Brasília, 2011c. Disponível em: <http://bvsms.saude.gov.br/bvs/saudelegis/gm/2011/prt2488_21_10_2011.html>. Acesso em:
» http://bvsms.saude.gov.br/bvs/saudelegis/gm/2011/prt2488_21_10_2011.html - CELLARD, A. A análise documental. In: POUPART, J. et al. A pesquisa qualitativa: enfoques epistemológicos e metodológicos. Petrópolis: Vozes, 2008, p. 295-316.
- CONTANDRIOPOULOS A. P. et al. A avaliação na área da saúde: conceitos e métodos. In: HARTZ, Z. M. A. (Org). Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Editora Fiocruz; 1997. p. 29-48
- FELISBERTO, E. Monitoramento e avaliação na Atenção Básica: novos horizontes. Revista Brasileira de Saúde Materno Infantil, Recife, v. 4, n. 3, p. 317-321.
- FIGUEIREDO, A. M. A.; TANAKA, O. A avaliação no SUS como estratégia de reordenação da saúde. Cad Fundap, São Paulo, v. 19, p. 98-105, 1996.
- FITZPATRICK, J. L.; SANDERS, J. R.; WORTHEN, B. R. Program evaluation: alternative approaches and practical guidelines. 3. ed. Boston: Pearson Education, 2004.
- FLICK, U.; KARDORFF, E.; STEINKE, I. Was ist qualitative forschung? Einleitung und überblick. In:; FLICK, U.; KARDORFF, E. STEINKE, I. (Org.). Qualitative forschung: ein handbuch. Reinbek: Rowohlt, 2000. p. 13-29.
- HARTZ, Z. M. A. Institutionalizing the evaluation of health programs and policies in France: cuisine internationale over fast food and surmesure over ready-made. Cad Saúde Pública, Rio de Janeiro, v.15, n. 2, p. 229-59, 1999.
- HARTZ, Z. M. A.; VIEIRA SILVA, L. M. (org.) Avaliação em Saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: EDUFBA; Rio de Janeiro: Fiocruz, 2005. 275p
- LIMA, M.A.M. Auto-avaliação e desenvolvimento institucional: projeto aplicado em cursos de administração. Fortaleza: Edições UFC, 2008, 626 p.
- MARCONI, M. A.; LAKATOS, E. M. Fundamentos da metodologia científica São Paulo: Atlas, 2005.
- MINAYO, M. C. S. O desafio do conhecimento: pesquisa qualitativa em saúde. 9 ed. São Paulo: Hucitec, 2006, 406 p.
- MINAYO, M. C. S.; SANCHES, O. Quantitativo-qualitativo: oposição ou complementaridade? Cad. Saude Publica, Rio de Janeiro, v. 9, n.3, p. 237-248, 1993.
- NOVAES, H. M. D. Avaliação de programas, serviços e tecnologias em saúde. Rev Saúde Publica, São Paulo, v. 34, n. 5, p. 547-59, 2000.
- PATTON, M. Q. How to use qualitative methods in evaluation Newbury Park, CA: Sage, 2007.
- SARTI, T. D. et al. A institucionalização da avaliação na Atenção Básica: alguns aspectos para a construção de práticas democráticas no contexto da Estratégia Saúde da Família. UFES Rev Odont, Vitória, v. 10, n. 1, p. 63-69, 2008.
- SHADISH, W. R. et al. Foundations of program evaluation: theories of practice. Newbury Park: SAGE Publications, 1991, 529 p
- STUFFLEBEAM, D. L. The metaevaluation imperative. American Journal of Evaluation, Washigton, DC, v. 2, n. 2, p. 183-209, 2001.
- ______. The CIPP model for evaluation: an update, a review of the model's development, a checklist to guide implementation. In: ANNUAL CONFERENCE OF THE OREGON PROGRAM EVALUATORS NETWORK (OPEN), 2003, Portland, OR.
- STUFFLEBEAM, D. L. et al. Educational evaluation and decision making Itasca, IL: Peacock. 1971
-
Suporte financeiro: não houve
Datas de Publicação
-
Publicação nesta coleção
Out 2014
Histórico
-
Recebido
Abr 2013 -
Aceito
Jul 2013