Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil

Sustainability analysis of an evaluation policy: the case of primary health care in Brazil

ARTIGO ARTICLE

Análise da sustentabilidade de uma política de avaliação: o caso da atenção básica no Brasil

Sustainability analysis of an evaluation policy: the case of primary health care in Brazil

Eronildo Felisberto^I; Eduardo Freese^II; Luciana Caroline Albuquerque Bezerra^I; Cinthia Kalyne de Almeida Alves^{I, III}; Isabella Samico^I

^IInstituto de Medicina Integral Prof. Fernando Figueira, Recife, Brasil

^IICentro de Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz, Recife, Brasil

^IIIUniversidade Federal de Pernambuco, Recife, Brasil

^{Correspondência}

RESUMO

O estudo analisa a sustentabilidade da Política Nacional de Avaliação da Atenção Básica a partir da identificação e categorização dos eventos críticos representativos do processo de institucionalização. Pesquisa avaliativa com duas unidades de análise: Gestão Federal da Atenção Básica e Secretarias Estaduais de Saúde (SES). Estudo de casos múltiplos com dados coletados por meio de entrevistas e documentos institucionais, usando a técnica de Incidentes Críticos. Os eventos classificados temporalmente como específicos da implantação, da sustentabilidade e mistos, foram categorizados analiticamente como de memória, adaptação, valores e regras. A Gestão Federal e uma das SES resultaram no nível médio de sustentabilidade, a outra SES foi classificada no nível forte. Os resultados indicam concomitância dos eventos e sugerem uma ponderação, pois os de adaptação das atividades, adequação e estabilização dos recursos demonstraram forte influência sobre os outros. Inovações e Desenvolvimento da Capacidade Técnica são considerados os resultados mais importantes no sentido da sustentabilidade.

Indicadores de Desenvolvimento Sustentável; Institucionalização; Avaliação de Programas e Projetos de Saúde; Avaliação em Saúde

ABSTRACT

This study analyzes the sustainability of Brazil's National Policy for the Evaluation of Primary Health Care, based on the identification and categorization of representative critical events in the institutionalization process. This was an evaluative study of two analytical units: Federal Management of Primary Health Care and State Health Secretariats, using multiple case studies with data collected through interviews and institutional documents, using the critical incidents technique. Events that were temporally classified as specific to implementation, sustainability, and mixed were categorized analytically as pertaining to memory, adaptation, values, and rules. Federal management and one of the State Health Secretariats showed medium-level sustainability, while the other State Secretariat showed strong sustainability. The results indicate that the events were concurrent and suggest a weighting process, since the adaptation of activities, adequacy, and stabilization of resources displayed a strong influence on the others. Innovations and the development of technical capability are considered the most important results for sustainability.

Sustainable Development Indicators; Institutionalization; Program Evaluation; Health Evaluation

Introdução

Sustentabilidade é um conceito sistêmico que tem sido mais relacionado com a continuidade dos aspectos econômicos, sociais, culturais e ambientais da sociedade humana e à sua capacidade de atender às necessidades atuais e futuras ¹. Já a sustentabilidade de projetos costuma ser definida como a capacidade de uma intervenção proporcionar benefícios sem interrupção durante um longo período de tempo ^2,3.

Na área da saúde esse conceito tem sido mais encontrado na literatura referente à promoção da saúde e freqüentemente relacionado à continuidade dos programas nas instituições ou em parcerias com organizações comunitárias. Nesse campo apresenta-se por intermédio de diversas terminologias na busca de uma melhor compreensão de seu significado, sendo "Institucionalização" o termo mais comumente utilizado ⁴. Scheirer ⁵ define um programa sustentado como um conjunto de recursos e atividades duráveis destinado a objetivos programáticos ^5,6.

Entretanto, mesmo com a constatação de que grande número de projetos ou programas sofre descontinuidade após o período de sua implantação e, embora muitos países desenvolvam sistemas para o monitoramento da implantação dos mesmos, são poucas as informações produzidas regularmente sobre a continuidade e permanência dos resultados desses programas ^3,7,8.

Nesse sentido, a sustentabilidade dos programas tem se constituído em um grande problema para a saúde pública, em virtude da exposição aos riscos aos quais estão expostos. Esses se referem à continuidade das atividades ao longo do tempo e podem ocasionar a perda de investimentos para as organizações e pessoas envolvidas em programas considerados exitosos. Vários fatores tais como a permanência da relevância e da legitimidade do programa, sua estabilidade financeira, a garantia de uma gestão eficaz e sua capacidade de adaptar-se às mudanças de contextos político-institucionais, podem influenciar positivamente a continuidade dos mesmos evitando, ainda, que a interrupção desses programas levem à desmotivação dos envolvidos e, portanto, se torne um obstáculo a subseqüentes mobilizações ^3,4.

A implantação de um programa e, conseqüentemente, seus efeitos, sofrem influência e influenciam sua sustentabilidade, portanto, esta necessita ser avaliada. Considera-se aqui a perspectiva de Scheirer ⁹ sobre o "ciclo de vida" de um programa que inclui sua concepção, implantação, avaliação, continuidade e disseminação. Para Pluye et al. ^4,10, a avaliação da sustentabilidade pode ocorrer considerando-se três dimensões: (1) processo primário - de rotinização - que permite a sustentabilidade de programas dentro de organizações e que pode conduzir à constituição de rotinas organizacionais programáticas (refere-se à memória, à adaptação, aos valores e às regras que definem as rotinas organizacionais); (2) processo secundário - de padronização - que se superpõe ao anterior e pode levar a rotinas programáticas padronizadas que são mais sustentáveis do que simples rotinas organizacionais (padrões institucionais manifestos em regras e políticas governamentais que delimitam a ação das rotinas organizacionais); (3) processos concomitantes - de implantação e sustentabilidade. Alguns eventos influenciam especificamente a implantação, outros a sustentabilidade e outros, ainda, influenciam tanto a implantação quanto a sustentabilidade e são eventos mistos que pertencem a ambos os processos. Essa última dimensão permite classificar os eventos conforme o contexto de sua ocorrência, enquanto que as duas anteriores influenciam diretamente na determinação dos níveis de sustentabilidade de programas ^4,10.

A implantação de políticas de avaliação é quase sempre permeada de certa resistência, geralmente associada ao sentimento de que as evidências produzidas e o conhecimento mais ampliado de informações possam acarretar mudanças, aumento da cobrança e do volume de trabalho, punições ou perda de poder ¹¹. Superar essa resistência dependerá da capacidade da gestão em articular os envolvidos em torno de uma proposta (intervenção) qualificadora das práticas e dos conseqüentes efeitos positivos para o alcance dos objetivos do programa ou política a ser avaliado. Nesse sentido, é importante considerar a afirmação de Denis & Champagne ¹² (p. 67) para quem "os diferentes atores organizacionais podem apoiar a implantação de uma intervenção se virem nela um meio de atualização de suas estratégias fundamentais".

A avaliação de políticas públicas permite não somente a produção de informações com vistas à melhoria da eficácia de uma prática social, mas oferece a possibilidade de transformação dessa prática à luz dos interesses dos envolvidos considerando suas relações contextuais ¹³. Contudo, a prática avaliativa precisa que certo grau de institucionalização deva ser atingido para que se torne efetiva e produza efeitos formativos sobre a conduta da ação pública. Institucionalização aqui entendida como o processo pelo qual dispositivos institucionais são criados, modificados ou suprimidos. Esses últimos devem ser compreendidos enquanto recursos, estimativas, procedimentos, orçamento, participação dos atores envolvidos e monitoramento, além de organizações e de regras que contribuem ao desenvolvimento e à perenidade da prática avaliativa dentro de um espaço definido ^14,15.

O Ministério da Saúde do Brasil desenvolveu a partir de 2003 a Política Nacional de Monitoramento e Avaliação da Atenção Básica, com o objetivo de institucionalizar a avaliação no âmbito da atenção básica no Sistema Único de Saúde (SUS) ¹⁶. A qualificação dos processos decisórios, no âmbito da gestão dos serviços e do cuidado, com vistas à integralidade e resolutividade das ações, são propósitos da política, uma vez que a incipiência das práticas de monitoramento e avaliação na atenção básica é reconhecida pelas três esferas de gestão ^15,16. Pela primeira vez, no setor saúde do Brasil, o objetivo de institucionalizar a avaliação no SUS é transformado em uma política de governo, envolvendo claramente os gestores estaduais e municipais no processo de acompanhamento e avaliação da atenção básica, descentralizando mais uma ação - a de avaliar ¹⁷.

Nesse sentido, analisar a sustentabilidade da Política Nacional de Monitoramento e Avaliação da Atenção Básica permitirá refletir sobre as ações técnicas, os processos de trabalho nela produzidos e sua contribuição para o desenvolvimento da cultura avaliativa. Com esse objetivo, este estudo apresenta uma análise da sustentabilidade dessa intervenção com vistas a influenciar o aprimoramento do seu processo de implantação.

Método

O referencial teórico utilizado caracteriza implantação e sustentabilidade enquanto processos concomitantes (Figura 1). Entretanto, é necessário distingui-los levando em conta que esses processos são representados por seqüências cronológicas de eventos específicos a cada um deles. Nesse sentido, adotou-se a seguinte tipologia proposta por Pluye et al. ^4,10 para a identificação e distinção dos indicadores por cada um dos processos (Tabela 1): (i) eventos específicos do processo de implantação: investimento de recursos humanos, financeiros e materiais adequados para a execução das atividades; compatibilidade das atividades programáticas com as da organização; (ii) eventos mistos (comuns) de implantação e sustentabilidade: incentivos aos atores organizacionais envolvidos; adaptação de programas de acordo com a eficácia e necessidades; adequação aos objetivos; comunicação transparente entre os atores; compartilhamento de processos e resultados entre programas e organização; integração das regras relativas aos programas às regras da organização; (iii) eventos específicos dos processos de sustentabilidade: estabilização de recursos organizacionais dedicados aos programas; riscos assumidos pela organização em prol dos programas ^4,10. Em recente revisão da literatura sobre a evolução das organizações realizada por Pluye et al. ¹⁸, é apresentado um quadro conceitual sugerindo quatro categorias para análise dos eventos que podem conduzir à constituição de rotinas organizacionais programáticas: memória, adaptação, valores e regras. Essas foram utilizadas pelos autores e, a título de comparação, também neste estudo, pois se referem aos recursos disponíveis, à adequação às atividades institucionais, aos valores coletivos dos que fazem a instituição e às ações, atividades e decisões que fazem parte da vida institucional ¹⁷ (Tabela 1).

Os eventos foram classificados temporalmente e analisados em dois períodos: 2003-2008 e 2005-2008, levando-se em conta que o início de cada um deles corresponde ao início do processo de implantação em cada uma das unidades de análise e, as conclusões de estudo anterior de Felisberto et al. ¹⁷, que procedeu a uma análise de implantação da mesma intervenção, e apóiam essa temporalidade ao identificar os períodos de expansão e de retração do processo de implantação da política como conseqüência de mudanças no cenário político institucional ¹⁷.

Trata-se de uma pesquisa avaliativa com duas unidades de análise (federal e estadual) e três unidades de observação compostas pela Gestão Federal da Atenção Básica e duas Secretarias Estaduais de Saúde selecionadas em virtude de terem sido consideradas experiências exitosas em estudo anterior comissionado pelo Ministério da Saúde ¹⁹. Utilizou-se como estratégia de pesquisa a análise de casos múltiplos e os dados foram coletados em fontes primárias por meio de entrevistas semi-estruturadas com vinte informantes-chave, selecionados em função de seu protagonismo no contexto de implantação da política ¹⁷ e em fontes de dados secundários por meio da análise de 29 documentos institucionais (Tabela 2).

As vinte entrevistas foram realizadas com gerentes de projetos, coordenadores, assessores e diretores do Departamento de Atenção Básica do Ministério da Saúde (6); gestores de duas Secretarias Estaduais de Saúde - SES 1 (5) e SES 2 (4) selecionadas em estudo anterior encomendado pelo Ministério da Saúde ¹⁹; dirigentes do Banco Mundial (2), órgão financiador do Projeto de Expansão e Consolidação do Saúde da Família - PROESF - e dirigentes do Conselho Nacional dos Secretários Estaduais de Saúde - CONASS (1) e do Conselho Nacional de Secretários Municipais de Saúde - CONASEMS (2). Para as entrevistas foi construído um roteiro, adaptado de Pluye et al. ¹⁰, para servir como guia na coleta de informações, contendo questões orientadoras no sentido de evidenciar aspectos importantes da política, traduzidos como "eventos críticos".

Por questão de ordem ética, os informantes-chave entrevistados não foram identificados individualmente. Ainda, deve-se deixar claro que alguns dos autores deste trabalho podem ser caracterizados como pesquisadores-atores do processo de implantação da política. Portanto, não obstante ter-se trabalhado sempre apoiado na documentação pertinente, tomou-se o cuidado de ter entre os autores um supervisor externo sênior que assegurasse a vigilância epistemológica da investigação.

Os documentos analisados, relacionados na Tabela 2, foram os Relatórios de Gestão e Documentos Técnicos Institucionais da Coordenação de Avaliação da Atenção Básica do Ministério da Saúde, Portarias, Ata do Conselho Nacional de Saúde, Atas de Reuniões da Comissão Intergestora Tripartite, Relatórios de Oficinas e Seminários, Artigos Institucionais e Editais de Pesquisa. Esses objetivaram apreender o desenvolvimento das atividades da política desde a sua implantação.

Utilizou-se para a coleta de dados a Técnica de Incidentes Críticos proposta por Flanagan ²⁰, que consiste em solicitar relatos de situações e de fatos críticos vivenciados pelos atores para serem avaliados pelo pesquisador. Incidentes críticos são situações relevantes, observadas e relatadas pelos sujeitos entrevistados, podendo ser positivos ou negativos em função de suas conseqüências. Com a aplicação dessa técnica, as variáveis envolvidas numa determinada atividade ficam evidenciadas, captando eventos ou comportamentos que podem ser indicadores do sucesso ou de insucesso de um programa ^21,22,23,24.

No plano de análise somente os eventos críticos foram retidos para análise e interpretados como específicos de implantação, eventos mistos de implantação e sustentabilidade e específicos de sustentabilidade. Respostas contraditórias foram consideradas "eventos vagos" ¹⁰, tendo sido desprezados. Para a seleção dos indicadores, apresentados na Tabela 1, foram adaptadas as proposições de Pluye et al. ¹⁰, atualizando-as com estudos realizados pelo Banco Mundial ^2,3, Natal et al. ²⁵ e Felisberto et al. ²⁶ e, mediadas pelas reflexões de Scheirer ⁹ em sua análise e comentários sobre estudos empíricos de sustentabilidade de programas ^{2,3,4,6,9,25,26}.

Para a estimação do Nível de Sustentabilidade os eventos críticos foram analisados e interpretados em razão de serem ou não favoráveis à sustentabilidade ²⁷. Classificou-se, portanto, como Evento Favorável (F) aquele cuja interpretação na análise do conteúdo sugeriu uma contribuição positiva em direção às dimensões descritas na introdução deste artigo - processos de rotinização e padronização, demonstrando uma situação mais propícia à continuidade da política. E, foi classificado como Evento Desfavorável (D) aquele cuja interpretação sugeriu circunstâncias adversas à continuidade da política ^4,10,27. Também, os eventos críticos foram interpretados e categorizados quanto às características de "memória", "adaptação", "valores" e "regras" propostas por Pluye et al. ¹⁸. Essas classificações foram atribuídas a todos os eventos analisados independentemente de serem específicos de implantação, sustentabilidade ou mistos.

Em seguida, para cada uma das três unidades de observação - Gestão Federal da Atenção Básica, Secretaria Estadual de Saúde I e Secretaria Estadual de Saúde II - procedeu-se a soma dos eventos críticos favoráveis e desfavoráveis e a estimação de sua relação percentual no interior de cada unidade. O Nível de Sustentabilidade foi determinado, então, como: forte (quando encontrados mais de 80% de eventos favoráveis), médio (entre 60% e 80%) e baixo (abaixo de 60% de ocorrência deles). Esses níveis foram arbitrados tendo em vista o caráter inovador deste estudo avaliativo e em virtude da indisponibilidade de métodos prontos para este tipo de análise, principalmente referentes à implantação de programas ou políticas de saúde pública ^{4,9,10,21,27,28,29}.

As entrevistas foram gravadas pela equipe de pesquisa com o consentimento livre e esclarecido dos entrevistados. A investigação foi aprovada pelo Comitê de Ética do Instituto de Medicina Integral Prof. Fernando Figueira, sob o protocolo n°. 1168/2008.

Resultados

A Tabela 3 apresenta os eventos críticos da Política Nacional de Monitoramento e Avaliação da Atenção Básica no período de 2003 a 2008, por unidades de observação e de análise, interpretados e classificados temporalmente por tipo de evento (específicos da implantação, mistos de implantação e sustentabilidade, e específicos da sustentabilidade); por categoria analítica (memória, adaptação, valores e regras); e em razão de serem ou não favoráveis à sustentabilidade.

Analisando-se por tipo de evento na Gestão Federal da Atenção Básica, com relação aos específicos da implantação, em que pese o investimento na contratação e qualificação de pessoas, na captação de recursos financeiros, na defesa da política por atores-chave e na liderança exercida por sua coordenação; a insuficiência de recursos materiais e equipamentos e a inadequação do espaço físico da Coordenação de Avaliação da Atenção Básica apresentaram-se como eventos opositores à implantação. As atividades desenvolvidas no âmbito da política eram compatíveis com as atribuições institucionais da estrutura organizacional responsável por sua coordenação no período da implantação tornando-se, entretanto, conflitantes mais adiante (2006) com as prioridades políticas decorrentes da mudança na gestão do Departamento de Atenção Básica (Tabela 3).

Quanto aos eventos mistos da implantação e da sustentabilidade, a maioria deles apresentou-se favorável em direção a um processo de rotinização: incentivo aos atores envolvidos com a realização de cursos para os técnicos e o estabelecimento de parcerias com instituições de ensino e pesquisa; adequação dos objetivos da política aos objetivos da instituição considerando a diversidade de olhares; comunicação das atividades da política por meio de eventos, impressos ou internet; compartilhamento dos símbolos institucionais nas apresentações; integração das atividades de monitoramento e avaliação às demais atividades no âmbito do Ministério da Saúde; e o fato de que ao final do primeiro período de gestão, quando foi necessária a substituição da coordenação, esta passou a ser exercida por um dos integrantes do grupo técnico. Entretanto, a diminuição do grau de autonomia dessa nova coordenação com conseqüente prejuízo à liderança necessária, aliada às novas prioridades políticas em vista de um novo cenário político-institucional, foram eventos desfavoráveis à sustentabilidade (Tabela 3).

Em relação aos eventos específicos da sustentabilidade, a maioria foi interpretada como desfavorável: não houve estabilidade de pessoal técnico e de consultores externos, assim como no fluxo dos recursos financeiros, além de a renovação dos equipamentos ainda ser uma necessidade, apesar de a instituição ter assumido riscos relevantes no que se refere à credibilidade e responsabilidade social quando, por exemplo, procede a implantação do Projeto de Fortalecimento da Capacidade Técnica das Secretarias Estaduais de Saúde em Monitoramento e Avaliação da Atenção Básica (Tabela 3).

Percebe-se, portanto, que na Gestão Federal a maioria dos eventos favoráveis esteve relacionada à "adaptação" da política, na medida em que as atividades da política estão em consonância com o contexto institucional e promovem incentivos aos atores envolvidos; e aos "valores" institucionais, na medida em que há um processo de divulgação e comunicação permanente da política utilizando os símbolos institucionais, articulação com os objetivos institucionais e integração com outras áreas do Ministério da Saúde, além de estarem em consonância com os princípios do SUS (Tabela 3). Ao final, a unidade de análise Gestão Federal da Atenção Básica foi classificada no nível médio de sustentabilidade por ter apresentado 62,5% dos eventos favoráveis à rotinização.

Nas duas SES estudadas os eventos específicos da implantação são todos igualmente favoráveis, na medida em que o financiamento das atividades de monitoramento e avaliação (M&A) possibilitou a reestruturação das instâncias estaduais responsáveis pela atenção básica, com aquisição de equipamentos, recursos materiais, readequação da estrutura física, compra de veículos, dentre outros. Além disso, a criação e formalização dos núcleos de M&A com representação de outras áreas técnicas foram entendidas como possibilidade de compatibilizar as atividades do projeto às da SES (Tabela 3).

Com relação aos eventos mistos da implantação e da sustentabilidade, apresentam-se como favoráveis: os cursos oferecidos aos técnicos envolvidos, a tentativa de integração das áreas, a realização de encontros para divulgação das atividades, a criação de instrumentos de M&A (SES 1) e a inclusão das atividades de M&A nos documentos formais (SES 2). Entretanto, a descontinuidade do projeto em 2007 promoveu a priorização de outros projetos, desmobilizando os técnicos envolvidos. Um evento importante relacionado à adaptação do programa, também em 2007, foi a mudança dos gestores estaduais, que teve conseqüências distintas nas duas SES: na SES 1, o novo gestor apresentava uma experiência acumulada na área de M&A e valorizava as atividades realizadas, mesmo que a estratégia utilizada tenha sido a criação de um grupo paralelo de monitoramento dos indicadores da atenção básica; na SES 2, o gestor não reconheceu a importância do projeto, ainda que as atividades estivessem constantes nos documentos formais (Tabela 3).

É interessante notar o distanciamento que se dá entre as duas SES quando se observam os eventos específicos da sustentabilidade. Nas duas SES os eventos demonstram que não houve de fato estabilização dos recursos, embora estas tenham assumido riscos ao aceitarem implantar o Projeto de Fortalecimento e mobilizarem recursos para isto. Todavia, na SES 1 os municípios foram envolvidos no projeto a partir da mobilização e preparo dos técnicos, capilaridade entendida como uma possibilidade de continuidade das ações; além disto, após o término do financiamento externo houve investimento de recursos próprios. Já na SES 2 os atores envolvidos parece não terem sido suficientemente mobilizados ou sensibilizados a levarem as atividades adiante e não houve o necessário envolvimento dos municípios do estado (Tabela 3).

Nessa perspectiva, nas duas SES, a maioria dos eventos favoráveis representa os "valores" institucionais, na medida em que há o envolvimento e integração de vários setores da SES na política, cooperação técnica aos municípios e valorização da política e dos técnicos envolvidos por parte dos gestores; e as regras institucionais, na medida em que há uma oficialização dos núcleos de M&A, a utilização/elaboração de instrumentos para nortearem as ações e a integração das atividades de M&A nos instrumentos de planejamento da gestão (Tabela 3). Logo, a análise das duas SES estudadas revela níveis distintos de sustentabilidade. A SES 1 foi classificada no nível forte e a SES 2 no nível médio, com 83,3% e 68%, respectivamente, de eventos classificados como favoráveis à sustentabilidade.

Discussão

É desejável estimular o debate direcionado à compreensão e ao uso do conceito de sustentabilidade. Essa pode ser entendida no contexto de uma multiplicidade de aspectos e, ao longo do tempo, vai sendo apropriado por diferentes forças sociais que passam a lhe imprimir o significado que melhor expressa seus valores e interesses específicos ^1,5,6,29,30.

Mesmo não sendo objetivo deste artigo a discussão semântica ou ideológica da sustentabilidade, pontuamos aqui um aspecto relevante para o embasamento da necessidade do estudo apresentado. Isso, em vista da precaução que nos remete à origem globalizada do termo, enraizada na discussão dos programas governamentais sobre meio ambiente e desenvolvimento e, posteriormente, assimilada por setores não-governamentais e empresariais que enfatizam a sua dimensão econômica e tecnológica, no sentido do "desenvolvimento sustentável" ³⁰.

O aspecto que se faz relevante aqui se refere à concepção do termo em suas múltiplas dimensões que podem ser tratadas no campo individual ou social. Nesse sentido, a discussão sobre a sustentabilidade de programas públicos ganha força na direção dos princípios da ética, na dimensão da responsabilidade com o bem público e com a eqüidade.

Entretanto, embora possamos supor que no contexto internacional os envolvidos em programas de saúde pública considerem a questão da sustentabilidade como sendo uma prioridade, parece realista, ainda hoje, a afirmação de Pluye et al. ⁴ (p. 121): "... qualquer um que deseje fazer um programa durar se deparará com recomendações contraditórias e não encontrará disponíveis métodos prontos para serem usados na avaliação do grau de sustentabilidade ...".

Portanto, tomar decisões sobre a implantação de programas no que diz respeito à sua continuidade, torna-se uma tarefa difícil e muitas vezes pouco respaldada em estudos específicos. O estudo aqui apresentado procura contribuir com a superação dessa dificuldade no que diz respeito à Política Nacional de Monitoramento e Avaliação da Atenção Básica no Brasil.

Os resultados mostrados indicam que os eventos de implantação e de sustentabilidade não acontecem em estágios, e sim em concomitância, estando em conformidade com o sugerido por Pluye et al. ^4,10. Eventos específicos da implantação podem ocorrer anos após o seu lançamento, bem como eventos específicos da sustentabilidade podem ocorrer no período de sua implantação.

A técnica do incidente crítico mostrou-se adequada ao estudo pela facilidade de identificação dos eventos, enfatizados nas falas dos entrevistados; dos eventos que pareceram ser um marco no tempo quando da análise documental; e por se tratar de uma metodologia retrospectiva, permitindo observar temporalmente aqueles que favoreciam ou não a sustentabilidade do projeto ²⁰. Todavia, o pouco tempo de existência da política, sobretudo nos estados, talvez tenha favorecido a classificação encontrada, uma vez que ainda estavam animados, em certo grau, pelos recursos destinados à implantação, e numa fase de mudança de gestores.

Outro aspecto no que se refere à limitação do estudo, diz respeito a não validação dos eventos críticos encontrados junto aos atores entrevistados em cada unidade de observação, embora isto tenha se dado entre os pesquisadores, que compunham uma equipe multidisciplinar.

O método utilizado neste estudo indica dez tipos de eventos igualmente importantes, por meio dos quais se pode antever a evolução da política ¹⁰. Porém, os resultados apontam para uma necessidade de ponderação dos mesmos, na medida em que pelo menos três deles mostraram ter forte influência sobre os outros.

Em primeiro lugar no que diz respeito aos "investimentos de recursos adequados" - isto revelou-se importante, caracterizado pela presença de atores que, nas três unidades analisadas, favoreceram a inclusão da política no PROESF e para a formação dos núcleos estaduais de monitoramento e avaliação.

Também nos eventos relacionados à "adaptação das atividades às necessidades da instituição" - uma vez que o interesse e a experiência acumulada em monitoramento e avaliação dos atores-chave puderam delimitar a importância da política. Isso fica claro quando comparamos as duas unidades de observação estaduais. Na SES 1, a gestora que assume em 2007 demonstrava ter algum conhecimento acumulado sobre conceitos e práticas avaliativas, e embora tenha criado um grupo paralelo no setor responsável pelo Planejamento para monitorar os indicadores do Pacto pela Saúde, reconhece a importância da atividade quando promove a integração deste setor ao núcleo coordenador de monitoramento e avaliação criado por meio do Projeto de Fortalecimento das SES em Monitoramento e Avaliação. Na SES 2, o gestor estadual mobiliza mais esforços para a atenção especializada e hospitalar e coloca cinco prioridades antes das atividades de monitoramento e avaliação. Na gestão federal, de 2005 a 2007, houve mudanças de pessoas estratégicas, tanto na coordenação da política como nas demais áreas de interface no âmbito do Ministério da Saúde, dificultando a continuidade da mesma.

Ainda, no que tange à "estabilização de recursos organizacionais" - o término da primeira fase do PROESF (financiamento externo) desmobilizou as ações da política em graus diferentes nas duas SES e no nível federal, porém de maneira determinante. O maior envolvimento dos atores nas atividades de rotina, um grande intervalo dado entre os encontros dos núcleos ou a extinção deles e a entrada de novos projetos com financiamento nas agendas prioritárias, são outros exemplos de eventos nesse sentido.

Há uma convergência razoável entre o que foi antes mencionado e os achados de Shediac-Rizkallah & Bone ³¹ e Scheirer ⁹ que, embora não façam distinção entre os tipos de eventos e não enfatizem o fator financeiro como determinante da sustentabilidade, trazem contribuições para próximas análises.

Scheirer ⁹ refere que os mesmos fatores organizacionais que fomentam a implementação mais forte de um novo programa, como: sua compatibilidade com a missão da organização; o envolvimento e forte apoio do "defensor" organizacional; os benefícios para membros da equipe e/ou clientes que sejam prontamente notados; e a importância do apoio de outros stakeholders da comunidade provavelmente irão possibilitar a prestação de serviços continuados - apenas os dois últimos eventos não foram agregados neste estudo. Nos casos analisados o financiamento externo parece ter sido interrompido precocemente.

Para a mesma autora, o que ainda pode favorecer a continuidade da política é o fato dela ter surgido da "necessidade" de quem vai operá-la e não apenas pela disponibilidade de financiamento externo ⁹. Nas SES, algumas atividades de monitoramento já eram rotinizadas, como as de acompanhamento dos indicadores pactuados e a utilização de instrumentos construídos para visita de supervisão aos municípios. Pode decorrer daí a demanda dos estados ao nível federal de ampliar sua capacidade técnica e operacional para o monitoramento e avaliação da atenção básica.

Shediac-Rizkallah & Bone ³¹ propõem pressupostos para a institucionalização das atividades de um programa no nível organizacional que ratificam a análise realizada neste estudo para as três unidades de observação: (i) aspectos do desenho e características do projeto - o envolvimento dos principais interessados e a possibilidade de adequação da política às necessidades e condições locais são aspectos favoráveis à sustentabilidade da política nos três níveis, ao passo que a inexistência de avaliações que comprovem a eficácia da política, o pouco tempo de existência da política e o fato do financiamento ser externo, desfavorecem sua continuidade; (ii) fatores próprios da organização que hospeda o programa - estes fatores, que dizem respeito à presença de defensores estratégicos da política e à compatibilidade dos objetivos da política com os da instituição, tanto no nível federal quanto nas duas SES, oscilaram ao longo dos anos, sendo ora favorável, ora desfavorável. Todavia, ao término da primeira fase PROESF, a SES 1 contava com uma defensora estratégica - fato decisivo para a continuidade de algumas atividades; e (iii) fatores no ambiente físico mais amplo da comunidade - estes fatores dizem respeito à estabilidade socioeconômica e política. Nesse sentido, apenas a SES 1 foi favorecida tanto pelo investimento de recursos próprios por mais seis meses após o PROESF quanto pelo envolvimento dos municípios em todo o processo. Mesmo assim, nos três níveis houve desmobilização dos atores e priorização de outros projetos.

Por outro lado, podemos considerar como os resultados mais importantes no sentido da sustentabilidade: o desenvolvimento da capacidade técnica e os movimentos inovadores gerados pelo projeto, em consonância com o estudo de Green ³². Em nosso caso, são exemplos a aproximação das instâncias gestoras com as instituições de ensino e pesquisa; a oportunidade de integração entre as áreas do nível federal e das SES; e a construção de uma proposta metodológica específica com a finalidade de monitorar e avaliar a atenção básica.

Considerando as perspectivas dos diversos autores, ainda que a sustentabilidade representada no modelo lógico da política ¹⁶ pela "Institucionalização da Avaliação na Atenção Básica" seja um resultado esperado da mesma, as atividades propostas devem ser avaliadas periodicamente para constatação de quais delas devem ser de fato sustentadas, com base nos resultados que se deseja alcançar, a fim de não correr o risco de dar continuidade a atividades desnecessárias ³². Além disso, as avaliações ajudam a identificar se os componentes da política foram incorporados aos processos organizacionais e não precisam mais do financiamento externo ⁹.

Por fim, ainda que os resultados deste estudo apontem para um caminho de rotinização das ações nas unidades analisadas, evidenciado pela classificação alcançada nos níveis de sustentabilidade ¹⁰, as ponderações feitas neste artigo devem ser consideradas, uma vez que o contexto do sistema de saúde brasileiro apresenta diferentes contornos.

Esses estão relacionados: (i) à alternância política nos entes federados que proporcionam mudanças de gestão em descompasso, se considerarmos que este fato se dá de dois em dois anos em municípios e estados alternadamente; (ii) a freqüentes mudanças nas gerências de programas e projetos em uma mesma gestão, favorecendo mudanças na condução dos mesmos, colocando em perspectiva os diferentes interesses; (iii) à diretriz da gestão tripartite do SUS, preservando a autonomia dos entes federados que pode, eventualmente, contribuir de forma antagônica; e (iv) ao lento processo de adaptação das instâncias gestoras a novos instrumentos decorrentes do permanente estágio de "aprimoramento" do SUS.

É importante considerar que normas e regras rotinizadas ou padronizadas podem contribuir para a perenidade e/ou maior continuidade de projetos e programas, mas isto sofre influência direta do grau de capacidade técnica e de preparo político dos trabalhadores do sistema. Assim, concordando com Scheirer ⁹, consideramos a influência direta de fatores relacionados ao contexto político-organizacional e às pessoas envolvidas, conforme apontam as conclusões de estudo anterior de Felisberto et al. ¹⁷ , que aborda a contextualização da Política Nacional de Monitoramento e Avaliação da Atenção Básica no que tange à sua implantação e efeito.

Colaboradores

E. Felisberto participou da concepção e coordenação do estudo em todas as suas etapas, incluindo análise dos dados e redação do artigo. E. Freese participou da elaboração e orientação da pesquisa e da revisão do texto final. L. C. A. Bezerra e C. K. A. Alves participaram da elaboração do projeto de pesquisa, coleta e análise dos dados e da redação do artigo. I. Samico participou da redação do artigo e da revisão do texto final.

Agradecimentos

Este estudo integra a Tese de Doutorado de E. Felisberto, apresentada ao Programa de Pós-graduação stricto sensu do Centro de Pesquisas Aggeu Magalhães (CPqAM) da Fundação Oswaldo Cruz (Fiocruz) e teve o apoio financeiro do Ministério da Saúde e do Instituto de Medicina Integral Prof. Fernando Figueira (IMIP), por intermédio do convênio de cooperação técnica n°. 087/2005.

Recebido em 05/Nov/2009

Versão final reapresentada em 11/Mar/2010

Aprovado em 05/Abr/2010

Referências bibliográficas

• 1. Brundtland GH. Nosso futuro comum. Rio de Janeiro: Editora FGV; 1991.
• ² Organization for Economic Co-operation and Development. Glossary of key terms in evaluation and results based management. http://www.oecd.org/dac/evaluation (acessado em 15/Jun/2007).
• ³ Independent Evaluation Group, World Bank. Sourcebook for evaluating global and regional partnership programs. Indicative principles and standards. http://www.worldbank.org/ieg/grpp (acessado em 15/Mar/2007).
• 4. Pluye P, Potvin L, Denis J-L. Making public health programs last: conceptualizing sustainability. Eval Program Plann 2004; (27):121-33.
• 5. Scheirer MA. Designing and using process evaluation. In: Wholey JS, Hatry HP, Newcomer KE, editors. Handbook of practical program evaluation. San Francisco: Jossey-Bass; 1994. p. 40-68.
• 6. Swerissen H, Crisp BR. The sustainability of health promotion interventions for different levels of social organization. Health Promot Int 2004; 19:123-30.
• 7. Khan MA. Evaluation capacity building: an overview of current status, issues and options. Evaluation 1998; 4:310-28.
• 8. Lennie J. An evaluation capacity-building process for sustainable community IT initiatives: empowering and disempowering impacts. Evaluation 2005; 11:390-414.
• 9. Scheirer MA. Is sustainability possible? A review and commentary on empirical studies of program sustainability. American Journal of Evaluation 2005; 26:320-47.
• 10. Pluye P, Potvin L, Denis J-L, Pelletier J, Mannoni C. Program sustainability begins with the first events. Eval Program Plann 2005; (28):123-37.
• 11. Sanders JR. Mainstreaming evaluation. In: Barnette JJ, Sanders JR, editors. The mainstreaming evaluation: new directions for evaluation, no. 99. San Francisco: Jossey-Bass; 2003. p. 3-6.
• 12. Denis JL, Champagne F. Análise de implantação. In: Hartz ZMA, organizadora. Avaliação em saúde: dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: Editora Fiocruz; 1997. p. 49-88.
• 13. Hartz ZMA, Santos EM, Matida A. Promovendo e analisando o uso e a influência das pesquisas avaliativas: desafios e oportunidades ao se institucionalizar a avaliação em saúde. In: Hartz ZMA, Felisberto E, Vieira-da-Silva LM, organizadores. Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz; 2008. p. 325-40.
• 14. Jacob S. Réflexions autour d'une typologie des dispositifs institutionnels d'évaluation. Canadian Journal of Program Evaluation 2005; 20:49-68.
• 15. Contandriopoulos AP. Avaliando a institucionalização da avaliação. Ciênc Saúde Coletiva 2006; 11:705-11.
• ¹⁶ Ministério da Saúde. Avaliação da atenção básica em saúde: caminhos da institucionalização. Brasília: Ministério da Saúde; 2005.
• 17. Felisberto E, Freese E, Alves CKA, Bezerra LCA, Samico I. Política de monitoramento e avaliação da atenção básica no Brasil de 2003 a 2006: contextualizando sua implantação e efeitos. Rev Bras Saúde Matern Infant 2009; 9:339-57.
• 18. Pluye P, Potvin L, Denis J-L, Pelletier J. Program sustainability: focus on organizational routines. Health Promot Int 2004; 19:489-98.
• 19. Alves CKA. Institucionalização da avaliação na atenção básica: análise do programa em uma gestão estadual [Dissertação de Mestrado]. Recife: Centro de Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz; 2008.
• 20. Flanagan JC. A técnica dos incidentes críticos. Arquivos Brasileiros de Psicologia Aplicada 1973; 25:99-141.
• 21. Bamberger M. Avaliação do impacto. In: Mackay K, organizador. Monitoramento e avaliação: algumas ferramentas, métodos e abordagens. Washington DC: World Bank; 2004. p. 22-4.
• 22. Bertazone EC, Gir E, Hayashida M. Situações vivenciadas pelos trabalhadores de enfermagem na assistência ao portador de tuberculose pulmonar. Rev Latinoam Enferm 2005; 13:374-81.
• 23. Silva AR. Parada cardiorrespiratória em unidades de internação: vivências do enfermeiro [Dissertação de Mestrado]. Ribeirão Preto: Escola de Enfermagem de Ribeirão Preto, Universidade de São Paulo; 2006.
• 24. Costa RS, Nogueira LT. Contribuição familiar no controle da hipertensão arterial. Rev Latinoam Enferm 2008; 16:871-6.
• 25. Natal S, Santos EM, Alves CKA, Felisberto E, Santos ES, Sousa A. A implementação do projeto estratégico de fortalecimento da capacidade técnica em monitoramento e avaliação das secretarias de saúde: avaliação formativa e auto-avaliação. In: Hartz ZMA, Felisberto E, Vieira-da-Silva LM, organizadores. Meta-avaliação da atenção básica em saúde: teoria e prática. Rio de Janeiro: Editora Fiocruz; 2008. p. 341-67.
• 26. Felisberto E, Freese E, Natal S, Alves CKA. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de auto-avaliação. Cad Saúde Pública 2008; 24:2091-102.
• 27. Ridde V, Pluye P, Queuille L. Évaluer la pérennité des programmes de santé publique: un outil et son application en Haïti. Rev Epidemiol Sante Publique 2006; 54:421-31.
• 28. Valadez J, Bamberger M. Monitoring and evaluating project sustainability. In: Valadez J, Bamberger M, editors. Monitoring and evaluating social programs in developing countries: a handbook for policymakers, mangers, and researchers. Washington DC: World Bank; 1994. p. 183-208.
• 29. Goodson P, Smith MM, Evans S, Meyer B, Gottlieb NH. Maintaining prevention in practice: survival of PPIP in primary care settings. Am J Prev Med 2001; 20:184-9.
• 30. Lima RC. O discurso da sustentabilidade e suas implicações para a educação. Ambiente & Sociedade 2003; 6:109-20.
• 31. Shediac-Rizkalah MC, Bone LR. Planning for the sustainability of community-based health programs: conceptual frameworks and future directions for research, practice and policy. Health Educ Res 1998; (13):87-108.
• 32. Green LW. Comment: is institutionalization the proper goal of grantmaking? Am J Health Promot 1989; 3:44.
• 33. Portaria nş. 676 GM/MS, de 3 de junho de 2003. Diário Oficial da União 2003; 4 jun.
• ³⁴ Ministério da Saúde. Projeto de fortalecimento da capacidade técnica das Secretarias Estaduais de Saúde em monitoramento e avaliação. Termo de referência. Brasília: Ministério da Saúde; 2004.
• 35. Felisberto E. Monitoramento e avaliação na atenção básica: novos horizontes. Revista Brasileira de Saúde da Família 2004; 5:24-9.
• 36. Felisberto E. Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: reabrindo o debate. Ciênc Saúde Coletiva 2006; 11:553-63.
• ³⁷ Departamento de Atenção Básica, Secretaria de Atenção à Saúde, Ministério da Saúde. Manual de implementação da fase 2 do PROESF: Projeto de Expansão e Consolidação da Saúde da Família. Brasília: Ministério da Saúde; 2008.

Datas de Publicação

• Publicação nesta coleção
  16 Jul 2010
• Data do Fascículo
  Jun 2010

Histórico

• Aceito
  05 Abr 2010
• Revisado
  11 Mar 2010
• Recebido
  05 Nov 2009