Avaliação da implantação do Sistema de Controle, Acompanhamento e Avaliação de Resultados (Sistema e-Car) na Secretaria de Vigilância em Saúde do Ministério da Saúde do Brasil, no período de 2012 - 2015^*

Evaluación de la implantación del Sistema de Control, Monitoreo y Evaluación de Resultados (Sistema e-Car) en la Secretaría de Vigilancia en Salud del Ministerio de Salud de Brasil, en el período de 2012 - 2015

Resumo

Objetivo:  avaliar a implantação do Sistema de Controle, Acompanhamento e Avaliação de Resultados (e-Car) na Secretaria de Vigilância em Saúde (SVS) do Ministério da Saúde, no período de 2012 a 2015.

Métodos:  estudo de avaliação utilizando métodos mistos para a coleta de dados primários e secundários, seguido da definição do grau de implantação do sistema e da análise da influência do contexto político-organizacional.

Resultados:  o sistema e-Car foi considerado implantado na SVS, alcançando o percentual de 75,4%; as piores performances da dimensão de estrutura foram relacionadas ao serviço de manutenção dos computadores e do sistema operacional, bem como ao baixo conhecimento sobre o manual do sistema; na dimensão de processo, a existência de instâncias colegiadas foi considerada benéfica para o monitoramento.

Conclusão:  o sistema e-Car foi implantado na SVS; entretanto, sua sustentabilidade mostrou-se frágil, sendo recomendados a institucionalização e o fortalecimento das práticas de monitoramento e avaliação pela SVS.

Palavras-chave: Avaliação em Saúde; Sistemas de Informação; Política Pública; Planejamento em Saúde; Vigilância em Saúde Pública

Resumen

Objetivo:  evaluar la implantación del Sistema de Control, Monitoreo y Evaluación de Resultados (e-Car) en la Secretaría de Vigilancia en Salud (SVS) del Ministerio de Salud de Brasil, en el período de 2012 a 2015.

Métodos:  estudio de evaluación de métodos mixtos para la recolección de datos primarios y secundarios, seguido de la definición del grado de implantación del sistema y análisis de la influencia del contexto político-organizacional.

Resultados:  el sistema e-Car fue considerado implantado en la SVS, alcanzando un 75,4%; las peores actuaciones de la dimensión de estructura fueron el servicio de mantenimiento de las computadoras y del sistema operacional, así como el bajo conocimiento del manual del sistema; en la dimensión de proceso, la existencia de instancias colegiadas fue considerada benéfica para el monitoreo.

Conclusión:  el sistema e-Car fue implantado en la SVS; todavía, su sostenibilidad se mostró frágil, recomendándose la institucionalización y el fortalecimiento de las prácticas de monitoreo y evaluación por la SVS.

Palabras clave: Evaluación en Salud; Sistemas de Información; Política Pública; Planificación en Salud; Vigilancia en Salud Pública

Abstract

Objective:  to evaluate the implementation of the Results Control, Monitoring and Evaluation System (e-Car) at the Health Surveillance Secretariat (SVS), Brazilian Ministry of Health, in the period 2012-2015.

Methods:  this was an evaluation study using mixed methods for collection of primary and secondary data, followed by definition of the system’s degree of implementation and analysis of the influence of the political-organizational context.

Results:  the e-Car System was considered to have been implemented (75.4%) at SVS; the worst scores for its structure dimension related to the computer and operating system maintenance service, as well as little knowledge of the system manual; as for the system’s process dimension, the existence of collegiate bodies was considered beneficial for monitoring.

Conclusion:  the e-Car System had been implemented at SVS; however, its sustainability was fragile, and SVS was recommended to institutionalize and strengthen its monitoring and evaluation practices.

Keywords: Health Evaluation; Information Systems; Public Policy; Health Planning; Public Health Surveillance

Introdução

Nas democracias ocidentais, de um modo geral, e na América Latina em particular, nos anos 1990, houve uma busca por fortalecimento da função ‘avaliação’ na gestão governamental. Em diversos países, inclusive no Brasil, esse movimento propiciou a construção de sistemas de escopo variável, para avaliação das políticas públicas, o que se justificava pela necessidade de ‘modernização’ da gestão pública em um contexto de busca de dinamização e legitimação da reforma do Estado.¹ Tais iniciativas reafirmaram a necessidade de uma política de avaliação para subsidiar os sistemas de planejamento e gestão e o fortalecimento do controle social.^2,3

Diante desse cenário, os sistemas de monitoramento e avaliação da gestão pública dos sistemas de saúde têm sido priorizados nas iniciativas governamentais comprometidas com os modelos de gestão e avaliação por resultados.⁴ No Brasil, a ‘contratualização de resultados’ foi proposta em 1995, pelo Ministério da Administração Federal e Reforma do Estado; mais do que uma ferramenta isolada, foi apontada como alavanca para melhoria da gestão pública em direção a resultados.⁵

Esse movimento institucional complexo, questionador dada sua potencialidade reflexiva, implica renegociação e repasse de responsabilidades e atribuições. Embora com atraso, relativamente à implementação da descentralização de gestão técnica e financeira, discute-se hoje a pertinência da construção de uma política de monitoramento e avaliação (M&A) do Sistema Único de Saúde (SUS).⁶ A adoção das práticas de monitoramento na administração pública brasileira manifestou-se de forma mais institucionalizada a partir do Plano Plurianual (PPA) 2000-2003. Desde então, a instrumentalização desse monitoramento é servida de sistemas informacionais, os quais disponibilizam aos gestores informações para fortalecer o planejamento e a gestão governamental de políticas públicas.^7-9

Em 2011, o Ministério da Saúde pactuou agenda orientada por resultados, alinhando o Plano Plurianual ao Plano Nacional de Saúde;⁶ em 2012, adotou o Sistema de Controle, Acompanhamento e Avaliação de Resultados (e-Car)^10,11 como ferramenta do monitoramento governamental, sendo incumbência de suas secretarias alimentá-lo mensalmente. O e-Car foi elaborado a partir de um software livre, de fácil customização, para atender às necessidades do governo. O preenchimento do sistema ocorria por pareceres predominantemente qualitativos, com informações sobre a evolução de metas e resultados pactuados no planejamento, destacando-se o cenário atual, pontos críticos e recomendações.

Na Secretaria de Vigilância em Saúde (SVS) do Ministério da Saúde, os resultados eram debatidos em colegiado de dirigentes, semanalmente, e subsidiavam o planejamento e o monitoramento de seus resultados e alcance de sua missão: coleta, análise e disseminação de dados de saúde. A articulação para esse monitoramento na SVS acontecia sob a condução da Coordenação-Geral de Planejamento e Orçamento (CGPLAN).

Apesar dos avanços no alinhamento dos instrumentos de gestão e no monitoramento de resultados, a informação em saúde necessita de um minucioso olhar técnico, científico e social.^7-12 O baixo uso das informações em saúde está relacionado, essencialmente, a bases de dados inadequadas, dificuldades de conexão com a internet, falta de capacitação de pessoal e ausência de investimento em uma cultura informacional.⁵ Dificuldades são observadas, também, na qualidade e utilização de sistema de monitoramento das informações do PPA.^12,13

Considerando-se que o sistema e-Car é importante para a tomada de decisão e que há dificuldades nos processos de implantação de sistemas de informações,¹¹ o presente estudo teve o objetivo de avaliar a implantação do e-Car na Secretaria de Vigilância em Saúde (SVS) do Ministério da Saúde, no período de vigência do PPA de 2012 a 2015.

Métodos

Tratou-se de uma avaliação de implantação, desenvolvida na forma de estudo de caso, com combinação de métodos para o estabelecimento da estimativa do grau de implantação do sistema e-Car na SVS e a verificação da influência do contexto político-organizacional nesse processo, no período de vigência do PPA 2012-2015.

Este estudo de caso contou com a participação de gestores e técnicos responsáveis pelo monitoramento de ações de vigilância em saúde da SVS, compreendendo os seguintes temas: vigilância, prevenção e controle de doenças transmissíveis; vigilância de fatores de risco para o desenvolvimento de doenças crônicas não transmissíveis (DCNT); vigilância em saúde ambiental e do trabalhador; e análise de situação da saúde da população brasileira.

Inicialmente, foram convidadas a participar da pesquisa 36 pessoas, 100% dos atores envolvidos com o sistema e-Car na SVS: os técnicos, com maior tempo à frente do acompanhamento do sistema; e os gestores, responsáveis pelos resultados pactuados no planejamento de ações de vigilância em saúde.

Em função da transição política e exoneração de alguns trabalhadores, houve uma perda de 30% dos trabalhadores respondentes, restando 25 pessoas entre técnicos, coordenadores, diretores e outros informantes, distribuídos em cinco departamentos componentes da SVS, aqui identificados como departamentos A, B, C, D e E.

O delineamento da avaliação levou em consideração os contextos interno e externo. Para o contexto interno, adotou-se o Modelo Lógico da Intervenção (MLI) com base nos componentes estruturais definidos por Donabedian,¹⁴ permitindo a modelização da organização do e-Car nas dimensões de estrutura, processo e resultado (Figura 1).¹⁵

Figura 1
- Modelo Lógico do Sistema de Controle, Acompanhamento e Avaliação de Resultados (sistema e-Car) na Secretaria de Vigilância em Saúde do Ministério da Saúde, Brasil, 2012-2015

O MLI orientou a definição de uma matriz de análise e julgamento (Figura 2), com indicadores e parâmetros que foram utilizados como padrão ideal para comparação dos achados na pesquisa. Apesar de o desenho do MLI ter as dimensões de estrutura, processo e resultado, a avaliação decidiu pelo recorte de estrutura e processo. Quanto ao contexto externo, consideraram-se dois dos três vértices do triângulo de governo de Matus:¹⁶ capacidade de governo; e governabilidade. Os recortes propostos para avaliação foram necessários, em função do tempo limitado para execução da análise.

Figura 2
- Matriz de análise e julgamento da avaliação da implantação do Sistema de Controle, Acompanhamento e Avaliação de Resultados (sistema e-Car) na Secretaria de Vigilância em Saúde do Ministério da Saúde, Brasil, 2012-2015

O MLI e a Matriz de Análise e Julgamento foram validados por atores envolvidos com o e-Car na SVS. Esta medida foi determinante para a elaboração dos questionários e roteiros de entrevista. Os dados primários foram coletados por correio eletrônico, mediante questionários semiestruturados aplicados com 20 entrevistados da SVS (cinco coordenadores e 15 técnicos), para definição do grau de implantação.

Adicionalmente, foram elaborados roteiros-guia da coleta presencial de informações junto a outros cinco informantes-chave, entre diretores e técnicos, permitindo a análise do contexto político-organizacional. As entrevistas foram gravadas em equipamento digital e posteriormente transcritas. A coleta dos dados secundários deu-se por consulta a relatórios extraídos do e-Car, materiais institucionais e artigos científicos publicados. Todo o processo de validação e coleta de dados ocorreu nos meses de julho a setembro de 2016.

A análise dos dados para definição do grau de implantação foi realizada por meio da somatória das respostas relacionadas aos componentes de estrutura e de processo, dividida pela pontuação máxima dada pela matriz de análise e julgamento, multiplicada por 100. O sistema e-Car foi classificado da seguinte forma: implantado (>75%); parcialmente implantado (50 a 75%); incipiente (25 a 49%); e não implantado (<25%).

A análise do contexto político-organizacional foi baseada em documentos e relatos de diretores da SVS e outros informantes. Essas informações foram categorizadas e tratadas por análise de conteúdo. As técnicas de análise e descrição das mensagens basearam-se na presença ou frequência de frases, palavras e resumos com características comuns entre os entrevistados (Figura 3).¹⁷ As fragilidades e fortalezas do e-Car foram identificadas pelas entrevistas semiestruturadas e, posteriormente, relacionadas aos aspectos de contexto relatados por dirigentes e outros informantes, e pela observação e análise de documentos.

Figura 3
- Categorias de análise para avaliação do contexto político-organizacional da Secretaria de Vigilância em Saúde do Ministério da Saúde, Brasil, 2012-2015

O projeto do estudo foi aprovado pelo Comitê de Ética em Pesquisa da Escola Nacional de Saúde Pública Sergio Arouca/Fundação Instituto Oswaldo Cruz (ENSP/Fiocruz): Certificado de Apresentação para Certificação Ética (CAAE) n^o 1.542.745, de 13 de maio de 2016. Os participantes assinaram Termo de Consentimento Livre e Esclarecido, sendo preservada a confidencialidade dos atores e instâncias de gestão contempladas na avaliação.

Resultados

O e-Car estava implantado em um nível percentual de 75,4% na SVS, no período analisado, proporcionalmente distribuído entre 72,5% de implantação da dimensão de estrutura e 78,3% de implantação da dimensão de processo (Tabela 1). As piores performances de estrutura foram relacionadas ao serviço de manutenção dos computadores e ao sistema operacional, relatadas por 11 dos 20 entrevistados, e a existência de manual de instruções sobre o e-Car, conhecida por apenas oito participantes. Na dimensão de processo, oito dos 20 entrevistados afirmaram receber capacitação periodicamente, uma a duas vezes por ano, e seis revelaram ter conhecimento de capacitações esporádicas, sem regularidade anual. Onze participantes informaram que ocorreu mudança positiva na elaboração de pareceres e mecanismos de monitoramento entre 2012 e 2015.

Tabela 1
- Grau de implantação, por dimensões de estrutura e de processo, do Sistema de Controle, Acompanhamento e Avaliação de Resultados (sistema e-Car) na Secretaria de Vigilância em Saúde do Ministério da Saúde, Brasil, 2012-2015

Dimensões	Pontuação esperada	Pontuação obtida	Percentual	Grau de implantaçãoa
	(n)	(n)	(%)
Estrutura	60	42,8	72,5	Parcialmente implantado
Processo	90	70,5	78,3	Implantado
Total	150	113,3	75,4	Implantado

• a) Grau de implantação: implantado, >75%; parcialmente implantado, 50 a 75%; incipiente, 25 a 49%; não implantado, <25%.

O grau de implantação foi influenciado pelo contexto político-organizacional da SVS no período de 2012 a 2015, considerando-se a governabilidade/sustentabilidade e a capacidade de governo. Para os cinco entrevistados por roteiro, o sistema teve uma forte visibilidade dentro da SVS. No entanto, uma incorporação mais concreta que pudesse ser traduzida em sustentabilidade dependia de uma mudança profunda da cultura institucional:

[...] um processo de planejamento desses não é uma coisa banal [...] a mudança de uma cultura institucional é mais difícil [...] por mais que pareça um tempo longo, quando a gente pensa nos prazos brasileiros, cinco anos é um prazo curto pra mudar uma cultura para quem não tá acostumado a planejar. (informante 1)

Segundo os entrevistados, a sustentabilidade do sistema está atrelada à vontade política do gestor. Mesmo que as principais atividades previstas em agenda sejam emanadas de uma decisão política, individualmente, cada gestor tem suas próprias visões e quer deixar sua marca de governo, o que acaba por condenar a vida curta as políticas de planejamento, monitoramento e avaliação especialmente.

Em quatro anos, o Ministério da Saúde teve quatro ministros e a SVS dois secretários, o que influenciou a sistemática de monitoramento e de implantação do sistema e-Car. Para o informante 2, essa instabilidade no processo de planejamento e monitoramento pode gerar desconfiança sobre o desempenho da área e, consequentemente, tornar o sistema mais vulnerável quanto a sua sustentabilidade.

No que diz respeito à capacidade de governo, os recursos humanos foram vistos como insuficientes. Para os entrevistados, o grande número de consultores na SVS contribuiu para a instabilidade do serviço: foi relatada alta rotatividade de pessoal, fruto da constante mudança de área dos servidores ou desligamento de consultores. Nem sempre o novo pessoal destinado ao acompanhamento do sistema o conhecia ou estava capacitado a operá-lo.

No que toca às peculiaridades entre os diferentes departamentos da SVS, destacou-se a condição do departamento A, dotado de uma rede tecnológica própria e computadores atualizados, um nível de estrutura diferenciado do restante do Ministério da Saúde. Essa diferença se observou, também, na organização dos processos de M&A: o departamento A contava com a instituição de um comitê específico para monitoramento dos resultados do e-Car.

Os demais departamentos da SVS localizavam-se em um prédio distante da sede do ministério, sustentados por uma estrutura precária, sendo frequente a queda da conexão com a internet. No caso do departamento B, havia mais um agravante: o diretor não se encontrava no mesmo prédio de suas coordenações vinculadas. O relato de um dos informantes evidenciou os prejuízos dessa separação física, dentro da mesma estrutura:

Às vezes [...] tem que fechar o relatório [...] a gente tá sem rede, sem conexão [...] aí a pessoa vai e coloca tudo num pen-drive e leva até o gabinete em outro prédio. Então, isso tudo dava muito sobretrabalho... (informante 1)

A resolução da parte estrutural parecia mais complexa e desafiadora, visto que, à exceção do departamento A, os demais departamentos tinham pouca autonomia nesse campo. Outras dificuldades estruturais em relação à organização do e-Car eram as lacunas encontradas na normatização, desde que não havia uma portaria ministerial para a definição do sistema como ferramenta de monitoramento, e no baixo conhecimento sobre a existência do manual com as instruções de uso do sistema.

A melhoria de qualidade no monitoramento e uso do sistema foi garantida com a oferta de cursos de capacitação e com o esforço pela qualificação e padronização de pareceres na SVS. Ao se realizar a comparação de pareceres formulados entre 2012 e 2015, foi possível observar uma evolução na qualidade de análises realizadas pelos departamentos e coordenações na SVS.

A existência de instâncias de gestão colegiada também foi vista como benéfica ao processo de monitoramento, ao ter possibilitado uma série de mobilizações desde o nível técnico até o nível do secretariado:

[...] na dinâmica que a gente utilizava em 2012-2015, você tinha um movimento de baixo para cima na prestação de informações e de cima para baixo na orientação do plano [...] na reorientação do plano, na tomada de decisão, de priorização, correção de rumos. (informante 3)

Para os entrevistados, o encaminhamento das soluções para os problemas encontrados durante os colegiados de gestão tornou os pareceres mais objetivos. Outro estímulo para esse aprimoramento aconteceu quando os órgãos de controle externo passaram a acompanhar a evolução dos resultados postados no e-Car.

Ressalta-se que o e-Car traz a identificação do responsável pelas metas acompanhadas. O gestor é cobrado em reuniões do colegiado e por órgãos responsáveis pelo acompanhamento das metas, como o Ministério do Planejamento, Desenvolvimento e Gestão, a Controladoria-Geral da União (CGU) e o Tribunal de Contas da União (TCU).

O conteúdo qualitativo do sistema contribuiu com a evolução de metas, esclarecimento dos problemas e resolução dos entraves observados. A lógica de concepção do sistema e a sistemática de alimentação mensal e acompanhamento, esta realizada em discussões semanais no colegiado, subsidiaram a tomada de decisões de forma continuada.

Todo o aperfeiçoamento da sistemática de monitoramento manifestado na época permitiu que os resultados do e-Car fossem utilizados no planejamento e monitoramento, contribuindo para a gestão dos departamentos e para a elaboração do PPA subsequente, de 2016 a 2019.

A influência do contexto político-organizacional da SVS no grau de implantação do e-Car encontrado foi caracterizada por meio de fortalezas e fragilidades, apresentadas na Figura 4. Entre as fortalezas sinalizadas na estrutura, estava o reconhecimento dos responsáveis pelos resultados, enquanto a fragilidade se manifestava em problemas de acesso e de configurações do sistema. Em termos de processos, as informações para a tomada de decisão foram percebidas como fortaleza, enquanto os riscos de o sistema se tornar uma ferramenta burocrática e a falta de uma política que instituísse o M&A foram apontados como fragilidades.

Figura 4
- Influência do contexto político-organizacional no grau de implantação das dimensões de estrutura e de processo, segundo fortalezas e fragilidades do Sistema de Controle, Acompanhamento e Avaliação de Resultados (sistema e-Car) na Secretaria de Vigilância em Saúde do Ministério da Saúde, Brasil, 2012-2015

Discussão

Na SVS, um mesmo secretário permaneceu no cargo entre os anos de 2012 e 2014, influenciando positivamente o aprimoramento do monitoramento dos resultados pactuados no Planejamento Estratégico de 2012 a 2015,⁶ por meio do e-Car. Sabe-se que o monitoramento institucionalizado é primordial para a correção de rumos e alcance das metas e resultados previstos para os planos governamentais.^11,18,19 Contudo, sua sustentabilidade depende de muitos fatores contextuais.

A partir de mudanças mais consistentes no contexto político do Ministério da Saúde, inclusive na SVS, ocorridas em 2015, o monitoramento passou a ser realizado sem a mesma regularidade. Esse declínio foi sentido com mais profundidade em 2016, quando o processo do e-Car foi desestruturado no Ministério da Saúde, e por conseguinte na SVS, dado o impacto da mudança da Presidência da República, cujo reflexo direto foi o desencadeamento da mudança de gestão em cascata, no nível ministerial e de suas secretarias.

Embora a mudança brusca de direção política tenha ocorrido após a pesquisa, é mister mencioná-la como propulsora de mudanças político-organizacionais no Ministério da Saúde, com a exoneração de dirigentes e o enfraquecimento da área de Monitoramento e Avaliação do SUS. Em 2016, o sistema e-Car passou quase um semestre em atualização da nova base de resultados que deveriam ser monitorados no período de 2016 a 2019, trazendo a descontinuidade de alimentação e, consequentemente, do acompanhamento da SVS.

Tal situação mostra como a institucionalização do M&A ainda é frágil e continua à mercê da vontade política do momento. Leeuw e Furubo^20,21 ressaltaram a dificuldade em definir um sistema de avaliação cuja sustentabilidade depende de uma cultura avaliativa mais madura, construída pela tríade ‘tempo, investimento e arranjos permanentes’.^21,22 Ao que parece, muitos foram os investimentos no sistema, na capacitações de seu corpo técnico e na sistemática de monitoramento da SVS. Entretanto, esta pesquisa identificou uma fragilidade na capacidade do sistema para institucionalizar e normatizar essas práticas. A cultura organizacional precisa de tempo e investimento para absorver mudanças de forma mais consistente e ganhar estabilidade. Quatro anos pareceram pouco para a internalização, pela administração pública, de um sistema como o e-Car.

A institucionalização da avaliação é perceptível, como se sua integração ao sistema organizacional influenciasse a ação, conectando as atividades analíticas às de gestão das intervenções.^23,24 A cultura de uma organização reflete as tradições, valores e premissas compartilhadas por seus membros, e estabelece suas regras de conduta.²⁵ A liderança organizacional também é premissa à construção da sistemática de M&A, sendo considerada como apoio gerencial para implementar e sustentar a capacidade avaliativa nas organizações. Assim, se a liderança organizacional muda e o sistema e a sistemática de monitoramento não estão institucionalizados, sua permanência fica mais frágil e ameaçada.²⁵ Publicação do Ministério da Saúde de 2005 sinalizou a avaliação em saúde como incipiente e pouco incorporada às práticas, demasiado burocrática e distante da cultura institucional. Entre os limites às atividades de monitoramento e avaliação, foi mencionada a fragmentação de suas orientações, dificultando a realização de ações coordenadas.²⁶

Cabe dizer que, quando a conjuntura política foi favorável, entre 2012 e 2015, a implantação do sistema na SVS foi bem-sucedida, sendo considerada implantada, em processo e parcialmente implantada em sua dimensão de estrutura. Ressaltam-se, todavia, frequentes dificuldades estruturais para a implementação de sistemas informatizados.

Em 2014, o TCU divulgou levantamento com o índice de maturidade dos sistemas de avaliação de programas dos órgãos da administração direta do Executivo federal.²⁷ Essa pesquisa, realizada com 2.062 gestores de 27 ministérios, obteve 750 respostas (36,4%). Apesar de o índice no Ministério da Saúde ter sido de 73,1 - o mais elevado da Esplanada -, o estudo destaca a necessidade de adequação dos recursos orçamentários e financeiros, da infraestrutura da área de Tecnologia da Informação e do quantitativo de pessoal disponível nas unidades do ministério para a adequada produção de informações.²⁷

De acordo com outra pesquisa, esta sobre a percepção da equipe de Saúde da Família, o Sistema de Informação da Atenção Básica (SIAB) era utilizado esporadicamente pela equipe, em função da rotatividade de profissionais. Esse problema estrutural da área de Recursos Humanos prejudicava o preenchimento de fichas, gerando dificuldade de análise, monitoramento e avaliação das informações do sistema.²⁸

A influência da estrutura na implementação de sistemas de informações aparece também em estudo de implantação do Sistema de Informações sobre Nascidos Vivos (Sinasc) em Pernambuco, no ano de 2010: no nível central do Sinasc/PE, a implantação foi considerada avançada, enquanto nas regionais de saúde, foi avaliada como insuficiente. É possível que essas variações de implantação estejam relacionadas à estrutura insuficiente das regionais e ao pouco conhecimento das normas vigentes pelos operadores do sistema no estado.²⁹

Em mais um estudo digno de menção, a baixa utilização do Sistema de Informações sobre Orçamentos Públicos em Saúde (SIOPS) foi atribuída a dois fatores: (i) a conexão precária da internet; e (ii) a falta de conhecimento sobre a utilização do sistema, avaliada a partir da regularidade de alimentação e do uso do sistema como instrumento de gestão.³⁰

Diferentemente do apontado pelos estudos, no caso do e-Car, a condição de estrutura parcialmente implantada não prejudicou a dimensão de processo, considerada implantada, possivelmente em função dos esforços envidados pela gestão.

O formato de criação do e-Car possibilitava que, além das metas do PPA, metas complementares e de importância para a SVS fossem incorporadas à dinâmica de acompanhamento. A preocupação com a construção de indicadores de resultado coerentes e mensuráveis, citada como um desafio por Santos,¹³ foi considerada na programação do período. Todas as metas e resultados estratégicos faziam parte do planejamento estratégico do Ministério da Saúde e mantinham relação com os objetivos pactuados entre os gestores.

Como limitações deste estudo, destaca-se a transição de gestão presidencial ocorrida no Ministério da Saúde durante o período analisado. O fato teve impacto na redução do número final de participantes, de 36 para 25 entrevistados. Entretanto, se não contou com a participação integral de seus gestores e técnicos, a pesquisa permitiu compreender a situação de implantação do e-Car na SVS, a partir do conhecimento de suas fragilidades e fortalezas.

Diante dos resultados encontrados, conclui-se que o sistema e-Car foi implantado na Secretaria de Vigilância em Saúde no período de vigência do PPA 2012-2015. Não obstante, a sustentabilidade do sistema foi considerada frágil, necessitando de tempo, investimento e adoção de arranjos mais maduros, capazes de promover a mudança da cultura institucional necessária à incorporação das práticas de monitoramento e avaliação.

Para o aperfeiçoamento do Sistema de Controle, Acompanhamento e Avaliação de Resultados - e-Car - e da sistemática de monitoramento de resultados governamentais, são recomendadas as seguintes iniciativas: (i) a institucionalização do e-Car e da sistemática de monitoramento de resultados; (ii) a continuidade na formação de profissionais em planejamento, monitoramento e avaliação; (iii) a manutenção da sistemática de monitoramento, para o fortalecimento da tomada de decisões; (iv) a melhoria da estrutura do sistema, com a disponibilização de internet mais rápida e estável; e (v) a manutenção de profissionais capacitados em seu desenvolvimento e apoio técnico.

Agradecimentos

Aos gestores, coordenadores e técnicos da Secretaria de Vigilância em Saúde do Ministério da Saúde que contribuíram para a realização deste estudo.

Ao Programa de Mestrado Profissional em Saúde Pública da ENSP/Fiocruz.

Ao apoio prestado pela SVS/MS e pelo Departamento de Monitoramento e Avaliação do SUS.

Referências

• ¹ Faria CAP. A política da avaliação de políticas públicas. Rev Bras Ci Soc [Internet]. 2005 out [citado 2019 abr 30];20(59):97-109. Disponível em: Disponível em: http://www.scielo.br/pdf/rbcsoc/v20n59/a07v2059.pdf doi: 10.1590/S0102-69092005000300007
  » https://doi.org/10.1590/S0102-69092005000300007» http://www.scielo.br/pdf/rbcsoc/v20n59/a07v2059.pdf
• ² Arretche MTS. Tendências no estudo sobre avaliação. In: Rico EM (org). Avaliação de políticas sociais: uma questão em debate. São Paulo: Cortez; 1998. p. 29-39.
• ³ Paim JS, Teixeira CF. Política, planejamento e gestão em saúde: balanço do estado da arte. Rev Saúde Pública [Internet]. 2006 ago [citado 2019 abr 30];40(esp):73-8. Disponível em: Disponível em: http://www.scielo.br/pdf/rsp/v40nspe/30625.pdf doi: 10.1590/S0034-89102006000400011
  » https://doi.org/10.1590/S0034-89102006000400011» http://www.scielo.br/pdf/rsp/v40nspe/30625.pdf
• ⁴ Hartz ZMA. Avaliação dos programas de saúde: perspectivas teórico metodológicas e políticas institucionais. Ciênc Saúde Coletiva [Internet]. 1999 [citado 2019 abr 30];4(2):341-53. Disponível em: Disponível em: http://www.scielo.br/pdf/csc/v4n2/7117.pdf doi: 10.1590/S1413-81231999000200009
  » https://doi.org/10.1590/S1413-81231999000200009» http://www.scielo.br/pdf/csc/v4n2/7117.pdf
• ⁵ Pacheco RS. Brasil: avanços da contratualização de resultados no setor público. In: Anais do XI Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública [Internet]. 2006 nov 7-10; Ciudad de Guatemala: Centro Larinoamericano de Administración para el Desarrollo; 2006 [citado 2019 abr 30]. Disponível em: Disponível em: https://www.researchgate.net/publication/267198557_Brasil_avancos_da_contratualizacao_de_resultados_no_setor_publico/download
  » https://www.researchgate.net/publication/267198557_Brasil_avancos_da_contratualizacao_de_resultados_no_setor_publico/download
• ⁶ Campelo LM, Santos EM, Oliveira PTR. Análise estratégica do processo de formulação da PM&A-SUS: lições aprendidas e desafios. Saúde Debate [Internet]. 2017 mar [citado 2019 abr 30]; 41(esp):34-49. Disponível em: Disponível em: http://www.scielo.br/scielo.php?pid=S0103-11042017000500034&script=sci_abstract&tlng=pt. doi: 10.1590/0103-11042017s04
  » http://www.scielo.br/scielo.php?pid=S0103-11042017000500034&script=sci_abstract&tlng=pt. doi: 10.1590/0103-11042017s04
• ⁷ Branco MAF. Informação e saúde: uma ciência e suas políticas em uma nova era. Rio de Janeiro: Editora Fiocruz; 2006.
• ⁸ Moraes IHS. Política, tecnologia e informação em saúde: a utopia da emancipação. Salvador: Ed. Casa da Qualidade; 2003.
• ⁹ Mota E, Carvalho DM. Sistemas de informação em saúde. In: Rouquayrol MZ, Almeida Filho N, editores. Epidemiologia e saúde. Rio de Janeiro: Medsi Editora Médica e Científica; 2003. p. 605-28.
• ¹⁰ Ministério da Saúde (BR). Secretaria Executiva. Departamento de Monitoramento e Avaliação do Sistema Único de Saúde. Planejamento estratégico do Ministério da Saúde 2011-2015: resultados e perspectivas [Internet]. Brasília: Ministério da Saúde; 2013 [citado 2019 abr 30]. Disponível em: Disponível em: http://bvsms.saude.gov.br/bvs/publicacoes/planejamento_estrategico_ministerio_saude_2011_2015_5ed.pdf
  » http://bvsms.saude.gov.br/bvs/publicacoes/planejamento_estrategico_ministerio_saude_2011_2015_5ed.pdf
• ¹¹ Figueiró AC, Santos MA, Cruz MM, Ubarana JA, Hartz Z. Implementação de um sistema de monitoramento e avaliação de âmbito federal: o caso do e-Car no Departamento de Monitoramento e Avaliação do Sistema Único de Saúde (SUS). An Inst Hig Med Trop [Internet]. 2017 [citado 2019 abr 30]; 16 Suppl 2: S65-S74. Disponível em: Disponível em: https://anaisihmt.com/index.php/ihmt/article/view/59/47 doi: 10.25761/anaisihmt.59
  » https://doi.org/10.25761/anaisihmt.59» https://anaisihmt.com/index.php/ihmt/article/view/59/47
• ¹² Lins MJCA. Necessidades e demandas de informações: uma abordagem a partir da vigilância sanitária [dissertação]. Rio de Janeiro: Escola Nacional de Saúde Pública, Fundação Instituto Oswaldo Cruz; 2001. Disponível em: https://www.arca.fiocruz.br/handle/icict/5083
  » https://www.arca.fiocruz.br/handle/icict/5083
• ¹³ Santos AR. Monitoramento e avaliação de programas no setor público: a experiência do PPA do Governo Federal no período 2000-2011 [monografia]. Brasília: Instituto Serzedello Corrêa (ISC); 2012.
• ¹⁴ Donabedian A. Basic approaches to assessment: structure, process and outcome. In: Donabedian A. Explorations in quality assessment and monitoring. Ann Arbor, Michigan: Health Administration Press; 1980. p. 77-125
• ¹⁵ Guimarães EAA. Avaliação da implantação do Sistema de Informação sobre nascidos vivos em municípios de Minas Gerais [tese]. Belo Horizonte (MG): Fundação Instituto Oswaldo Cruz; 2011. Disponível em: https://www.arca.fiocruz.br/handle/icict/4286
  » https://www.arca.fiocruz.br/handle/icict/4286
• ¹⁶ Matus C. Política, planificacion y gobierno. Washington, D.C: Borrador; 1987.
• ¹⁷ Bardin L. Análise de conteúdo. São Paulo: Edições 70; 2011.
• ¹⁸ Maia LVA, Silva MS, Salviano VM. O monitoramento das prioridades de governos no Ministério do Planejamento. Rev Bras Monit Aval [Internet]. 2013 jan-jun [citado 2019 abr 30];5:28-47. Disponível em: Disponível em: https://aplicacoes.mds.gov.br/sagirmps/ferramentas/docs/RBMAs/RBMA_5.pdf
  » https://aplicacoes.mds.gov.br/sagirmps/ferramentas/docs/RBMAs/RBMA_5.pdf
• ¹⁹ Oliveira PTR, Sellera PEG, Reis AT. O monitoramento e a Avaliação na Gestão do Ministério da Saúde. Rev Bras Monit Aval [Internet]. 2013 jan-jun;(5):114-29. Disponível em: http://idsus.saude.gov.br/documentos/Artigo_M&A_RBMA_5.pdf
  » http://idsus.saude.gov.br/documentos/Artigo_M&A_RBMA_5.pdf
• ²⁰ Leeuw FL, Furubo JE. Evaluation systems: what are they and why study them? Evaluation [Internet]. 2008 Apr [cited 2008 Apr 1);14(2):157-69. Available from: Available from: http://evi.sagepub.com/cgi/content/abstract/14/2/157 doi: 10.1177/1356389007087537
  » https://doi.org/10.1177/1356389007087537» http://evi.sagepub.com/cgi/content/abstract/14/2/157
• ²¹ Serpa SMHC. Uma leitura dos usos da avaliação na administração pública no Brasil a partir da caracterização dos sistemas de avaliação de programas governamentais (tese). Brasília (DF): Universidade de Brasília; 2014. Disponível em: http://repositorio.unb.br/handle/10482/16562
  » http://repositorio.unb.br/handle/10482/16562
• ²² Furubo JE, Rist RC, Sandahl R. International atlas of evaluation. New Brunswick, London: Transaction Publishers; 2002.
• ²³ Hartz ZMA, Vieira LMS. Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Salvador: Ed UFBA; 2014.
• ²⁴ Carvalho ALB, Souza MF, Shinizu HE, Senra IMVB, Oliveira KC. A gestão do SUS e as práticas de monitoramento e avaliação: possibilidades e desafios para a construção de uma agenda estratégica. Ciênc Saúde Coletiva [Internet]. 2012 abr [citado 2019 abr 30];17(4):901-11. Disponível em: Disponível em: http://www.scielo.br/pdf/csc/v17n4/v17n4a12.pdf doi: 10.1590/S1413-81232012000400012
  » https://doi.org/10.1590/S1413-81232012000400012» http://www.scielo.br/pdf/csc/v17n4/v17n4a12.pdf
• ²⁵ Bourgeois I, Cousins JB. Understanding dimensions of organizational evaluation capacity. Am J Eval [Internet]. 2013 May [cited 2019 Apr 30];34(3):299-319. Available from: Available from: https://journals.sagepub.com/doi/abs/10.1177/1098214013477235 doi: 10.1177/1098214013477235
  » https://doi.org/10.1177/1098214013477235» https://journals.sagepub.com/doi/abs/10.1177/1098214013477235
• ²⁶ Ministério da Saúde (BR). Secretaria Executiva. Departamento de Apoio à Descentralização. Nota técnica: considerações sobre a instituição de um processo de monitoramento e avaliação do SUS. Brasília: Ministério da Saúde; 2005.
• ²⁷ Tribunal de Contas da União (BR). Diagnóstico do perfil e da maturidade dos sistemas de avaliação dos programas governamentais [Internet]. Brasília: Tribunal de Contas da União; 2014 [citado 2019 abr 30]. Disponível em: Disponível em: https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?inline=1&fileId=8A8182A14D92792C014D92800F763762
  » https://portal.tcu.gov.br/lumis/portal/file/fileDownload.jsp?inline=1&fileId=8A8182A14D92792C014D92800F763762
• ²⁸ Freitas FP, Pinto IC. Percepção da equipe de saúde da família sobre a utilização do sistema de informação da atenção básica-SIAB. Rev Latino-Am Enfermagem [Internet]. 2005 jul-ago [citado 2019 abr 30];13(4):547-54. Disponível em: Disponível em: http://www.scielo.br/pdf/rlae/v13n4/v13n4a13.pdf doi: 10.1590/S0104-11692005000400013
  » https://doi.org/10.1590/S0104-11692005000400013» http://www.scielo.br/pdf/rlae/v13n4/v13n4a13.pdf
• ²⁹ Pereira CCB, Vidal SA, Carvalho PI, Frias PG. Avaliação da implantação do Sistema de informações sobre nascidos vivos em Pernambuco. Rev Bras Saúde Mater Infant [Internet]. 2013 jan-mar [citado 2019 abr 30];13(1):39-49. Disponível em: Disponível em: http://www.scielo.br/pdf/rbsmi/v13n1/a05v13n1.pdf doi: 10.1590/S1519-38292013000100005
  » https://doi.org/10.1590/S1519-38292013000100005» http://www.scielo.br/pdf/rbsmi/v13n1/a05v13n1.pdf
• ³⁰ Silva KSB, Bezerra AFB, Sousa IMC, Gonçalves RF. Conhecimento e uso do Sistema de Informações sobre Orçamentos Públicos em Saúde (SIOPS) pelos gestores municipais, Pernambuco, Brasil. Cad Saúde Pública [Internet]. 2010 fev [citado 2019 abr 30];26(2):373-82. Disponível em: Disponível em: http://www.scielo.br/pdf/csp/v26n2/16.pdf doi: 10.1590/S0102-311X2010000200016
  » https://doi.org/10.1590/S0102-311X2010000200016» http://www.scielo.br/pdf/csp/v26n2/16.pdf

• *
  Artigo originado da dissertação de mestrado de Juliana Amorim Ubarana, intitulada ‘Avaliação da Implantação do Sistema de Controle, Acompanhamento e Avaliação de Resultados (e-Car) da Secretaria de Vigilância em Saúde do Ministério da Saúde’, defendida junto ao Programa de Mestrado Profissional em Saúde Pública da Escola Nacional de Saúde Pública Sergio Arouca/Fundação Instituto Oswaldo Cruz (ENSP/Fiocruz) em 20 de abril de 2017.

Datas de Publicação

• Publicação nesta coleção
  27 Jun 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  01 Ago 2018
• Aceito
  12 Mar 2019