Inovação e utilidade: Avaliação Externa do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica

Innovation and utility: External Evaluation of the National Program for Access and Quality Improvement in Primary Health Care

RESUMO

O objetivo deste estudo foi avaliar a utilidade da Avaliação Externa do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica, considerado uma inovação. Trata-se de pesquisa avaliativa da Avaliação Externa do PMAQ-AB na percepção de sujeitos que vivenciaram a condução dessa avaliação por meio de estudo de caso qualitativo. Os dados foram coletados por meio de entrevista semiestruturada e de grupo focal on-line, e analisados por meio da análise de conteúdo de Bardin. Observou-se envolvimento dos interessados com pactuação em diferentes esferas da gestão nacional, envolvimento processual entre Departamento de Atenção Básica e Instituições de Ensino e Pesquisa, abrangência nacional facilitada com recurso de Tecnologia da Informação, negociação da logística in loco com gestores municipais. Verificou-se credibilidade científica dos avaliadores; a relação entre gestor nacional e instituições de pesquisa não se mostrou conflituosa; as instituições desvelaram conflitos entre gestores e Equipes de Atenção Básica sobre destinação dos recursos provenientes do PMAQ. Constatou-se grande escopo das informações sobre estrutura, processos e resultados; capilaridade e acesso aos resultados. Conclui-se que, na ótica dos participantes do estudo, a Avaliação Externa mostrou-se inovadora e útil à indução da melhoria da qualidade da Atenção Básica.

PALAVRAS-CHAVE
Avaliação em saúde; Atenção Primária à Saúde; Avaliação de programas e projetos de saúde

ABSTRACT

The objective of this study was to evaluate the utility of the External Evaluation of the Brasil's National Program for Improvement Access and Quality in Primary Health Care, considered an innovation. It is an evaluation study of the External Evaluation of the PMAQ-AB in the perception of subjects who experienced the conduction of this evaluation through a qualitative case study. The data were collected through a semi-structured interview and the online focal group, and analyzed through the Bardin content analysis. It was observed the involvement of stakeholders with different national management spheres, procedural involvement between the Department of Primary Care and Teaching and Research Institutions, national coverage facilitated with Information Technology resources, negotiation of logistics in loco with municipal managers. Scientific credibility of the evaluators was observed; the relationship between national managers and research institutions did not appear to be conflicting; the institutions uncovered conflicts between managers and Primary Care Teams about the allocation of resources to management. A large scope of information on structure, processes, and results was found; capillarity and access to results. It is concluded that from the perspective of the participants of the study, the External Evaluation proved to be innovative and useful to induce the improvement of the quality of Primary Care.

KEYWORDS
Health evaluation; Primary Health Care; Program evaluation

Introdução

A inovação vem desempenhando um papel cada vez mais relevante na sociedade atual. Segundo o Manual de Oslo¹, a inovação pode acontecer em diversos setores da economia; entre eles, a saúde. Traz um valor intrínseco de mudança que determine valor, seja econômico, estratégico ou de outra natureza, de modo a influenciar no aumento da produtividade e desempenho^2,3. Inclui a introdução e aplicação de ideias, processos, produtos ou procedimentos que, simultaneamente, sejam significativos para a unidade que os adota, os quais beneficiam o indivíduo, grupo ou sociedade⁴.

Na saúde, a Atenção Primária à Saúde (APS) ou Atenção Básica (AB) cria um ambiente propício à inovação pela confluência e interação entre gestores, prestadores, usuários e Instituições de Ensino e Pesquisa (IEP). Assim, na APS, a inovação caminha na direção da sustentação de mudanças políticas estruturais e, ao mesmo tempo, traz à comunidade científica problemas de investigação, sendo, portanto, sinérgica às mudanças².

Alguns arranjos institucionais na APS configuraram inovações, quer seja por meio de procedimentos tecnológicos ou ferramentas administrativas com o intuito de impactar no bem-estar da população, quer seja por meio da qualidade e desempenho dos serviços ofertados^2,5. Destaca-se a Estratégia Saúde da Família (ESF), que, desde os anos 2000, implementou uma série de inovações com 'tecnologias leves', definidas como as que ocorrem nos espaços relacionais; no caso, serviços ou equipe de profissionais e usuários ou população⁶. Essas inovações remetem ao modelo assistencial tradicional predominante antes da criação do Sistema Único de Saúde (SUS) em 1988, ao introduzir a operacionalização dos seus princípios para garantia do acesso, acolhimento, vínculo e participação social, objetivando tanto a humanização como a resolução das ações de saúde⁷.

A ideia de inovação organizacional remete à necessidade de avaliação da efetividade. A efetividade da ESF como modelo estruturante da APS vem sendo analisada por vários estudos. Um destes, que comparou Unidades Básicas de Saúde (UBS) com e sem ESF, evidenciou que, com a ESF, há melhorias no acesso, qualidade e na satisfação dos usuários⁸. Outros trabalhos constataram a redução da mortalidade infantil pós-natal, mais especificamente por doenças diarreicas e infecções pulmonares em áreas cobertas pela ESF^9,10.

O atual momento de inflexão da inovação na gestão da APS é representado pelo Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB). A inovação da gestão da APS brasileira introduzida pelo PMAQ-AB pode ser apreendida pela avaliação de padrões de qualidade que geram certificação e pagamento por desempenho. Esse tipo de incentivo financeiro foi utilizado, de forma isolada ou combinada com outros incentivos, em diferentes países, a exemplo da Austrália e Reino Unido¹¹. Um diferencial do pagamento por desempenho no PMAQ-AB quando comparado às experiências internacionais, que efetuam o pagamento diretamente aos provedores, é o repasse financeiro as gestões municipais de saúde. Um aspecto da inovação está na própria avaliação com o uso extensivo de Tecnologia da Informação (TI). Em especial, quando esta é usada para fins de coleta de dados em todo o território nacional por meio de questionário eletrônico disponibilizado em tablets com envio on-line para o Sistema de Gestão da Avaliação Externa do PMAQ-AB, em que os dados podem ser armazenados, validados, disponibilizados para Gestores, universidades e comunidade. Esse sistema representa uma novidade do 3º ciclo do PMAQ-AB que possibilita o acompanhamento em tempo real do trabalho de campo da Avaliação Externa (AE). De acordo com este sistema, em agosto de 2018, já haviam sido avaliadas 38.865 Equipes de Atenção Básica (EAB)¹².

O programa foi criado em 2011 pelo Departamento de Atenção Básica (DAB) do Ministério da Saúde (MS) com a ideia de indução de ciclos de melhoria da qualidade a cada dois anos: 1º ciclo (2011/2012), 2º ciclo (2013/2014) e 3º ciclo (2015/2018 - em curso).

O PMAQ-AB é organizado nas seguintes fases: adesão voluntária dos gestores municipais de saúde e contratualização das equipes; AE e certificação; e recontratualização. Tem também o eixo 'desenvolvimento', que, a partir do 3º ciclo, tornou-se transversal, compreendendo: autoavaliação, apoio institucional, monitoramento, educação permanente e cooperação horizontal entre as equipes. A AE é conduzida por experts provenientes de, inicialmente, seis e, posteriormente, nove IEP. Estas IEP, consideradas nucleadoras, agregam regionalmente mais de 27 IEP associadas. Compete a elas a responsabilidade por selecionar e capacitar as equipes de trabalho de campo, sendo compostas por coordenador, supervisores e entrevistadores. Nessa etapa, os entrevistadores irão aplicar, in loco, os instrumentos de AE com os profissionais das EAB e usuários. A AE corresponde a 60% das metas para certificação pelo DAB, que são somados com os 10% atribuídos para implementação de processos autoavaliativos e com os 30% para avaliação dos indicadores contratualizados. Mediante os resultados com a soma dos percentuais dos três momentos avaliativos, as equipes são certificadas pelo DAB conforme o seu desempenho em: ótimo, muito bom, bom, regular e ruim. Subsequentemente, por parte do MS, ocorrerá o repasse de recursos financeiros aos gestores municipais¹³.

Uma das questões que se colocam para qualquer processo avaliativo da qualidade de um programa - e em particular, seu caráter de inovação - é a avaliação da avaliação (meta-avaliação)¹⁴. A magnitude e transcendência do PMAQ-AB e seu pilar na AE justificam a necessidade de avaliar os seus procedimentos para qualificar suas conclusões. Um aspecto crucial da qualidade internacionalmente reconhecido é avaliar a utilidade da avaliação para todos os atores envolvidos.

Destarte, este artigo toma como objeto a AE dentro do escopo do PMAQ-AB, com o pressuposto do programa ser uma inovação da gestão da APS brasileira. O estudo enfoca as questões relacionais entre o DAB, instâncias de pactuação e IEP sobre a escolha das IEP e instrumental da AE; bem como a relação das IEP com gestores e equipes de AB para os procedimentos de logística e coleta dos dados. O objetivo é avaliar a utilidade da AE do PMAQ-AB a partir da percepção dos atores que empreenderam a avaliação. Especificamente, visa avaliar o envolvimento das partes interessadas, credibilidade dos avaliadores, conflitos de interesse, escopo, seleção de informações e impacto da avaliação.

Métodos

Tipo de estudo

Trata-se de uma pesquisa avaliativa da AE do PMAQ-AB na percepção de sujeitos que vivenciaram a condução dessa avaliação. Utilizou-se o método do Estudo de Caso¹⁵ com abordagem qualitativa, que possibilita explorar, descrever e explicar um fenômeno contemporâneo, sobre o qual o pesquisador tem pouco controle, em um contexto natural. Pressupõe a implicação pessoal do investigador no estudo.

Contexto da pesquisa

O trabalho de campo ocorreu entre fevereiro e dezembro de 2016, em ambiente virtual, no Instituto de Higiene e Medicina Tropical da Universidade Nova de Lisboa, em Portugal. As unidades de análise foram Coordenação Geral de Acompanhamento e Avaliação da Atenção Básica (CGAA) e as IEP. A Universidade Federal do Rio Grande do Norte (UFRN) foi escolhida tanto por ser caso exemplar das nove IEP coordenadoras desde o 1º ciclo do PMAQ-AB quanto por seu papel singular de desenvolvedor e gestor da TI utilizada na AE.

População do estudo e amostra

A amostra foi intencional, totalizando 26 sujeitos entre gestores nacionais e pesquisadores. Participaram 12 técnicos, sendo 3 representantes do PMAQ-AB na CCGA e 9 da equipe de desenvolvedores da TI. Compuseram também a amostra 14 pesquisadores (1 coordenador e 13 integrantes sediados na UFRN). Todos os pesquisadores tinham o grau mínimo de mestrado, experiência acadêmica com publicação em avaliação da AB. Todos os participantes foram contatados por meio de convite por e-mail.

Instrumento

O instrumento tomou como base o atributo 'utilidade', que é um dos padrões de qualidade da avaliação do Joint Committee on Standards for Educational Evaluation (http://www.jcsee.org/), já utilizado no Brasil¹⁶. Para o Joint, a utilidade tem por objetivo garantir que a avaliação atenda às necessidades de informação dos interessados direta ou indiretamente envolvidos no processo avaliador. O padrão utilidade foi adaptado à teoria do programa reafirmada no Manual Instrutivo do PMAQ - 2º ciclo (http://189.28.128.100/dab/docs/portaldab//publicacoes/manual_instrutivo_PMAQ_AB2013.pdf). Após adaptação, o instrumento foi validado por oito experts pela técnica de consenso Delphi¹⁷, no período de fevereiro a abril de 2016. Para o Delphi, tanto o convite aos especialistas quanto a realização foram por intermédio de e-mail em três rodadas. Para cada item, foi atribuído um valor em uma escala de 0 a 10 para relevância de cada item. Os pontos de corte foram média <7. Para verificar o consenso entre os experts, foi calculado o Desvio Padrão (DP), considerando dissenso o DP >1. Para os ajustes do instrumento, foi realizado um Estudo Piloto com um grupo focal com oito pesquisadores excluídos do trabalho de campo. O piloto confirmou a clareza e a compreensão do instrumento que continha as seguintes categorias: envolvimento dos interessados na avaliação, credibilidade dos avaliadores (IEP e Equipe de TI), conflitos de interesse entre DAB, pesquisadores, gestores municipais de saúde e EAB, escopo, seleção de informações e impacto da avaliação.

Técnica de coleta dos dados

Os dados foram coletados entre fevereiro e dezembro de 2016, por meio de entrevistas semiestruturadas (gestores nacionais) e grupo focal (pesquisadores IEP), ambos on-line¹⁸. As entrevistas semiestruturadas foram organizadas de forma assíncrona - quando os participantes não estão on-line ao mesmo tempo. Ocorreu por e-mail, e o pesquisador enviou as perguntas aos participantes (coordenação do DAB e coordenação da IEP), que enviaram suas respostas após algum tempo¹⁹. Foram realizados dois grupos focais. O grupo da Equipe de TI teve nove desenvolvedores de software; e o grupo focal Pesquisadores teve 13 integrantes. Ambos contaram com um moderador e um observador de forma síncrona, quando pesquisadores e pesquisados estavam on-line (via videoconferência) simultaneamente¹⁹. O convite, a explicação dos objetivos da pesquisa, o roteiro e o Termo de Consentimento Livre e Esclarecido (TCLE) foram enviados previamente via e-mail. Também se disponibilizou contato on-line (e-mail e WhatsApp do entrevistador/moderador) entre pesquisador e sujeitos de pesquisa para esclarecimentos.

Análise dos dados

As quatro entrevistas dos gestores nacionais foram sistematizadas a partir dos arquivos anexos enviados por e-mails. Estão nomeadas abaixo na seção 'Resultados', como DAB de forma sequencial um, dois, três e Coordenação IEP. Os dois grupos focais foram transcritos da gravação de vídeo e nomeados como Grupo Focal, Equipe de TI e Grupo Focal Pesquisadores. Para ambos, utilizou-se a Análise de Conteúdo de Bardin²⁰. As etapas foram pré-análise, com organização do material dos e-mails (entrevistas) e transcrição das falas das videoconferências (Grupo Focal); leitura flutuante de todo o material; descrição analítica, com base no referencial teórico e em diversas leituras do material obtido (imersão), e organização nas categorias temáticas previamente descritas.

Aspectos éticos

O estudo foi aprovado pelo Comitê de Ética em Pesquisa do Hospital Onofre Lopes, da UFRN, com o número 49117015.2.0000.5292, tendo seguido todas as recomendações da Resolução nº 466, de 12 de dezembro de 2012, do Conselho Nacional de Saúde. O TCLE foi enviado e respondido por e-mail com assinatura eletrônica.

Resultados

Envolvimento dos interessados na avaliação

Em relação aos atores organizacionais da AE, a interação entre o DAB do MS e as IEP ocorreu de forma processual ao longo dos dois ciclos. Esta caraterística pode ser resumida na fala abaixo:

Foram construídos em longo e paciente processo de elaboração conjunta entre os técnicos especializados do DAB e os pesquisadores acadêmicos das IEP participantes do projeto. Foram alternados momentos presenciais nacionais de debates e definições sobre os instrumentos, desenvolvimento e utilização do software do questionário, treinamento dos avaliadores e logística do campo, com esse conjunto de participantes envolvidos, e momentos à distância, com envio de sugestões e ajustes nesses questionários eletrônicos e no sistema de validação. (DAB-1).

Com base nos depoimentos do DAB, além da adesão voluntária dos gestores municipais de saúde, houve pactuação dos instrumentos e da metodologia da certificação na Comissão Intergestores Tripartite que envolveu MS, Conselho Nacional dos Secretários Estaduais de Saúde (Conass) e Conselho Nacional de Secretarias Municipais de Saúde (Conasems). A versão off-line do questionário eletrônico foi elaborada em fóruns técnicos internos do MS, em conjunto com as IEP, e foi disponibilizada previamente com acesso público no site oficial do órgão. Ocorreram também etapas preparatórias para AE nos estados promovidas pelo MS, Secretarias Estaduais de Saúde, envolvendo as Secretarias Municipais de Saúde, com participação das IEP para coleta, certificação e divulgação dos resultados. A logística de cada Instituição de Ensino Superior (IES) para avaliação in loco das EAB de cada município foi previamente acordada com os gestores em relação à data, local e horário da avaliação. As IEP destacaram aspectos positivos, mas também algumas dificuldades:

Este acordo prévio entre as IEPs e os gestores municipais pode ser considerado como potencializador do envolvimento daqueles que são sujeitos neste tipo de avaliação como os gestores e profissionais. Tem um caráter formativo da avaliação, pois permite uma reflexão, além de mostrar seu caráter não punitivo. (Coordenação-IEP).

O que a nossa equipe da universidade viu em campo é que os profissionais das ESF que são avaliados não foram envolvidos na contratualização. Muitos deles sequer conhecem os objetivos e metas do programa. Não entendiam porque, em alguns locais, o recurso do PMAQ ia para a equipe e em outros, não. Ficava com o gestor. (Grupo Focal Pesquisadores).

A combinação prévia tem um lado positivo porque o município sabia em que iria ser avaliado e no que precisaria melhorar. Além disso, se organizava principalmente pra questão de meio de transporte, principalmente quando a visita era em zona rural de difícil acesso! Mas, por outro lado, a UBS poderia mascarar a estrutura a ser avaliada, porque a gente chegou a presenciar a chegada de materiais e equipamentos no dia da avaliação. (Grupo Focal Pesquisadores).

Na opinião do gestor e da IEP, houve envolvimento dos usuários dos serviços de saúde a partir da escuta realizada com aplicação de instrumento específico:

O PMAQ se tornou um instrumento potente de escuta dos usuários das Equipes de Saúde, visando dar uma direção às políticas de Atenção Básica. Com aplicação do instrumento próprio, pode-se captar desde a ambiência, passando pela vivência e satisfação. (DAB-1).

Ouvir os usuários é fundamental! Embora, na verdade, usuários seja toda a população brasileira, sabemos que uma amostra estatística seria inviável sob o ponto de vista dos recursos e do tempo! Mas o total de usuários entrevistados é impressionante, pois só no 1º ciclo, lembro que mais de 65.000 usuários foram entrevistados. (Coordenação IEP).

Credibilidade dos avaliadores (IEP) e da Equipe de TI

Segundo o DAB, os critérios de escolha para participação das IEP não foram formalizados nos documentos do PMAQ-AB. Entretanto, os entrevistados deixaram clara a referência à experiência anterior da parceria das universidades com o MS nos Estudos de Linha de Base (ELB) do Programa de Expansão da Saúde da Família (Proesf) em grandes municípios brasileiros. Foi relatado como um processo com algumas tensões:

Nós escolhemos inicialmente estas seis universidades porque acompanhamos em 2005 o desempenho delas na Linha de Base do PROESF. Naquela ocasião, houve um edital do Banco Mundial e consideramos que algumas das universidades que efetuaram a avaliação mostraram uma capacidade e conhecimento sobre avaliação e Atenção Básica, principalmente em larga escala. (DAB-1).

A escolha das IEPs como responsável pela Avaliação Externa in loco não foi automática como se pode imaginar. Ao contrário, gerou intenso debate interno. Inicialmente, foi sugerida a contratação de empresas especializadas em coleta de dados, pois os gestores municipais tinham dúvidas das IEPs quanto à sua capacidade, condições operacionais e conhecimentos sobre a Atenção Básica. Mas, nós não tínhamos dúvidas que, pelo histórico das instituições com estudos publicados e participações anteriores e o caráter inerente das universidades em fazer pesquisa, esta foi a melhor decisão. (DAB-2).

O campo teórico metodológico estava nos debates permanentes da Rede de Pesquisa em Atenção Primária à Saúde e no conjunto das seis e, posteriormente, oito universidades 'nucleadoras' que aceitaram o chamamento à Avaliação Externa. (DAB-3).

Conflitos de interesse entre DAB, pesquisadores, gestores municipais de saúde e EAB

Todos os entrevistados foram unânimes em afirmar ausência de conflitos de interesses entre o DAB e as IEP (pesquisadores e EAB). Ressaltaram que, nos municípios, foram tomadas algumas medidas para evitar interferência, principalmente política:

A nossa recomendação foi que as IEPs tivessem autonomia no município. Para isto, garantimos às universidades recursos que possam cobrir despesas como transporte, alimentação e alojamento dos entrevistadores de modo a evitar que sejam subsidiados pelo município. (DAB-3).

Nós treinamos os nossos entrevistadores para não aceitarem 'ajuda' dos municípios, pois temos financiamento para isto. Excepcionalmente em lugares com dificuldades de acesso, aceitamos o transporte. Também na nossa seleção, os entrevistadores não podem ter vínculo empregatício formalizado ou não com o município, não pode ser profissional daquele município! Exigimos um perfil de pesquisador ou no mínimo de entrevistador como auxiliar de pesquisa. (Grupo Focal Pesquisadores).

A IEP percebeu conflito de interesse, em particular, entre gestores e EAB em torno da contratualização e incentivos financeiros:

Muitos profissionais questionam o critério de escolha para participação das equipes na AE do PMAQ como algo alheio às equipes. Na verdade, ao irmos ao campo, presenciamos alguns questionamentos sem relação aos gestores municipais de Saúde. Para os profissionais, os recursos do PMAQ deveriam ser repassados diretamente às equipes! Percebe-se em muitas opiniões de profissionais, expressas até mesmo durante a coleta, que, para eles, o repasse parecia bastante diferenciado entre diferentes gestores sem que as equipes percebam critérios bem definidos. (Grupo Focal Pesquisadores).

Escopo e seleção de informações

No que se refere ao escopo e seleção da informação para a avaliação, foram percebidos como bastante amplos:

O escopo da Avaliação Externa é muito amplo, pois aborda, através do questionário eletrônico, a infraestrutura, os materiais, insumos e medicamentos da Unidade Básica de Saúde que foram objetos de avaliação no Módulo I, e o processo de trabalho da equipe e a organização do serviço e do cuidado foram avaliados no Módulo II. Ainda tem o módulo III, dos usuários, além de Saúde Bucal e Núcleos de Apoio à Saúde da Família (NASF) e até Saúde Bucal. (Coordenação IEP).

Para ter uma ideia, o PMAQ tem mais de 900 indicadores! Apreende vários domínios da qualidade como o acesso, a disponibilidade e oferta de atendimentos, a efetividade da atenção prestada, indicadores estruturais, não apenas de ambiência aqueles relativos à efetividade da atenção como uso de protocolos, condições para gestão de doenças crônicas, saúde da mulher, entre outros. (DAB-2).

Essa ampliação do escopo presente na AE pode ser considerada como algo inovador para o processo de avaliação. O uso de TI é relatado como recurso que viabilizou a coleta e validação do grande número de indicadores e sua abrangência em todo o território nacional:

Veja! Com quase mil indicadores para entrevista de cada equipe, não poderia ser 'manual'. Foi justamente o uso de questionário no formato eletrônico em tablets e o sistema de validação que proporcionaram este feito. Estamos falando em coletar e validar mais de 100 mil questionários em mais de 5 mil municípios brasileiros! Dados sobre estrutura e processo de trabalho das Equipes de Atenção Básica. Tal procedimento não seria possível sem uma ferramenta deste tipo. (Grupo Focal TI).

Impacto da avaliação

Para o DAB, o impacto da AE pode ser visto pelo crescente aumento da adesão ao PMAQ- AB:

Comparando o 1º ciclo (2011-2012) com o 2º (2013-2014) e até com o 3º ciclo (2015-2016), aumentou a adesão de 73%, 93% e 95%; as Equipes de Atenção Básica avaliadas passaram de 50 para 96%; os NASF, que no 1º nem foram avaliados, chegaram a 93% no 3º ciclo. (DAB-2).

Outro impacto positivo atribuível foi a transparência da avaliação. Refiro-me à disponibilidade dos dados da AE no site do DAB. Desta forma, não só os gestores, profissionais, mas também usuários e a população em geral podem conhecer a estrutura das UBS, os processos de trabalho das equipes, e a opinião dos usuários por cada equipe em cada município. (DAB-3).

Para as IEP, o impacto está mais relacionado com o processo de trabalho das equipes:

Para falar mesmo sobre impacto é necessário recorrer aos estudos, às análises dos dados. Já temos muita coisa publicada. Ao grosso modo, podemos afirmar que o PMAQ serviu como estímulo para melhoria, principalmente pelo recurso financeiro a mais que trouxe para a gestão municipal. (Coordenação IEP).

Também se pode afirmar que, de um lado, a AE, por sua independência, estimula a avaliação tanto para gestores como para academia; por outro, se deve ter o cuidado de considerar que as informações sobre processos de trabalho relativos ao cuidado são autorreferidas e sobre disponibilidade e oferta, não por procedimento efetivamente realizado. Neste sentido, os resultados são de processos, e não de impacto propriamente dito. (Grupo Focal Pesquisadores).

A utilização da TI foi vista como algo que tornou factível o planejamento e a condução da AE, como forma de garantir seus impactos:

As ferramentas de TI foram indispensáveis para o desenvolvimento de um estudo da envergadura do PMAQ-AB (multicêntrico, envolvendo cerca de 30 mil Equipes de Atenção Básica, território continental etc.) tanto para a superação de questões operacionais do estudo (tempo e recursos envolvidos), definindo a agilidade dos trabalhos e o fluxo de informações, quanto para o maior rigor acadêmico - científico (confiabilidade), além de decisivas nos trabalhos de gerenciamento das atividades de campo. (Coordenação IEP).

Podemos apontar muitos aspectos positivos para que a AE alcançasse impacto. Salientamos o questionário eletrônico pela não necessidade de digitação das respostas, evitando erros de digitação e agilizando a chegada dos dados coletados ao Ministério. Os saltos automáticos no instrumento facilitaram a aplicação do instrumento e diminuíram o risco de erros relacionados a perguntas a serem realizadas em cada caso/estabelecimento/com cada indivíduo. (Grupo Focal TI).

Contudo, surgiram dificuldades com internet e tablets:

A falta de internet em alguns locais limitou a rapidez de transmissão de dados, assim como a atualização da versão do instrumento. As mudanças de versões do instrumento e algumas dificuldades dos supervisores para validação, devido ao envio de questionários incompletos, duplicidade de envio, realmente ocorreram, mas foram pouco a pouco sendo superadas. As dificuldades com o equipamento (quebra ou mau funcionamento) deixavam os entrevistadores limitados em seu trabalho (até que o problema fosse resolvido). Entretanto, estes casos foram muito pontuais e não desqualificam a utilização do tablet como plataforma de coleta de dados. (Grupo Focal TI).

Discussão

O envolvimento das pessoas interessadas é condição primordial na avaliação de qualquer programa. Nessa direção, o Joint Committee on Standards for Educational Evaluation²¹ recomenda que a integração dos stakeholders seja assegurada de maneira segura e confortável. Considera-se uma boa avaliação quando os interessados podem ser identificados e participam do processo; e ainda quando os objetivos da avaliação se assemelham à utilidade e finalidade do processo avaliativo²². Nas falas desta investigação, a adesão voluntária de gestores e equipes assim como a pactuação da metodologia favoreceram a uniformização da coleta, certificação e divulgação dos resultados, mas trazem o risco de modificações na estrutura e processo para obter melhores resultados na avaliação. Embora a participação de gestores e equipes no PMAQ-AB seja por adesão voluntária, observa-se o caráter indutor no sentido de repasse financeiro às esquipes por meio da certificação dessas equipes.

Outros autores apontam o desafio do envolvimento dos interessados, com possível implicação em modificações e dificuldades de tomar um padrão único de qualidade diante da heterogeneidade demográfica, econômica e social no contexto brasileiro²³. Na percepção dos pesquisadores entrevistados, a pactuação de uma agenda, por um lado, representou um avanço; por outro, possibilita arranjos locais com interferência no processo de trabalho por parte dos gestores e equipes para obter melhores resultados na avaliação. Diferentemente da percepção da gestão nacional aqui apresentada, Linhares, Lira e Albuquerque²⁴ discutem a visão de um gestor municipal por ocasião da implantação do PMAQ-AB no Ceará, que afirma falta de transparência e de informação durante o processo. Investigação acerca da gestão do trabalho das EAB após a implantação do PMAQ-AB observou que, entre os profissionais, o envolvimento com a avaliação foi restrito ao momento da coleta de dados da AE²⁵. Além das EAB, foram ouvidos os usuários quanto à reorientação da estrutura e da organização dos serviços de saúde, o que enfatiza a escuta deles com um dos aspectos da lógica de serviços e usuários centrados²⁶. Ressalta-se, no entanto que a avaliação dos usuários não faz parte da certificação das equipes. O trabalho de Macinko¹¹ questiona o método de escolha dos usuários arbitrado em quatro por equipe, alocados no dia da avaliação na própria UBS a ser avaliada, excluindo a população que não tem acesso.

Nesta pesquisa, a credibilidade dos avaliadores, incluindo a Equipe de TI, decorreu da autonomia e do domínio científico, representados pelas IEP. Esta afirmação é consoante ao rigor formal da avaliação como uma iniciativa a ser conduzida por especialistas²⁷. Alguns autores, como Bossi et al²⁸, já enfatizaram a avaliação por especialistas como uma necessidade, devido à fragilidade na formação de profissionais de saúde e, sobretudo, de gestores. Melo, Rocha e Aleluia²⁹ reafirmam a necessidade de colaboração entre centros de pesquisa e instâncias gestoras do SUS pelo suporte conceitual e metodológico e coleta qualificada de dados.

A credibilidade dos entrevistados também é uma preocupação das IEP para minimizar questionamentos dos gestores relativos à sua qualificação para entrevistar profissionais de nível superior que respondem à AE e, ao mesmo tempo, gerar dados confiáveis e representativos da realidade. Nos Estados do Amapá, do Espírito Santo, do Paraná, do Rio de Janeiro, de Roraima e do Tocantins, a seleção ocorreu por meio de chamada pública; e, em sua maioria, os selecionados possuíam nível superior na área de saúde, aproximação com a temática da saúde coletiva e experiência em atenção primária³⁰. Além disso, em alguns locais, como no estado do Acre, os entrevistadores participaram de capacitação sobre os instrumentos de avaliação a serem aplicados, bem como sobre como lidar com as possíveis dificuldades do campo e abordagem dos entrevistados³¹; o que demonstra a preocupação por parte das IEP em constituir equipes de entrevistadores qualificadas, com intuito de gerar dados confiáveis e representativos da realidade.

Sob o ponto de vista de conflito de interesses, de acordo com os resultados apresentados, várias medidas foram adotadas na AE para resolução de conflitos que perpassam pelo critério de escolher IEP e não vinculação entre avaliadores e avaliados. É importante destacar que os conflitos de interesses poderão se apresentar como reais, potenciais ou entendidos como tais em qualquer fase da avaliação. A presença desses conflitos poderá afetar a credibilidade e a independência da avaliação. Recomenda-se agir de modo a reduzir os seus efeitos e preservar a avaliação para que ela ocorra de forma independente, imparcial e íntegra, não deturpando, enviesando ou influenciando os resultados³².

Considerando o escopo da avaliação, de acordo com os resultados encontrados, os dados coletados na AE permitem traçar amplo panorama da APS e da atuação das ESF em todo o País. Os instrumentos aplicados englobam variáveis referentes à: estrutura e condições de funcionamento das UBS; acesso e qualidade da atenção, incluindo a organização do processo de trabalho, coordenação e continuidade do cuidado na rede; e acesso e utilização para diversas necessidades, participação e satisfação do usuário³³.

Quanto ao impacto da avaliação, foi perceptível pela alusão ao aumento gradual da adesão nos ciclos e na correlação com a alocação de recursos financeiros para melhorias na qualidade dos serviços. Para Fausto et al.³³, ao vincular o resultado da avaliação de desempenho das equipes a repasses de recursos para o gestor municipal de saúde, pode-se pensar em interesses mútuos de gestores e equipes. Entretanto, na fala das IEP, percebe-se relato de conflitos quanto à alocação na gestão, e não nas EAB. Para Macinko¹¹, o repasse ao gestor é inovador no caso brasileiro diante da experiência internacional de pagamento por desempenho a provedores. Entretanto, a falta de mecanismos de acompanhamento do seu impacto na qualidade da AB cria dificuldades para avaliações posteriores do PMAQ-AB. A disponibilização dos dados em site de acesso hierarquizado (público, gestores e IEP) pode ser vista pela ótica de transparência do processo e resultados com disseminação dos resultados e diversidade de interesses³⁴. A AE do PMAQ-AB foi citada pelos pesquisadores da IEP como estimuladora do processo de avaliação, tanto para os gestores municipais quanto para a universidade, da qual depreende-se um estímulo à cultura de avaliação. A relação entre realização de avaliação e institucionalização já surgiu anteriormente ao PMAQ-AB no momento de expansão da saúde da família³⁵. Nesse sentido, é necessário reconhecer que a avaliação no contexto do sistema de saúde brasileiro deve tornar-se um ato de maior amplitude e de implicação política, com a finalidade de produzir aprendizagem e consciência crítica para os sujeitos envolvidos e para a sociedade³⁶, devendo ser tratada como ferramenta de gestão para a orientação de melhoria.

Conclusões

Pode-se, com o caso estudado, reafirmar a proposição da AE do PMAQ-AB como uma inovação com novos arranjos organizacionais em um complexo e recursivo processo. Seus ciclos foram percebidos como direcionados à indução de mudanças do processo de trabalho, particularmente, das EAB e consequente utilização dos resultados para qualidade da AB. A característica inovadora dos procedimentos metodológicos se mostrou sustentada pelo uso extensivo de TI tanto para coleta quanto para sistematização e validação dos dados.

Na ótica dos participantes do estudo, e sob o ponto de vista da utilidade como padrão internacional de qualidade, a AE mostrou-se útil. Destacaram-se avanços, como pactuação em diferentes esferas da gestão nacional (DAB E Tripartite) envolvimento processual entre o demandante e executores da avaliação (DAB e IEP), inclusão na avaliação de todas as EAB que aderiram ao PMAQ-AB facilitada com recurso de TI, negociação da logística in loco (IEP e gestores municipais), fatores que geram expectativas outras experiências e mudanças de comportamento. A inciativa do DAB buscou firmar credibilidade científica com contratação de IEP para sua execução. A relação entre o DAB e as IEP não se mostrou conflituosa, mas, as IEP desvelaram conflitos entre gestores e EAB em torno da destinação dos recursos à gestão. O grande escopo das informações abrangendo estrutura processo e resultados, diferentes atores neles envolvidos, a capilaridade dos resultados e de seu acesso é bastante significativo.

A pesquisa avaliativa com inclusão dos sujeitos participantes da AE do PMAQ-AB foi coerente com o caráter qualitativo deste estudo. Ressignificou lições aprendidas para gestores do SUS e academia com subsídios para decisões sobre os caminhos para os próximos ciclos. O método do estudo de caso exemplar permitiu generalizações teóricas da conexão entre inovação, utilidade e impacto da avaliação. No entanto, futuros estudos de casos múltiplos com as demais IES podem reforçar ou trazer novos elementos ao debate sobre a qualidade da AE. A riqueza de sentidos obtidos neste trabalho, na perspectiva do gestor nacional e das IEP aponta à necessidade de outras avaliações factíveis e viáveis para apreensão da visão dos demais usuários ou interessados na AE, como gestores municipais, EAB, usuários e não usuários da APS do SUS.

Esta pesquisa também estimula novas questões de investigação relativas ao grande escopo da AE e o risco de focalização dos esforços da gestão e equipe nos processos que gerem melhor certificação, relação entre indicadores de processo de trabalho das EAB e os impactos na saúde da população, necessidades de superação de desafios digitais para pesquisa com grande número de dados, avaliações sobre mecanismos de acompanhamento da aplicação de recursos e seu papel indutor da qualidade, entre outros.

• Suporte financeiro: Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)

Referências

• ¹
  OECD. Oslo Manual: Guidelines for Collection and interpreting innovation. 3. ed. Paris: OECD; 2005.
• ²
  Nodari CH, Olea PM, Dorion ECH. Relação entre inovação e qualidade da orientação do serviço de saúde para Atenção Primaria. Rev Adm Pública [internet]. 2013 [acesso em 2018 maio 25]; 47(5):1243-1264. Disponível em: http://www.scielo.br/pdf/rap/v47n5/a08v47n5.pdf
  » http://www.scielo.br/pdf/rap/v47n5/a08v47n5.pdf
• ³
  Zen AC, Machado BD, López AIJ, et al. Rota da inovação: uma proposta de metodologia de gestão da inovação. Rev Adm Contemp [internet]. 2017 [acesso em 2018 maio 25]; 21(6):875-892. Disponível em: http://www.scielo.br/pdf/rac/v21n6/1982-7849-rac-21-06-0875.pdf
  » http://www.scielo.br/pdf/rac/v21n6/1982-7849-rac-21-06-0875.pdf
• ⁴
  Costa LS. Inovação nos serviços de saúde: apontamentos sobre os limites do conhecimento. Cad Saúde Pública [internet]. 2016 [acesso em 2018 abr 28]; 32(Supl.2). Disponível em: http://www.scielo.br/pdf/csp/v32s2/pt_1678-4464-csp-32-s2-e00151915.pdf
  » http://www.scielo.br/pdf/csp/v32s2/pt_1678-4464-csp-32-s2-e00151915.pdf
• ⁵
  Gauld R, Blank R, Burgers J, et al. The World Health Report 2008 - Primary Healthcare: How Wide Is the Gap between Its Agenda and Implementation in 12 High-Income Health Systems? Health Policy. 2012 fev; 7(3):38-58.
• ⁶
  Merhy EE. Em busca do tempo perdido: A micropolítica do trabalho vivo em saúde. In: Merhy EE, Onocko R, organizadores. Agir em Saúde. São Paulo: Hucitec; 1997.
• ⁷
  Ferri SMN, Pereira MJB, Mishima SM, et al. As tecnologias leves como geradoras de satisfação em usuários de uma unidade de saúde da família. Interface [internet]. 2007 [acesso em 2018 abr 16]; 11(23):515-529. Disponível em: http://www.scielo.br/pdf/icse/v11n23/a09v1123.pdf
  » http://www.scielo.br/pdf/icse/v11n23/a09v1123.pdf
• ⁸
  Macinko J, Lima Costa MF. Access to, use of and satisfaction with health services among adults enrolled in Brazil's Family Health Strategy: evidence from the 2008 National Household Survey. Trop Med Int Health. 2012; 17:36-42.
• ⁹
  Rocha R, Soares RR. Evaluating the impact of community-based health interventions: evidence from Brazil's Family Health Program. Health Econ. 2010; 19(Supl):126-158.
• ¹⁰
  Rasella D, Harhay MO, Pamponet ML, et al. Impact of primary health care on mortality from heart and cerebrovascular diseases in Brazil: a nationwide analysis of longitudinal data. BMJ [internet]. 2014 [acesso em 2018 maio 23]; 348:1-10. Disponível em: http://www.bmj.com/content/bmj/349/bmj.g4014.full.pdf
  » http://www.bmj.com/content/bmj/349/bmj.g4014.full.pdf
• ¹¹
  Macinko J, Harris MJ, Rocha MG. Brazil's National Program for Improving Primary Care Access and Quality (PMAQ): Fulfilling the Potential of the World's Largest Payment for Performance System in Primary Care. J Ambulatory Care Management [internet]. 2017 [acesso em 2018 maio 14]; 40(supl.2):S4-S1. Disponível em: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5338882/pdf/jamcm-40-s04.pdf
  » https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5338882/pdf/jamcm-40-s04.pdf
• ¹²
  Brasil. Ministério da Saúde. 3ª ciclo: avaliação externa para as equipes [internet]. Brasília, DF: MS; 2018 [acesso em 2018 ago 20]. Disponível em: http://pmaq3.lais.ufrn.br/ab/
  » http://pmaq3.lais.ufrn.br/ab/
• ¹³
  Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ) Manual Instrutivo 3º Ciclo (2015 - 2016). Brasília, DF: MS; 2015.
• ¹⁴
  Hartz ZMA. Meta-avaliação da gestão em saúde: desafios para uma nova saúde pública. Ciênc Saúde Colet [internet]. 2012[acesso em 2018 ago 20]; 17(4):832-834. Disponível em: http://www.scielo.br/pdf/csc/v17n4/v17n4a04.pdf
  » http://www.scielo.br/pdf/csc/v17n4/v17n4a04.pdf
• ¹⁵
  Yin RK. Estudo de caso: planejamento e métodos. 3. ed. Porto Alegre: Bookman; 2005.
• ¹⁶
  Figueiró AC, Thuler LC, Dias ALF. Padrões internacionais dos estudos de linha de base. In: Hartz ZMA, Feliberto E, Silva LMV, organizadores. Meta-avaliação da atenção básica à saúde: teoria e prática. Rio de Janeiro: Fiocruz; 2008.
• ¹⁷
  Jones J, Hunter D. Usando o Delfos e a técnica de grupo nominal na pesquisa em serviços de saúde. In: Pope C, Mays N, organizadores. Pesquisa Qualitativa na atenção à saúde. Porto Alegre: Artmed; 2005.
• ¹⁸
  Mann C, Stewart F. Internet Communication and Qualitative Research: A Handbook for Researching Online. London: Sage; 2000.
• ¹⁹
  Flick U. Introdução à pesquisa qualitativa. Porto Alegre: Artmed; 2009.
• ²⁰
  Bardin L. Análise de conteúdo. Lisboa: Edições 70; 2011.
• ²¹
  Joint Committee on Standards for Educational Evaluation. The program evaluation standards: a guide for evaluators and evaluation users. 3. ed. Thousand Oaks: Sage; 2011.
• ²²
  Patton MQ. Utilization Focused Evaluation: The News Century Text. 3. ed. Thousand Oaks: Sage; 1997.
• ²³
  Rodrigues V, Santos CRI, Pereira UM. A experiência de planejar e operacionalizar o PMAQ-AB no estado do Acre. Saúde debate [internet]. 2014 [acesso em 2018 abr 18]; 38(esp):173-181. Disponível em: http://www.scielo.br/pdf/sdeb/v38nspe/0103-1104-sdeb-38-spe-0173.pdf
  » http://www.scielo.br/pdf/sdeb/v38nspe/0103-1104-sdeb-38-spe-0173.pdf
• ²⁴
  Linhares PHA, Lira GV, Albuquerque IMN. Avaliação do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica no estado do Ceará. Saúde debate [internet]. 2014 [acesso em 2018 maio 25]; 38(esp):195-208. Disponível em: http://www.scielo.br/pdf/sdeb/v38nspe/0103-1104-sdeb-38-spe-0195.pdf
  » http://www.scielo.br/pdf/sdeb/v38nspe/0103-1104-sdeb-38-spe-0195.pdf
• ²⁵
  Queiroz IPD, Valença CN, Oliveira RFS, et al. National Program for Improving Access and Quality of Primary Care: Implications of its implementation in the Brazilian Northeast. International Archives Med [internet]. 2017 [acesso em 2018 maio 24]; 10(191):1-10. Disponível em: http://imedicalsociety.org/ojs/index.php/iam/article/view/2302/2203
  » http://imedicalsociety.org/ojs/index.php/iam/article/view/2302/2203
• ²⁶
  Pinto HA, Sousa ANA, Ferla AA. O Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica: várias faces de uma política inovadora. Saúde debate [internet]. 2014 [acesso em 2018 abr 24]; 38(esp):358-372. Disponível em: http://www.scielo.br/pdf/sdeb/v38nspe/0103-1104-sdeb-38-spe-0358.pdf
  » http://www.scielo.br/pdf/sdeb/v38nspe/0103-1104-sdeb-38-spe-0358.pdf
• ²⁷
  Tanaka OY, Melo C. Reflexões sobre a avaliação em serviços de saúde e a adoção das abordagens qualitativa e quantitativa. In: Bosi MLM, Martinez FJM, organizadores. Pesquisa qualitativa de serviços de saúde. Petrópolis: Vozes; 2004.
• ²⁸
  Bosi MLM, Pontes RJS, Vasconcelos SM. Dimensões da qualidade na avaliação em saúde: concepções de gestores. Rev Saúde Pública [internet]. 2010 [acesso em 2018 maio 30]; 44(2):318-324. Disponível em: http://www.scielo.br/pdf/rsp/v44n2/12.pdf
  » http://www.scielo.br/pdf/rsp/v44n2/12.pdf
• ²⁹
  Melo DC, Rocha AARM, Aleluia IRS. Avaliação externa do PMAQ-AB: elementos facilitadores e restritivos em capital do nordeste brasileiro. Rev Gestão Saúde [internet]. 2017 [acesso em 2018 abr 27]; 8(1):3-17. Disponível em: http://periodicos.unb.br/index.php/rgs/article/view/23916/pdf_1
  » http://periodicos.unb.br/index.php/rgs/article/view/23916/pdf_1
• ³⁰
  Fausto MCR, Fonseca HMS, organizadores. Rotas da atenção básica no Brasil: experiências do trabalho de campo PMAQ-AB. Rio de Janeiro: Saberes; 2013.
• ³¹
  Rodrigues V, Santos CRI, Pereira MU. A experiência de planejar e operacionalizar o PMAQ-AB no estado do Acre. Saúde debate [internet]. 2014 out [acesso em 2018 ago 20]; 38(esp):173-181. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042014000600173&lng=en
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0103-11042014000600173&lng=en
• ³²
  Portugal. Ministério dos Negócios Estrangeiros. Camões, Instituto da Cooperação e da Língua. Normas para Evitar Conflito de Interesses no Processo de Avaliação. Lisboa: Ministério dos Negócios Estrangeiros; 2014.
• ³³
  Fausto MCR, Giovanella L, Mendonça MHM, et al. A posição da Estratégia Saúde da Família na rede de atenção à saúde na perspectiva das equipes e usuários participantes do PMAQ-AB. Saúde debate [internet]. 2014 [acesso em 2018 jun 24]; 38(esp):13-33. Disponível em: http://www.scielo.br/pdf/sdeb/v38nspe/0103-1104-sdeb-38-spe-0013.pdf
  » http://www.scielo.br/pdf/sdeb/v38nspe/0103-1104-sdeb-38-spe-0013.pdf
• ³⁴
  Vianna HM. Avaliação de Programas Educacionais: duas questões. Rev Estudos Aval Educ [internet]. 2005 [acesso em 2018 maio 28]; 16(32):43-56. Disponível em: http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1240/1240.pdf
  » http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1240/1240.pdf
• ³⁵
  Cruz MM, Souza RBC, Torres RMC, et al. Usos do planejamento e autoavaliação nos processos de trabalho das equipes de Saúde da Família na Atenção Básica. Saúde debate [internet]. 2014 [acesso em 2018 abr 26]; 38(esp):124-139. Disponível em: http://www.scielo.br/pdf/sdeb/v38nspe/0103-1104-sdeb-38-spe-0124.pdf
  » http://www.scielo.br/pdf/sdeb/v38nspe/0103-1104-sdeb-38-spe-0124.pdf
• ³⁶
  Magluta C. Desafios da avaliação de programas e serviços de saúde. Cad Saúde Pública [internet]. 2013 [acesso em 2018 maio 30]; 29(2):414-414. Disponível em: http://www.scielo.br/pdf/csp/v29n2/30.pdf
  » http://www.scielo.br/pdf/csp/v29n2/30.pdf

Datas de Publicação

• Publicação nesta coleção
  Set 2018

Histórico

• Recebido
  10 Jun 2018
• Aceito
  28 Ago 2018