Participação dos atores na avaliação do Projeto QualiSUS-Rede: reflexões sobre uma experiência de abordagem colaborativa

Stakeholder participation in the evaluation of QualiSUS-Network Project: Reflections on a collaborative approach experience

RESUMO

A incorporação dos diferentes interessados ao processo avaliativo é estratégica para facilitar a compreensão da avaliação e a apropriação de seus resultados. Este artigo se propõe a descrever e analisar criticamente a participação dos atores (stakeholders) no processo de avaliação, utilizando a pesquisa avaliativa do Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). Para isto, foram tomadas como base as memórias das reuniões de trabalho, das oficinas de alinhamento conceitual e de validação dos Modelos Lógicos dos seminários realizados, assim como dos relatórios elaborados no período de agosto de 2012 a dezembro de 2015. A abordagem colaborativa envolveu inúmeros desafios, englobando 15 projetos, com distintos níveis de abrangência e complexidade, e com diversos stakeholders, com diferentes tipos e níveis de colaboração, o que condicionou os limites e as possibilidades de participação. Esta experiência gerou a adaptação do Modelo de Avaliação Colaborativa de Rodriguez-Campos e Rincones-Gomez (2013). A abordagem colaborativa exige por parte dos avaliadores um exercício de flexibilização e de ajuste às distintas particularidades e aos contextos locais, sem perder de vista o alinhamento às teorias da intervenção e ao modelo teórico da avaliação.

PALAVRAS-CHAVE
Avaliação em saúde; Avaliação de programas; Participação dos interessados

ABSTRACT

Stakeholder approaches to evaluation imply the incorporation of different stakeholders in the evaluation process as to facilitate its comprehension and the appropriation of its results. This article aims to describe and critically analyze the participation of the stakeholders in the evaluation process taking into account the evaluation study Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede). For this purpose, we analyzed the reports regarding work meetings, workshops for conceptual alignment and validation of the projects Logical Models, seminars, as well as partial and final reports, during the period of August 2012 to December 2015. The collaborative approach involved numerous challenges encompassing 15 projects, with different levels of complexity, and with a diverse number and variety of stakeholders, which brought us to the limits and possibilities of participation of the different actors. We adapted the Collaborative Evaluation Model, from Rodriguez-Campos and Rincones-Gomez (2013). This type of approach requires the evaluators to exercise flexibility and adjustment to different local contexts and particularities, without losing sight of conformity to the theory of intervention and to the evaluation theoretical model.

KEYWORDS
Health evaluation; Program evaluation; Stakeholder participation

Introdução

Este artigo se propõe a descrever e analisar criticamente a participação dos atores no processo de avaliação, utilizando a pesquisa avaliativa de implementação do Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde (Projeto QualiSUS-Rede).

Facilitar a utilização da avaliação é parte fundamental do trabalho do avaliador. Para isso, é importante que a avaliação seja responsiva aos interesses e às necessidades de sua audiência¹. A incorporação de diferentes interessados – ou stakeholders – ao processo avaliativo é considerada uma forma de aumentar a relevância e a apropriação dos resultados, bem como a utilização da avaliação². A inclusão de diferentes opiniões, valores e expectativas possibilita que os sujeitos se tornem parte da mudança, comprometidos com ela. Além disso, nas fases de implementação, ou seja, de desenvolvimento das ações, essa inclusão possibilita a detecção precoce e possíveis alterações de rumos ou estratégias inadequadas, objetivando melhorar sua utilização. Pode-se afirmar que esta abordagem se constitui em uma atividade tripartite, que envolve pesquisa, educação e ação^3,4.

O conceito de participação é polissêmico, abrangendo múltiplos sentidos. No campo da avaliação tem havido crescente interesse pela inserção de não especialistas, comumente identificados como ‘grupos de interesse’ – ou stakeholders – em processos avaliativos. Isto significa a entrada de outros atores, além dos avaliadores, como formuladores de políticas ou de programas, gestores, profissionais, parceiros de outros setores, usuários, inclusive os segmentos mais distantes, como as clientelas não diretamente consideradas pelo objeto da avaliação⁵.

Cousins e Whitmore² propõem a expressão ‘avaliação participativa’, apresentando duas tipologias: Avaliação Participativa Pragmática (APP) e Avaliação Participativa Transformadora (APT). Assim, o espectro da avaliação participativa é construído por uma variação no grau de controle do processo avaliativo, compreendendo em um polo o controle exclusivo pelo avaliador, até o controle pelos grupos participantes.

A APP surge primeiramente nos Estados Unidos e no Canadá. Parte do princípio de que a inserção dos stakeholders aumentará a relevância, a apropriação dos resultados e a utilização da avaliação. Desse modo, seria uma estratégia para facilitar a inclusão dos achados da avaliação na tomada de decisão, no desenvolvimento organizacional e na solução de problemas de políticas ou de programas. Na APP, os avaliadores assumem a responsabilidade de realizar as tarefas técnicas, e os stakeholders atuam predominantemente na definição do escopo da avaliação e, posteriormente, no acompanhamento da interpretação dos achados.

A segunda tipologia (APT) apoia-se nos princípios de emancipação e justiça social, buscando dar poder a membros de grupos comunitários de menor visibilidade, ou submetidos a processos opressivos. Suas raízes histórico-ideológicas estão nos movimentos comunitários, nos movimentos de educação de adultos e nos movimentos feministas, tendo como base filosófica, entre outras, a pedagogia transformadora de Paulo Freire⁶. Na avaliação transformadora e emancipatória, os participantes estão envolvidos de forma ativa na negociação e na hierarquização dos processos de valoração.

Rodríguez-Campos e Rincones-Gómez⁷ utilizam a expressão ‘avaliação colaborativa’ na perspectiva de ampliação do papel dos stakeholders. Para estes autores, os avaliadores criam intencionalmente um ambiente de parceria entre avaliadores e stakeholders. De acordo com o tipo e o nível de participação desses atores, os autores identificam as avaliações segundo três abordagens: (a) colaborativas; (b) participativas; e (c) de empoderamento.

A avaliação colaborativa pressupõe uma aliança entre avaliadores e stakeholders, sendo os avaliadores os responsáveis pela condução do processo. O envolvimento dos stakeholders ocorreria para fortalecer o desenho avaliativo, ampliando a coleta de informações e a compreensão dos resultados pelos interessados, de forma a aumentar sua utilização e sua influência. Assim sendo, considerando-se o grau de inserção dos stakeholders no processo avaliativo, a abordagem colaborativa aproxima-se da pragmática de Cousins e Whitmore², mas diferencia-se dela por preconizar sua participação em todos os momentos da avaliação, embora o controle do processo avaliativo continue nas mãos da equipe de avaliação. Diferentemente da tipologia de Cousins e Whitmore², Rodríguez-Campos e Rincones-Gómez⁷ propõem que a avaliação participativa seja compartilhada pelos atores desde a definição das perguntas, dos usos e dos propósitos, passando pela proposta do desenho, pela construção dos instrumentos de coleta e pela a análise dos achados, até a divulgação e a disseminação dos resultados. Na abordagem de empoderamento, os stakeholders controlariam todo o processo da avaliação, conduzindo a coleta e a análise das informações, assim como sua disseminação. A função dos avaliadores seria estimular a capacidade decisória e de ação dos envolvidos, mantendo o rigor e o foco da avaliação. Esta abordagem visa a mudança na postura dos diversos atores, estimulando a justiça social⁸.

Na pesquisa avaliativa do Projeto QualiSUS-Rede, a proposta foi desenvolver uma construção participativa fundamentada em uma abordagem formativa, enfatizando a relevância da perspectiva daqueles beneficiados pelo projeto, o aprendizado e a melhoria dos processos organizacionais envolvidos. Embora a equipe de avaliadores tenha autonomia decisória e responsabilidade técnica sobre o processo avaliativo, a busca por uma interlocução com os diversos atores-chave foi desenvolvida como ações estratégicas, que ocorreram desde o estudo de avaliabilidade, quando da identificação dos stakeholders, da descrição da intervenção e da definição do escopo da avaliação, até a caracterização do grau de implementação e a elaboração das recomendações.

Assim, o objetivo deste artigo é descrever e problematizar, a partir de uma experiência de avaliação de implementação (Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde – QualiSUS-Rede)⁹, a construção e a condução do processo avaliativo, sob a abordagem colaborativa.

A intervenção: o Projeto QualiSUS-Rede

O Projeto QualiSUS-Rede¹⁰ foi uma estratégia do Ministério da Saúde (MS), em parceria com o Banco Mundial (BM), para apoiar a organização de Redes de Atenção à Saúde (RAS) no Brasil, visando melhorar a qualidade da gestão e o desenvolvimento de tecnologias. Teve como base o desenvolvimento e a implementação de 15 projetos locais, abrangendo as cinco grandes regiões territoriais brasileiras. Estes projetos envolveram 485 municípios em 17 estados, representando 20% da população nacional. Entre as 15 experiências, dez contemplaram regiões de saúde vinculadas às regiões metropolitanas, a saber, Belém/Pará, Recife/Pernambuco, Entre-Rios/Piauí, Rio de Janeiro/Rio de Janeiro, ABC/São Paulo, Região Integrada de Desenvolvimento do Distrito Federal e Entorno (Ride)-Distrito Federal, Curitiba/Paraná, Florianópolis/Santa Catarina, Porto Alegre/Rio Grande do Sul e a Macrocentro de Belo Horizonte/Minas Gerais; e cinco regiões denominadas Tipo, por apresentarem diferentes singularidades: Alto Solimões/Amazonas (área indígena), Cariri/Ceará (semiárido), Dourados/Mato Grosso do Sul (fronteira internacional), Topama (Tocantins, Pará e Maranhão – fronteira interestadual) e Peba (Pernambuco e Bahia – fronteira agrícola).

Entre 2011 e 2012, cada uma das 15 regiões de saúde elaborou um projeto cujos objetivos e metas deveriam contemplar pelo menos um dos cinco eixos estruturantes para a operacionalização das RAS no Sistema Único de Saúde (SUS), sendo eles: 1. Qualificação da Atenção Básica em saúde; 2. Redes temáticas (Cegonha, Urgência e Emergência e Atenção psicossocial); 3. Sistema de apoio diagnóstico e terapêutico; 4. Sistema de apoio logístico; e 5. Governança regional¹⁰. Cada região realizou primeiramente uma análise da situação regional e selecionou os eixos para ação de acordo com suas necessidades. A construção dos projetos foi atribuição das Secretarias Estaduais de Saúde (SES), por meio de um Grupo Condutor (GC) local, instituído para esse fim e para implementar e acompanhar a execução. A implementação contou com a colaboração de apoiadores institucionais contratados pelo MS. A execução dos subprojetos foi acompanhada pela Unidade Gestora de Projeto (UGP/MS) do QualiSUS-Rede, conforme pactuado nos Planos Operativos e de Aquisições. Após a elaboração dos projetos, os mesmos foram analisados pelas equipes da UGP/MS e do BM, e, quando necessário, ajustados para obter aprovação e receber recursos financeiros.

Em 2012, a UGP/MS solicitou a uma equipe de avaliadores externos uma proposta de avaliação da implementação do projeto nas 15 regiões envolvidas. A sistematização e a reflexão desse processo avaliativo colaborativo são objeto deste artigo.

A construção do processo colaborativo: o processo de documentação, as estratégias e as ações

A reflexão apresentada neste trabalho é originária de uma análise qualitativa das memórias escritas das reuniões de consenso, das oficinas de alinhamento conceitual, de validação dos Modelos Lógicos (ML) e dos seminários realizados, assim como dos relatórios gerados no período de agosto de 2012 a dezembro de 2015. É importante destacar que foram realizadas entrevistas com os diversos atores envolvidos no projeto, como também foram analisadas atas da Comissão de Intergestores Regionais e dos Conselho Estadual e Municipal de Saúde, e documentos, como o Plano Estadual de Saúde e o Plano Diretor de Regionalização que subsidiaram as reuniões e oficinas realizadas. O modelo avaliativo proposto é apresentado na (figura 1).

Figura 1
Desenho da avaliação do Projeto QualiSUS-Rede

Desde o estudo de avaliabilidade, o processo de envolvimento dos interessados foi compreendido como a chave do processo avaliativo e de sua complexidade. Assim, o esforço para a identificação e o envolvimento dos principais stakeholders abrangeu sua detalhada caracterização institucional, a função exercida, as estratégias de envolvimento apropriadas para a especificidade de cada caso, os interesses e possíveis controvérsias, conforme sumarizado no (quadro 1).

Quadro 1
Perfil dos stakeholders

Usuários	Função	Estratégia de envolvimento	Interesse na Avaliação
Instituição financiadora da intervenção	Financiador do Projeto QSR	Reunião apresentação proposta avaliação Reunião de apresentação dos resultados	Interesse primordial em avaliação de resultados
Unidade de Gestão do Projeto (UGP/ MS) (2 membros)	Responsável pela gestão técnica e administrativa Organização da implementação nas 15 regiões representando o MS Financiadores da avaliação	Reuniões e Oficinas de trabalho, alinhamento conceitos, elaboração e validação dos ML Pactuação das perguntas avaliativas Organização logística do trabalho de campo Análise dos resultados Seminário de devolução dos resultados Elaboração de artigos	Interesse primordial em avaliação de implementação Possibilidade de aprendizado com a implementação, de forma a reproduzir os processos em contextos similares
Departamento de Redes de Atenção (Daras/MS) (2 membros)	Interface entre UGP e apoiadores	Oficinas de trabalho: alinhamento de conceitos e validação ML	Reflexão sobre papel dos apoiadores e supervisores Daras/MS
Apoiadores institucionais dos projetos regionais (MS) (15 apoiadores)	Interface UGP e GC Organização da implementação localmente: suporte cognitivo, logístico e estratégico	Reuniões e Oficinas: trabalho, alinhamento de conceitos, elaboração e validação ML Pesquisa de campo Seminário de devolução dos resultados Elaboração de artigos	Diretamente interessados na avaliação, pois reflete o trabalho realizado e intermediado por eles Potencialização da atuação em rede
Apoiadores institucionais temáticos (MS)	Apoio à UGP, apoiadores locais e GC Suporte para temas estratégicos: população indígena, atenção primaria, educação em saúde, pesquisa e tecnologia	Oficinas de: trabalho: alinhamento conceitos e validação ML	Possibilidade de aprendizado com a implementação, de forma a reproduzir os processos em contextos similares Potencialização da atuação em rede
Supervisores (5 membros)	Supervisão de atividades dos apoiadores locais QSR e apoiadores de redes	Oficinas de trabalho: alinhamento conceitos, elaboração e validação ML	Potencialização da atuação em rede
Grupo Condutor dos projetos (15 GC)	Formuladores e implementadores dos projetos regionais Arranjos de gestão regional diversificada envolvendo secretarias municipais e estaduais de saúde, universidades, conselhos locais, equipe técnica (planejamento, administração, Tecnologia da Informação - TI), saúde indígena, entre outros atores	Oficinas de trabalho, alinhamento conceitos e validação ML	Diretamente interessados, pois a avaliação reflete o trabalho realizado pela equipe do GC e sua capacidade de articulação de interesses e integração de recursos

Fonte: Elaboração própria.

Para a contratação da equipe de avaliadores externos, pesquisadores e supervisores de campo, a pesquisa avaliativa foi formalizada entre o MS, a Presidência da Fiocruz e o Laboratório de Avaliação da Escola Nacional de Saúde Pública Sergio Arouca, da Fundação Oswaldo Cruz (Laser/Ensp/Fiocruz). Esse trabalho foi realizado com a interveniência da Fundação para o Desenvolvimento Científico e Tecnológico em Saúde (Fiotec), que presta serviços de apoio logístico, administrativo e financeiro aos projetos desenvolvidos pela Fiocruz.

A implementação do processo avaliativo foi analisada criticamente por meio de três relatórios parciais e um relatório final, buscando-se verificar e extrair as estratégias de indução aos processos colaborativos. A importância da utilização das atividades e do material da avaliação como parte de um processo formativo foi ressaltada desde o início do processo, propiciando revisões e ajustes, assim como o compartilhamento de todas as experiências. Nesse sentido, foram criados também centros de estudo no Laser/Ensp, com temáticas vinculadas à Política Nacional da Atenção Básica (PNAB), à regionalização, às redes de atenção à saúde, e sobre os diversos dispositivos legais existentes no SUS (Pacto de gestão, Norma Operacional Básica – NOB; Norma Operacional de Assistência à Saúde – Noas; Contrato Organizativo de Ação Pública da Saúde – Coap), de forma a capacitar a equipe de avaliação. Ficou acordada também a produção de artigos científicos a serem elaborados em conjunto pelos diversos stakeholders, descrevendo diferentes etapas da avaliação e os resultados.

A revisão documental nos permitiu reconstruir o passo a passo da trajetória dos diversos atores envolvidos na avaliação. Incluiu a identificação do contexto da implementação dos projetos, a delimitação dos problemas locais, a compreensão da proposta da intervenção e o mapeamento dos principais stakeholders. Naquele momento já era evidente a participação heterogênea dos stakeholders identificados. Enquanto alguns participavam de forma sistemática e contínua, outros tiveram envolvimento mais pontual. Ocorreram as primeiras reuniões entre a equipe de avaliadores com UGP/MS e o Departamento de Articulação das Redes de Atenção à Saúde, da Secretaria Executiva (Daras/SE), que possibilitaram conhecer os interesses desses grupos em relação à intervenção e ao processo avaliativo. Uma das questões problematizadas foi o foco da avaliação: enquanto os financiadores da intervenção sinalizavam a importância de uma avaliação de resultado, os gestores do nível central (UGP/MS) privilegiavam o processo de implementação das diferentes experiências em contextos tão diversificados.

A equipe de avaliação teve acesso aos 15 projetos de implementação, que variavam em tamanho, nível de complexidade e abrangência. Alguns incorporavam os cinco eixos do QualiSUS-Rede, outros limitavam-se a dois ou três eixos. Apenas um projeto restringiu-se a um único eixo. Outra questão problematizada a partir da leitura das 15 propostas regionais foi a necessidade de alinhamento conceitual sobre Monitoramento e Avaliação (M&A), incluindo a pactuação de uma linguagem comum entre os diversos interessados. Foram realizadas oficinas específicas para esse fim com as equipes da UGP/MS, Daras/MS e coordenadores de GC.

Como atividade subsequente, os 15 subprojetos foram revisitados pelos GC e apoiadores do QualiSUS-Rede, com ênfase em objetivos, metas e indicadores. Em conjunto com os apoiadores, os membros dos GC retornaram aos 15 subprojetos, redefinindo as prioridades e o detalhamento das etapas seguintes. A equipe de avaliadores ofereceu apoio para o processo de revisão, tendo feito encontros presenciais em Brasília (oficinas de trabalho), e por Skype, principalmente com os apoiadores locais do QualiSUS-Rede. Esses apoiadores facilitaram o processo de revisão dos subprojetos, uma vez que, em sua maioria, haviam participado de forma ativa na construção das propostas em conjunto com os GC.

Esta fase inicial, com duração de um ano – de setembro de 2012 até setembro de 2013 –, envolveu ainda a descrição da intervenção, por meio da construção dos 15 ML. A apresentação da primeira versão dos ML foi realizada em Brasília, em dois dias de oficina de trabalho, com a presença dos coordenadores dos GC, apoiadores do QualiSUS-Rede e UGP/MS. Após essa primeira rodada de apresentação e pré-validação, foram feitos ajustes considerando-se o tipo de atividade a ser realizada, o tempo para sua realização e a possibilidade de cumprimento dentro do prazo planejado. Os coordenadores dos GC solicitaram que membros da equipe de avaliação fossem às respectivas regiões para validação dos ML junto aos GC – um processo que envolveu a realização de oficinas, com grande variedade e quantidade de participantes, algumas com seis, outras com até cinquenta integrantes. As oficinas evidenciaram interesses diversos, especialmente após a troca da figura do gestor municipal, pelo protagonismo de múltiplos atores, incluindo as gestões estaduais e municipais de saúde, a inserção de representantes de universidades, do exército, de comunidades indígenas etc. A coordenação da UGP/MS nesses momentos sinalizava a necessidade de cumprir o acordado nos projetos, não sendo possível introduzir modificações substanciais.

Entre a primeira versão dos subprojetos regionais submetida ao MS e os ajustes solicitados pela equipe de avaliação ocorreram eleições municipais e nacionais, o que produziu mudanças na composição de vários dos membros dos GC. Os novos membros precisavam apropriar-se do que estava contido nos projetos, assim como do cronograma de execução e do fluxo de recursos. Em alguns casos, repactuações precisaram ser realizadas, em função de novos arranjos político-institucionais. Durante essa primeira fase, a UGP/MS e os apoiadores do QualiSUS-Rede desempenharam um papel de interlocução estratégica. Por intermédio deles foi possível para a equipe de avaliação aproximar-se e conhecer as distintas realidades locais, identificar e compreender os problemas que haviam suscitado as intervenções propostas, como também identificar os principais stakeholders regionais e as modificações em curso.

A elaboração do plano de avaliação constituiu o passo seguinte. Embora a ideia inicial dos financiadores da intervenção tivesse como foco uma avaliação de resultado, a equipe de avaliadores sugeriu que fosse feito um acompanhamento do processo de implementação, pois os projetos estavam em fase de pré-implantação, a maioria em preparo para a contratação, não havendo, portanto, resultados a serem apresentados. O Laser/Ensp e a UGP/MS promoviam e acompanhavam a implementação da intervenção, assim como a avaliação. Foi apresentada, então, uma primeira proposta de avaliação para o grupo da UGP/MS, de coordenadores dos GC, de supervisores Daras e apoiadores, considerado pertinente por todos.

A definição do escopo da avaliação e a pactuação das perguntas avaliativas foram realizadas de maneira colaborativa entre equipe de avaliadores e os diversos stakeholders. A problematização foi realizada por meio de oficinas temáticas, enfocando a Política Nacional de Atenção Básica (PNAB), a regionalização, redes de atenção à saúde, concomitantemente a consultas aos diversos dispositivos legais do SUS relacionados ao objeto da intervenção. Além de ser uma opção para a capacitação da equipe de avaliação, essa estratégia foi fundamental para o alinhamento conceitual e metodológico entre os grupos envolvidos. Ficou estabelecido entre a UGP/MS, apoiadores, supervisores e coordenadores dos GC que a pergunta avaliativa focaria no grau de implementação das ações do QualiSUS-Rede nas 15 regiões envolvidas, considerando critérios e normas previamente definidos. Inúmeras questões foram pautadas pelos diversos stakeholders para subsidiar o processo avaliativo, tais como: o alinhamento das RAS aos processos de regionalização; a definição e/ou planejamento das RAS a partir das discussões do projeto; a existência de plano de ação elaborado para implantar a política nacional de regulação das ações e dos serviços de saúde; o mapeamento de instituições participantes da discussão sobre RAS em cada projeto; a existência de estudos de análise de suficiência de profissionais em relação às necessidades de assistência à população local; e a existência de proposta de cofinanciamento para dar continuidade ao processo de organização das RAS. Essas questões passaram a ser debatidas nos diversos espaços de encontro dos atores, evoluindo por diferentes etapas de priorização, originando as perguntas avaliativas e as dimensões a serem contempladas na avaliação.

A equipe de avaliadores propôs o estudo de caso como sendo o desenho mais apropriado para a análise de implementação, por permitir uma descrição aprofundada da intervenção em relação com o contexto¹¹, considerando cada um dos 15 projetos um caso. Na visão dos avaliadores, os desafios impostos pela abrangência e pela diversidade dos projetos exigiu a utilização de metodologias e técnicas de coleta de informações de cunho quantitativo e qualitativo. A utilização dos Métodos Mistos permitiu a análise por triangulação (convergência/divergência dos achados) e complementaridade entre as informações quantitativas e qualitativas^12,13.

Foi necessário estabelecer um compromisso coletivo, definindo-se os papéis dos diferentes atores e as respectivas responsabilidades. O projeto da avaliação foi apresentado em diferentes instâncias (agência financiadora do QualiSUS-Rede e MS), contemplando os interesses dos diferentes stakeholders. Uma cópia do projeto foi encaminhada às respectivas Secretarias de Estado de Saúde no momento de solicitar autorização para proceder à avaliação nas 15 regiões envolvidas.

Foram definidos também os canais de comunicação e as formas como os resultados da avaliação seriam divulgados. Os canais de comunicação englobaram desde encontros presenciais, em reuniões e oficinas em Brasília e no Rio de Janeiro, e nas regiões envolvidas, como também foram utilizadas diversas ferramentas eletrônicas, como e-mails, WhatsApp e Skype.

A fase seguinte incluiu o trabalho de campo realizado por pesquisadores locais, com acompanhamento dos avaliadores e supervisores. Para a execução dessa etapa, foi realizado um treinamento de três dias na Ensp/Fiocruz, com 42 profissionais da área da saúde. Os mais experientes foram selecionados para a função de supervisão de campo. A maioria dos subprojetos contou com dois pesquisadores locais para a coleta de dados e um supervisor. É interessante destacar que vários desses profissionais cursavam à época programas de mestrado ou doutorado na área de saúde pública ou coletiva. Além de atuar nas atividades preparatórias para a entrada no campo, os supervisores deram apoio na elaboração dos relatórios ao final da coleta de dados. Com exceção de uma única localidade, todas as equipes residiam na mesma cidade ou em cidades próximas, o que viabilizou a realização de encontros presenciais, facilitando a coordenação e a integração do trabalho. A entrada no campo foi mediada pela coordenação dos GC e pelos apoiadores locais, que facilitaram o acesso aos documentos que foram analisados e aos atores a serem entrevistados. Esta dinâmica variou de acordo com o local, muitas vezes em função do acesso geográfico, do compromisso político com o projeto por parte das instâncias estaduais e municipais, e da participação direta do apoiador local. A coleta de dados explicitou as diferentes expertises para elaboração e a implementação dos 15 projetos e, em alguns momentos, a pouca experiência dos grupos regionais na condução de contratos com a agência financiadora da intervenção.

Deve-se destacar que, com as mudanças ocorridas nos GC após processos eleitorais, as figuras do apoiador e, muitas vezes, do coordenador do GC mantiveram-se estáveis, e como elos de ligação com a UGP/MS. Na relação com a equipe de avaliadores, os apoiadores intermediaram diretamente as idas às regiões para pactuação dos ML, e posteriormente auxiliaram na coleta de dados, facilitando a marcação de entrevistas e a identificação de documentos a serem analisados. Segundo os apoiadores, a participação nas oficinas de alinhamento de conceitos de M&A e de revisão dos subprojetos ofereceu a eles um ferramental que permitiu desenvolver com mais propriedade suas funções no acompanhamento da implementação da intervenção, e apreender os propósitos da avaliação.

O trabalho de campo foi continuamente acompanhado a distância por equipes de apoio, valendo-se de todos os meios de comunicação disponíveis. A equipe de avaliadores realizou presencialmente pelo menos uma visita em cada região, quando foram feitas as entrevistas com os gestores estaduais de saúde e coordenadores dos GC.

Embora a análise dos dados tenha sido conduzida pelos avaliadores, a equipe da UGP/MS e os apoiadores locais participaram em diversos momentos, em reuniões presenciais ou a distância, para interpretação e corroboração de informações, dirimindo dúvidas e alinhando alguns achados.

Em relação à qualidade, a avaliação seguiu os princípios das boas práticas e da ética em pesquisa. Todas as SES das regiões incluídas receberam cópia do projeto e forneceram termo de anuência para a realização do levantamento de informações. Os responsáveis por bancos de dados e por sistemas de informação forneceram os Termos de Consentimento de Utilização de Dados (TCUD). A equipe de avaliadores buscou constituir um vínculo de transparência e confiança, por meio do compartilhamento de responsabilidades e de empoderamento, principalmente nos processos de qualificação e capacitação.

Evidências de construção de um processo colaborativo

O tipo de abordagem adotada na avaliação do QualiSUS-Rede aproximou-se da abordagem colaborativa de Rodríguez-Campos e Rincones-Gómez⁷, que prevê uma aliança entre avaliadores e stakeholders, com a condução do processo a cargo dos avaliadores. O Modelo de Avaliação Colaborativa (MAC) destes autores é apresentado na figura 2.

Figura 2
Componentes do Modelo de Avaliação Colaborativa

Este modelo, representado em forma de mandala, envolve um conjunto de seis componentes interativos, em que estão incluídas atividades voltadas para o planejamento e a execução da avaliação e da divulgação dos achados. No modelo não existe necessariamente uma sequência cronológica, mas um arranjo flexível e de superposição, no qual o primeiro componente deve permitir identificar a situação como um todo, incluindo os diversos stakeholders, e a intervenção que será avaliada. São realizadas a modelização da intervenção, a identificação do escopo da avaliação e a pactuação das atividades prioritárias. Em seguida, tornando explícitas as respectivas funções e responsabilidades, são esclarecidas as expectativas em torno do papel dos avaliadores e dos demais atores envolvidos. São pactuados o plano de avaliação, com seus respectivos critérios e padrões de julgamento, e seu orçamento. Busca-se estabelecer um compromisso coletivo de trabalho conjunto, compartilhando uma visão sobre a intervenção e o processo avaliativo. Confirmam-se os processos de participação e comunicação dos atores, assegurando a autoria de ideias e o protagonismo dos participantes nas ações. São estabelecidos também os canais de comunicação. O quinto componente valoriza o incentivo a práticas efetivas, motivando a expressão das diversidades, o aprendizado coletivo, com foco nos melhores padrões vigentes. O último componente destaca a importância de seguir as diretrizes que regem a qualidade dos processos avaliativos (utilidade, viabilidade, acurácia e propriedade), assim como da avaliação colaborativa: empatia, empoderamento, envolvimento, qualificação, apoio e confiança.

Tal como representado no modelo, no processo avaliativo do QualiSUS-Rede foram planejadas atividades conjuntas e foram problematizadas questões nas diversas fases. A implementação do projeto envolveu relações entre diversas instâncias e atores estratégicos. O compromisso de envolvimento coletivo dos diversos atores foi estabelecido desde o início do processo avaliativo e pactuado ao longo do caminho, em diferentes momentos. As questões problematizadas abrangeram o foco, o escopo e a terminologia em M&A, o conteúdo dos projetos, as dimensões da avaliação, entre outras. Em cada etapa do processo avaliativo, por meio de reuniões de trabalho e oficinas, os diversos atores foram sensibilizados e motivados para encaminhamentos, resolução e alinhamento das controvérsias existentes. Na etapa de definição do foco e dos propósitos da avaliação, as ações colaborativas ocorreram principalmente entre a instituição financiadora, a UGP/MS e o Laser/Ensp. O diálogo colaborativo entre esses atores viabilizou uma repactuação do foco e do propósito anteriormente definidos, realinhando-os com o objetivo de apreciar a implementação. A apreciação de viabilidade da avaliação apontou a precocidade de uma avaliação de resultado para o projeto. A ideia inicial de realizar uma avaliação de resultado foi problematizada pela equipe de avaliação por meio de argumentos técnico-operacionais, que indicavam a incipiente maturidade das iniciativas e a previsão de duração do projeto, incompatível com a mensuração de resultados.

Da mesma forma, na etapa de construção e validação dos 15 ML regionais, as relações de cooperação foram convergentes no sentido da aproximação das intervenções com os contextos locais. Nesse momento, foi fundamental a interação de UGP/MS, apoiadores locais, GC, apoiadores temáticos e equipe de avaliação. Ressalta-se que o processo eleitoral concomitante a esta etapa requereu a reformulação dos processos de implementação dos projetos. A atuação integrada entre UGP/MS, GC e equipe de avaliação foi decisiva para a repactuação e a legitimação junto às novas gestões das secretarias de saúde participantes. A produção de evidências fidedignas e legítimas compreendeu predominantemente a atuação de apoiadores locais e coordenadores dos GC, além do suporte da UGP/MS e da própria equipe de avaliação.

Esse envolvimento intencional dos múltiplos atores, cada qual com uma função e inserção para o desenvolvimento das ações, foi caracterizado como um processo formativo. Experiências em pesquisas de cunho participativo^14,15 sinalizam que, para que as ações e conhecimentos circulem em rede, os pesquisadores/avaliadores devem ter o conhecimento necessário da condução do processo, e devem manter os atores mobilizados e motivados. A experiência e a qualificação dos pesquisadores e supervisores de campo contribuiu substancialmente para o acesso às fontes de informação e a qualidade das evidências produzidas.

No processo analítico das evidências, a interação envolveu principalmente a UGP/MS e a equipe de avaliação. Ao término da avaliação, foi efetuada uma devolutiva formal aos financiadores da intervenção e da avaliação. Foi realizado também um seminário aberto de apresentação dos resultados da pesquisa avaliativa, com a participação dos principais atores envolvidos. Devido aos limites orçamentários, não foi possível uma devolutiva por local ou por região conforme previamente acordado.

Desafios e lições aprendidas

A equipe de avaliação defrontou-se com inúmeros desafios ao longo do processo. Entre eles, diversidade de stakeholders; pluralidade de interesses; rotatividade e número de participantes; resistência de alguns stakeholders a incluir-se nas atividades propostas; 15 projetos diferentes, com distintos níveis de abrangência e complexidade; regiões muito diversas do ponto de vista epidemiológico, econômico e sociocultural; diferentes expertises locais para elaboração dos subprojetos. A simultaneidade entre a ocorrência de eleições e a implementação da avaliação demandou a intensificação dos processos de interação, evidenciando a importância dos arranjos colaborativos nesses contextos de transição.

A iniciativa de prover uma rede de apoiadores institucionais pelo MS para atuar no QualiSUS-Rede, exercendo funções de mediação e comunicação entre os GC, a UGP/MS e a equipe de avaliação, foi crucial para os processos colaborativos descritos¹⁶. A maioria conhecia detalhadamente o contexto e o projeto que acompanhavam, à medida que participavam de sua construção e/ou da revisão de seus objetivos, metas e indicadores.

Ao longo desse processo, foi possível destacar algumas condições facilitadoras para apoiar os processos de colaboração em avaliação. A construção dos ML e sua posterior pactuação junto aos principais interessados nos seus locais de implementação permitiu uma aproximação dos avaliadores com os implementadores. O ML tornou-se uma ferramenta importante de comunicação entre os diversos atores, tendo inclusive servido de apoio no processo de implementação, na medida em que nele se encontravam descritos os insumos e as ações necessários para alcançar os efeitos a curto, médio e longo prazos, nos 15 projetos. Tornou-se assim uma ferramenta de monitoramento do processo de implementação.

O fim do Daras/MS, como instância de articulação das redes, durante o processo de implementação do QualiSUS-Rede, denotou um importante entrave dentro do que fora concebido e implementado para dar sustentação à rede de apoiadores. Em contextos com maior capacidade de governança, a posição do apoiador no acompanhamento dos desdobramentos das tarefas foi compartilhada, tornando-se mais efetiva.

O projeto, que em sua totalidade compreendia 15 experiências diferentes e complexas, foi um desafio instigante para a equipe de avaliação. Envolvia inúmeras e diversas instituições governamentais e não governamentais, com diferentes densidades de poder, nos níveis federal, estadual e municipal, com variadas expectativas em relação à implementação das intervenções e a avaliação¹⁷.

A dinâmica de interação de atores, com suas diferentes inserções e relações de poder, não aparecem de forma explícita no modelo de Rodríguez-Campos e Rincones-Gómez⁷. O modelo atende aos componentes técnicos operacionais, mas é limitado em relação à discussão das conexões que potencializam o processo colaborativo. Buscamos adaptar a mandala de avaliação colaborativa, privilegiando a inter-relação de os atores, conforme apresentado na figura 3.

Figura 3
Componentes da interrelação entre os stakeholders - adaptação do Modelo de Avaliação Colaborativa

Contudo, reflexões ainda são necessárias diante de avaliações colaborativas que envolvam intervenções abrangentes e complexas. Que pontes um processo avaliativo pode construir de forma a atravessar estas transições? Quem realmente controla uma avaliação que se propõe reflexiva, situada e que instrumentalize processos de gestão? Quem de fato se sensibiliza, se mobiliza e se alinha a processos avaliativos que se proponham resolutivos aos problemas que lhes deram origem? Como lidar com as diferenças de poder e influência entre os participantes? Isto exige por parte dos avaliadores um exercício de flexibilização e de ajuste às diferentes particularidades e contextos locais, sem perder de vista a conformidade à teoria da intervenção e ao modelo teórico da avaliação. Nesse sentido, o modelo utilizado atendeu à organização e ao mapeamento lógico dos componentes técnicos operacionais, mas foi limitado quanto à discussão das conexões que potencializam o processo colaborativo.

Agradecimentos

Gostaríamos de agradecer a todos os parceiros envolvidos nesta avaliação colaborativa, em especial, à equipe de avaliadores do Laser/Ensp, pelo amadurecimento conjunto; à Ana Lúcia Gurgel e Margarete Oliveira, por acreditarem no desenvolvimento de um trabalho de colaboração integrada, e aos Grupos Condutores e aos apoiadores do QualiSUS-Rede pela rica experiência compartilhada. ■

• Suporte financeiro: não houve
• *
  Orcid (Open Researcher and Contributor ID).

Referências

• ¹
  Stake RE. The art of case study research. Thousand Oaks: Sage Publications; 1995
• ²
  Cousins JB, EW. Framing participatory evaluation. New Direc. for Evaluat. 1998; (80):5-23.
• ³
  Moritz ÂFE. Satisfação do usuário com a dispensação de medicamentos para o tratamento da Aids no Brasil: contribuições para o desenvolvimento de um modelo de avaliação [internet] [tese]. [Rio de Janeiro]: Escola Nacional de Saúde Pública Sergio Arouca - Fundação Oswaldo Cruz; 2010 [acesso em 2019 mar 11]. Disponível em: https://www.arca.fiocruz.br/handle/icict/12828
  » https://www.arca.fiocruz.br/handle/icict/12828
• ⁴
  Furtado JP, Onocko-Campos RT, Moreira MIB, et al. A elaboração participativa de indicadores para a avaliação em saúde mental. Cad. Saúde Pública. 2013; 29(1):102-110.
• ⁵
  Scriven M. Evaluation thesaurus. 4. ed. Newbury Park: Sage Publications; 1991.
• ⁶
  Freire P. Pedagogia do oprimido. Rio de Janeiro: Paz e Terra; 1974.
• ⁷
  Rodríguez-Campos L, Rincones-Gómez R. Collaborative evaluations: step-by-step. 2. ed. Stanford: Stanford University Press; 2013.
• ⁸
  Fetterman DM, Campos LR, Zukoski AP. Collaborative, participatory, and empowerment evaluation: stakeholder involvement approaches. New York: The Guilford Press; 2017.
• ⁹
  Fundação Oswaldo Cruz. Escola Nacional de Saúde Pública Sergio Arouca. Relatório Final: Projeto de Formação e Melhoria da Qualidade de Rede de Atenção à Saúde - QualiSUS-Rede. Rio de Janeiro: ENSP-Fiocruz; 2015.
• ¹⁰
  Brasil, Ministério da Saúde. QualiSUS-Rede Manual Operacional Documento-Base. [internet]. v. 1; 2011 [acesso em 2019 mar 11]. Disponível em: http://portalarquivos2.saude.gov.br/images/pdf/2014/outubro/08/Vol1DocBaseQualiSUS-RedeWeb.pdf
  » http://portalarquivos2.saude.gov.br/images/pdf/2014/outubro/08/Vol1DocBaseQualiSUS-RedeWeb.pdf
• ¹¹
  Pope C, Mays N, organizadores. Qualitative research in health care. 3. ed. Porto Alegre: Artmed; 2009. 156 p.
• ¹²
  Greene JC, Caracelli VJ, Graham WF. Toward a Conceptual Framework for Mixed-Method Evaluation Designs. Sage Publications. 1989; 11(3):255-274.
• ¹³
  Creswell JW, Plano Clark VL. Designing and conducting mixed methods research. 2. ed. Los Angeles: Sage Publications; 2011.
• ¹⁴
  Clavier C, Sénéchal Y, Vibert S, et al. A theory-based model of translation practices in public health participatory research. Sociol. Health Illn. 2012; 34(5):791-805.
• ¹⁵
  Abreu DMF, Santos EM, Cardoso GCP, et al. Usos e influências de uma avaliação: translação de conhecimento? Saúde debate. 2017; 41(esp):302-316.
• ¹⁶
  Oliveira EA, Cardoso GCP, Santos EM, et al. O apoiador local como ator estratégico na implementação do QualiSUS-Rede: engenheiros de conexão? Saúde debate. 2017; 41(esp):275-289.
• ¹⁷
  Petticrew M. When are complex interventions "complex"? When are simple interventions "simple"? Eur. J. Public Health. 2011; 21(4):397-398.

Datas de Publicação

• Publicação nesta coleção
  06 Maio 2019
• Data do Fascículo
  Jan-Mar 2019

Histórico

• Recebido
  29 Maio 2018
• Aceito
  09 Jan 2019