Avaliação em saúde na República da Guiné-Bissau: uma meta-avaliação do Plano Nacional de Desenvolvimento Sanitário

RESUMO

Na República da Guiné-Bissau, um dos países mais pobres do mundo, o Plano Nacional de Desenvolvimento Sanitário (PNDS) pretende ser o documento de orientação nacional em saúde. O PNDS II (2008-2017) sucedeu ao PNDS I (1998-2002, revisto para 2003-2007). Ambos foram alvo de avaliações. Em 2017, completou-se um novo processo de planejamento, o PNDS III. Considerando o PNDS, procedeu-se a uma meta-avaliação objetivando avaliar a qualidade das avaliações efetuadas e verificar a utilização dos resultados das avaliações em intervenções subsequentes. Aplicados padrões de meta-avaliação aos relatórios de avaliação, verificou-se que, relativamente aos quatro princípios de meta-avaliação – utilidade, exequibilidade ou factibilidade, propriedade e precisão ou acurácia –, ambas as avaliações apresentam a classificação de ‘satisfatório’ (score superior a 66,6%), revelando um caráter de excelência para vários padrões. Metodologicamente, o relatório referente ao PNDS I sobressai sobre o do PNDS II. Na fase de planejamento, as sugestões deixadas pela avaliação anterior foram levadas em conta tanto para o PNDS II como para o III. A fragilidade do Estado da Guiné-Bissau emerge como padrão de especificidade. O PNDS tem sido uma referência em cenários de instabilidade. Tais avaliações foram ao encontro do atual desafio de considerar o contexto, e, nele, a cultura dos povos, como parte integrante da avaliação.

PALAVRAS-CHAVE
Estudos de avaliação como assunto; Implementação de plano de saúde; Planejamento; Cultura

ABSTRACT

In the Republic of Guinea-Bissau, one of the poorest countries in the world, the National Health Development Plan (NHDP) is intended to be the national health guidance document. NHDP II (2008-2017) succeeded NHDP I (1998-2002, revised for 2003-2007), being both assessed. In 2017, a new planning process – NHDP III – was completed. As for NHDP, a meta-evaluation was carried out, aiming to assess the quality of the evaluations carried out and to verify the use of evaluations’ results in subsequent interventions. Applying meta-evaluation patterns to evaluation reports, it was verified that, as to the four principles – utility, feasibility, adequacy and accuracy –, both evaluations presented a satisfactory score higher than 66.6%, showing an excellence character in various patterns. Methodologically, NHDP I report stands out from NHDP II. In the planning phase, the suggestions made by the previous evaluation wereconsidered for both NHDP II and III. The fragility of the Country emerges as a pattern of specificity, revealing that NHDP has offer a reference in scenarios of instability. These evaluations fit the current challenge of considering the context and the culture of peoples as an integral part of the evaluation.

KEYWORDS
Evaluation studies as subject; Implementation of health plan; Planning; Culture

Introdução

República da Guiné-Bissau, um Estado frágil

Situada no oeste do continente africano, constituída por uma faixa continental e pelo Arquipélago dos Bijagós, a República da Guiné-Bissau (RGB) é uma antiga colônia portuguesa que se tornou independente em 1973, após 15 anos de luta armada.

Desde a proclamação da independência, o País tem vivido situações de instabilidade política e institucional, materializada em repetidos golpes de estado e conflitos armados. Esse cenário tem implicado mudanças frequentes na liderança das equipes responsáveis pelos diversos ministérios. Salientam-se duas situações de particular instabilidade na história do País: o conflito político-militar de Junho de 1998 a Maio de 1999, que teve particular impacto na destruição de infraestruturas e no tecido social¹, e o golpe de Estado de 2012, com particular impacto até hoje sobre a estabilidade política e a economia nacional.

Segundo o ‘Index de Estados Frágeis de 2015’, publicado pelo The Fund for Peace², a RGB é considerado o 17º país mais frágil de mundo, num universo de 178 países, sendo que limitações governativas e de fornecimento de bens e serviços públicos aos cidadãos enquadram os critérios de falta de ‘legitimidade’ e ‘eficácia’ definidos pela Organização para a Cooperação e Desenvolvimento Econômico (OCDE) para a caracterização de Estado Frágil (EF)³.

Os Sistemas de Saúde (SS) de EF, pelos cenários de necessidades várias que apresentam, podem ser ‘inundados com ajuda’ de diversos formatos, incluindo Organizações Não Governamentais (ONG) internacionais, agências bilaterais e multilaterais, muitas vezes colaborando com organizações da sociedade civil locais, nem sempre capazes de compreender as implicações das suas intervenções no contexto específico do EF⁴. Ao lado de parcerias público-privadas que intervêm no setor da saúde, há também um elevado número de iniciativas globais de saúde, as quais são pensadas para ser um dos benefícios da globalização, constituindo programas geralmente orientados para doenças específicas⁵. Funcionários locais ficam incumbidos de gerir a ajuda, nem sempre concertada, prestada por esses múltiplos intervenientes.

Enquadrando o descrito, a RGB apresenta um contexto de fragilidade e carências no setor da saúde e do funcionamento do seu SS, sendo que, nas duas últimas décadas, a fração do Orçamento Geral do Estado (OGE) atribuída à Saúde foi inferior a 10%, o que representa menos de 15% das necessidades financeiras do funcionamento do setor, implicando a dependência do apoio externo⁶. Segundo a Organização Mundial da Saúde (OMS)⁷, cerca de 90% do financiamento desse setor têm sido garantidos por parceiros de cooperação.

O Planejamento Estratégico em Saúde na RGB

A RGB é um Estado independente desde 1973, estabeleceu sua Política Nacional de Saúde (PNS) em 1993 e tem feito ao longo dos anos o exercício do Planejamento Estratégico em Saúde (PES).

No intuito de definir um quadro de referência para as atividades e ações de desenvolvimento sanitário com base em uma política de desenvolvimento setorial, realizou-se, em colaboração com parceiros para o desenvolvimento, o primeiro grande exercício de PES na RGB, do qual resultou o Plano Nacional de Desenvolvimento Sanitário I (PNDS I), estabelecido com horizonte temporal o período 1998-2002⁸. Porém, a situação político-militar de 1998 comprometeu a execução do referido plano, que foi revisto para o horizonte temporal 2003-2007 com o objetivo de permitir que as atividades inicialmente programadas pudessem ser implantadas^6,9.

No final de 2007, avaliou-se a execução do PNDS I e entregou-se o relatório em Dezembro desse ano, validado pelo Ministério da Saúde Pública (Minsap)⁹.

Em resposta do setor da saúde aos desafios lançados pelo Documento de Estratégia Nacional de Redução da Pobreza II (Denarp II)¹⁰ e em continuidade do caminho percorrido com a implementação do PNDS I, elaborou-se o PNDS II com o horizonte temporal 2008-2017⁶. Desde a sua provação em 2008, o PNDS II manteve-se como o quadro de referência para as atividades e ações de desenvolvimento sanitário, embora sua execução tenha sido comprometida pela situação político-militar vivida¹¹. Em agosto de 2015, e num momento em que se sentia atenuada a instabilidade política, foi realizada uma análise do PNDS II por meio de uma consultoria externa objetivando contribuir com subsídios a serem considerados pelo Minsap na avaliação da implantação do plano, de forma a permitir que as atividades inicialmente programadas pudessem ser adequadas ao presente, sugerindo-se o prolongamento do horizonte temporal até 2020¹¹.

Em Março de 2017, iniciou-se um novo processo de planejamento do qual resultou a redação do PNDS III, tendo-se optado por não prolongar o horizonte temporal de implantação do PNDS II. O terceiro PNDS é orientado pela PNS adotada em Março de 2017, a qual substitui a de 1993 e aguarda ainda a validação por parte do Conselho de Ministros, prevista para o início de 2018; pelo Plano Estratégico e Operacional do Governo Terra Ranka 2015-2025¹²; e pelas recomendações que emergiram da I Conferência Nacional de Saúde em Outubro de 2014.

A avaliação tem sido parte integrante do processo de PES na RGB. Existe já um amplo consenso quanto à ideia de que as políticas públicas devem ser acompanhadas por avaliações sistemáticas, como parte da rotina governamental, adaptando-se continuamente em função dos resultados e recomendações por elas fornecidas – essa ideia traduz-se na necessidade de se utilizar a avaliação, sendo, porém, necessário questionar continuamente a sua capacidade em produzir as informações e julgamentos necessários para ajudar a melhorar o desempenho dos SS¹³.

Objetivos

Tendo por objeto os PNDS^6,8 como documentos de orientação estratégica nacional para o setor da saúde, e uma vez que existem dados de avaliação da sua implementação aprovados e disponíveis^9,11, realizou-se uma meta-avaliação com duplo objetivo: avaliar a qualidade das avaliações efetuadas e perceber até que ponto os resultados das avaliações foram ou estão sendo utilizados em intervenções subsequentes. Pretende-se, assim, contribuir para o aumento da credibilidade do processo avaliativo no âmbito do PES na RGB, contextualizando seu papel e potencializando sua utilidade para a tomada de decisões no setor da saúde.

Material e métodos

Esta meta-avaliação foi realizada por meio da análise de conteúdo¹⁴ dos documentos de avaliação de implementação dos PNDS I e II, do PNDS II e de onze entrevistas¹⁵ realizadas com avaliadores e atores-chave em PES na RGB.

Os onze entrevistados foram selecionados pelo investigador por deterem informações pretendidas para o estudo, constituindo, assim, uma amostra não probabilística intencional¹⁶. Dois deles são avaliadores, um está envolvido na avaliação do PNDS I e o outro em ambos os processos de avaliação, bem como na redação dos PNDS II e III. Os nove atores-chave, todos guineenses, participam ou participaram diretamente nos processos de planejamento em saúde, desde a elaboração do PNDS I até ao atual processo de redação do PNDS III. Ocupam ou ocuparam cargos de governo do setor em nível nacional, dois dos quais amplamente relacionados com programas específicos, i.e., Luta contra a Tuberculose e Lepra e Saúde Materno-Infantil, sendo que dois dos entrevistados ocupam atualmente cargos em organizações internacionais. As entrevistas foram gravadas com o devido consentimento dos entrevistados.

A meta-avaliação pode ser definida diretamente como uma avaliação da avaliação^17,18 e, operacionalmente, como um processo de descrição, julgamento e síntese de estudos ou quaisquer procedimentos de avaliação com o objetivo de assegurar a qualidade dos estudos avaliativos¹⁷. Proporcionando a análise sistemática de um estudo avaliativo¹⁹, sua metodologia permite verificar se os objetivos inicialmente traçados na avaliação foram atingidos de forma adequada e eficaz, e se o desenvolvimento do programa, projeto ou produto revelou seu mérito²⁰. Induz, assim, a uma prática de reflexão sobre todos os procedimentos utilizados na avaliação, dando oportunidade à incorporação de novos conhecimentos por parte não só dos meta-avaliadores como também dos avaliadores¹⁸, proporcionando uma ajuda às instâncias de decisão no sentido da melhoria do desempenho de suas ações¹⁷.

Assim, a meta-avaliação permite o acesso à informação sobre as limitações e as potencialidades da avaliação realizada, aumentando sua credibilidade e permitindo às partes interessadas julgar e contextualizar os resultados obtidos²¹.

Os procedimentos apropriados para a realização de uma meta-avaliação podem variar de acordo com o tipo de avaliação realizada²². A literatura sugere algumas possibilidades para a condução de uma meta-avaliação, sendo que o marco de referência conceitual mais conhecido é o produzido pela Joint Committee on Standards for Educational Evaluation (JCSEE) em 1981, atualizado em 1994, estando em vigor na nova versão de 2011^18,22,23. Um total de 30 padrões de avaliação são organizados em torno de quatro princípios: ‘Utilidade’ – atende às necessidades de informação das partes interessadas; ‘Exequibilidade ou factibilidade’ – é realista e moderada nos recursos e custos de modo a justificar a sua realização; ‘Propriedade ou correção’ – é conduzida eticamente, com respeito pelos envolvidos; ‘Precisão’ – divulga e transmite informação sobre o valor ou mérito dos programas avaliados com a devida validade^18,24.

Para facilitar a tarefa de julgar a qualidade das avaliações, a JCSEE construiu uma lista de verificação dos padrões, distribuídos por categorias, às quais é possível aplicar uma escala, permitindo julgar o nível de atendimento do objeto avaliado em relação a cada padrão^17,22. A literatura consultada salvaguarda que, conforme a natureza da avaliação ou meta-avaliação, a aplicação dos padrões será variada, porque dependendo do objeto em foco, alguns dos parâmetros podem não ser adequados ou aplicáveis²².

Neste trabalho, optou-se por utilizar treze dos 30 padrões de meta-avaliação JCSEE na análise dos relatórios de avaliação supracitados para o Princípio da Utilidade – Credibilidade do avaliador, Clareza dos relatórios, Impacto da avaliação; Princípio da Factibilidade ou Viabilidade – Procedimentos práticos, Viabilidade contextual; Princípio da Propriedade – Avaliação completa e justa, Disseminação de resultados, Conflito de interesses; Princípio da Precisão ou Acurácia - Análise de contexto, Descrição de propósitos e procedimentos, Fontes de informação confiáveis, Conclusões justificáveis, Imparcialidade dos relatórios. A definição textual dos padrões utilizados encontra-se descrita no quadro 1, elaborado com base na literatura consultada^17,23-25.

Quadro 1
Definição textual dos princípios e padrões utilizados

PRINCÍPIO	PADRÃO	DEFINIÇÃO TEXTUAL
UTILIDADE Atende às necessidades de informação das partes interessadas	Credibilidade do avaliador	As avaliações devem ser conduzidas por pessoas qualificadas que estabeleçam e mantenham a credibilidade no contexto da avaliação.
	Clareza dos relatórios	Os relatórios de avaliação devem descrever claramente o programa avaliado, incluindo o seu contexto e os propósitos, procedimentos e conclusões da avaliação, de forma a prover informações essenciais que sejam facilmente entendidas.
	Impacto da avaliação	As avaliações devem ser planejadas, conduzidas e divulgadas de forma a estimular o seu acompanhamento por parte dos interessados, potenciando a possibilidade de uso dos resultados da avaliação.
FACTIBILIDADE ou VIABILIDADE A avaliação é realista, realizada sem gastos desnecessários, potenciando a eficácia e a eficiência da avaliação.	Procedimentos práticos	Os procedimentos de avaliação devem ser práticos, a fim de evitar perturbações no momento da coleta de informações.
	Viabilidade contextual	As avaliações devem reconhecer, monitorar e equilibrar os interesses e necessidades culturais e políticas de indivíduos e grupos. A avaliação deve ser planejada e conduzida de forma a antecipar os diferentes posicionamentos dos diferentes grupos de interesse, conseguindo a cooperação de todos.
PROPRIEDADE A avaliação é conduzida eticamente, com respeito pelos envolvidos.	Avaliação completa e justa	As avaliações devem fornecer descrições completas dos principais pontos positivos, limitações e conclusões do programa avaliado, possibilitando a valorização dos aspectos de sucesso e a correção de falhas existentes.
	Disseminação de resultados	Os responsáveis pela avaliação devem assegurar que todas as partes interessadas, afetas ao processo avaliativo, e aquelas com direito legal tenham acesso aos resultados da avaliação na sua totalidade, a menos que tal acesso viole as obrigações legais e de propriedade.
	Conflito de interesses	As avaliações devem, de forma aberta e honesta, identificar e abordar conflitos de interesses reais ou percebidos que possam comprometer a avaliação.
PRECISÃO Divulga e transmite informação sobre o valor ou mérito dos programas avaliados com a devida validade.	Análise de contexto	O contexto no qual o programa está inserido deve ser descrito com o detalhamento necessário para que suas possíveis influências no programa possam ser identificadas.
	Descrição de propósitos e procedimentos	Os propósitos e procedimentos da avaliação devem ser descritos de forma clara e monitorados para que sejam facilmente identificados e examinados.
	Fontes de informação confiáveis	As fontes de informação usadas na avaliação devem ser descritas em detalhe, de forma a permitir a análise de adequação da informação coletada.
	Conclusões justificáveis	As conclusões de uma avaliação devem ser explicitamente justificadas para que possam ser analisadas pelos principais interessados ou afetados pela avaliação ou pelo programa.
	Imparcialidade dos relatórios	Os procedimentos para elaboração de relatórios deverão incluir métodos que previnam possíveis distorções causadas por sentimentos ou vieses pessoais, a fim de que os relatórios reflitam de forma justa os resultados da avaliação.

Aplicou-se uma escala quantitativa de 0-10 a cada um dos padrões, pela qual os valores 9 e 10 correspondem a ‘excelente’; 7 e 8, a ‘muito bom’; 5 e 6, a ‘bom’; 3 e 4, a ‘fraco’; 0 a 2, a ‘crítico’. Procedeu-se depois à requalificação por principio de avaliação em ‘Insatisfatório’, ‘Aceitável’ e ‘Satisfatório’, de acordo com as avaliações percentuais <33.3%, 33,3%-66,6% e >66,6%, respetivamente^13,17,19. Para a atribuição da classificação por padrão e, portanto, obtenção do valor por princípio de meta-avaliação, foi efetuada a análise de conteúdo¹⁴ dos relatórios de avaliação disponíveis.

Procurou-se, também, perceber até que ponto os resultados das avaliações efetuadas foram ou estão sendo utilizados em intervenções subsequentes, tendo-se procedido à análise de conteúdo do documento de planejamento que se seguiu à avaliação efetuada – o PNDS II. A informação obtida foi complementada por meio da análise de conteúdo das entrevistas realizadas com avaliadores e outros atores-chave na matéria. Por ser um processo dinâmico que decorre do momento, com a elaboração do PNDS III, as entrevistas tiveram também por objetivo obter subsídios sobre o processo de planejamento, concretamente sobre a utilidade e impacto das avaliações anteriores. Porque um dos avaliadores esteve ou está envolvido no planejamento, uma das entrevistas teve também por fim salvaguardar a imparcialidade. A metodologia utilizada encontra-se sintetizada na figura 1.

Figura 1
Mapa metodológico

Resultados e discussão

Comparando relatórios de avaliação

Da meta-avaliação efetuada por padrões, é possível verificar que, com respeito aos quatro princípios – utilidade, exequibilidade ou factibilidade, propriedade e precisão ou acurácia, ambas as avaliações apresentam a classificação ‘satisfatório’ por obterem score superior a 66,6% (figura 2).

Figura 2
Aplicação dos princípios de meta-avaliação (%)

Indo ao detalhe de cada um dos padrões avaliados (figura 3), conclui-se que ambos os relatórios apresentam um caráter de excelência para vários padrões, ou seja, para ‘credibilidade do avaliador’; ‘impacto da avaliação’; ‘viabilidade contextual’; ‘avaliação completa e justa’; ‘disseminação de resultados’; ‘conflito de interesses’; ‘análise de contexto’ e ‘conclusões justificáveis’. Para os padrões alusivos ao ‘princípio de propriedade’, verifica-se a excelência de ambos os relatórios.

Figura 3
Avaliação por padrão de meta-avaliação

Os quadros 2, 3, 4 e 5 descrevem a justificativa para a atribuição das classificações aos padrões definidos.

Quadro 2
Princípio de Utilidade, avaliação por padrões

Princípio de Utilidade	Relatório Avaliação PNDS I		Relatório Avaliação PNDS II
Padrão	Valor de classificação	Justificação	Valor de classificação	Justificação	Obs.
Classificação	R1=29 = 96,7%	Classificação final: Satisfatório	R2=25 = 83,4%	Classificação final: Satisfatório
Credibilidade do Avaliador	10	A coordenação da equipe de avaliadores detinha amplo conhecimento da realidade contextual e do processo de implantação do PNDS I.	10	O avaliador acompanhara o processo de redação e implantação do PNDS II, detendo amplo conhecimento da realidade contextual. "O fato de eu conhecer o PNDS II e o contexto da sua implantação é uma vantagem", refere o avaliador.
Clareza dos relatórios	10	O relatório descreve claramente o programa avaliado, incluindo o contexto, os propósitos, procedimentos e conclusões da avaliação.	5	Relatório muito extenso, falha na sistematização da informação, pouca referenciação. Introdução muito extensa. Descreve objetivos e o contexto de forma clara. Conclusões bem explícitas, mas procedimentos definidos sem muita clareza.	Informação obtida apenas na análise documental dos relatórios de avaliação.
Impacto da Avaliação	9	A avaliação foi acompanhada pelos interessados localmente, membros do Minsap. O posterior processo de planejamento do PNDS II "teve por base não apenas o relatório de avaliação da implementação do PNDS I como também uma consultoria externa da OMS Genebra [...]". A coordenação da equipe de avaliadores do PNDS I "foi sendo consultada ao longo do processo [...]".	10	Apesar de ter lugar num período conturbado da história da RGB, uma vez que "no período da avaliação houve três ministros da saúde diferentes e nenhum deles estava em condições de poder tomar decisões", todo o processo "foi muito apoiado pelo diretor nacional de saúde pública". O processo de avaliação "permitiu o diálogo entre parceiros e dirigentes do Minsap", bem como "a percepção dos tipos de adaptações que deveriam ser feitas para que pudesse finalmente ser implantado" - foi um documento que sustentou a opção tomada depois de não reformular o PNDS II, mas de redigir um novo plano - o PNDS III.	Informações obtidas com recurso das entrevistas realizadas.

Quadro 3
Princípio de Factibilidade ou Viabilidade, avaliação por padrões

Princípio de Factibilidade ou Viabilidade	Relatório Avaliação PNDS I		Relatório Avaliação PNDS II
Padrão	Valor de classificação	Justificação	Valor de classificação	Justificação	Obs.
Classificação	R1=16 = 80%	Classificação final: Satisfatório	R2=19 = 95%	Classificação final: Satisfatório
Procedimentos práticos	7	Embora muito claramente definidos no documento de relatório de avaliação, e, portanto, bem definidos numa fase de preparação da avaliação, os procedimentos demonstraram ser de difícil implantação no momento da avaliação no terreno. Foram elaborados em Lisboa, com base no documento de PNDS I, do qual se pretendia avaliar a implantação. Porém, ocorrera uma guerra civil e "ao chegar ao terreno, os dados para calcular os indicadores definidos tinham desaparecido". Os procedimentos demonstraram não ser tão práticos como poderiam parecer por se encontrarem desajustados da realidade local no momento da avaliação.	9	Apesar de os procedimentos não se encontrarem descritos com clareza no relatório, com recurso da entrevista com o avaliador, foi possível verificar que responderam às necessidades avaliativas e se enquadraram no então difícil contexto vivido no país e no setor da saúde. "A avaliação foi conduzida num contexto muito difícil [...]. Devido à desorganização existente, eu mesmo tomava a iniciativa de telefonar e marcar as reuniões [...]. Procurava confrontar a informação que obtinha nas reuniões e entrevistas com os dados quantitativos aos quais consegui ter acesso". Da entrevista, conclui-se que os procedimentos foram práticos e permitiram obter os dados que estão na gênese do documento avaliativo, sendo que, é falho o registo dessa abordagem procedimental.	Informações complementares obtidas com recurso das entrevistas realizadas.
Viabilidade contextual	9	"O pedido de avaliação vem do Minsap e não de algum dos financiadores ou parceiros", não se excluindo a existência de diferentes grupos de interesse no programa em avaliação. Processo avaliativo apoiado e motivado pelo Minsap.	10	"O objetivo foi o de tentar ouvir o maior número de dirigentes nacionais possível, não apenas os do Minsap como também os institucionais, os programáticos, os regionais. [...] Ouvi também os financiadores, pois a sua perspetiva é muito importante. Foi ainda possível conduzir um processo de discussão, houve sessões plenárias entre dirigentes da saúde e parceiros do setor [...]".	Informações obtidas com recurso das entrevistas realizadas

Quadro 4
Princípio de Propriedade, avaliação por padrões

Princípio de Propriedade	Relatório Avaliação PNDS I		Relatório Avaliação PNDS II
Padrão	Valor de classificação	Justificação	Valor de classificação	Justificação	Obs.
Classificação	R1=30 = 100%	Classificação final: Satisfatório	R2=30 = 100%	Classificação final: Satisfatório
Avaliação completa e justa	10	Os capítulos 4 e 5 do relatório debruçam-se exclusivamente sobre a descrição dos pontos positivos, limitações e conclusões do programa avaliado, deixando o capítulo 5 algumas sugestões e recomendações.	10	Nos capítulos 3 e 4, o relatório de avaliação descreve pontos positivos, limitações e conclusões do programa avaliado de forma clara, deixando recomendações para futuro.	Informação obtida apenas na análise documental dos relatórios de avaliação.
Disseminação de resultados	10	Conhecidos no relatório aqueles que solicitaram a avaliação e que dela participaram, foi validada em contexto de entrevista a disseminação integral dos resultados aos mesmos.	10	Conhecidos no relatório aqueles que solicitaram a avaliação e que dela participaram; foi validada em contexto de entrevista a disseminação integral dos resultados aos mesmos.	Informações complementares obtidas com recurso das entrevistas realizadas.
Conflito de interesses	10	No sumário executivo do documento de avaliação, descreve-se a equipe de avaliadores, sendo clarificada a não existência de conflitos de interesse. Informação validada em contexto de entrevista com os avaliadores.	10	A estreita relação do avaliador com o programa em análise poderia levantar questões de conflitos de interesse. Porém, no sumário executivo, ficam claros os objetivos da avaliação e o papel do avaliador nela. O avaliador refere, em contexto de entrevista: "O fato de eu conhecer a realidade e de estar envolvido ajudou-me a fazer a ponte entre a realidade vivida e o objetivo da avaliação da qual fui protagonista, apenas isso".	Informações complementares obtidas com recurso das entrevistas realizadas.

Quadro 5
Princípio de Precisão ou Acurácia, avaliação por padrões

Princípio de Precisão	Relatório Avaliação PNDS I		Relatório Avaliação PNDS II
Padrão	Valor de classificação	Justificação	Valor de classificação	Justificação	Obs.
Classificação	R1=47 = 94%	Classificação final: Satisfatório	R2=37 = 74%	Classificação final: Satisfatório
Análise de contexto	10	No capítulo 1 do relatório, o contexto encontra-se bem definido e analisado, percebendo-se sua influência nos resultados apresentados no capítulo próprio.	10	O contexto encontra-se amplamente definido no capítulo 1, com particular destaque para o planejamento estratégico em saúde.	Informação obtida apenas na análise documental dos relatórios de avaliação.
Descrição de propósitos e procedimentos	10	Estão claramente descritos no capítulo 2 os objetivos e procedimentos avaliativos previstos, sendo depois claramente descrita a forma como foram implantados.	5	No sumário executivo e no capítulo 2, objetivos e métodos, há uma definição dos objetivos de forma clara, embora os procedimentos não se encontrem descritos com clareza. Há referência a fontes de dados, mas não há detalhe na descrição dos procedimentos de captura de informação, não sendo possível examinar os passos dados ou repeti-los.	Informação obtida apenas na análise documental dos relatórios de avaliação.
Fontes de informação confiáveis	10	São definidas com clareza as fontes de dados, consideradas adequadas por serem intervenientes na implantação do PNDS ou por serem documentos relevantes relacionados com o plano em análise.	7	Embora as fontes de informação estejam identificadas e sejam adequadas ao processo avaliativo em questão, dado o contexto de instabilidade política vivido, "não foi possível chegar a obter dados de todos os intervenientes previstos". Não é possível fazer a monitoria do acesso às fontes inicialmente previstas por ausência de informação no relatório (ver procedimentos, padrão anterior).	Informações complementares alusivas ao relatório II obtidas com recurso das entrevistas realizadas.
Conclusões justificáveis	10	As conclusões foram enquadradas no contexto e permitem uma análise prospectiva dos resultados. "Tentamos ir além dos indicadores, tentamos relacionar com os ODM [Objetivos de Desenvolvimento do Milênio]".	10	As conclusões foram enquadradas no contexto e permitem uma análise prospectiva dos resultados. Do trabalho, resultam recomendações que podem ser utilizadas em processos de planejamento em saúde futuros.	Informações complementares obtidas com recurso das entrevistas realizadas.
Imparcialidade dos relatórios	7	Embora se creia, com base nas entrevistas, que os avaliadores tenderam a ser imparciais na avaliação realizada, não se encontra descrita no relatório de avaliação alguma estratégia ou método que previna distorções causadas por sentimentos ou vieses pessoais, sendo que a descrição detalhada dos procedimentos avaliativos concorre para a imparcialidade. "Pretendemos transmitir o que tinha de ser dito e fazê-lo de forma a criar como que uma alavanca, reconhecendo o que não havia sido feito, percebendo o que era preciso fazer", refere um dos avaliadores.	5	Embora se creia, com base na entrevista, que o avaliador tendeu a ser imparcial na avaliação realizada, não se encontra descrita no relatório de avaliação alguma estratégia ou método que previna distorções causadas por sentimentos ou vieses pessoais. Esse fato é agravado pela pouca clareza na definição dos procedimentos avaliativos. "Eu não concordo com algumas recomendações que deixo. Elas resultam e refletem o que foi dito durante as entrevistas realizadas", sublinha o entrevistado, salvaguardando a imparcialidade.	Análise feita sobretudo com base nos relatórios, atenuada por dados obtidos em entrevista com os avaliadores.

A excelência da ‘análise de contexto’ em ambos os relatórios de avaliação é reveladora da estreita relação dos avaliadores com o objeto em estudo. Porém, considerando aspectos processuais e metodológicos, o relatório referente ao PNDS I sobressai sobre o relatório PNDS II. Em ambas as avaliações, é feita uma análise muito bem contextualizada da realidade vivida na RGB, sendo que o relatório intercalar de subsídios para a revisão do PNDS II, embora defina os propósitos em que este é feito, não descreve de forma clara os procedimentos do processo avaliativo, não permitindo, por exemplo, sua replicação por outra equipe de avaliadores. Pressupondo que o avaliador recorreu a fontes de informação confiáveis, estas não são identificáveis no relatório nem descritas com detalhe. A imparcialidade dos relatórios é possível se os procedimentos para elaboração dos relatórios incluírem métodos que previnam possíveis distorções causadas por sentimentos, opiniões ou vieses pessoais¹⁸. Sobretudo no relatório intercalado de subsídios para a revisão do PNDS II, não são descritos os métodos que previnem distorções, aflorados na primeira avaliação, quando os procedimentos avaliativos são descritos com maior detalhe.

Verifica-se, entretanto, que o objetivo desse segundo processo de avaliação não foi o de efetuar a avaliação final da implantação de um plano ou programa, mas o de obter subsídios para a tomada de decisão sobre a reformulação ou nova elaboração de um PNDS para a RGB. Assim sendo, o impacto de tais falhas é suavizado pelo próprio objetivo da avaliação.

Considerando o padrão ‘procedimentos práticos’, conclui-se que, em relação à avaliação de implementação do PNDS I, esses procedimentos, embora estejam bem descritos e pareçam práticos de implementar, evidenciam algum risco de implementação se considerarmos o contexto da situação vivida pela RGB na data da avaliação. Segundo os avaliadores, para a avaliação da implantação do PNDS I,

os procedimentos foram definidos em fase anterior ao deslocamento até a RGB, tendo sido foi feita a planificação exaustiva do processo avaliativo e seus procedimentos, incluindo, por exemplo, o cronograma de coleta de informação.

O trabalho de preparação da avaliação foi feito sem um conhecimento integral, da realidade vivida então na RGB, que diferia daquela em que fora redigido o PNDS. Afinal, entre a redação do PNDS I e a avaliação da sua implantação ocorrera uma guerra civil com amplas consequências para o setor da saúde. Segundo um dos avaliadores entrevistados, no momento da avaliação, sucedeu que:

Levávamos uma estrutura de avaliação e ao chegar ao terreno os dados para calcular os indicadores definidos tinham desaparecido. Aqueles objetivos tinham deixado de fazer sentido. Houve um retrocesso, faltava tudo. Faltavam os RH, os recursos farmacológicos, as infraestruturas. Tivemos de adaptar a estrutura da avaliação àquele novo contexto.

Para o mesmo padrão ‘procedimentos práticos’, o segundo relatório apresenta a sua descrição de forma mais limitada no corpo do texto, sendo que o avaliador na entrevista realizada esclarece a forma como implantou a avaliação, adaptando os procedimentos à realidade contextual vivida no momento:

A avaliação foi conduzida num contexto muito difícil. No período da avaliação, houve três ministros da saúde e nenhum deles estava em fase de poder tomar decisões. A avaliação foi acompanhada por um dos diretores nacionais, muito apoiado pelo diretor nacional de saúde pública. Devido à desorganização existente, eu mesmo tomava a iniciativa de telefonar e marcar reuniões. O objetivo foi o de tentar ouvir o maior número de dirigentes nacionais possível, não apenas os do Minsap como também os institucionais, os programáticos, os regionais. Ouvi também os financiadores, pois a sua perspectiva é muito importante. […]. Foi ainda possível conduzir um processo de discussão, houve sessões plenárias entre dirigentes da saúde e parceiros do setor [...]. Procurava confrontar a informação que obtinha nas reuniões e entrevistas com os dados quantitativos a que pude ter acesso.

Considerando o padrão ‘clareza dos relatórios’ – segundo o qual os relatórios devem descrever claramente o programa avaliado, incluindo seu contexto e propósitos, procedimentos e conclusões da avaliação, de forma a prover informações essenciais que sejam facilmente entendidas¹⁸ –, o relatório referente à avaliação e implantação do PNDS I é mais claro que o relatório intercalado de subsídios para a revisão do PNDS II. Salvaguardada essa assimetria pelo objetivo do processo avaliativo, importa ressaltar que ambos os relatórios são de excelência no que concerne à justificativa das conclusões encontradas, de forma a que possam ser analisadas e utilizadas posteriormente, conferindo ao padrão ‘conclusões justificáveis’ avaliação de excelência para ambas as avaliações.

Finalmente, com relação ao padrão ‘avaliação completa e justa’, verifica-se que estão elencados em ambos os relatórios não apenas os pontos positivos e limitações como também sugestões baseadas a análise profunda do contexto, numa abordagem realista dos pontos fracos e na valorização dos pontos de sucesso de cada um dos PNDS.

Ilustrando o descrito, no relatório de avaliação do PNDS I, pode-se, por exemplo, ler:

Pode-se, assim, concluir que os serviços de saúde […] continuam a não assegurar cuidados e qualidade […] embora em alguns casos se verifique uma ligeira melhoria e um esforço mensurável de dotar o País de infraestruturas de saúde. É preciso, contudo, pensar no futuro e nesse sentido sugerimos […]. A colaboração intersetorial e o estabelecimento de parcerias ficaram aquém do que se esperava, pelo que é necessário […].

No mesmo sentido, no relatório intercalado de subsídios para a revisão do PNDS II, lê-se, por exemplo:

De uma forma simplista, houve progressos importantes em dois eixos do PNDS […], alguns progressos mal sustentados em quatro eixos […] e em dois eixos resultados francamente insatisfatórios […]. Apesar da instabilidade política que meneou sua implantação e execução, o PNDS II teve o mérito de se manter como o documento orientador do setor da saúde e de contribuir para alguma estabilidade de um setor essencial para o desenvolvimento da sociedade guineense. […] Como recomendações finais, damos prioridade às seguintes […].

Indo ao encontro do segundo objetivo desta meta-avaliação, verifica-se que tais avaliações foram amplamente levadas em conta no processo de planejamento que se lhes seguiu. Quanto à utilização de seus dados, na fase de planejamento, as sugestões deixadas pela avaliação anterior foram também levadas em conta tanto na elaboração do PNDS II como do PNDS III. Os relatórios de avaliação foram, em ambos os momentos, documentos-chave para o processo de planeamento. “O resultado das avaliações de implantação dos PNDS foram e são amplamente considerados nos processos de planejamento em saúde”, refere um dos atores-chave entrevistados. Outro ator-chave refere, ao abordar o processo de elaboração do PNDS II, que “a avaliação anterior foi levada em conta, os comitês foram criados com base nas recomendações constantes no documento de avaliação”. Abordando o processo de PES que resultou na elaboração do PNDS III, um dos entrevistados esclarece: “com base no relatório de avaliação da implementação do PNDS II é que foi tomada a decisão de redigir um novo plano, de começar de novo”.

Refletindo sobre os resultados

A relação dos avaliadores com os planos avaliados e com o processo de PES na RGB merece da nossa parte franco interesse e cuidado, procurando por um lado verificar a imparcialidade e, por outro, garantir a credibilidade desta meta-avaliação, com base no fato de que cada estudo avaliativo é passível de ser tendencioso. As decisões que um avaliador toma sobre o que examina – métodos, instrumentos, grupos a ouvir etc. – influenciam o resultado da avaliação²¹. Os mesmos autores referem que a própria história pessoal do avaliador, suas preferências, sua experiência afetam a forma de conduzir o estudo. Nesta meta-avaliação, tal realidade tornou-se um fato evidente, embora, na medida do possível, a imparcialidade tenha sido salvaguardada, garantindo a credibilidade por meio da metodologia seguida, a qual foi conforme à literatura consultada. O fato de terem sido considerados nesta meta-avaliação não apenas o conteúdo dos relatórios como também as informações obtidas de avaliadores envolvidos diretamente e de outros com alguma externalidade, de usuários das avaliações e de atores-chave com diversas funções em PES permitiu uma meta-avaliação participativa, enriquecendo os resultados obtidos²¹.

Uma avaliação precisa ser útil para aqueles que a encomendam e que nela têm interesse²². Ao longo de ambos os processos avaliativos, os avaliadores referem ter tido tal preocupação sempre subjacente. Por exemplo, perante a realidade da disparidade de contexto em que fora elaborado o PNDS I e em que decorreu a avaliação da sua implantação, um dos avaliadores referiu que “O grande desafio foi transformar situações avaliadas não desejáveis em contributos para o crescimento daquele país”.

Ao se fazer nesta meta-avaliação a verificação da utilização posterior dos dados de avaliação de ambos os processos em análise, foi-se ao encontro de um dos grandes desafios da meta-avaliação, que era o de verificar em que medida os resultados foram utilizados, sendo a avaliação tão mais útil quanto mais usada posteriormente²².

Verifica-se que, na RGB, a avaliação da implantação da estratégia nacional em saúde descrita no PNDS é um dos passos do PES, melhor dizendo, o primeiro do processo de planejamento.

Tendo consciência de que a avaliação não consegue ficar isenta das agendas de desenvolvimento^26,27, o processo avaliativo da implantação do PNDS como etapa de planejamento foi, segundo os avaliadores entrevistados, “amplamente discutido com os parceiros”. Segundo quem o viveu na primeira pessoa, apesar das exigências contextuais marcadas pela instabilidade política que se vivia nos períodos em que decorreram as avaliações em análise, “foram trabalhos muito interessantes porque foram feitos numa perspectiva formativa”. Como salienta um avaliador, referindo-se à avaliação de implementação do PNDS I:

Nós, equipe de trabalho, discutimos, inclusive, a forma de redação do relatório para que não fosse interpretado em forma de sanção pelo que não se havia cumprido, mas, sim, dando um estímulo, como que uma alavanca, para que, reconhecendo o que não havia sido feito, se pudesse perceber o que seria necessário para que no futuro se conseguisse fazer.

As avaliações são parte integrante de um processo que, embora não espelhe progressos significativos em indicadores específicos, dado que o grau de implementação das estratégias definidas é reduzido, exemplifica um exercício de PES num EF, permitindo abrir caminho a uma convergência de visão.

Especificidade como elemento diferenciador – a importância do contexto guineense

Um dos entrevistados sintetiza uma ideia-chave desta meta-avaliação quanto à especificidade das avaliações analisadas como parte integrante do processo de PES na RGB:

Com este processo de avaliação e planejamento, criou-se no Minsap uma cultura de planificação. Podemos questionar o porquê desse desejo sempre presente de planejar, quer em nível da saúde global no País quer dos programas verticais, e o como se viabilizou a instalação desta cultura num cenário de tanta instabilidade contextual, como é o da RGB. Eventualmente, por influência dos parceiros, sobretudo financiadores, de quem existe tão forte dependência. O certo é que a RGB, no nível do setor da saúde, pode não ter competência para os processos de planificação e implantação, mas estes têm uma forte expressão.

A fragilidade do Estado na RGB, com tudo o que esta implica em termos de contextualização do País, emerge como padrão de especificidade^18,25, ou seja, o fato de a RGB apresentar características de EF e de a análise de contexto ter sido amplamente considerada nas avaliações efetuadas permite caracterizá-las como detentoras de mérito e de valor, uma vez que são avaliações adequadas e respondem às necessidades de informação dos interessados. A ampla consideração do contexto guineense na realização das avaliações em análise leva ainda à reflexão sobre a adaptação das metodologias de avaliação ao contexto onde é feita.

Avaliações bem planejadas e executadas são particularmente importantes em países com instituições frágeis e populações vulneráveis²⁸. Sendo a avaliação um esforço desafiador e empolgante, deverá criar conhecimento confiável e útil por meio de práticas críveis e perspicazes²⁸. Verifica-se, porém, que é impraticável uma receita única para avaliação - muitos dos princípios de avaliação, pressupostos e práticas que se desenvolveram em países altamente desenvolvidos são considerados inadequados para contextos menos desenvolvidos²⁹. Em nível global, existe uma preocupação crescente com o fato de que uma abordagem de avaliação padronizada de acordo com o modelo de avaliação ocidental nem sempre é apropriada em contextos culturais e de desenvolvimento distintos²⁹.

Considerando concretamente os países em desenvolvimento, verifica-se a preponderância de atores externos, como a comunidade de doadores, na formalização da prática de avaliação. Essas abordagens orientadas pelos doadores são causadoras de insatisfação e têm levado à reflexão sobre a necessidade de adequar e adaptar estratégias de avaliação a diferentes contextos socioculturais, políticos, econômicos e ecológicos²⁷. Segundo os mesmos autores, tal reflexão é motivada pelo pressuposto de que a metodologia é sensível ao contexto.

No que se refere ao Continente Africano, constata-se que até a década de 1980, a avaliação foi em grande parte impulsionada por atores internacionais, sendo que, ainda nos nossos dias, as avaliações na África são, sobretudo, encomendadas por partes interessadas não africanas, que compreendem principalmente doadores internacionais ou agências de desenvolvimento que administram ou financiam programas de desenvolvimento no continente²⁹.

Embora o desejo de conferir relevância cultural à avaliação esteja atualmente no centro do discurso sobre avaliação, tentativas globais de implantar práticas culturalmente sensíveis ainda não conseguiram integrar as vozes africanas³⁰. Perante a constatação de que o atual paradigma de avaliação ocidental não é sempre aplicável ao contexto africano, emergem, na comunidade de avaliadores, argumentos a favor de um paradigma de avaliação orientado para a África que seja mais adequado às condições, culturas e instituições africanas²⁹.

Essa reflexão desafia aqueles que acreditam em processos de avaliação orientados unicamente por indicadores quantitativos que negligenciam o que é menos tangível. Por outro lado, reforça a necessidade de enquadramentos institucionais que facilitem abordagens participativas e reconheçam os sistemas de valor que apoiam a avaliação e apelam aos Estados para que recorram à avaliação para melhorar a natureza de suas abordagens de governança²⁸. A comunidade de avaliadores defende acordos entre o governo, a sociedade civil e as empresas para permitir a reflexão sobre o mérito e o valor das avaliações e promover o seu uso²⁸.

Em suma, urge considerar o contexto, e nele a cultura dos povos, como uma parte inegavelmente integrada nos diversos contextos de avaliação e, portanto, parte integrante da avaliação. A cultura está presente na avaliação, não apenas nos contextos em que os programas são implantados como também nos projetos desses programas e na abordagem ou métodos que os avaliadores optam por utilizar³⁰.

Conclusões

Mediante a existência de dados de avaliação da implantação dos documentos de orientação estratégica nacional para o setor da saúde na RGB, os PNDS, realizou-se uma meta-avaliação. Deste trabalho, é possível tirar ilações sobre a qualidade metodológica e processual de cada uma das avaliações analisadas, contribuindo, assim, para que as avaliações futuras possam cumprir cada vez mais a excelência de procedimentos. As maiores contribuições, porém, prendem-se à conclusão evidente da relação entre avaliação e planejamento e à relação com a especificidade dessas avaliações, realizadas em um Estado africano classificado como frágil.

Este trabalho deixa o desafio de aprofundar a temática do PES na RGB, lendo a sua história no contexto dos EF. Por outro lado, o fato de os dados de avaliação serem utilizados em planejamento abre a curiosidade para olhar para processos específicos que emergem das avaliações e planificações, como é o caso, por exemplo, da formação de recursos humanos da saúde.

Os PNDS criaram no Minsap uma ‘cultura de planificação’ amplamente motivada pelos financiadores do setor. Esses documentos acabaram por ser a referência em cenários de instabilidade, demonstrando estar a montante de quem governa, resistindo às adversidades e focando os desafios da sustentabilidade do setor da saúde da RGB.

Há que se sublinhar que, provavelmente pelo amplo conhecimento que os avaliadores detinham sobre a realidade da RGB, as avaliações foram ao encontro do desafio atual de introduzir na análise a questão dos contextos e espaços culturais em que a pesquisa avaliativa ocorre, considerando-os parte integrante da definição metodológica da avaliação.

Como advertência para processos futuros em que isso não seja intuitivo, fica a reflexão sobre a necessidade de olhar para as avaliações como empreendimentos complexos influenciados profundamente tanto pelo contexto como pelas pessoas envolvidas; conjugar os propósitos de uma avaliação com as reais necessidades e prioridades das partes interessadas é essencial para garantir a utilização dos resultados da avaliação no sentido de fundamentar a tomada de decisão.

• Suporte financeiro: não houve

Agradecimentos

A Fernando Cupertino pela preciosa colaboração na revisão ortográfica do artigo.

Referências

• ¹
  Guiné Bissau. Ministério da Educação. Relatório do estado do Sistema Educativo para a reconstrução da escola da Guiné-Bissau sobre novas bases. 2015.
• ²
  Messner JJ. Fragile States Index 2015. Washington: The Fund for Peace; 2015.
• ³
  Newbrander W, Waldman R, Shepherd-Banigan M. Rebuilding and strengthening health systems and providing basic health services in fragile states. Disasters. 2011; 35:639-660
• ⁴
  McPake B, Witter S, Ssali S, et al. Ebola in the context of conflict affected states and health systems: case studies of Northern Uganda and Sierra Leone. Confl Health. 2015; 9:23-32
• ⁵
  World Health Organization. The impact of global health initiatives on health systems [internet]. Geneva: WHO; c2018 [acesso em 2018 ago 23]. Disponível em: http://www.who.int/alliance-hpsr/researchsynthesis/project3/en/
  » http://www.who.int/alliance-hpsr/researchsynthesis/project3/en/
• ⁶
  Guiné-Bissau. Ministério da Saúde Pública. Plano Nacional de Desenvolvimento Sanitário II 2008-2017. Guiné-Bissau: Ministério da Saúde Pública; 2008.
• ⁷
  Organização Mundial da Saúde. Estratégia de cooperação da OMS com os países, 2009-2013: Guiné-Bissau. República do Congo: OMS; 2008.
• ⁸
  Guiné-Bissau. Ministério da Saúde Pública. Plano Nacional de Desenvolvimento Sanitário 1998-2002. Guiné-Bissau: Ministério da Saúde Pública ; 1998.
• ⁹
  Fronteira I, Ferrinho F, Dussault G, et al. Relatório de Avaliação Final da Execução do Plano Nacional de Desenvolvimento Sanitário 2003-2007 da República da Guiné-Bissau. Relatório de Avaliação Final, Associação para o Desenvolvimento e Cooperação Garcia de Orta; 2007.
• ¹⁰
  Guiné-Bissau. Ministério da Economia, do Plano e da Integração Regional. Deuxième Document de Stratégie Nationale pour la Réduction de la Pauvreté-DENARP II 2011-2015. Guiné-Bissau: Ministério da Economia, do Plano e da Integração Regional; 2011.
• ¹¹
  Ferrinho P. Subsídios para a Revisão do Plano Nacional de Desenvolvimento Sanitário 2008-2017 até 2020 - apreciação da sua implementação em Agosto de 2015 e contribuição para um roteiro para a sua revisão. Guiné-Bissau; 2015.
• ¹²
  European External Action Service. Terra Ranka: A Fresh Start for Guinea-Bissau. Guiné-Bissau: EEAS; 2015 [acesso em 2017 out 26]. Disponível em: https://eeas.europa.eu/headquarters/headquarters-homepage_en/2105/Terra
  » https://eeas.europa.eu/headquarters/headquarters-homepage_en/2105/Terra
• ¹³
  Hartz ZMA. Meta-avaliação da gestão em saúde: desafios para uma nova saúde pública. Ciênc Saúde Colet. 2012; 17(4):832-834
• ¹⁴
  Bardin L. Análise de Conteúdo. 5. ed. Lisboa: Edições 70; 2008.
• ¹⁵
  Flick U. Métodos qualitativos na investigação científica. Lisboa: Monitor; 2005.
• ¹⁶
  Marconi M, Lakatos E. Fundamentos de metodologia científica. 2. ed. São Paulo: Atlas; 2007.
• ¹⁷
  Samico I, Felisberto E, Figueiró AC, et al. Avaliação em Saúde: bases conceituais e operacionais. Rio de Janeiro: Medbook; 2010.
• ¹⁸
  Hartz ZMA. Principles and standards in metaevaluation: guidelines for health programs. Ciênc Saúde Colet. 2006; 11(3):733-738
• ¹⁹
  Hartz Z, Goldberg C, Figueiro AC, et al. Multi-strategy in the Evaluation of Health Promotion Community Interventions: An Indicator of Quality. In: Potvin L, McQueen DV, Hall M, et al. Health Promotion Evaluation Practices in the Americas. New York: Springer; 2008. p. 253-267.
• ²⁰
  Machado TR, Chaise RM, Elliot LG. A meta-avaliação como instrumento de qualidade nas Políticas Públicas: o Programa Segundo Tempo. Rev Meta Aval. 2016; 8:1-20
• ²¹
  Furtado JP, Laperrière H. Parâmetros e paradigmas em meta-avaliação: uma revisão exploratória e reflexiva. Ciênc Saúde Colet. 2012; 17(3):695-705
• ²²
  Elliot LG. Metaevaluation: from approaches to possibilities of application. Aval Pol Públ Educ. 2011 out-dez; 19(73):941-964
• ²³
  Yarbrough DB, Shulha LM, Hopson RK, et al. The Program Evaluation Standards: a guide for evaluators and evaluatin users [internet]. 3. ed. Thousand Oaks: Sage; 2011 [acesso em 2017 nov 15]. Disponível em: http://www.jcsee.org/program-evaluation-standards-statements
  » http://www.jcsee.org/program-evaluation-standards-statements
• ²⁴
  Hartz Z, Felisberto E. Meta-avaliação da Atenção Básica à Saúde: teoria e prática. Rio de Janeiro: Fiocruz; 2008.
• ²⁵
  Brousselle A, Champagne F, Contandriopoulos AP, et al. Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz ; 2011.
• ²⁶
  Craveiro I, Hartz Z. A equidade na investigação avaliativa com foco na cooperação em Saúde para o desenvolvimento. An Inst Hig Med Trop. 2017; 16(supl):S31-S38.
• ²⁷
  Carden F, Alkin MC. Evaluation Roots: An International Perspective. J Multidiscip Eval. 2012; 8:102-118
• ²⁸
  Fanie Cloete, Babette Rabie, Christo de Coning. Evaluation Management in South Africa and Africa. [Sem local]: SUN MeDIA Stellenbosch; 2014.
• ²⁹
  Cloete F. Developing an Africa-rooted programme evaluation approach, African J Public Affairs [internet]. 2016; 9(4):55-70 [acesso em 2017 dez 6]. Disponível em: http://repository.up.ac.za/handle/2263/59022
  » http://repository.up.ac.za/handle/2263/59022
• ³⁰
  Chilisa B, Major TE, Gaotlhobogwe M, et al. Decolonizing and Indigenizing Evaluation Practice in Africa: Toward African Relational Evaluation Approaches. Can J Program Eval;. 2016; 30(3):313-328

Datas de Publicação

• Publicação nesta coleção
  Jul-Sep 2018

Histórico

• Recebido
  02 Mar 2017
• Aceito
  16 Ago 2018