Indicadores de monitoramento e avaliação da implementação da Política Nacional de Saúde Integral da População Negra¹

Resumo

O artigo apresenta a metodologia de construção de um painel de indicadores para monitoramento e avaliação da implementação da Política Nacional de Saúde Integral da População Negra (PNSIPN). A metodologia foi desenvolvida em quatro etapas: identificação do cenário, contexto da implementação, indicadores da PNSIPN e validação dos indicadores. Em todas as etapas participaram os proponentes da Política, burocratas de nível de rua, assessores técnicos dos colegiados de representação de gestores, representantes dos movimentos sociais, de associações e fóruns de patologias. Esses atores identificaram e pactuaram os indicadores do painel, categorizados em indicadores de enfrentamento ao racismo; indicadores das condições sociodemográficas segundo sexo, faixa etária e raça/cor; e indicadores de morbidade e mortalidade segundo sexo, faixa etária e raça/cor. O painel de indicadores para o monitoramento e análise da implementação da PNSIPN é viável e pode ser utilizado em nível municipal, estadual e federal, possivelmente subsidiando o processo de implementação e possibilitando o aprimoramento da gestão. A metodologia contribui para identificar indicadores de políticas públicas destinadas à garantia dos direitos humanos, da vigilância de direitos e da advocacy.

Palavras-chave: Políticas Públicas em Saúde; Saúde da População Negra; Avaliação em Saúde; Indicadores de Saúde; Indicadores de Gestão

Abstract

The article presents the methodology used in building a panel of indicators for monitoring and evaluating the implementation of the National Policy for the Integrative Health of the Black Population (PNSIPN). The methodology was developed in four stages: scenario identification, implementation context, PNSIPN indicators and validation of the indicators. The proponents of the policy, street-level bureaucrats, technical advisors of the collegiate representing the managers, representatives of social movements, of associations and forums of pathologies participated in every stage. Those actors identified and agreed on the panel’s indicators, which have been categorized into indicators of coping with racism; indicators of sociodemographic conditions according to gender, age and race/color; and indicators of morbidity and mortality according to gender, age and race/color. The indicator panel for monitoring and evaluating the PNSIPN implementation is feasible and can be used at municipal, state and federal levels, possibly subsidizing the implementation process and enabling the improvement of management. The methodology contributes to the identification of indicators for public policies aimed at guaranteeing human rights, rights surveillance and advocacy.

Keywords: Public Health Policies; Black Population Health; Health Evaluation; Health Indicators; Management Indicators

A avaliação do processo de implementação de uma política pública envolve o julgamento da materialização, falha ou sucesso de sua formulação teórica e das ações empreendidas para alcançar as proposições para essa fase da política (Felisberto et al., 2008; Hartz, 1999; McConnell, 2015). Para Tamaki et al. (2012), antes de proceder a essa avaliação é necessário monitorar a política, o que envolve criar um processo de coleta de dados estratégicos e observar, analisar e avaliar como as ações, estratégias e os programas da política pública estão sendo implementados: o monitoramento propõe o “acompanhamento rotineiro de informações [de saúde] relevantes […] para subsidiar tomadas de decisão, a identificação, encaminhamento de solução e redução de problemas, bem como a correção de rumos” (Tamaki et al., 2012, p. 841).

Segundo Novaes (2000), é importante entender que a avaliação é um processo pontual que deve ocorrer em um período estabelecido e envolve julgamento de valor ou mérito, enquanto o monitoramento é um processo contínuo que pode, inclusive, fornecer informações para que se possa realizar uma avaliação.

Arrethe (2001) afirma que o monitoramento da implementação de uma política é complexo e contínuo, influenciado tanto por seu conteúdo quanto pelo contexto, bem como pela relação entre os meios social, econômico e político e o próprio governo. Esses fatores podem interferir na implementação, alterando os rumos inicialmente previstos e podendo impactar planos e até mesmo objetivos a fim de alcançar o efeito proposto.

Uma das formas de monitorar o processo de implementação de uma política é definir indicadores, que, segundo Jannuzzi (2016), são instrumentos técnicos que possibilitam, além de compreender os marcadores ideológicos da formulação da política, monitorar seu processo de implementação e avaliar seu sucesso/avanço ou fracasso/retrocesso. Para isso, é fundamental construir um painel de indicadores consistente e de fácil entendimento, que seja factível e útil para gestores e sociedade civil, e que “permita o aprofundamento da investigação acadêmica sobre a mudança social e sobre os determinantes dos diferentes fenômenos sociais” (Jannuzzi, 2016, p. 22).

A construção de painéis de indicadores de monitoramento e avaliação pode subsidiar análises menos ingênuas e ser útil para documentar o desenvolvimento da política, documentar e informar sua implementação, fornecer dados para prestar contas dos recursos investidos e realizar uma administração pública mais eficiente (Arrethe, 2001; Brousselle et al., 2011; CDC, 2015; Faria, 2012; Silva, 2005).

O conjunto de indicadores referentes a determinado aspecto da realidade social ou à área de intervenção de determinado fenômeno é denominado “sistema” ou “painel de indicadores”. O sucesso na sua construção é determinante para o acompanhamento da implementação da política a que se refere. Esse acompanhamento, assessorado pelos indicadores, permite identificar e evidenciar sucessos e falhas, encaminhar soluções e ajustes, corrigir e aprimorar ações, serviços ou programas (Cunha, 2018; McConnell, 2015).

Políticas de ações afirmativas e a Política Nacional de Saúde Integral da População Negra

A Assembleia Nacional Constituinte (ANC) de 1987/1988 representa um momento histórico no Brasil, no qual diferentes movimentos populares incidiram sobre os marcos legais do Estado, demandando direitos. Segundo Santos (2015, p. 40),

a intensa participação […] de diferentes […] movimentos populares, religiosos, sanitaristas, [de] trabalhadores, aposentados, [de] grupos que se mobilizavam em torno de identidades/características adscritas - mulheres, indígenas, negros, deficientes -, entidades patronais, ruralistas, banqueiros, multinacionais, atores estatais membros dos poderes Executivo e Judiciário, Forças Armadas, entre outros, tornou a ANC um momento-chave, o marco zero de fato da democracia brasileira.

Destaca-se no processo da ANC o movimento sanitário, que demanda saúde para todos, e o movimento negro, que reivindica direitos e políticas públicas capazes de enfrentar o racismo. Quanto ao primeiro, o artigo 196 da Constituição Federal de 1988 é a expressão máxima da sua conquista: “A saúde é direito de todos e dever do Estado, garantido mediante políticas sociais e econômicas que visem à redução do risco de doença e de outros agravos e ao acesso universal e igualitário às ações e serviços para sua promoção, proteção e recuperação” (Brasil, 1988). Quanto ao segundo, para Santos (2015) e Lima (2010) a ANC é de fato o momento em que o tema do racismo se insere na agenda governamental brasileira, tornando o negro, então, sujeito político. As inclusões no texto constitucional referentes à questão ensejaram posteriores lutas por regulamentação e efetiva implementação de políticas e leis.

Entre os marcos da história das conquistas do movimento negro no campo da saúde registra-se, em 1995, a apresentação ao então presidente da República, Fernando Henrique Cardoso, de uma série de reivindicações de políticas públicas e ações de enfrentamento ao racismo, envolvendo diferentes pastas. Para atender a essas diferentes demandas foi criado o grupo de trabalho interministerial (GTI) para valorização da população negra, sendo a saúde um dos subtemas. Um dos produtos desse GTI-Saúde foi a inclusão do quesito “cor” no Sistema de Informações sobre Mortalidade (SIM) e no Sistema de Informações sobre Nascidos Vivos (Sinasc), essencial para a produção de dados que denunciem as iniquidades raciais e possibilitem a discussão sobre o impacto do racismo na saúde (Batista et al., 2017, p. 5).

Em 2003 foi criada a Secretaria de Políticas de Promoção da Igualdade Racial (Seppir), ligada ao gabinete da presidência da República. Sua missão era propor políticas que promovessem igualdade racial, com ênfase nas populações negra, indígena e cigana. Coube à Secretaria de Ações Afirmativas da Seppir dialogar com o Ministério da Saúde e, nesse contexto, em 2004 foi realizado o I Seminário Nacional de Saúde da População Negra, e o Comitê Técnico de Saúde da População Negra foi criado. Esse comitê teve como desafio elaborar a versão inicial da política sanitária voltada a essa população e auxiliar o Ministério na elaboração do plano de ações e atividades (Werneck, 2010, p. 15).

Em novembro de 2006, o texto da Política Nacional de Saúde Integral da População Negra (PNSIPN) foi aprovado por unanimidade em reunião do Conselho Nacional de Saúde, em 2008 foi pactuado na Comissão Intergestores Tripartite e em 14 de maio de 2009 foi publicado no Diário Oficial da União como a Portaria nº 992 (Brasil, 2009a). Em 2010, com a aprovação da Lei nº 12.288 (Brasil, 2010), a PNSIPN passa a ter força de lei. A operacionalização das estratégias e ações para a implementação da PNSIPN foi pactuada nos planos operativos e inserida no Plano Nacional de Saúde e no Plano Plurianual, com cobertura orçamentária elencada na Lei Orçamentária Anual (Batista; Barros, 2017, p. 2).

É nesse contexto que foram incluídas no Sistema Único de Saúde (SUS) políticas públicas para “promoção da equidade”, voltadas para a população negra e as populações em situação de vulnerabilidade. Foram criadas as políticas nacionais de Saúde Integral da População Negra (Brasil, 2009a), Saúde Integral de Lésbicas, Gays, Bissexuais, Travestis e Transexuais (LGBT) (Brasil, 2011a), Saúde Integral das Populações do Campo e da Floresta (Brasil, 2011b), para a População em Situação de Rua (Brasil, 2009b) e de Atenção Integral à Saúde do Povo Cigano/Romani (Brasil, 2018).

A PNSIPN tem como marca o reconhecimento do racismo, das desigualdades raciais e do racismo institucional como determinantes sociais de saúde. Apresenta como objetivo promover a saúde integral da população negra, priorizando a redução das desigualdades étnico-raciais e o combate ao racismo e à discriminação nas instituições e serviços de saúde. Entre suas estratégias de gestão, destaca-se o “desenvolvimento de ações específicas para a redução das disparidades […], sobretudo na morbimortalidade materna e infantil e naquela provocada por: causas violentas; doença falciforme; DST/HIV/aids; tuberculose; hanseníase; câncer de colo uterino e de mama; transtornos mentais” (Brasil, 2009a).

Os principais avanços e retrocessos da saúde da população negra estão expressos na Figura 1.

Figura 1
Linha do tempo sobre saúde da população negra

A linha do tempo apresentada na Figura 1 evidencia o processo de construção de uma política de atenção à saúde da população negra, que se deu por meio de seminários e conferências, especialmente nos anos 2000. A partir de 2009, após a publicação da PNSIPN, os esforços parecem estar concentrados em sua implementação, e os avanços obtidos se relacionam à pactuação de três planos operativos nas comissões intergestores tripartite. O contingenciamento dos recursos da PNSIPN e a mudança do locus do grupo de coordenação da política dentro do Ministério da Saúde demarcam a realidade de sua gestão.

Tendo em vista o quadro apresentado, que indicadores podem ser utilizados para monitorar e avaliar a implementação de uma política que se propõe a enfrentar o racismo? Neste artigo, apresentamos a metodologia de construção de um painel de indicadores para esse fim.

Como construir um painel de indicadores?

Para construir o painel proposto, estabeleceu-se parceria com o colegiado de representação de gestores - Conselho Nacional de Secretarias Municipais de Saúde (Conasems), Conselho Nacional de Secretários de Saúde (Conass) -, com o Departamento de Monitoramento e Avaliação do SUS (Demas) do Ministério da Saúde e com a Escola de Enfermagem da Universidade de São Paulo.

Identificou-se inicialmente a necessidade de compreender o cenário da implementação da PNSIPN nos estados e municípios da federação, de identificar seu contexto - como ela se dá, que estratégias são adotadas, quais são as facilidades e dificuldades encontradas -, de se pensar um rol de possíveis indicadores e pactuar esses indicadores com gestores e sociedade civil. Para atender a esses objetivos foram coletados dados primários e realizaram-se reuniões técnicas, grupo focal, entrevistas e diálogo deliberativo com sujeitos estratégicos, a saber: os coordenadores e técnicos responsáveis pela implementação da Política, aqui denominados “burocratas de nível de rua” (Lotta, 2012), formuladores da Política, representantes dos movimentos sociais, representantes de fóruns de patologias, pesquisadores convidados (pesquisadores externos), pesquisadores do grupo de pesquisa (pesquisadores internos), técnicos de diferentes secretarias do Ministério da Saúde, e representantes do Conass e do Conasems. Estabeleceu-se a seguir a metodologia, composta por quatro etapas, cada uma com objetivo específico e indicação técnica de coleta de dados, sujeitos estratégicos e produto obtido (Quadro 1).

Quadro 1
Metodologia de construção de um painel de indicadores para monitoramento e avaliação da implementação da Política Nacional de Saúde Integral da População Negra

Etapa I
Identificação do cenário	• Objetivo: identificar quem está implementando a PNSIPN.
	• Técnica: questionário aplicado por meio eletrônico.
	• Sujeitos estratégicos: colegiado de representação de gestores, formuladores da política e movimentos sociais.
	• Produto: mapeamento da implementação da PNSIPN.
Etapa II
Contexto da implementação	• Objetivo: identificar facilidades e dificuldades da implementação da PNSIPN.
	• Técnica: reunião técnica, entrevistas e grupo focal.
	• Sujeitos estratégicos: colegiado de representação de gestores, formuladores da política e movimentos sociais.
	• Produto: modelo lógico da PNSIPN.
Etapa III
Indicadores da PNSIPN	• Objetivo: propor um conjunto de indicadores que possam ser utilizados para monitorar e avaliar o processo de implementação da PNSIPN.
	• Técnica: reuniões técnicas e grupo focal.
	• Sujeitos estratégicos: colegiado de representação de gestores, formuladores da política e movimentos sociais.
	• Produto: relação de indicadores identificados.
Etapa IV
Validação dos indicadores	• Objetivo: identificar indicadores para monitorar e avaliar a implementação da PNSIPN.
	• Técnica: diálogo deliberativo.
	• Sujeitos estratégicos: colegiado de representação de gestores, formuladores da política e movimentos sociais.
	• Produto: painel de indicadores para monitorar e avaliar a implementação da PNSIPN.

• Fonte: Adaptado de Batista et al., 2017

Etapa I: identificação do cenário

A primeira etapa tratou de identificar as secretarias estaduais e municipais que implementavam a PNSIPN.

Objetivo: identificar quem está implementando a PNSIPN.

Ferramentas e técnicas utilizadas: questionário aplicado por meio eletrônico para identificar os locais de implementação da PNSIPN e o que vem sendo produzido e realizado no processo.

Sujeitos estratégicos: formuladores da política, colegiado de representação de gestores, coordenação nacional da PNSIPN do Ministério da Saúde, coordenadores estaduais e municipais da PNSIPN (burocratas de nível de rua), representantes de movimentos sociais, da Federação Nacional das Associações de Pessoas com Doença Falciforme e do Fórum de Patologias do Conselho Estadual de Saúde de São Paulo.

Produto: mapeamento da situação da implementação da PNSIPN - locais onde a PNSIPN foi implantada, em nível nacional.

Cabe salientar que o Conass e Conasems, aqui denominados “colegiados de representação de gestores”, encaminharam o link do questionário para os responsáveis pelas pastas da saúde nas secretarias municipais e estaduais. Ao final da primeira etapa foi possível identificar secretarias municipais e estaduais que haviam implementado a PNSIPN. Os resultados dessa etapa do trabalho foram publicados no artigo “Enfrentando o racismo nos serviços de saúde” (Batista; Barros, 2017).

Etapa II: contexto da implementação

Representantes das secretarias estaduais e municipais com experiência na implementação da PNSIPN foram convidados a participar de reunião técnica e grupo focal que possibilitou a troca de experiências relativas à estrutura e ao funcionamento esperado da Política nos municípios e estados. Além disso, nesse momento foi possível identificar as facilidades e as dificuldades encontradas no processo de implementação. Também participaram da reunião e do grupo focal os formuladores da Política, líderes do movimento negro, representantes do fórum de patologias, de movimentos sociais e pesquisadores.

Durante a reunião técnica, pesquisadores externos foram convidados a ministrar aulas sobre indicadores de saúde, avaliação de políticas e indicadores de monitoramento e avaliação, e apresentaram aos participantes a Sala de Apoio à Gestão Estratégica do Ministério da Saúde.²

Objetivo: identificar facilidades e dificuldades da implementação da PNSIPN.

Ferramentas e técnicas utilizadas: reuniões técnicas com participação de facilitadores que ministraram aulas sobre avaliação em saúde, modelos de avaliação, indicadores de saúde e painel de indicadores de saúde (Furtado et al., 2013). Foram também realizadas entrevistas com os participantes para identificar as estratégias utilizadas na implementação da PNSIPN e grupo focal para discutir seu percurso.

Sujeitos estratégicos: formuladores da Política, representantes da coordenação nacional da PNSIPN do Ministério da Saúde e do colegiado de representação de gestores, burocratas de nível de rua, representantes da Federação Nacional das Associações de Pessoas com Doença Falciforme, do Fórum de Patologias do Conselho Estadual de Saúde de São Paulo e de movimentos sociais, e especialistas externos (de instituições de ensino superior) que atuaram como facilitadores da reunião técnica e grupo focal.

Produtos: modelo lógico da PNSIPN.

Nessa etapa foram realizadas entrevistas individuais, buscando identificar as facilidades e dificuldades encontradas, as estratégias utilizadas e a estrutura adequada dentro das secretarias necessária para a implementação da PNSIPN.

Quando indagadas sobre as facilidades e dificuldades da implementação das diretrizes da PNSIPN, as entrevistadas citam que a discussão sobre o racismo foi incluída no processo de formação e estudos foram fomentados com desembaraço, mas foi difícil ampliar a participação do movimento negro nos conselhos municipais/estadual e implementar processos de monitoramento e avaliação.

Quanto aos pontos de estrangulamento da implementação, os gestores apontam como os principais entraves o racismo pessoal e institucional, a falta de apoio do poder político, falta de recursos humanos e financeiros e a inexistência de dados desagregados por raça/cor.

Quando questionados, os entrevistados indicaram não haver política de incentivo à implementação da PNSIPN. Porém, posteriormente foi constatado que a estratégia de ação Atenção à Saúde das Populações Quilombolas foi uma política de governo que perdurou de 2003 a 2016, e que nesse período se observou um conjunto de incentivos governamentais incorporados à estratégia de implementação da PNSIPN.

Por outro lado, em outubro de 2018, R$ 6 milhões destinados a apoiar projetos de implementação da PNSIPN foram contingenciados pela sra. Gerlane Baccarin, então secretária de Gestão Estratégica e Participativa do Ministério da Saúde (Ministério…, 2018).

A terceira atividade da etapa de contextualização foi construir coletivamente o modelo lógico após a aula sobre modelos de avaliação e indicadores de saúde e a discussão das facilidades e dificuldades de implementação da Política. Durante a aula, o docente/pesquisador externo apresentou aos participantes alguns modelos de avaliação e destacou alguns modelos lógicos de políticas.

Percebendo o interesse do grupo pelos modelos lógicos, os pesquisadores internos colaram três cartolinas em sequência e inseriram as seguintes perguntas: quais são os objetivos da PNSIPN? Quais são as diretrizes da PNSIPN? Que estratégias são utilizadas para implementar a Política? Quais são as atividades realizadas? Como monitorar as atividades realizadas? Que indicadores utilizo para julgar a ação desenvolvida?

Depois que as participantes responderam às perguntas, a equipe da pesquisa sistematizou as informações construindo o “modelo lógico da intervenção” (Figura 2), definido como “o conjunto dos postulados sobre o modo pelo qual um programa é relacionado com os benefícios que supostamente produz e a estratégia e as táticas que foram adotadas para alcançar suas metas e objetivos” (Champagne et al., 2011, p. 50).

Figura 2
Modelo lógico da Política Nacional de Saúde Integral da População Negra

O modelo lógico da PNSIPN (Figura 2) descreve os objetivos, as ações realizadas para atingi-los, os benefícios/resultados esperados e os indicadores utilizados para avaliar a ação realizada. A análise do modelo lógico da PNSIPN sugere que: (1) o objetivo de desenvolver ações para reduzir agravos prevalentes na população negra tem demandado diversas modalidades de ação na rotina de trabalho de burocratas de nível de rua; (2) nem todas as diretrizes da PNSIPN chegam à fase de monitoramento e avaliação; e (3) as seis diretrizes da PNSIPN estão contidas nas estratégias de gestão, mas nem todas as estratégias de gestão estão espelhadas em diretrizes - por exemplo, a atenção à saúde dos povos do campo e das florestas, incluindo as populações quilombolas, está nas estratégias e nos objetivos específicos do texto da Política, mas não é explicitada nas diretrizes; o texto da Política não traz uma contextualização organizacional necessária nem acusa a existência de dispositivos institucionais que regulamentam o processo de monitoramento e avaliação da implementação, o que sugere a necessidade de reformulação.

A discussão sobre facilidades e dificuldades da implementação da política, juntamente com a elaboração do modelo lógico da intervenção, sugeriu caminhos para identificar possíveis indicadores para compor um painel de monitoramento e avaliação.

Etapa III: indicadores da Política Nacional de Saúde Integral da População Negra

Nessa etapa, burocratas de nível de rua, assessores técnicos dos colegiados de gestores, assessores técnicos representantes do Ministério da Saúde e lideranças de movimentos sociais participaram de grupo focal e de duas reuniões técnicas em que foram discutidos o que são indicadores sociodemográficos e de enfrentamento ao racismo.

Objetivo: propor um conjunto de indicadores que possam ser utilizados para monitorar e avaliar a implementação da PNSIPN.

Ferramentas e técnicas: foram realizadas reuniões técnicas com participação de pesquisadores externos que atuaram como facilitadores e ministraram aulas sobre indicadores sociais, indicadores demográficos existentes nas bases de dados do Instituto Brasileiro de Geografia e Estatística (IBGE) e indicadores de enfrentamento ao racismo institucional, participando ainda do grupo focal que elencou 45 indicadores como estratégicos para compor o painel.

A estratégia utilizada incluiu promover um processo de formação durante as reuniões técnicas (Furtado et al., 2013) e realizar grupo focal entre burocratas do nível de rua, assessores técnicos dos colegiados de representação de gestores e técnicos de diferentes áreas do Ministério da Saúde. Também foram convidados representantes da sociedade civil, que na coleta de dados primários foram citados pelos gestores como apoiadores da implementação da Política. Pesquisadores externos e internos participaram do grupo focal que definiu os possíveis indicadores de monitoramento e avaliação da implementação da Política.

Sujeitos estratégicos: representantes da coordenação nacional da PNSIPN do Ministério da Saúde e do colegiado de representação de gestores, formuladores da Política, burocratas de nível de rua, representantes da Federação Nacional das Associações de Pessoas com Doença Falciforme, do Fórum de Patologias do Conselho Estadual de Saúde de São Paulo e de movimentos sociais, pesquisadores externos (de instituições de ensino superior, institutos de pesquisa e organizações não governamentais) e internos (Quadro 2).

Quadro 2
Instituições participantes das reuniões técnicas, entrevistas e grupo focal

	1ª reunião técnica	2ª reunião técnica	Grupo focal
Colegiado de gestão	Conasems	Conasems	Conasems
		Conass
Ministério da Saúde	Coordenador da PNSIPN e representante do Demas/SE/MS	Representante do coordenador da PNSIPN e representante do Departamento de DST, Aids e Hepatites Virais	Representante do coordenador da PNSIPN e representante do Departamento de DST, Aids e Hepatites Virais
Secretarias estaduais de saúde	Bahia, Mato Grosso do Sul, Paraná, Pernambuco e São Paulo	Bahia e Pernambuco	Bahia e Pernambuco
Secretarias municipais de saúde	Campo Grande (MS), Jaboatão dos Guararapes (PE), Olinda (PE), Porto Alegre (RS), Recife (PE), Salvador (BA), Santo André (SP), São Paulo (SP)	Olinda (PE), Porto Alegre (RS), Salvador (BA), Santo André (SP), São Paulo (SP)	Olinda (PE), Porto Alegre (RS), Salvador (BA), Santo André (SP), Santos (SP), São Paulo (SP)
Movimentos sociais	Renafro Saúde e Fenafal/Aprofe	Renafro Saúde e Fenafal/Aprofe	Renafro Saúde e Fenafal/Aprofe
Facilitadores	Demas/SE/MS, Unifesp Baixada Santista, Universidade Cruzeiro do Sul, FSP-USP	Criola!, Copis-IBGE, Escola de Enfermagem da USP, Universidade Cruzeiro do Sul, FSP-USP	Criola!, Copis-IBGE, Escola de Enfermagem da USP, Universidade Cruzeiro do Sul, FSP-USP
Coordenação

• Demas: Departamento de Monitoramento e Avaliação do SUS; SE/MS: Secretaria Executiva do Ministério da Saúde; PNSIPN: Política Nacional de Saúde Integral da População Negra; DST: doenças sexualmente transmissíveis; Renafro Saúde: Rede Nacional de Religiões Afro-Brasileiras e Saúde; Fenafal/Aprofe: Federação Nacional das Associações de Pessoas com Doenças Falciformes/Associação Pró-Falcêmicos; Unifesp: Universidade Federal de São Paulo; FSP-USP: Faculdade de Saúde Pública da Universidade de São Paulo; Criola!: organização de mulheres negras; Copis-IBGE: Coordenação de População e Indicadores Sociais do Instituto Brasileiro de Geografia e Estatística.
• Fonte: Batista et al., 2017

Produto: relação de 45 indicadores de monitoramento e análise da implementação da PNSIPN a serem pactuados na etapa IV.

Etapa IV: validação dos indicadores

Na última etapa foi realizado diálogo deliberativo para recomendar ou não os indicadores propostos na etapa III.

Objetivo: identificar os indicadores para monitorar e avaliar a implementação da PNSIPN.

Sujeitos estratégicos: formuladores da política, burocratas de nível de rua, técnicos de diferentes áreas do Ministério da Saúde, representantes do colegiado de representação dos gestores, da sociedade civil, de associações e do fórum de patologias, pesquisadores externos (de instituições de ensino superior, institutos de pesquisa e organizações não governamentais) e internos.

Foi realizado diálogo deliberativo como recurso para compartilhar saberes entre pesquisadores, formuladores de política, burocratas de nível de rua, sociedade civil e demais interessados, além de esclarecer as áreas de incerteza e desenvolver um entendimento comum sobre os prós e contras de cada indicador (Acosta; Oelke; Lima, 2017; Lavis et al., 2009).

Antes de realizar o diálogo deliberativo, encaminhou-se aos participantes a relação de 45 indicadores definidos na etapa III, acompanhada de um formulário e uma escala de pontuação - bom, regular, ótimo. Também foi encaminhada a Ficha de Qualificação de Indicadores da Rede Interagencial de Informações para a Saúde (Ripsa), na qual constavam os seguintes itens: validade (capacidade de medir o que pretende); confiabilidade (qualidade dos dados); sensibilidade (é sensível para captar o atributo que quer captar); desagregação (nível territorial possível); e periodicidade (intervalo de tempo em que o indicador é atualizado). A devolução do formulário e da Ficha foi condição para participar da reunião presencial. As respostas foram consolidadas pela equipe da pesquisa e apresentadas durante a reunião.

No primeiro dia do diálogo deliberativo foram apresentados os indicadores com maior pontuação e, dos 45 indicadores propostos inicialmente, apenas 22 foram destacados para serem discutidos no segundo dia de trabalho.

Durante o segundo dia do diálogo deliberativo os participantes discutiram cada um dos 22 indicadores a partir de uma matriz elaborada pela equipe do Demas. A matriz continha os seguintes itens: conceituação do indicador, método de cálculo, uso, potencialidades, limitações e representatividade como indicador da Política. Na rodada de discussão definiram-se 19 indicadores para o monitoramento e a análise da implementação da Política (Quadro 3).

Quadro 3
Painel de indicadores para monitoramento e análise da implementação da Política Nacional de Saúde Integral da População Negra

Indicadores de enfrentamento ao racismo	• PNSIPN inserida no plano municipal/estadual de saúde.
	• Temas "saúde da população negra" e "racismo" presentes nos cursos e processos de formação de pessoal da área da saúde.
	• Presença de instância específica para conduzir, coordenar e monitorar as ações de saúde para população negra.
	• PNSIPN contida na Lei Orçamentária Anual.
	• PNSIPN contida no Sargsus.
Condições sociodemográficas da população, segundo sexo, faixa etária e raça/cor	• População segundo sexo, faixa etária e raça/cor.
	• Renda média domiciliar per capita.
	• Número de comunidades remanescentes de quilombos.
Perfil da morbidade e mortalidade segundo sexo, faixa etária e raça/cor	• Taxa de internação por transtorno mental.
	• Número de nascidos vivos com diagnóstico de doença falciforme.
	• Taxa de mortalidade proporcional por causas mal definidas.
	• Taxa de incidência de aids.
	• Proporção de pessoas vivendo com HIV/aids.
	• Distribuição percentual de casos de sífilis em gestantes.
	• Taxa de mortalidade por tuberculose.
	• Taxa de mortalidade infantil.
	• Razão de morte materna.
	• Taxa de mortalidade por homicídios.
	• Taxa de mortalidade prematura (entre 30 e 69 anos) por DCNT (doenças cardiovasculares, câncer, diabetes e doenças respiratórias crônicas).

• Sargsus: Sistema de Apoio à Construção do Relatório de Gestão; DCNT: doenças crônicas não transmissíveis.

Após o diálogo deliberativo, técnicos de diferentes áreas do Ministério da Saúde testaram os indicadores em cada banco de dados, e a equipe técnica do Demas encarregou-se de preencher a Ficha de Qualificação de Indicadores, composta pelos seguinte itens: nome do indicador; meta ou padrão médio nacional; linha de base/ano; método de cálculo; fonte de dados; unidade de medida; menor nível de desagregação; limitações; unidade administrativa responsável pelo dado; e responsável técnico pelo indicador.

Produto: Painel de indicadores para o monitoramento e avaliação da implementação da PNSIPN (Quadro 3).

Painel de indicadores para monitoramento e análise da implementação

Foi estabelecido um processo em que se propôs ouvir os formuladores da Política, burocratas de nível de rua, representantes dos movimentos sociais, de fóruns de patologias, pesquisadores convidados e pesquisadores do grupo de pesquisa, técnicos do Ministério da Saúde, assessores técnicos do Conass e do Conasems em todas as etapas da proposta - identificação do problema, registro das estratégias, facilidades e dificuldades da implementação da Política e definição e pactuação de seus indicadores.

Segundo Lotta (2012), na área da saúde há pouca literatura dedicada à análise da importância dos burocratas implementadores (burocratas de nível de rua). Para a autora, direcionar o olhar para eles é essencial para compreender as ações e os fatores que influenciam as transformações no processo de implementação, nos resultados e na avaliação das políticas públicas. Ao se propor a identificação dos indicadores de políticas, faz-se necessário lançar mão de uma metodologia que envolva seus formuladores, burocratas de nível de rua, gestores, movimentos sociais e pesquisadores internos e externos (Novaes, 2000; Tamaki et al., 2012). Por isso, para a metodologia de construção do painel foi importante incluir os burocratas de nível de rua.

A metodologia de construção do painel de indicadores foi precedida de um longo e intenso trabalho de articulação política com atores estratégicos, a saber:

• formuladores da Política - integrantes da equipe participaram do grupo que formulou a Política. Sabia-se que entre a aprovação da PNSIPN no Conselho Nacional de Saúde ocorrida em 2006 e as negociações entre os gestores municipais, estaduais e o federal ocorrida em 2008 foi retirada a relação de indicadores da Política. Os formuladores sabiam da necessidade e da importância dos indicadores para monitorar e avaliar o desempenho do sistema de saúde;

• burocratas de nível de rua - integrantes da equipe também atuaram como gestores na implementação da política estudada, e outros participavam das reuniões do Comitê Técnico de Saúde da População Negra do Ministério da Saúde desde sua criação em 2004. A atuação nesse espaço possibilitou saber quais eram as necessidades daqueles que estavam na linha de frente da implementação da Política, aqui denominados “burocratas de nível de rua”;

• representantes de movimentos sociais e fóruns de patologias - a atuação de integrantes da equipe como burocratas de nível de rua e em reuniões do Comitê Técnico de Saúde da População Negra do Ministério da Saúde os aproximou de movimentos sociais e grupos de portadores de doenças prevalentes na população negra;

• técnicos do Ministério da Saúde - a participação de integrantes da equipe nas reuniões do Comitê Técnico de Saúde da População Negra do Ministério da Saúde os aproximou dos técnicos. Ter no Ministério técnicos sensíveis à temática racial e que atuavam nas reuniões da Ripsa como parceiros facilitou o trabalho;

• colegiados de representação de gestores - a parceria com os assessores técnicos do Conasems e do Conass também foi fundamental para o sucesso da proposta;

• pesquisadores externos - a experiência desses pesquisadores em avaliação de políticas de saúde, indicadores sociais, painel de indicadores e discussões sobre indicadores de direitos humanos foi importante;

• os participantes do processo eram pessoas interessadas, mobilizadas e traziam o propósito de suas instituições.

Certos fatores foram considerados estratégicos:

• a prévia articulação política com a direção do Demas possibilitou a realização da Oficina de Indicadores de Desigualdades Raciais: Limites e Potencialidades, realizada durante o VI Congresso Brasileiro de Ciências Sociais e Humanas em Saúde, no Rio de Janeiro, em 14 de novembro de 2013. Dois dos encaminhamentos da oficina foram: (1) realizar novos encontros com o Comitê Técnico de Saúde da População Negra para tratar de indicadores de acompanhamento da Política; e (2) é preciso constituir uma agenda de trabalho. A equipe técnica do Demas aprovou essa ideia e, mesmo depois da saída de seu diretor, a equipe continuou trabalhando e investindo na proposta;

• a participação de lideranças e organizações do movimento negro com experiência em atuar em instituições públicas, seja demandando políticas públicas, seja atuando na formulação de políticas (advocacy);

• o comprometimento da equipe do IBGE. Sem a atuação dessa equipe, sua disponibilidade e dedicação, os indicadores de enfrentamento ao racismo não teriam ganhado um levantamento nacional - esses indicadores foram transformados em perguntas e incorporados às Pesquisas de Informações Básicas Municipais (Munic) e Estaduais (Estadic) do IBGE.

Finalmente, as estratégias metodológicas permitiram construir ambientes em que os participantes se sentissem à vontade para contribuir, estabelecendo um clima de cumplicidade, colaboração e aprendizado entre formuladores, sociedade civil, técnicos, pesquisadores e burocratas de nível de rua.

Por sua vez, o painel está categorizado pelos temas apresentados pelos pesquisadores externos convidados a contribuir com a formação do grupo: indicadores de enfrentamento ao racismo; indicadores de condições sociodemográficas da população segundo sexo, faixa etária e raça/cor; e indicadores do perfil da morbidade e mortalidade segundo sexo, faixa etária e raça/cor. Segundo Tamaki et al. (2012, p. 844),

nesta escolha, um atributo essencial é a governabilidade do aspecto que o indicador expressa, o que significa que o gestor deve acompanhar fatos sobre os quais tenha capacidade e recursos para transformar as situações identificadas que não estejam ocorrendo de acordo com os objetivos definidos pelos gestores.

Como alguns técnicos do Demas representavam o Ministério da Saúde nas reuniões da Ripsa, esse conhecimento prévio facilitou apontar indicadores que seriam de difícil captação nos sistemas de informação do SUS e aqueles que não existiam em nenhuma base nacional, os de enfrentamento ao racismo.

Esses indicadores - inclusão da PNSIPN nos planos municipais e estaduais de saúde; existência de uma instância responsável por conduzir, coordenar e monitorar as ações de saúde para a população negra; inclusão na Lei Orçamentária Anual e no Sargsus; e capacitação e treinamento específicos dos profissionais de saúde sobre racismo e saúde da população negra - sinalizam se a temática racial está contida nos instrumentos de gestão e na sensibilidade dos profissionais de saúde.

Como afirmado, essas informações não existiam nas bases de dados nacionais, mas a atuação dos técnicos do IBGE transformou uma dificuldade em conquista, pois, ao perceber essa debilidade para a construção de um painel, o representante do Instituto nas reuniões técnicas e no diálogo deliberativo encaminhou internamente no IBGE uma proposta de inclusão de algumas questões no eixo saúde da Munic e Estadic, no item colegiado de gestão regional, no plano municipal de saúde e na PNSIPN (IBGE, 2015). A proposta foi aceita e realizou-se levantamento nos 5.570 municípios dos 26 estados da federação, mais Distrito Federal. Essa base de dados está disponível e o resultado desse trabalho pode ser acessado on-line.³

Segundo Tamaki et al. (2012), o painel deve conseguir informar sobre os aspectos que constituem o modelo teórico, incorporar praticidade a um instrumento de monitoramento com potencial avaliativo, possuir bases de dados disponíveis e ter um pequeno número de

indicadores sintéticos no sentido de captar o maior escopo quanto possível das dimensões buscadas ou que tratassem de algum aspecto essencial, crítico ou capaz de captar o maior número de possibilidades de expressão dos problemas de gestão no interior de cada uma das dimensões. (p. 844)

Logo, dentre os indicadores de enfrentamento ao racismo, a presença de instância específica para conduzir, coordenar e monitorar as ações de saúde para a população negra é o indicador-chave.

O segundo grupo de indicadores diz respeito aos dados sociodemográficos, dos quais o de população segundo sexo, idade e raça/cor é fundamental, mas há uma limitação: os dados populacionais desagregados por sexo, faixa etária e raça/cor são atualizados apenas nos Censos Demográficos, a cada dez anos.

Os indicadores categorizados como de morbidade e mortalidade segundo sexo, faixa etária e raça/cor são aqueles disponíveis no SIM, Sinasc e Sistema de Informação Hospitalar, e sua leitura permite monitorar e avaliar a abrangência da ação do sistema sanitário na atenção à saúde da população negra: taxa de mortalidade prematura (entre 30 e 69 anos) por doenças crônicas não transmissíveis; taxa de mortalidade por homicídios; razão de morte materna; taxa de mortalidade infantil; taxa de mortalidade por tuberculose; distribuição percentual de casos de sífilis em gestantes; proporção de pessoas vivendo com HIV/aids; taxa de incidência de aids; taxa de mortalidade proporcional por causas mal definidas; número de nascidos vivos com diagnóstico de doença falciforme; e taxa de internação por transtorno mental. É difícil apontar entre os indicadores de morbidade e mortalidade qual é o principal, mas é fácil apontar sua limitação: o mau preenchimento da informação raça/cor nos sistemas de informação (Batista; Barros, 2017; Braz et al., 2013).

A elaboração de painel de indicadores pode vir a ser uma das estratégias para avaliar políticas que se propõem a enfrentar o racismo. A metodologia de construção desse painel para monitoramento e análise da implementação da PNSIPN possibilitou sugerir uma base de indicadores viáveis, congruente com as diretrizes da Política, na perspectiva da vigilância de direitos e do advocacy.

O fato de o IBGE ter incluído os indicadores de enfrentamento ao racismo nas pesquisas de perfil dos estados e municípios brasileiros pode ser entendido como um ganho, produto do processo participativo de construção do painel.

Considerações finais

A metodologia participativa foi fundamental para construir o painel de indicadores da PNSIPN. Essa metodologia pode ser utilizada para criar painéis de indicadores para monitorar e avaliar a implementação das políticas de saúde da população LGBT, da população do campo e da floresta, da população cigana e da população em situação de rua.

Painéis de indicadores de monitoramento e análise da implementação de políticas afirmativas podem ser instrumento para verificar se a formulação teórica da política dialoga com as ações empreendidas, para que se possa em estudos futuros julgar o sucesso ou fracasso do seu processo de implementação.

Espera-se que o painel contribua para a gestão da política e a adoção de ações para reduzir as iniquidades raciais em saúde, e que este trabalho contribua para o aprimoramento das ações do SUS, com acadêmicos e movimentos sociais interessados na implementação da PNSIPN.

Agradecimentos

À professora doutora Hillegonda Maria Dutilh Novaes, pelas sugestões dadas na construção teórica da metodologia do trabalho; ao Conselho Nacional de Secretarias Municipais de Saúde e ao Conselho Nacional de Secretários de Saúde, por disponibilizarem o questionário aos gestores municipais e estaduais; a Maria Mercedes Loureiro Escuder, pela leitura atenta; e a Maritsa Bertoli, pela colaboração na construção do instrumento on-line.

Referências

• ACOSTA, A. M.; OELKE, N. D.; LIMA, M. A. D. S. Considerações teóricas do diálogo deliberativo: contribuições para prática, política e pesquisa em enfermagem. Texto e Contexto Enfermagem, Florianópolis, v. 26, n. 4, art. e0520017, 2017. Disponível em: <Disponível em: https://bit.ly/2C4MU13 >. Acesso em: 13 jun. 2019.
  » https://bit.ly/2C4MU13
• ARRETHE, M. T. S. Uma contribuição para fazermos avaliações menos ingênuas. In: BARREIRA, M. C. R. N.; CARVALHO, M. C. B. (Org.). Tendências e perspectivas na avaliação de políticas e programas sociais São Paulo: IEE-PUCSP, 2001. p. 44-55.
• BATISTA, L. E.; BARROS, S. Enfrentando o racismo nos serviços de saúde. Cadernos de Saúde Pública, Rio de Janeiro, v. 33, e00090516, 2017. Suplemento 1.
• BATISTA, L. E. et al. Avaliação do processo de implementação da Política Nacional de Saúde Integral da População Negra: indicadores de monitoramento e avaliação. São Paulo: Instituto de Saúde, 2017. Relatório de Pesquisa. Mimeo.
• BRASIL. Constituição da República Federativa do Brasil de 1988. Diário Oficial da União, Brasília, DF, 5 out. 1988. Disponível em: <Disponível em: https://bit.ly/2y3wry1 >. Acesso em: 16 jun. 2020.
  » https://bit.ly/2y3wry1
• BRASIL. Ministério da Saúde. Portaria nº 936, de 18 de maio de 2004. Dispõe sobre a estruturação da Rede Nacional de Prevenção da Violência e Promoção da Saúde e a implantação e implementação de Núcleos de Prevenção da Violência em estados e municípios. Diário Oficial da União , Brasília, DF, 20 maio 2004.
• BRASIL. Ministério da Saúde. Portaria nº 992, de 13 de maio de 2009. Institui a Política Nacional de Saúde Integral da População Negra. Diário Oficial da União , Brasília, DF, 14 maio 2009a.
• BRASIL. Decreto nº 7.053, de 23 de dezembro de 2009. Institui a Política Nacional para a População em Situação de Rua e seu Comitê Intersetorial de Acompanhamento e Monitoramento, e dá outras providências. Diário Oficial da União , Brasília, DF, 24 dez. 2009b.
• BRASIL. Lei nº 12.288, de 20 de julho de 2010. Institui o Estatuto da Igualdade Racial; altera as Leis nº 7.716, de 5 de janeiro de 1989, 9.029, de 13 de abril de 1995, 7.347, de 24 de julho de 1985, e 10.778, de 24 de novembro de 2003. Diário Oficial da União , Brasília, DF, 21 jul. 2010.
• BRASIL. Ministério da Saúde. Portaria nº 2.836, de 1º de dezembro de 2011. Institui, no âmbito do Sistema Único de Saúde (SUS), a Política Nacional de Saúde Integral de Lésbicas, Gays, Bissexuais, Travestis e Transexuais (Política Nacional de Saúde Integral LGBT). Diário Oficial da União , Brasília, DF, 2 dez. 2011a.
• BRASIL. Ministério da Saúde. Portaria nº 2.866, de 2 de dezembro de 2011. Institui, no âmbito do Sistema Único de Saúde (SUS), a Política Nacional de Saúde Integral das Populações do Campo e da Floresta (PNSIPCF). Diário Oficial da União , Brasília, DF, 5 dez. 2011b.
• BRASIL. Ministério da Saúde. Portaria nº 4.384, de 28 de dezembro de 2018. Altera a Portaria de Consolidação nº 2/GM/MS, de 28 de setembro de 2017, para instituir, no âmbito do Sistema Único de Saúde - SUS, a Política Nacional de Atenção Integral à Saúde do Povo Cigano/Romani. Diário Oficial da União , Brasília, DF, 31 dez. 2018.
• BRAZ, R. M. et al. Avaliação da completude da variável raça/cor nos sistemas nacionais de informação em saúde para aferição da equidade étnico-racial em indicadores usados pelo Índice de Desempenho do Sistema Único de Saúde. Saúde em Debate, Rio de Janeiro, v. 37, n. 99, p. 554-562, 2013. Disponível em: <Disponível em: https://bit.ly/30Jazys >. Acesso em: 15 jun. 2020.
  » https://bit.ly/30Jazys
• BROUSSELLE, A. et al. (Org.) Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz, 2011.
• CDC - CENTERS FOR DISEASE CONTROL AND PREVENTION. Step by step: evaluating violence and injury prevention policies: brief 1: overview of policy evaluation. Atlanta, 2015. Disponível em: <Disponível em: https://bit.ly/3ht5YX7 >. Acesso em: 15 jun. 2020.
  » https://bit.ly/3ht5YX7
• CHAMPAGNE, F. et al. A avaliação no campo da saúde: conceitos e métodos. In: BROUSSELLE, A. et al. (Org.) Avaliação: conceitos e métodos. Rio de Janeiro: Editora Fiocruz , 2011. p. 41-60.
• CUNHA, C. G. S. Avaliação de políticas públicas e programas governamentais: tendências recentes e experiências no Brasil. Estudos de Planejamento, Porto Alegre, n. 12, p. 27-57, 2018. Disponível em: <Disponível em: https://bit.ly/2ULPfV7 >. Acesso em: 10 maio 2019.
  » https://bit.ly/2ULPfV7
• FARIA, C. A. P. (Org.). Implementação de políticas públicas: teoria e prática. Belo Horizonte: Editora PUC Minas, 2012.
• FELISBERTO, E. et al. Contribuindo com a institucionalização da avaliação em saúde: uma proposta de autoavaliação. Cadernos de Saúde Pública, Rio de Janeiro, v. 24, n. 9, p. 2091-2102, 2008.
• FURTADO, J. P. et al. A elaboração participativa de indicadores para a avaliação em saúde mental. Cadernos de Saúde Pública, Rio de Janeiro, v. 29, n. 1, p. 102-110, 2013.
• HARTZ, Z. M. A. Avaliação dos programas de saúde: perspectivas teórico-metodológicas e políticas institucionais. Ciência e Saúde Coletiva, Rio de Janeiro, v. 4, n. 2, p. 341-353, 1999.
• IBGE - INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA. Perfil dos estados e municípios brasileiros: 2014. Rio de Janeiro, 2015.
• JANNUZZI, P. M. Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas: Alínea, 2016.
• LAVIS, J. N. et al. Support tools for evidence-informed health policymaking (STP) 14: organising and using policy dialogues to support evidence-informed policymaking. Health Research Policy and Systems, Londres, v. 7, art. S14, 2009. Suplemento 1. Disponível em: <Disponível em: https://bit.ly/3fpaTXh >. Acesso em: 25 jul. 2019.
  » https://bit.ly/3fpaTXh
• LIMA, M. Desigualdades raciais e políticas públicas: ações afirmativas no governo Lula. Novos Estudos Cebrap, São Paulo, n. 87, p. 77-95, 2010.
• LOTTA, G. S. O papel das burocracias do nível da rua na implementação de políticas públicas: entre o controle e a discricionariedade. In: FARIA, C. A. P. (Org.). Implementação de políticas públicas: teoria e prática. Belo Horizonte: Editora PUC Minas , 2012. p. 20-49.
• MCCONNELL, A. What is policy failure? A primer to help navigate the maze. Public Policy and Administration, Londres, v. 30, n. 3-4, p. 221-242, 2015.
• MINISTÉRIO da Saúde: recursos da Política Nacional de Saúde Integral da População Negra. Avaaz.org: petições da comunidade, [s.l.], 24 out. 2018. Disponível em: <Disponível em: https://bit.ly/2Bhr0HO >. Acesso em: 16 jun. 2020.
  » https://bit.ly/2Bhr0HO
• NOVAES, H. M. D. Avaliação de programas, serviços e tecnologias em saúde. Revista de Saúde Pública, São Paulo, v. 34, n. 5, p. 547-559, 2000.
• SANTOS, N. N. S. A voz e a palavra do movimento negro na Assembleia Nacional Constituinte (1987/1988): um estudo das demandas por direitos. 2015. Dissertação (Mestrado em Direito) - Fundação Getúlio Vargas, São Paulo, 2015.
• SILVA, L. M. V. Conceitos, abordagens e estratégias para a avaliação em saúde. In: HARTZ, Z. M. A.; SILVA L. M. V. (Org.). Avaliação em saúde: dos modelos teóricos à prática na avaliação de programas e sistemas de saúde. Rio de Janeiro: Editora Fiocruz , 2005. p. 15-39.
• TAMAKI, E. M. et al. Metodologia de construção de um painel de indicadores para o monitoramento e a avaliação da gestão do SUS. Ciência e Saúde Coletiva, Rio de Janeiro, v. 17, n. 4, p. 839-849, 2012.
• WERNECK, J. Saúde da população negra: passo a passo: defesa, monitoramento e avaliação de políticas públicas. Rio de Janeiro: Criola, 2010. Disponível em: <Disponível em: https://bit.ly/2AsZUNP >. Acesso em: 18 maio 2020.
  » https://bit.ly/2AsZUNP

• 1
  O projeto “Avaliação do processo de implementação da Política Nacional de Saúde Integral da População Negra: indicadores de monitoramento e avaliação”, apoiado pela Fundação de Amparo à Pesquisa do Estado de São Paulo (Fapesp), processos nº 2014/24630-6, 2015/10456-7 e 2018/04593-0, e do qual este artigo resulta, foi aprovado pelo Comitê de Ética em Pesquisa da Escola de Enfermagem da Universidade de São Paulo sob o CAAE nº 25255114.3.0000.5392, parecer nº 004383/2014.
• 2
  Disponível em: <http://sage.saude.gov.br/>. Acesso em: 16 jun. 2020.
• 3
  Disponível em: < https://bit.ly/3dazdKT>. Acesso em: 16 jun. 2020.

Datas de Publicação

• Publicação nesta coleção
  12 Out 2020
• Data do Fascículo
  2020

Histórico

• Recebido
  05 Set 2019
• Revisado
  19 Maio 2020
• Aceito
  02 Jun 2020