Avaliação da qualidade da atenção em saúde bucal na estratégia saúde da família de Recife, Pernambuco, 2014

Assessing the quality of oral health care in the family health strategy in Recife, Pernambuco, 2014

Resumo

Introdução

Há escassos estudos sobre qualidade da atenção em saúde bucal.

Objetivo

Avaliar associações entre condições de estrutura e processo com indicadores de desempenho em saúde bucal na Estratégia Saúde da Família do Recife.

Métodos

Estudo transversal, quantitativo e avaliativo, usando dados secundários de 2014 do Ministério da Saúde. Foram calculados testes de Qui-Quadrado e estimativas de Odds Ratio, com regressão logística simples e múltipla, considerando nível de significância de 5% e intervalo de confiança de 95%.

Resultados

Das 112 equipes de saúde bucal (ESB) avaliadas, equiparação das ESB com as equipes mínimas da Estratégia Saúde da Família e possuir levantamento de escolares com necessidades de saúde bucal, associaram-se ao maior valor de cobertura de primeira consulta odontológica programática (OR = 4,30, IC = 1,33−13,93; OR = 27,47, IC = 2,24−336,34, respectivamente), enquanto estar equiparada, ser ESB modalidade II e garantir agendamento de retorno para a continuidade do tratamento associaram-se ao maior valor da razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas (OR = 5,35, IC = 2,01−14,20; OR = 3,70, IC =1,33−10,27; OR = 5,03, IC = 1,42−17,78, respectivamente).

Conclusão

Os resultados sugerem que tais padrões de qualidade sejam priorizados para potencializar maior acesso e resolutividade das ESB.

Palavras-chave:
avaliação em saúde; indicadores de qualidade em assistência à saúde; serviços de saúde bucal; estratégia saúde da família; pesquisa sobre serviços de saúde

Abstract

Background

Only a few studies have addressed the quality of oral health care.

Objective

To assess the association of the structure and process conditions with oral health performance indicators in the Family Health Strategy of Recife.

Method

A cross-sectional quantitative and evaluative study based on secondary data referring to 2014 from the Ministry of Health. The Chi-Square test and the Odds Ratio, with simple and multiple regression, were calculated considering a significance level of 5% and confidence interval of 95%.

Results

Among the 112 oral health teams (OHT) assessed, there was an association of the OHT parity with the minimum Family Health Strategy teams and the survey of schoolchildren with oral health needs with the highest coverage value of the first dental programmatic appointment (OR = 4.30 = CI = 1.33-13.93, OR = 27.47, IC = 2.24-336.34, respectively). In turn, the presence of parity, modality II OHT, and scheduled guarantee return for the treatment continuity were associated with the highest ratio between completed treatment and first dental appointment (OR = 5.35, CI = 2.01-14.20; OR = 3.70, CI = 1,33-10,27; OR = 5,03, CI = 1,42-17,78, respectively).

Conclusion

The results suggest the targeting of such quality standards to enhance both the access and resilience of the OHT.

Keywords:
health assessment; quality indicators, health care; dental health services; family health strategy; health services research

INTRODUÇÃO

Estando a avaliação da qualidade inserida no tema “epidemiologia nos serviços de saúde”,¹ pode-se afirmar que a ampliação na oferta desses serviços abre cada vez mais espaços para avaliar a qualidade dos programas e serviços de saúde nos últimos anos².

No município do Recife, com o processo de construção da atual Política Municipal de Saúde Bucal iniciado em 2001, partiu-se de 16 equipes de saúde bucal (ESB) para 144 em 2014. Isso representou um aumento de 800% do quantitativo dessas equipes no município, com incremento na cobertura populacional de 0,40% para 32,41% nesse período e adstrição de aproximadamente 504.000 pessoas pelas ESB em 2014³. Entretanto, as mudanças e inovações organizacionais decorrentes desse acelerado crescimento ocorreram de forma desigual e heterogênea no seu território^{4, e} a expansão significativa das ESB no município não foi suficiente para promover a melhoria da atenção na mesma proporção⁵.

Assim, considerando que a expansão das ESB na Estratégia Saúde da Família (ESF) tem papel fundamental na trajetória brasileira de reorientação do modelo de atenção em saúde bucal centrado na atenção básica⁶, fica evidente a necessidade de discutir a qualidade das ações e serviços prestados pelas ESB. Isso também reforça a relevância de institucionalizar a avaliação, incorporando-a como parte integrante do planejamento que dê suporte à formulação de políticas e aos processos decisórios⁷.

Deve-se destacar, ainda, que a ideia de qualidade está presente em todos os tipos de avaliação, uma vez que sua característica principal é o estabelecimento de um juízo, a atribuição de um valor a alguma coisa que, quando positivo, significa ter qualidade⁸. Pode-se entender, então, que no contexto da qualidade em saúde, a avaliação refere-se ao diagnóstico de uma realidade, com a finalidade de intervir sobre ela, sendo um potente instrumento de mudança que deve ser encarado como incentivo para que os diferentes serviços de saúde cumpram padrões mínimos de qualidade^9,10.

Nessa perspectiva, o Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB) apresenta-se como uma das principais estratégias indutoras da qualidade da atenção básica, aliado à ampliação de incentivos financeiros na ESF e outras formas de organização desse nível de atenção^11,12. Seu instrumento de coleta da avaliação externa contém padrões de qualidade estabelecidos de acordo com normas, protocolos, princípios e diretrizes que organizam ações e práticas, conhecimentos técnicos e científicos atuais¹³. E sua metodologia baseia-se na avaliação da estrutura, processo e resultados do acesso e da qualidade dos serviços da atenção básica¹⁴, incorporando elementos das diversas abordagens anteriores adotadas pelo Ministério da Saúde, mas se diferencia destas por seu caráter universal e rotineiro¹⁵.

Pode-se dizer que o PMAQ-AB vem se apresentando como síntese de um contexto em que progressivamente a avaliação da atenção em saúde se alia aos esforços de expansão de cobertura e de ampliação do acesso de modo articulado ao esforço de melhoria permanente da qualidade, tanto dos serviços quanto do processo de trabalho, gestão e ações ofertadas aos usuários¹¹. Contudo, até o presente momento, há poucos trabalhos publicados com os dados obtidos a partir das ESB que aderiram ao Programa. Essa escassez de estudos é corroborada por Pimentel et al.¹⁶, em relação ao fato de a literatura praticamente não apresentar trabalhos que analisam a qualidade das ações de saúde bucal na atenção básica.

Diante do exposto, objetivou-se avaliar associações entre condições de estrutura e processo com indicadores de desempenho em saúde bucal na Estratégia Saúde da Família do Recife, durante o segundo ciclo do PMAQ-AB.

MÉTODOS

Trata-se de um estudo transversal, com abordagem quantitativa e caráter avaliativo, tendo como base as três categorias propostas por Donabedian para avaliar a qualidade da produção dos serviços de saúde: estrutura, processo e resultado^8,17. Isso porque, apesar de proposta há décadas, tal abordagem metodológica continua a ser a mais empregada para avaliação da qualidade de programas e serviços de saúde em virtude de sua utilidade e simplicidade^1,2.

Adotou-se como período de estudo o ano de 2014, que corresponde ao tempo de realização da avaliação externa do segundo ciclo do PMAQ-AB. E, como local do estudo o município do Recife, capital do estado de Pernambuco, Nordeste brasileiro, que nesse período possuía uma população estimada de 1.555.039 habitantes dispersos num território de 218,435 km^2,18 composto por 94 bairros, distribuídos, para efeito de planejamento e gestão na saúde, em oito Distritos Sanitários, pelos quais se organizava uma rede assistencial de saúde bucal constituída por 144 ESB; 22 unidades básicas tradicionais e 5 policlínicas com ambulatório de odontologia para a população não coberta por ESB; 7 centros de especialidades odontológicas, responsáveis pela atenção especializada em saúde bucal e programa de prótese dentária; e 4 serviços odontológicos de urgência 24 horas.

Apesar de o município ter 144 ESB cadastradas em 2014, o universo do estudo envolveu as ESB participantes da avaliação externa do PMAQ-AB nesse ano, adotando-se, como critérios de inclusão: 1. ESB implantada no município no período da avaliação externa do segundo ciclo do PMAQ-AB; 2. ESB ter realizado adesão ao PMAQ-AB. Como critérios de exclusão, adotaram-se: 1. ESB não ter feito adesão ao PMAQ-AB; 2. ESB ter feito adesão ao PMAQ-AB, mas a avaliação externa não ter sido realizada.

Considerando como variáveis independentes os padrões de qualidade referentes à estrutura e ao processo abordados na avaliação externa do PMAQ-AB, utilizaram-se dados secundários da base de dados elaborada pelo Ministério da Saúde a partir dessa avaliação, especificamente os dados dos módulos V (observação na unidade de saúde) e VI (entrevista com profissional da ESB e verificação de documentos na unidade de saúde). Para as variáveis dependentes, representadas pelos indicadores de desempenho em saúde bucal selecionados pelo Programa, utilizaram-se dados secundários do sistema de informação então disponível às ESB do município participantes da avaliação externa - o Sistema de Informação da Atenção Básica (Siab). Tais indicadores foram calculados do seguinte modo, contemplando a competência de 2014 a partir da média anual de cada um deles:

• Média de ação coletiva de escovação dental supervisionada: número de pessoas participantes na ação realizada em determinado local e período dividido pela população cadastrada no mesmo local e período, multiplicado por 100;

• Cobertura de primeira consulta odontológica programática: número de primeiras consultas odontológicas programáticas em determinado local e período dividido pela população cadastrada no mesmo local e período, multiplicado por 100;

• Cobertura de primeira consulta de atendimento odontológico à gestante: número de gestantes atendidas em primeira consulta odontológica programática em determinado local e período dividido pela população cadastrada no mesmo local e período, multiplicado por 100;

• Razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas: número de tratamentos concluídos pela ESB em determinado local e período dividido pelo número de primeiras consultas odontológicas programáticas no mesmo local e período.

Os dados coletados foram processados no programa Microsoft Excel e analisados no software Statistic Package for the Social Sciences (SPSS) versão 20. Ressalta-se que das 159 variáveis independentes coletadas inicialmente para este estudo, foram consideradas 16 que melhor representaram as subdimensões da qualidade relacionadas à estrutura e ao processo, por apresentarem maior poder discriminatório de resposta entre as ESB. Nas situações em que as variáveis selecionadas eram não dicotômicas, usou-se como ponto de corte o valor da mediana obtida. Os quatro indicadores de desempenho também foram transformados em variáveis dicotômicas, usando como ponto de corte o valor da mediana (Quadro 1).

Quadro 1
Número de variáveis, segundo dimensão e subdimensão de análise estabelecidas pela proposta metodológica do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB), que possuem relação direta com a atenção em saúde bucal e foram avaliadas no estudo

Dimensão	Subdimensão	Número de variáveis		Identificação das variáveis dicotômicas finais
		inicial	final
Estrutura	Modalidade da ESB	1	1	• modalidade I - modalidade II
	Número de EqSF de referência para ESB	4	1	• ESB atua para 1 EqSF - ESB atua para 2 ou 3 EqSF
	Tempo de atuação na ESB	1	1	• até 5 anos - 6 anos ou mais (base na mediana)
	Gestão do trabalho	2	0	-
	Plano de carreira e remuneração variável	5	1	• não recebe incentivo, gratificação, prêmio financeiro por desempenho ou não sabe - recebe incentivo, gratificação, prêmio financeiro por desempenho ou não sabe
	Qualificação dos profissionais da ESB	9	0	-
	Funcionamento da USF	4	0	-
	Características estruturais e de ambiência da USF	6	2	• acústica do consultório odontológico inadequada - acústica do consultório odontológico adequada
				• privacidade no consultório odontológico inadequada - privacidade no consultório odontológico adequada
	Equipamentos, instrumentais, materiais, insumos e impressos na USF	86	1	• disponibilidade e compartilhamento de equipamentos, instrumentais e insumos abaixo da mediana - disponibilidade e compartilhamento de equipamentos, instrumentais e insumos acima da mediana (base no agregado de todas as variáveis da subdimensão)
Processo	Educação Permanente	14	1	• participação em atividades de educação permanente abaixo da mediana - participação em atividades de educação permanente acima da mediana (base no agregado de todas as variáveis da subdimensão)
	Planejamento das ações da ESB	5	1	• desenvolvimento de ações de planejamento abaixo da mediana - desenvolvimento de ações de planejamento acima da mediana (base no agregado de todas as variáveis da subdimensão)
	Organização dos prontuários na USF	4	0	-
	Organização da agenda da ESB	3	2	• quantidade de usuários atendidos no consultório, em média, por turno abaixo da mediana - quantidade de usuários atendidos no consultório, em média, por turno acima da mediana
				• garantia de agendamento de retorno para continuidade do tratamento - não garantia de agendamento de retorno para continuidade do tratamento
	Coordenação do cuidado na rede de atenção e resolutividade	6	1	• coordenação do cuidado na rede de atenção e resolutividade abaixo da mediana - coordenação do cuidado na rede de atenção e resolutividade acima da mediana (base no agregado de todas as variáveis da subdimensão)
	Saúde da mulher e da criança	2	0	-
	Programa Saúde na Escola	3	1	• não possui levantamento do número de escolares identificados com necessidades de saúde bucal que precisavam de atendimento clínico - possui levantamento do número de escolares identificados com necessidades de saúde bucal que precisavam de atendimento clínico
	Visita domiciliar e cuidado realizado no domicílio	2	1	• não uso de protocolo ou documento com definição de situações prioritárias para visita domiciliar - uso de protocolo ou documento com definição de situações prioritárias para visita domiciliar
	Câncer de boca	1	1	• não tem registro de casos suspeitos/confirmados de câncer de boca ou desconhece se há algum caso no território - tem registro de casos suspeitos/confirmados de câncer de boca
	Prótese dentária	1	1	• não há promoção de ações no território para identificar pessoas com necessidade de prótese dentária - há promoção de ações no território para identificar pessoas com necessidade de prótese dentária
Resultados	Desempenho	4	4	• média da ação coletiva de escovação dental supervisionada abaixo da mediana - média da ação coletiva de escovação dental supervisionada acima da mediana;
				• cobertura de primeira consulta odontológica programática abaixo da mediana - cobertura de primeira consulta odontológica programática acima da mediana;
				• cobertura de primeira consulta de atendimento odontológico à gestante abaixo da mediana - cobertura de primeira consulta de atendimento odontológico à gestante acima da mediana;
				• razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas abaixo da mediana - razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas acima da mediana

O teste Qui-Quadrado serviu para analisar as associações entre as variáveis independentes e dependentes, enquanto se analisou a força de associação entre essas variáveis pela Razão de Chances “Odds Ratio” (OR), calculada pelo uso da regressão logística, em análises simples e múltipla. Da análise simples foram eletivas para análise múltipla as variáveis que obtiveram p ≤ 0,250. Nessas análises, considerou-se o nível de significância de 5% num intervalo de confiança (IC) de 95%.

Este estudo foi aprovado em 25 de abril de 2017 pelo Comitê de Ética em Pesquisa do Instituto Aggeu Magalhães/Fundação Oswaldo Cruz (parecer n° 2.011.713). Não houve conflitos de interesses entre os pesquisadores e o objeto pesquisado.

RESULTADOS

Participaram da avaliação externa do segundo ciclo do PMAQ-AB, 112 ESB do município do Recife. Dentre estas, evidencia-se associação estatisticamente significante da média da ação coletiva de escovação dental supervisionada apenas com a acústica do consultório odontológico (p = 0,005); da cobertura de primeira consulta odontológica programática com a privacidade no consultório odontológico (p = 0,052) e o levantamento do número de escolares identificados com necessidades de saúde bucal que precisavam de atendimento clínico (p = 0,002); da cobertura de primeira consulta de atendimento odontológico à gestante com a quantidade de equipe mínima da Estratégia Saúde da Família (EqSF) em que a ESB atua (p= 0,015) e com a garantia de agendamento de retorno para continuidade do tratamento (p= 0,023); e da razão entre tratamentos concluídos e primeiras consultas odontológicas com a modalidade da ESB (p= 0,057), quantidade de EqSF em que a ESB atua (p= 0,001) e com a garantia de agendamento de retorno para continuidade do tratamento (p= 0,023) (Tabela 1).

Tabela 1
Frequência e percentual de padrões de qualidade de estrutura e processo do PMAQ-AB em relação às variáveis independentes, Recife, 2014

Variáveis Independentes	Média da ação coletiva de escovação dental supervisionada			Cobertura de 1ª consulta odontológica programática				Cobertura de 1ª consulta odontológica à gestante			Razão de tratamentos concluídos e 1ªs consultas odontológicas programáticas
	Abaixo da mediana n (%)	Acima da mediana n (%)	Total n (%)	Abaixo da mediana n (%)	Acima da mediana n (%)	Total n (%)		Abaixo da mediana n (%)	Acima da mediana n (%)	Total n (%)	Abaixo da mediana n (%)	Acima da mediana n (%)	Total n (%)
Tempo de atuação do CD na ESF
Até 5 anos	29 (54,7)	24 (45,3)	53 (100)	30 (56,6)	23 (43,4)	53 (100)		25 (47,2)	28 (52,8)	53 (100)	24 (45,3)	29 (54,7)	53 (100)
6 anos ou mais	27 (45,8)	32 (54,2)	59 (100)	26 (44,1)	33 (55,9)	59 (100)		31 (52,5)	28 (47,5)	59 (100)	32 (54,2)	27 (45,8)	59 (100)
Modalidade da ESB
Modalidade I	43 (53,1)	38 (46,9)	81 (100)	39 (48,1)	42 (51,9)	81 (100)		43 (53,1)	38 (46,9)	81 (100)	45*a (55,6)	36 (44,4)	81 (100)
Modalidade II	13 (41,9)	18 (58,1)	31 (100)	17 (54,8)	14 (45,2)	31 (100)		13 (41,9)	18 (58,1)	31 (100)	11 (35,5)	20*a (64,5)	31 (100)
Acústica do consultório odontológico
Inadequada	8 (27,6)	21*a (72,4)	29 (100)	13 (44,8)	16 (55,2)	29 (100)		12 (41,4)	17 (58,6)	29 (100)	17 (58,6)	12 (41,4)	29 (100)
Adequada	48*a (57,8)	35 (42,2)	83 (100)	43 (51,8)	40 (48,2)	83 (100)		44 (53,0)	39 (47,0)	83 (100)	39 (47,0)	44 (53,0)	83 (100)
Privacidade no consultório odontológico
Inadequada	8 (53,3)	7 (46,7)	15 (100)	11*a (73,3)	4 (26,7)	15 (100)		9 (60,0)	6 (40,0)	15 (100)	6 (40,0)	9 (60,0)	15 (100)
Adequada	48 (49,5)	49 (50,5)	97 (100)	45 (46,4)	52*a (53,6)	97 (100)		47 (48,5)	50 (51,5)	97 (100)	50 (51,5)	47 (48,5)	97 (100)
Disponibilidade e compartilhamento de equipamentos, instrumentais e insumos
Abaixo da mediana (66)	28 (45,2)	34 (54,8)	62 (100)	30(48,4)	32 (51,6)	62 (100)		28 (45,2)	34 (54,8)	62 (100)	29 (46,8)	33 (53,2)	62 (100)
Acima da mediana (66)	28 (56,0)	22 (44,0)	50 (100)	26 (52,0)	24 (48,0)	50 (100)		28 (56,0)	22 (44,0)	50 (100)	27 (54,0)	23 (46,0)	50 (100)
Incentivo, gratificação, prêmio financeiro por desempenho
Não recebe ou não sabe	7 (36,8)	12 (63,2)	19 (100)	6 (31,6)	13 (68,4)	19 (100)		9 (47,4)	10 (52,6)	19 (100)	13 (68,4)	6 (31,6)	19 (100)
Recebe	49 (52,7)	44 (47,3)	93 (100)	50 (53,8)	43 (46,2)	93 (100)		47 (50,5)	46 (49,5)	93 (100)	43 (46,2)	50 (53,8)	93 (100)
Quantidade de EqSF em que a ESB atua
1 equipe				18 (50,0)	18 (50,0)	36 (100)	15 (41,7)		21 (58,3)	36 (100)	12 (33,3)	24*a (66,7)	36 (100)
2 ou 3 equipes	38 (50,0)	38 (50,0)	76 (100)	41 (53,9)	35 (46,1)	76 (100)		44*a (57,9)	32 (42,1)	76 (100)	46*a (60,5)	30 (39,5)	76 (100)
Participação em atividades de educação permanente
Abaixo da mediana (8)	37 (48,7)	39 (51,3)	76 (100)	38 (50,0)	38 (50,0)	76 (100)		34 (44,7)	42 (55,3)	76 (100)	39 (51,3)	37 (48,7)	76 (100)
Acima da mediana (8)	19 (52,8)	17 (47,2)	36 (100)	18 (50,0)	18 (50,0)	36 (100)		22 (61,1)	14 (38,9)	36 (100)	17 (47,2)	19 (52,8)	36 (100)
Desenvolvimento de ações de planejamento
Abaixo da mediana	33 (51,6)	31 (48,4)	64 (100)	31 (48,4)	33 (51,6)	64 (100)		35 (54,7)	29 (45,3)	64 (100)	32 (50,0)	32 (50,0)	64 (100)
Acima da mediana	23 (47,9)	25 (52,1)	48 (100)	25 (52,1)	23 (47,9)	48 (100)		21 (43,8)	27 (56,3)	48 (100)	24 (50,0)	24 (50,0)	48 (100)
Quantidade de usuários atendidos no consultório, em média, por turno
Abaixo da mediana (8)	26 (51,0)	25 (49,0)	51 (100)	25 (49,0)	26 (51,0)	51 (100)		25 (49,0)	26 (51,0)	51 (100)	26 (51,0)	25 (49,0)	51 (100)
Acima da mediana (8)	30 (49,2)	31 (50,8)	61 (100)	31 (50,8)	30 (49,2)	61 (100)		31 (50,8)	30 (49,2)	61 (100)	30 (49,2)	31 (50,8)	61 (100)
Garantia de agendamento de retorno para continuidade do tratamento
Não	11 (57,9)	8 (42,1)	19 (100)	12 (63,2)	7 (36,8)	19 (100)		14*a (73,7)	5 (26,3)	19 (100)	14*a (73,7)	5 (26,3)	19 (100)
Sim	45 (48,4)	48 (51,6)	93 (100)	44 (47,3)	49 (52,7)	93 (100)		42 (45,2)	51*a (54,8)	93 (100)	42 (45,2)	51*a (54,8)	93 (100)
Coordenação do cuidado na rede de atenção e resolutividade
Abaixo da mediana	31 (52,5)	28 (47,5)	59 (100)	31 (52,5)	28 (47,5)	59 (100)		28 (47,5)	31 (52,5)	59 (100)	28 (47,5)	31 (52,5)	59 (100)
Acima da mediana	25 (47,2)	28 (52,8)	53 (100)	25 (47,2)	28 (52,8)	53 (100)		28 (52,8)	25 (47,2)	53 (100)	28 (52,8)	25 (47,2)	53 (100)
Registro de casos suspeitos/confirmados de câncer de boca
Não tem ou desconhece algum caso no território								26 (60,5)	17 (39,5)	43 (100)	24 (55,8)	19 (44,2)	43 (100)
Tem registro								30 (43,5)	39 (56,5)	69 (100)	32 (46,4)	37 (53,6)	69 (100)
Uso de protocolo ou documento com definição de situações prioritárias para visita domiciliar
Não								22 (59,5)	15 (40,5)	37 (100)	20 (54,1)	17 (45,9)	37 (100)
Sim								32 (43,8)	41 (56,2)	73 (100)	34 (46,6)	39 (53,4)	73 (100)
Promoção de ações no território para identificar pessoas com necessidade de prótese dentária
Não	18 (50,0)	18 (50,0)	36 (100)	16 (44,4)	20 (55,6)	36 (100)		17 (47,2)	19 (52,8)	36 (100)	15 (41,7)	21 (58,3)	36 (100)
Sim	38 (50,0)	38 (50,0)	76 (100)	40 (52,6)	36 (47,4)	76 (100)		39 (51,3)	37 (48,7)	76 (100)	41 (53,9)	35 (46,1)	76 (100)
Levantamento do número de escolares identificados com necessidades de saúde bucal que precisam de atendimento clínico
Não possui	8 (66,7)	4 (33,3)	12 (100)	11*a (91,7)	1 (8,3)	12 (100)		7 (58,3)	5 (41,7)	12 (100)	6 (50,0)	6 (50,0)	12 (100)
Possui	37 (48,7)	39 (51,3)	76 (100)	33 (43,4)	43*a (56,6)	76 (100)		36 (47,4)	40 (52,6)	76 (100)	35 (46,1)	41 (53,9)	76 (100)

• Teste Qui-Quadrado de Pearson
• ^*
  Valor p < 0,050;
• ^a
  Resíduo ajustado > 1,96
• Fonte: Elaboração própria, a partir dos bancos de dados do segundo ciclo do PMAQ-AB e do Siab

No modelo final da regressão logística, permaneceram as variáveis independentes com significância estatística de 5% ou que, embora não tenham alcançado a significância, serviram para o ajuste do modelo (Tabela 2). Constata-se que as ESB que atuavam em consultório odontológico com condição inadequada de acústica tiveram 3,16 mais chances de apresentar maior desempenho na média da ação coletiva de escovação dental supervisionada quando comparadas com as que atuavam em consultórios com acústica adequada (p = 0,049).

Tabela 2
Medidas de associação entre indicadores de desempenho em saúde bucal e as variáveis independentes selecionadas para o modelo final da regressão logística, Recife, 2014

Variáveis Independentes	Média da ação coletiva de escovação dental supervisionada		Cobertura de primeira consulta odontológica programática		Cobertura de primeira consulta de atendimento odontológico à gestante		Razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas
	OR (IC 95%)$	Valor p	OR (IC 95%)$	Valor p	OR (IC 95%)$	Valor p	OR (IC 95%)$	Valor p
Tempo de atuação do CD na ESF
Até 5 anos	_	_	1		_	_	_	_
6 anos ou mais	_	_	2,66 (0,96-7,38)	0,061	_	_	_	_
Modalidade da ESB
Modalidade I	_	_	_	_	_	_	1
Modalidade II	_	_	_	_	_	_	3,70 (1,33-10,27)	0,012*
Acústica do consultório odontológico
Inadequada	3,16 (1,01-9,94)	0,049*	_	_	_	_	_	_
Adequada	1		_	_	_	_	_	_
Privacidade no consultório odontológico
Inadequada	_	_	1		_	_	_	_
Adequada	_	_	2,78 (0,64-12,09)	0,174	_	_	_	_
Disponibilidade e compartilhamento de equipamentos, instrumentais e insumos
Abaixo da mediana (66)	2,29 (0,90-5,83)	0,083	_	_	_	_	_	_
Acima da mediana (66)	1		_	_	_	_	_	_
Incentivo, gratificação, prêmio financeiro por desempenho
Não recebe ou não sabe	1		1		_	_	1
Recebe	0,61 (0,15-2,47)	0,492	0,155 (0,03-0,83)	0,029*	_	_	0,25 (0,08-0,86)	0,028*
Quantidade de EqSF em que a ESB atua
1 equipe	_	_	4,30 (1,33-13,93)	0,015*	2,95 (1,23-7,10)	0,016*	5,35 (2,01-14,20)	0,001*
2 ou 3 equipes	_	_	1		1		1
Participação em atividades de educação permanente
Abaixo da mediana (8)	_	_	_	_	1		_	_
Acima da mediana (8)	_	_	_	_	0,42 (0,17-1,01)	0,052*	_	_
Desenvolvimento de ações de planejamento
Abaixo da mediana (6)	_	_	_	_	1		_	_
Acima da mediana (6)	_	_	_	_	1,61 (0,72-3,63)	0,248	_	_
Garantia de agendamento de retorno para continuidade do tratamento
Não	_	_	1		1		1
Sim	_	_	1,64 (0,43-6,34)	0,471	3,64 (1,14-11,65)	0,029*	5,03 (1,42-17,78)	0,012*
Registro de casos suspeitos/confirmados de câncer de boca
Não tem ou desconhece se há algum caso no território	1		_	_	_	_	_	_
Tem registro	1,56 (0,56-4,30)	0,392	_	_	_	_	_	_
Uso de protocolo ou documento com definição de situações prioritárias para visita domiciliar
Não	1		_	_	_	_	_	_
Sim	1,31 (0,47-3,60)	0,604	_	_	_	_	_	_
Promoção de ações no território para identificar pessoas com necessidade de prótese dentária
Não	_	_	_	_	_	_	1
Sim	_	_	_	_	_	_	0,42 (0,17-1,08)	0,073
Levantamento do número de escolares identificados com necessidades de saúde bucal que precisam de atendimento clínico
Não possui	1		1		_	_	_	_
Possui	1,32 (0,30-5,76)	0,716	27,47 (2,24-336,34)	0,010*	_	_	_	_

• ^$
  Odds ratio, com intervalo de confiança de 95%
• ^*
  Valor de p < 0,050
• Fonte: Elaboração própria, a partir dos bancos de dados do segundo ciclo do PMAQ-AB e do Siab

As ESB equiparadas às EqSF apresentaram 4,30 mais chances de ter maior cobertura de primeira consulta odontológica programática (p = 0,015), 2,95 mais chances de ter maior cobertura de primeira consulta de atendimento odontológico à gestante (p = 0,016) e 5,35 mais chances de ter maior razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas (p = 0,001) em relação às ESB que atuavam para duas ou três EqSF. Além disso, atuar em ESB modalidade II apresentou mais chances de ter maior razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas (OR 3,70; IC 1,33-10,27; p = 0,012).

Destaca-se, também, que as ESB que garantiam o agendamento de retorno para continuidade do tratamento apresentaram 3,64 mais chances de ter maior cobertura de primeira consulta de atendimento odontológico à gestante (p = 0,029) e 5,03 mais chances de ter maior razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas quando comparadas com as que não garantiam esse agendamento (p = 0,012). Já as ESB que possuíam o levantamento do número de escolares identificados com necessidades de saúde bucal que precisavam de atendimento clínico apresentaram 27,47 mais chances de ter maior cobertura de primeira consulta odontológica programática (p = 0,010).

Identificou-se, por outro lado, que receber incentivo, gratificação ou prêmio financeiro por desempenho teve associação inversa ao maior valor nos indicadores de cobertura de primeira consulta odontológica programática (OR 0,16; IC 0,03-0,83; p = 0,029) e à razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas (OR 0,25; IC 0,08-0,86; p = 0,028). Do mesmo modo, a maior participação em atividades de educação permanente teve associação inversa ao maior valor no indicador de cobertura de primeira consulta de atendimento odontológico à gestante (OR 0,42; IC 0,17-1,01; p = 0,052).

DISCUSSÃO

Os resultados demonstram que a equiparação das ESB com as EqSF e a implantação de ESB modalidade II foram os principais padrões de qualidade sob governabilidade da gestão municipal, com associação ao maior valor dos indicadores de desempenho (particularmente os relacionados ao atendimento clínico individual), enquanto a garantia de agendamento de retorno para a continuidade do tratamento e o levantamento do número de escolares identificados com necessidades de saúde bucal que precisavam de atendimento clínico foram os principais padrões de qualidade sob governabilidade das ESB associados ao maior valor desses indicadores.

A identificação de que as ESB que trabalhavam em consultório odontológico com condições de acústica consideradas inadequadas tiveram maior desempenho na ação coletiva de escovação dental supervisionada talvez seja explicada pela busca de essas ESB reduzirem o tempo de atividade dentro do consultório nessas condições, direcionando um maior tempo para atividades coletivas na sua jornada de trabalho. Essa suposição, entretanto, precisa ser investigada para confirmar ou não sua procedência.

Ademais, o fato de essas ESB mostrarem mais chances de apresentar melhor desempenho na média da ação coletiva de escovação dental supervisionada não deve ser usado como argumento para se manter essa condição desfavorável de estrutura. Para aumentar a média desse indicador, Lamy¹⁹ sugere a ampliação da cobertura de ESB numa tendência de equiparação destas equipes com as EqSF; implantação de ESB modalidade II; distribuição de escova dental e dentifrício fluoretado; envolvimento dos agentes comunitários de saúde nessa atividade; existência de escovódromos nas Unidades de Saúde da Família (USF); melhoria no registro da produção e monitoramento do indicador.

Quanto à equiparação das ESB às EqSF, destacada por ser a variável independente a apresentar associação estatisticamente significante à maioria dos indicadores de desempenho no modelo final, Albuquerque et al.²⁰ reforçam que uma questão que precisa nortear a reorganização dos modelos assistenciais refere-se à relação ideal de uma ESB para uma EqSF, visto que proporções de duas ou três EqSF para uma EqSB refletem desempenho ruim, diante da enorme demanda para atendimento odontológico.

Ainda sobre essa relação de proporcionalidade entre as equipes, Pimentel²¹ tinha demonstrado, para o ano de 2008, uma média três vezes maior da cobertura da primeira consulta odontológica programática nos municípios pernambucanos com relação de 1ESB:1EqSF, quando comparados aos municípios com média de 1 ESB atuando para 2 ou mais EqSF, sinalizando menor dificuldade de acesso da população aos serviços quando existia equiparação entre as equipes.

Além disso, a maior resolutividade identificada nas ESB modalidade II, representada por uma melhor razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas, pode ser consequência, como sugerem alguns estudos^22,23, da inclusão de o TSB potencializar o aumento do acesso e da produtividade ao atendimento odontológico, reduzindo o tempo necessário para a conclusão de tratamento. Nesse sentido, Neves et al.²⁴, por exemplo, constataram 1,42 mais chances de realizar uma maior variedade de procedimentos clínicos preventivos nas ESB modalidade II do que na modalidade I avaliadas no primeiro ciclo do PMAQ-AB.

Destaca-se, também, o fato de as ESB que garantiam o agendamento de retorno para continuidade do tratamento terem apresentado mais chances de ter maior cobertura de primeira consulta de atendimento odontológico à gestante (OR 3,64; IC 1,14-11,65; p = 0,029) e maior razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas (OR 5,03; IC 1,42-17,78; p = 0,012) quando comparadas com as que não garantiam esse agendamento. Assim, pode-se afirmar que tal aspecto da organização da agenda foi estratégico para as ESB promoverem acesso às gestantes com continuidade de tratamento, e isso aumentou a resolutividade dessas equipes, expressa pela razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas.

Outro destaque é que o levantamento do número de escolares identificados com necessidades de saúde bucal que precisavam de atendimento clínico esteve associado à cobertura de primeira consulta odontológica programática, com elevada chance de as ESB que possuíam esse levantamento apresentarem maior valor no referido indicador (OR 27,47; IC 2,24-336,34; p = 0,010). Tal achado pode ser indício de uma melhor capacidade de organização das atividades individuais programáticas por parte dessas equipes e da inclusão prioritária dos escolares avaliados no agendamento de consultas na USF. Todavia, era de esperar que o indicador de ação coletiva de escovação dental supervisionada também se destacasse entre as ESB inseridas no Programa Saúde na Escola. Então, essa não ocorrência pode ser um indicativo de que as equipes estejam com dificuldades de articular ações educativas, preventivas e curativas.

Sobre a constatação de que receber incentivo, gratificação ou prêmio financeiro por desempenho teve associação inversa à maior cobertura de primeira consulta odontológica programática e à razão entre tratamentos concluídos e primeiras consultas odontológicas programáticas, isso pode ter relação com o fato de esses indicadores não serem considerados na avaliação de desempenho das ESB no plano de carreira do município, além do incentivo existente no plano ter um baixo valor. De todo o modo, diferentes estudos têm mostrado o pagamento por desempenho como uma estratégia desenvolvida para motivar melhorias de qualidade nos cuidados de saúde^25-28.

É válido acrescentar também que, considerando a educação permanente como fundamental para promover ao cotidiano dos profissionais a reflexão sobre suas práticas, com vistas à qualificação da atenção em saúde e ressignificação dos fazeres da ESB, é estranho que a maior participação em atividades de educação permanente tenha apresentado associação inversa à maior cobertura de primeira consulta de atendimento odontológico à gestante. Assim, recomenda-se a avaliação sobre o que tem sido abordado nessas atividades e como estas têm sido desenvolvidas, uma vez que alguns estudos^6,29,30 demonstraram nós críticos na realização de atividades de educação permanente voltadas às ESB, resultando em pouca efetividade e avanços incipientes no trabalho em saúde bucal.

Diante do exposto, sugere-se que a equiparação das ESB com as EqSF, a implantação de ESB modalidade II, a garantia de agendamento de retorno para a continuidade do tratamento e o levantamento do número de escolares identificados com necessidades de saúde bucal sejam padrões de qualidade priorizados no município, a fim de potencializar maior acesso e resolutividade das ESB, expressos por um aumento nos valores dos indicadores de desempenho em saúde bucal.

Apesar das limitações deste estudo, como o seu caráter local e o universo constituído apenas pelas ESB que aderiram voluntariamente ao PMAQ-AB e participaram da avaliação externa do segundo ciclo do Programa (o que não necessariamente o torna representativo para todas as ESB do Recife) e o limite explicativo dos dados exclusivamente quantitativos, da própria natureza da coleta dos dados na avaliação externa do Programa (que possui desdobramentos políticos e financeiros para gestão municipal), acredita-se que a discussão da qualidade da atenção em saúde bucal permeia as características do sistema de saúde e, desta forma, os resultados apresentados podem ser inferidos a outras localidades, obviamente considerando-se as peculiaridades dos sistemas locais.

Vale ressaltar que, para o município de Recife, os dados de 2014 são os mais recentes que contemplam a maioria de suas ESB, visto que pouquíssimas ESB do município participaram da avaliação externa do terceiro ciclo do Programa realizada em 2017. Ademais, mesmo com a descontinuidade do PMAQ-AB pelo Ministério da Saúde em 2020, ele oferta uma gama de dados que propiciam análises mais detalhadas, com maior número de variáveis, do que o instrumento de avaliação que o substituiu e do qual ainda não há dados coletados disponíveis para análise.

Por fim, sugere-se que outros estudos devam avaliar aspectos qualitativos dos resultados encontrados, com o intuito de captar e compreender como, por que e para quem as ações funcionam e produzem efeitos desejados.

• Como citar: Monteiro IS, Moreira RS, Farias SF. Avaliação da qualidade da atenção em saúde bucal na estratégia saúde da família de Recife, Pernambuco, 2014. Cad Saúde Colet, 2022; Ahead of Print. https://doi.org/10.1590/1414-462X202230030437
• Trabalho realizado no Instituto Aggeu Magalhães, Fundação Oswaldo Cruz (IAM/FIOCRUZ) - Recife (PE), Brasil.
• Fonte de financiamento: nenhuma.

REFERÊNCIAS

• ¹
  Pereira MG. Epidemiologia: teoria e prática. Rio de Janeiro: Guanabara Koogan; 2012.
• ²
  Frias PG, Samico I, Felisberto E, Figueiró AC. Atributos da qualidade em saúde. In: Samico I, Felisberto E, Figueiró AC, Frias PG, editores. Avaliação em saúde: bases conceituais e operacionais. Rio de Janeiro: Medbook; 2010. p. 43-56.
• ³
  Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Teto, credenciamento e implantação das estratégias de Agentes Comunitários de Saúde, Saúde da Família e Saúde Bucal: Recife-PE, competência de janeiro de 2001 a dezembro de 2014 [Internet]. Brasília: MS; 2016 [citado em 2016 out 20]. Disponível em: http://dab.saude.gov.br/dab/historico_cobertura_sf/historico_cobertura_sf_relatorio.php
  » http://dab.saude.gov.br/dab/historico_cobertura_sf/historico_cobertura_sf_relatorio.php
• ⁴
  Silva PRA. Avaliação da atenção à saúde bucal no Programa Saúde da Família do Recife: níveis de qualidade e aspectos contextuais relevantes [dissertação]. Recife: Centro de Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz; 2008.
• ⁵
  Viana IB. Análise do acesso na Estratégica Saúde da Família a serviços odontológicos no estado de Pernambuco: estudo comparativo entre os anos 2001 e 2009 [monografia]. Recife: Centro de Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz; 2011.
• ⁶
  Scherer CI, Scherer MDA. Avanços e desafios da saúde bucal após uma década de Programa Brasil Sorridente. Rev Saude Publica. 2015;49:98. https://doi.org/10.1590/S0034-8910.2015049005961
  » https://doi.org/10.1590/S0034-8910.2015049005961
• ⁷
  Felisberto E. Da teoria à formulação de uma Política Nacional de Avaliação em Saúde: reabrindo o debate. Cien Saude Colet. 2006 jul-set;11(3):553-63. http://dx.doi.org/10.1590/S1413-81232006000300002
  » http://dx.doi.org/10.1590/S1413-81232006000300002
• ⁸
  Donabedian A. The quality of care: how can it be assessed? JAMA. 1988 set;260(12):1743-8. http://dx.doi.org/10.1001/jama.1988.03410120089033 PMid:3045356.
  » http://dx.doi.org/10.1001/jama.1988.03410120089033
• ⁹
  Pisco LA. A avaliação como instrumento de mudança. Cien Saude Colet. 2006 jul-set;11(3):566-8. http://dx.doi.org/10.1590/S1413-81232006000300004
  » http://dx.doi.org/10.1590/S1413-81232006000300004
• ¹⁰
  Righi AW, Schmidt AS, Venturini JC. Qualidade em serviços públicos de saúde: uma avaliação da Estratégia Saúde da Família. Rev Produção Online. 2010 set;10(3):649-69. http://dx.doi.org/10.14488/1676-1901.v10i3.405
  » http://dx.doi.org/10.14488/1676-1901.v10i3.405
• ¹¹
  Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica (PMAQ-AB): manual instrutivo. Brasília: Ministério da Saúde; 2013.
• ¹²
  Paludetto M Jr, Santos LMP, Pereira MF, Pucca Júnior GA. Avaliação da estrutura normativa da Política Nacional de Saúde Bucal - Brasil Sorridente, no período de 2003 a 2011. Divulg Saude Debate. 2014 out;51:86-104.
• ¹³
  Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Nota metodológica da certificação das equipes de saúde bucal participantes do Programa Nacional de Melhoria do Acesso e da Qualidade da Atenção Básica 2013-2014 (versão preliminar). Brasília: Ministério da Saúde; 2015.
• ¹⁴
  Gomes WS, Bezerra AFB. Programa de Melhoria do Acesso e da Qualidade da Atenção Básica: reflexões sobre o papel da avaliação na efetivação da integralidade em saúde. Saarbrücken: Novas Edições Acadêmicas; 2014.
• ¹⁵
  Fausto MCR, Mendonça MHM, Giovanella L. Experiências de avaliação da Atenção Básica no Brasil: notas para um debate. In: Fausto MCR, Fonseca HS, editores. Rotas da atenção básica no Brasil: experiências do trabalho de campo PMAQ AB. Rio de Janeiro: Saberes; 2013. p. 289-309.
• ¹⁶
  Pimentel FC, Albuquerque PC, Martelli PJL, Acioli RML, Souza WV. Análise dos indicadores de saúde bucal do Estado de Pernambuco: desempenho dos municípios segundo porte populacional, população cadastrada no Sistema de Informação da Atenção Básica e proporção na Estratégia Saúde da Família. Cad Saude Colet. 2014 mar;22(1):54-61. http://dx.doi.org/10.1590/1414-462X201400010009
  » http://dx.doi.org/10.1590/1414-462X201400010009
• ¹⁷
  Donabedian A. An introdution to quality assurance in health care. New York: Oxford University Press; 2003.
• ¹⁸
  Instituto Brasileiro de Geografia e Estatística. Estimativa populacional 2014 [Internet]. 2014 [citado em 2016 jun 14]. Disponível em: http://www.ibge.gov.br/home/ estatistica/populacao/estimativa2014
  » http://www.ibge.gov.br/home/
• ¹⁹
  Lamy RLRF. Indicadores de Saúde Bucal no Estado de Minas Gerais no período de 2005 a 2012: um estudo exploratório [dissertação]. Rio de Janeiro: Escola Nacional de Saúde Pública Sergio Arouca, Fundação Oswaldo Cruz; 2014.
• ²⁰
  Albuquerque MSV, Lyra TM, Farias SF, Medeiros MF, Martelli MPJL. Acessibilidade aos serviços de saúde: uma análise a partir da Atenção Básica em Pernambuco. Saúde Debate. 2014;38(esp):182-94. http://dx.doi.org/10.5935/0103-1104.2014S014
  » http://dx.doi.org/10.5935/0103-1104.2014S014
• ²¹
  Pimentel FC. A atenção à saúde bucal no estado de Pernambuco: uma avaliação dos modelos assistenciais [dissertação]. Recife: Centro de Pesquisas Aggeu Magalhães, Fundação Oswaldo Cruz; 2010.
• ²²
  Bailit HL, Beazoglou TJ, DeVitto J, McGowan T, Myne-Joslin V. Impact of dental therapists on productivity and finances: Literature Review. J Dent Educ. 2012 ago;76(8):1061-7. http://dx.doi.org/10.1002/j.0022-0337.2012.76.8.tb05359.x PMid:22855592.
  » http://dx.doi.org/10.1002/j.0022-0337.2012.76.8.tb05359.x
• ²³
  Nash DA. Adding dental therapists to the health care team to improve access to oral health care for children. Acad Pediatr. 2009 nov-dez;9(6):446-51. http://dx.doi.org/10.1016/j.acap.2009.08.005 PMid:19853552.
  » http://dx.doi.org/10.1016/j.acap.2009.08.005
• ²⁴
  Neves M, Giordani JMA, Ferla AA, Hugo FN. Primary care dentistry in Brazil: from preventions to comprehensive care. J Ambul Care Manage. 2017 abr-jun;40(Supl. 2):S35-48. http://dx.doi.org/10.1097/JAC.0000000000000186 PMid:28252501.
  » http://dx.doi.org/10.1097/JAC.0000000000000186
• ²⁵
  Harris R, Bridgman C, Ahmad M, Bowes L, Haley R, Saleem S, et al. Introducing care pathway commissioning to primary dental care: measuring performance. Br Dent J. 2011;211(11):E22. http://dx.doi.org/10.1038/sj.bdj.2011.1005 PMid:22158196.
  » http://dx.doi.org/10.1038/sj.bdj.2011.1005
• ²⁶
  Josephson E, Gergen J, Coe M, Ski S, Madhavan S, Bauhoff S. How do performance-based financing programmes measure quality of care? A descriptive analysis of 68 quality checklists from 28 low- and middle-income countries. Health Policy Plan. 2017 out;32(8):1120-6. http://dx.doi.org/10.1093/heapol/czx053 PMid:28549142.
  » http://dx.doi.org/10.1093/heapol/czx053
• ²⁷
  Macinko J, Harris MJ, Rocha MG. Brazil’s National Program for Improving Primary Care Access and Quality (PMAQ): fulfilling the potential of the world’s largest payment for performance system in primary care. J Ambul Care Manage. 2017 abr-jun;40(Supl. 2):S4-11. http://dx.doi.org/10.1097/JAC.0000000000000189 PMid:28252498.
  » http://dx.doi.org/10.1097/JAC.0000000000000189
• ²⁸
  Voinea-Griffin A, Fellows JL, Rindal DB, Barasch A, Gilbert GH, Safford MM. Pay for performance: will dentistry follow? BMC Oral Health. 2010;10:9. PMid:20423526.
• ²⁹
  Almeida GCM, Sena MF, Pessoa DMV, Ferreira MAF. Ações preventivas em saúde bucal desenvolvidas na Estratégia Saúde da Família: como os dentistas estão avaliando os resultados no seu processo de trabalho? Cad Saude Colet. 2010;18(4):578-86.
• ³⁰
  Lombardo EM, Cunha AR, Carrard VC, Bavaresco CS. Atrasos nos encaminhamentos de pacientes com câncer bucal: avaliação qualitativa dos cirurgiões-dentistas. Cien Saude Colet. 2014 abr;19(4):1223-32. http://dx.doi.org/10.1590/1413-81232014194.00942013 PMid:24820605.
  » http://dx.doi.org/10.1590/1413-81232014194.00942013

Datas de Publicação

• Publicação nesta coleção
  11 Nov 2022
• Data do Fascículo
  Jul-Sep 2022

Histórico

• Recebido
  07 Ago 2019
• Aceito
  20 Nov 2020