Protocolos de triagem avançada no serviço de emergência: revisão sistemática e metanálise^*

Resumo

Objetivo  Avaliar a efetividade do uso de protocolos de triagem avançada no tempo de permanência, segurança e satisfação dos pacientes e profissionais no serviço de emergência.

Método  Revisão sistemática com metanálise de ensaios clínicos randomizados das bases de dados Embase, BVS, PubMed, CINAHL, Cochrane Library e literatura cinza, utilizando o Review Manager 5.4. Foram incluídos estudos que analisaram tempo de permanência em seus desfechos e excluídos estudos que consideraram outros protocolos de triagem.

Resultados  Foram encontrados 26.672 estudos, revisados por pares, e dez foram incluídos na metanálise. Para tempo de permanência dos pacientes, sete estudos foram incluídos na metanálise (n=8.229), mostrando uma redução de 36 minutos (-0,36[-0,55; -0,17] p=0,002), resultado com baixa certeza de evidências, favorável à intervenção, variando entre -0,53(-0,81; - 0,25) e -0,29(-0,50; -0,07) na análise dos subgrupos. Quanto aos exames solicitados, cinco estudos foram incluídos (n=2270), indicando que não há diferença significativa entre os grupos (odds ratio 0,94 [0,64;1,38]). Quatro estudos (n=6094) analisaram a satisfação dos pacientes e profissionais, apontando um resultado favorável à intervenção.

Conclusão  O protocolo de triagem avançada reduziu o tempo de permanência na emergência sem comprometer a segurança e a qualidade do atendimento, embora sejam necessários mais estudos clínicos randomizados sobre o tema. Registrado na PROSPERO (CRD42019142640).

Descritores:
Triagem; Avaliação da Tecnologia Biomédica; Serviços Médicos de Emergência; Prática Avançada de Enfermagem; Enfermagem Baseada em Evidências; Revisão Sistemática

Abstract

Objective  To evaluate the effectiveness of using advanced triage protocols on the length of stay, safety and satisfaction of the patients and professionals in the emergency department.

Method  A systematic review with meta-analysis of randomized clinical trials included in the Embase, BVS, PubMed, CINAHL, Cochrane Library databases and in the gray literature, using Review Manager 5.4. Studies that analyzed length of stay in their outcomes were included and the studies excluded were those that considered other triage protocols.

Results  26,672 peer-reviewed studies were found and ten were included in the meta-analysis. For the patients’ length of stay, seven studies were included in the meta-analysis (n=8,229), showing a 36-minute reduction (-0.36[-0.55;-0.17] p=0.002), a result with low certainty of evidence, favorable to the intervention, varying between -0.53 (-0.81;- 0.25) and -0.29 (-0.50;-0.07) in the analysis of the subgroups. Regarding the exams requested, five studies were included (n=2,270), indicating that there is no significant difference between the groups (odds ratio 0.94 [0.64;1.38]). Four studies (n=6,094) analyzed the patients’ and the professionals’ satisfaction, indicating a favorable result to the intervention.

Conclusion  The advanced triage protocol reduced length of stay in the emergency room without compromising care safety and quality, although more randomized clinical studies on the theme are needed. Registered in PROSPERO (CRD42019142640).

Resumen

Objetivo  Evaluar la efectividad del uso de protocolos de triage avanzado en la duración de la estancia, seguridad y satisfacción de los pacientes y profesionales en el servicio de emergencia.

Método  Revisión sistemática con metaanálisis de ensayos clínicos aleatorizados de las bases de datos Embase, BVS, PubMed, CINAHL, Cochrane Library y de la literatura gris, utilizando Review Manager 5.4. Se incluyeron los estudios que analizaron la duración de la estancia en sus resultados y se excluyeron los estudios que consideraron otros protocolos de triage.

Resultados  Se encontraron 26.672 estudios, fueron revisados por pares y diez se incluyeron en el metaanálisis. Para la duración de la estancia de los pacientes, se incluyeron siete estudios en el metaanálisis (n=8.229), que muestran una reducción de 36 minutos (-0,36 [-0,55; -0,17] p=0,002), un resultado con baja certeza de la evidencia, favorable a la intervención, que osciló entre -0,53(-0,81;-0,25) y -0,29(-0,50;-0,07) en el análisis de los subgrupos. En cuanto a las pruebas solicitadas, se incluyeron cinco estudios (n=2270) que indican que no hay diferencia significativa entre los grupos (odds ratio 0,94 [0,64; 1,38]). Cuatro estudios (n=6094) analizaron la satisfacción de los pacientes y profesionales e indican que la intervención tuvo un resultado favorable.

Conclusión  El protocolo de triage avanzado redujo la estancia en el servicio de emergencia sin comprometer la seguridad y la calidad de la atención, aunque es necesario que se realicen más ensayos clínicos aleatorizados sobre el tema. Registrado en PROSPERO (CRD42019142640).

Destaques

(1) Protocolo de Triagem Avançada reduz a superlotação do Serviço de Emergência. (2) O Protocolo de Triagem Avançada é uma prática segura e eficaz na Emergência. (3) Enfermeiros de triagem são qualificados para o uso de Protocolos de Triagem Avançada. (4) Identificou-se um aumento da satisfação dos usuários submetidos à intervenção. (5) Protocolo de Triagem Avançada reduz o tempo de permanência do paciente na Emergência.

Introdução

A superlotação dos serviços de emergência (SE) ocupa as manchetes dos veículos de mídia diariamente e tem demonstrado crescimento exponencial desde a década de 1990, em diversos países^1-2. Desde então, gestores e especialistas buscam alternativas que solucionem ou atenuem esse problema^3-6.

Define-se como superlotação dos SE uma taxa de ocupação superior a 90% de sua capacidade, ausência de leitos, ou pacientes acomodados em espaços inadequados^3-4. Essa situação reflete negativamente na qualidade, segurança e eficiência deste serviço⁵. Por se tratar de um problema de saúde mundial, a superlotação tem sido amplamente discutida, alternativas desenvolvidas e testadas de acordo com o perfil local^3,5-8. Ainda que frequentemente relacionado às causas da superlotação dos SE, no que se refere ao tempo de permanência do paciente nos serviços de emergência, não há um consenso que defina o tempo de permanência seguro, bem como não há clareza dos critérios que definem um tempo de permanência elevado. Os parâmetros variam de acordo com o local e as características dos pacientes, o que implica em uma variável ampla desta medida, entre 4 e 48 horas⁹.

Na busca de resolver a superlotação, a triagem com classificação de risco (CR), que deriva de uma prática militar, passou a ser utilizada nos SE. Apesar de um início promissor dessa estratégia, em 1990 na Europa e em meados dos anos 2000 em outros países, a mesma não solucionou a superlotação dos SE, razão pela qual foram propostos os protocolos de triagem avançada (PTA)^1,5,10.

O PTA consiste em condutas padronizadas, aplicáveis a grupos específicos de pacientes, onde o profissional de triagem inicia ações diagnósticas ou terapêuticas antes que os pacientes sejam vistos por um médico. Esse movimento possibilita a redução do tempo de permanência de pacientes no serviço de emergência a partir da reestruturação do processo de trabalho¹¹. Destacam-se melhores resultados na utilização dos PTA em serviços de emergência que dedicam maior investimento a qualificação e treinamentos dos profissionais de triagem, colocando esse fator como um determinante da segurança e qualidade desta intervenção^12-13.

Conforme estudo realizado na Bélgica, trata-se de um recurso que permite melhorar o gerenciamento dos pacientes e reduzir o tempo de permanência dos pacientes no SE¹. Alguns estudos ainda sugerem impactos positivos na redução de custos¹⁴ e na qualidade da assistência no SE¹³. Diante disso, o objetivo deste estudo é avaliar a efetividade do uso de PTA no tempo de permanência dos pacientes, na segurança e na satisfação dos pacientes e profissionais do SE.

Método

Tipo de estudo

Trata-se de uma revisão sistemática (RS) de literatura com metanálise. Foi registrada na International Prospective Register of Ongoing Systematic Reviews (PROSPERO), sob o número CRD42019142640, em 17/10/2019¹⁵, e foi desenvolvida rigorosamente à luz das orientações preconizadas pelo PRISMA Statement¹⁶.

Estratégia de busca

O método de desenvolvimento consistiu na busca por ensaios clínicos randomizados (ECR) nas plataformas de pesquisa Embase, BVS, PubMed, CINAHL, Cochrane Library, além da busca manual nas listas de referências dos estudos selecionados e literatura cinzenta para responder à questão de pesquisa: Qual a efetividade do uso de PTA no tempo de permanência dos pacientes no SE? A partir da estratégia PICOS (P: pacientes que buscam o SE; I: o uso de PTA; C: triagem convencional; O: tempo de permanência dos pacientes no SE; S: ECR), foram utilizados termos de busca (MeSH): Randomized Controlled Trial, Triage, Hospital Emergency Services e Emergency; os termos livres: advanced triage, triage protocol e length of stay, que, associados aos operadores booleanos (OR e AND) estruturaram a estratégia de busca.

Período de busca

O período de coleta dos estudos ocorreu entre dezembro de 2019 e março de 2020.

Critérios de seleção

Foram incluídos estudos do tipo ECR que abordassem a utilização de um PTA no SE, que mensuraram em seus desfechos o tempo de permanência dos pacientes no SE. Estudos relevantes ao tema, encontrados nas listas de referências ou literatura cinza, foram incluídos. Não houve restrição de idioma na pesquisa e nem quanto ao período de publicação. Foram excluídos os estudos que abordassem triagem não presencial, PTA iniciados no ambiente pré-hospitalar ou que não descreveram o tempo de permanência do paciente entre seus desfechos. Foram excluídos, ainda, estudos nos quais não foi possível acessar os dados complementares após três tentativas de contato com os autores. Os artigos considerados irrelevantes para esta pesquisa foram excluídos em diferentes fases de seleção, com base nos critérios descritos.

Seleção de estudos

Os estudos encontrados foram revisados por quatro examinadores, a partir da leitura de títulos e resumos por pares, de forma independente. Estudos selecionados por apenas um par de revisores foram incluídos na fase seguinte. Nesta fase, foi utilizado o gerenciador de referências EndNote online. As listas dos estudos selecionados nesta fase foram comparadas e verificou-se a concordância da análise através do teste de Kappa. A força de concordância foi definida como leve (0,00 a 0,20), regular (0,21 a 0,40), moderado (0,41 a 0,60), substancial (0,61 a 0,80) ou quase perfeito (0,81 a 1,00)¹⁷.

A segunda fase da análise consistiu na leitura completa dos artigos por dois pesquisadores, de forma independente. Foram considerados os critérios de inclusão e exclusão mencionados, bem como os aspectos éticos e presença de resultados e objetos clinicamente importantes para esta revisão.

Tratamento e análise dos dados

A extração dos dados dos estudos eleitos ocorreu de forma independente por dois pesquisadores. Foram consideradas as seguintes variáveis de cada estudo: primeiro autor, ano de publicação, local onde o estudo foi realizado, dados demográficos da amostra, tipo de intervenção, tipo de comparativo, tempo de permanência do paciente, outros desfechos. Os resultados foram sintetizados em planilha Microsoft Excel®.

A metanálise foi desenvolvida através dos recursos do software Review Manager 5.4¹⁸. Para o desfecho “tempo de permanência”, considerou-se uma variável contínua com efeito aleatório e cálculo da diferença das médias de tempo com intervalo de confiança de 95%, onde o risco relativo (RR) menor que 1 significa desfecho favorável à intervenção. Para o desfecho “número de exames solicitados”, os dados foram trabalhados sob a diferença de proporção/risco, considerada uma variável dicotômica de efeito randômico. O risco relativo (RR) foi considerado uma medida de efeito com IC de 95%, onde RR menor que 1 significa que não há diferença entre os grupos. Conversões foram realizadas para obtenção de médias dos estudos que apresentaram seus dados em formato diferente¹⁹. O desfecho foi considerado estatisticamente significante quando identificado um valor de p <0,05. Se I²≤25 os estudos foram considerados homogêneos, I² >25 e <75 classificaram os estudos como tendo heterogeneidade moderada e I² ≥75 com alta heterogeneidade. A análise de subgrupos foi desenvolvida quando identificada heterogeneidade moderada ou alta²⁰.

Avaliação de qualidade

A análise do risco de viés foi desenvolvida por dois pesquisadores, de forma independente, a partir da ferramenta Cochrane Collaboration (RoB-2). Foram avaliados os seguintes domínios para validação interna: viés de seleção, viés de desempenho, viés de detecção; viés de atrito e viés de relato, relacionados às fontes potenciais de viés: randomização, ocultação de alocação, cegamento de participantes e pessoal, dados de resultados incompletos, ofuscamento da avaliação de resultados e seleção relatório de resultados²¹.

O sistema GRADE foi utilizado para avaliar a qualidade das evidências e a força das recomendações em saúde. Este sistema fornece critérios explícitos para classificação da qualidade da evidência (classificada em um dos quatro níveis - alta, moderada, baixa e muito baixa) que incluem desenho do estudo, risco de viés, imprecisão, inconsistência, indireto e magnitude de efeito²². Dois autores realizaram a análise de forma cegada e independente, através da plataforma GRADEpro²³.

Resultados

De acordo com o apresentado na Figura 1, a revisão da literatura revelou 26.672 artigos sobre PTA no serviço de emergência (26.664 nas bases de dados e 8 artigos identificados nas listas de referência e literatura cinzenta). Após primeira análise, foram excluídos 240 artigos duplicados. Dos 26.432 trabalhos relacionados, 21 foram elencados como potencialmente relevantes, mantendo o foco sobre o objeto desta pesquisa. Destes, 11 foram excluídos na segunda fase e 10 foram selecionados para análise qualitativa. As razões para exclusão nesta etapa foram: utilizavam desenho diferente de ECR^24-29, utilizavam recursos de triagem remota³⁰, apresentaram dados insuficientes para análise^1,31 e consistiam em PTA para patologias específicas, aplicados em outros momentos da internação³². Um estudo foi excluído nessa fase por ausência de dados, sem retorno após três tentativas de contato com os autores³³. Dos estudos selecionados, nove foram incluídos na metanálise. Um estudo³⁴ foi excluído da metanálise devido à imprecisão dos dados, porém seus dados foram analisados qualitativamente. Os artigos selecionados para a análise foram publicados entre os anos 1996 e 2018. O índice de kappa foi К=0,73, identificando concordância substancial³⁴.

Figura 1
Fluxograma de seleção de estudos no formato PRISMA 2020, demonstrando as fases de seleção de ECR desta revisão sistemática. Porto Alegre, RS, Brasil, 2020.

A Figura 2 demonstra as características gerais dos estudos elencados. Quatro estudos foram realizados no Canadá^33,35-37. Além destes, foram incluídos trabalhos realizados na Inglaterra^38-39, China^40-41, Irlanda⁴² e Dinamarca⁴³. Seis estudos^{33,35-37,41-42} restringiram sua população a adultos, os demais incluíram adultos e crianças em sua amostra^38-40,43. Oito trabalhos descreveram seu tempo de duração, que variou de oito dias a um ano^{33,35-38,41-43}. Três estudos incluíram médicos e enfermeiros na triagem em suas intervenções^35-36,42. Quatro trabalhos compararam suas intervenções ao Sistema Canadense de Triagem (CTAS)^33,35-37, outros dois compararam ao Sistema Manchester de Triagem^38-39, quatro estudos não descreveram qual o protocolo utilizado, porém informaram o uso de algum ordenamento de triagem no atendimento. Seis estudos analisaram PTA com exames de imagem; destes, três^35,37,40 utilizaram o Ottawa Ankle Rules (OAR)⁴⁴. Outros três trabalhos avaliaram mais de um PTA, e um estudo avaliou o uso de broncodilatadores na triagem⁴¹. Cinco trabalhos descreveram treinamentos dos enfermeiros de triagem^37-38,40,43.

Os estudos totalizaram 25.795 sujeitos, em 13 SE. Um deles foi realizado de forma multicêntrica em quatro SE³⁹. Além do tempo de permanência dos pacientes no SE, foram identificados outros desfechos, como: número de exames solicitados, número de internações, tempo de espera para ser visto pelo médico, número de pacientes que deixam o SE sem serem vistos, tempo para triagem, tempo para medicação, satisfação dos pacientes e tempo de desvio de ambulâncias. Todos os estudos aqui elencados recomendaram o uso do PTA em suas conclusões, apesar de apenas um deles ter encontrado relevância estatística³⁵.

Figura 2
Características dos estudos incluídos, considerando local do estudo, participantes, tipo de intervenção, desfechos, relevância do estudo e certeza de evidência. Porto Alegre, RS, Brasil, 2020.

A Figura 3 apresenta o sumário de análise de risco de viés segundo o Sistema Cochrane (RoB2). A qualidade metodológica foi considerada boa entre os estudos incluídos. A maioria dos estudos possui randomização e ocultação de alocação adequados. Não houve redução na qualidade, ainda que o não cegamento dos participantes tenha sido observado. Em alguns estudos, identificou-se ainda o não cegamento dos avaliadores^{33,35-37,39-40,42-43}. Outros riscos de viés foram informados pelos autores³⁸ ou não estão claros. Devido à identificação de apenas dez estudos nesta revisão sistemática, apesar da ampla busca por estudos, considera-se o risco de viés de publicação, o que foi confirmado pela análise do gráfico de funil.

Figura 3
Sumário de análise do risco de viés, desenvolvido com o Software Review Manager 5.4. Porto Alegre, RS, Brasil, 2020.

A Figura 4 apresenta o gráfico de floresta e metanálise do desfecho principal desta revisão sistemática, o tempo de permanência dos pacientes no SE. Identificou-se uma redução de 36 minutos (-0,36[-0,55;-0,17]), p=0,002, com o uso de PTA.

Figura 4
Gráfico de floresta demonstrando o tempo de permanência dos pacientes no serviço de emergência (em minutos). Porto Alegre, RS, Brasil, 2020.

Diante da elevada heterogeneidade demonstrada (I²=90%), foi realizada análise de subgrupos, considerando os estudos ou estratos dos estudos sem exames de imagem (sem OAR): 9 estudos/estratos de estudo, n=7.293, I²=90%; e com exames de imagem (com OAR): 4 estudos/estratos de estudo, n=948, I²=70%. Assim, o PTA demonstra uma redução de 29 minutos (-0,29[-0,50;-0,07]), com heterogeneidade elevada (I²=90%), relevância estatística (p=0,009) e muito baixa certeza de evidência, no subgrupo sem OAR. No subgrupo com OAR, identifica-se uma redução de 53 minutos (-0,53[-0.81;-0,25] p=0,002) no tempo de permanência dos pacientes no SE, com heterogeneidade moderada (I²=70%) e baixa certeza de evidência. As médias e o desvio padrão do tempo de permanência foram calculados a partir da conversão das medianas¹⁹, uma vez que a maioria dos estudos apresentaram seus dados apenas neste formato.

Entre os estudos analisados, cinco^{35,38-39,41,43} analisaram em seus desfechos o número de solicitações de exames com e sem o uso de PTA. Optou-se por incluir estes dados na metanálise, apresentada na Figura 5. Em uma amostra que compreendeu 2270 exames solicitados, não se identifica diferença entre os grupos, obtendo-se um resultado de 0.94 OR (0,64; 1,38), p=0,7, com heterogeneidade moderada (I² 65%) e moderada certeza de evidência.

Figura 5
Gráfico de floresta demonstrando número de exames solicitados e fraturas identificadas, comparando exames solicitados na triagem (PTA) e na consulta médica (controle). Porto Alegre, RS, Brasil, 2020.

Outro desfecho encontrado na análise dos estudos foi a satisfação de profissionais e pacientes submetidos ao PTA no SE, que foi incluído neste estudo devido a sua relevância. Por ter sido apresentado pelos autores de formas variadas, optou-se por analisar qualitativamente este desfecho, a partir dos dados apresentados na Figura 2.

Um estudo incluído nesta análise³⁷ avaliou a satisfação dos profissionais com o uso do PTA através de grupos focais realizados após a intervenção e relatou que 80% dos médicos e 90% dos enfermeiros avaliaram o PTA como benéfico para os pacientes e que mais de 70% dos profissionais afirmam que a intervenção promoveu agilidade ao atendimento.

Outros estudos^33,43 identificaram um aumento na satisfação. Um dos estudos⁴³ realizou esta análise a partir de questionários aplicados aos pacientes após o atendimento, sobre a sua satisfação e sobre o seu desejo de ter acesso ao PTA em uma nova visita ao SE. Os autores relatam que 89,2% dos pacientes que não tiveram acesso ao PTA pelo SE gostariam de ter sido submetidos a intervenções iniciadas na triagem e 97,6% do grupo intervenção manifestaram o mesmo desejo. Outro estudo³³, avaliou este desfecho através de questionários objetivos, com respostas em escala numérica, aplicados através de ligação telefônica aos pacientes e profissionais. No que se relaciona aos pacientes, a satisfação com a duração do atendimento foi melhor avaliada no grupo submetido ao PTA, sem diferença entre os grupos nos demais aspectos. No que tange à satisfação dos enfermeiros, os autores relatam que estes se sentem confortáveis para o uso do PTA, acreditam que esta intervenção reduz o tempo de permanência dos pacientes, entretanto manifestaram preocupação com o aumento da carga de trabalho na triagem.

Apenas um estudo³⁵ não encontrou diferença entre os grupos na satisfação dos pacientes após atendimento. Este desfecho foi analisado a partir da escala Sun de satisfação, compreendida em cinco níveis, que analisou a satisfação do usuário a partir do seu desejo de retornar ao serviço e não encontrou diferença na satisfação dos pacientes após atendimento com PTA.

Discussão

Este estudo encontrou, a partir de metanálise, uma redução de 36 minutos (-0,36[-0,55;-0,07] p=0,002) no tempo de permanência dos pacientes no SE com o uso do PTA. Evidenciou-se ainda que não houve diferença no número de exames solicitados e nos índices de satisfação dos pacientes e profissionais.

Tempo de Permanência

Quanto ao tempo de permanência dos pacientes, este estudo identificou, com uma evidência de baixa confiança com elevada heterogeneidade, achados semelhantes aos apresentados em outras metanálises^12,45. A heterogeneidade se justifica por dois fatores principais: a diferença entre os tipos de PTA analisados em cada estudo e a diferença entre as amostras. A mesma foi reduzida através da análise de subgrupos, categorizados de acordo com o tipo de PTA, em: com OAR (I²=70%) e sem OAR (I²=90%). A possibilidade de a heterogeneidade substancial superestimar o resultado do estudo é minimizada pelo fato de que, no subgrupo mais homogêneo (com OAR) identificou-se a maior redução do tempo de permanência.

No subgrupo sem OAR, foram incluídos três estudos^36-37,41, dois deles subdivididos em três estratos, de acordo com a classificação de risco no momento da triagem. Dois estudos^36-37 analisaram um PTA que associava a consulta presencial ou por telefone de um médico para decisão das ordens de triagem. Um estudo⁴¹ analisou um PTA que consiste no início da terapia com broncodilatadores na triagem para pacientes com asma descompensada. Neste último, o principal achado relatado foi uma melhora clínica do paciente ao ser visto pelo médico. Quando avaliados somente PTAs que incluem intervenções terapêuticas, observa-se maior relevância na qualidade da assistência do que no tempo de permanência¹².

No subgrupo com OAR, identificou-se uma redução do tempo de permanência dos pacientes no SE de 53 minutos (-0,53[-0,81;-0,25] p=0,0002). Essa intervenção, assim como outras, que também utilizam exames diagnósticos no PTA, apresentam maior potencial de influência no tempo de permanência. De acordo com os achados de alguns autores, esses protocolos utilizam um tempo existente (período em que o paciente aguarda para ser visto pelo médico) para um fim adicional³⁸. Com isso, no momento da primeira consulta médica, o paciente já possui os resultados dos exames, necessários para a decisão diagnóstica, reduzindo o período em que o paciente permanece no SE. Uma vez que o tempo de permanência elevado consiste em um dos fatores que influencia a superlotação, destaca-se o potencial do PTA na redução da superlotação dos SE⁴⁵. Identificou-se ainda, uma relação entre os elevados tempos de permanência e o aumento da mortalidade dos pacientes^9,46.

Alguns estudos ainda relatam que maiores reduções de tempo podem ser obtidas quando o tempo médio de permanência dos pacientes no SE é elevado^40,47. Esse dado não pôde ser verificado neste estudo porque o tempo médio do SE foi descrito somente em um estudo³⁶.

Apenas dois estudos encontraram relevância estatística neste desfecho^36,38. Porém, todos os estudos consideraram clinicamente relevantes as reduções de tempo encontradas, descritas entre 6,7 minutos³⁵ e 56 minutos³⁶.

A concordância entre as intervenções diagnósticas iniciadas na triagem foi relatada em cinco estudos, sejam elas solicitadas por enfermeiros ou médicos. A relevância deste desfecho foi descrita em alguns estudos, onde os autores afirmam que os enfermeiros são qualificados para iniciar as condutas diagnósticas ou terapêuticas, na triagem^1,48-49.

Ainda que não tenham sido incluídos na estratégia de busca desta RS, os desfechos relacionados ao número de exames solicitados e satisfação dos profissionais e usuários foram analisados, considerando a sua representatividade e relevância para o uso dos protocolos de triagem avançada nos SE.

Solicitação de Exames

Neste desfecho, foram considerados os dados comparativos entre o número de exames solicitados e seus achados positivos. Esse foi o principal resultado descrito por um dos autores, que afirmou que as ordens de triagem não comprometem a segurança da assistência no SE²³. A presente metanálise não encontrou diferença relevante no número de exames solicitados entre os grupos intervenção e controle (OR 0.94[0.64,1.38]), descrita com certeza moderada da evidência, dado que corrobora a hipótese de que os profissionais de triagem possuem competência para iniciar os processos diagnósticos¹².

Alguns administradores dos serviços receiam o impacto econômico que esta intervenção possa provocar, uma vez que pode ocorrer um aumento no número de exames solicitados³². Essa afirmação foi contrariada por estudos posteriores, que afirmaram que a redução do tempo de permanência dos pacientes no SE e consequentemente os custos desse tempo de permanência com medicamentos e cuidados compensariam um possível aumento nos exames solicitados^1,12,50-51, situação que, conforme descrito, não foi verificada neste estudo.

A partir de um estudo multicêntrico, concluiu-se que um maior tempo de treinamento dos profissionais de triagem do SE no uso do PTA foi associado a um menor número de exames solicitados³⁹. Outros estudos descreveram achados semelhantes, associando o melhor desempenho e segurança dos profissionais de triagem a melhores programas de treinamento^12,48,50. Destaca-se a enfermagem de prática avançada, onde os enfermeiros que atuam na triagem dos SE possuem competência técnica e autonomia para tomada de decisão⁵².

Satisfação dos pacientes e profissionais

A análise da satisfação dos pacientes e profissionais compõe um indicador de qualidade de um serviço de saúde^9,52. Resultados positivos relacionados a este tema com o uso de PTA foram identificados em um estudo canadense através da descrição de 94% de satisfação entre os pacientes com a utilização do PTA⁵² e em uma RS realizada em 2017¹². Dos quatro ECR que apresentaram este desfecho nesta revisão sistemática, três apontaram aumento da satisfação com o uso do PTA e um deles não identificou diferença entre os grupos.

A satisfação dos pacientes e profissionais que procuram os SE caracteriza um importante indicador de qualidade, que fica significativamente prejudicado quando o SE encontra-se superlotado ou apresenta elevados tempos de permanência⁹, além da associação deste dado com um pior prognóstico⁴⁶. Desta forma, ainda que curtos, os períodos de tempo reduzidos contribuíram para a satisfação dos pacientes e profissionais do SE, achados que embasaram a relevância clínica do resultado^35-36,39.

Qualidade dos estudos

A partir da análise do risco de viés, a qualidade dos estudos foi considerada, de modo geral, satisfatória nos estudos incluídos. O principal risco de viés identificado foi relacionado ao mascaramento. Nenhum dos estudos incluídos nesta revisão mascarou os participantes. Isso deve-se ao tipo de intervenção, que inviabiliza o cegamento tanto dos pacientes, quanto dos profissionais da triagem. Esse risco de viés já foi relatado em outros estudos¹², porém, por se tratar de protocolos, isso não prejudica o resultado do estudo. Ainda no âmbito do viés de mascaramento, alguns estudos não realizaram o mascaramento dos avaliadores. Este mascaramento melhoraria a qualidade dos estudos²¹. Além disso, a forma como um dos estudados apresentou os seus dados levou os autores a considerar um viés de atrito³³. Dois estudos^37,42 não descrevem a preocupação com outros possíveis vieses e um estudo³⁹ refere um viés de treinamento dos profissionais de triagem que influenciou nos resultados encontrados, considerado um risco elevado para outros vieses. Em um dos estudos⁴² a randomização foi realizada de forma inadequada, através de dias da semana, fator que justifica sua exclusão; os demais estudos utilizaram algoritmos informatizados para randomização.

Quanto à certeza de evidência, o desfecho do tempo de permanência dos pacientes no SE apresentou uma certeza de evidência muito baixa. Os autores acreditam que isto ocorra devido ao baixo número de ECR incluídos, ao uso de PTA diferentes em cada estudo e à ausência de uma padronização na apresentação dos dados, sendo necessária sua conversão. Essa dificuldade foi relatada em outras RS^12,45. Devido à maior clareza na apresentação dos dados, ainda que extraídos dos mesmos estudos, destaca-se uma certeza de evidência moderada para o desfecho de exames requisitados.

Uma vez que foram selecionados apenas 10 ECR, considerou-se a existência de viés de publicação, evidenciada pela análise do gráfico de funil. A ausência de uma padronização no formato dos dados apresentados também foi limitação deste estudo, sendo necessária a conversão de medianas em médias, em alguns estudos, bem como a definição de intervalos de confiança, implicando em possível viés de resultado.

Conclusão

O uso do protocolo de triagem avançada nos serviços de emergência possibilitou a redução média de 36 minutos no tempo de permanência dos pacientes neste local, com maior repercussão em serviços com tempo de permanência elevado. Os profissionais de triagem são competentes para iniciar condutas diagnósticas na triagem de forma segura, desde que treinados para tal, e estas medidas refletem um aumento na satisfação dos pacientes.

Evidenciou-se neste estudo um elemento norteador para uma mudança de comportamento que contribui, através da otimização dos processos assistenciais, para uma redução do tempo de permanência dos pacientes e da superlotação nos SE, de maneira custo efetiva e segura.

Contudo, destaca-se a necessidade da realização de ECR de alta qualidade sobre o tema, principalmente em SE com tempo de permanência elevado, a fim de obter trabalhos com metodologicamente mais adequados, bem como a necessidade de desenvolvimentos de mais estudos de custo-efetividade, para determinar o impacto econômico do uso do protocolo de triagem avançada.

Agradecimentos

Agradecemos à Gerência de Ensino e Pesquisa do GHC por viabilizar a realização deste estudo. Agradecemos à Vania Hirakata pela consultoria estatística, ao Prof. Dr. Luccas Melo de Souza e Profª Dr.ª Luciane Kopittke pelas contribuições no desenvolvimento deste estudo.

Referências

• ¹ Jobé J, Ghuysen A, D'Orio V. Advanced nurse triage for emergency department. Rev Med Liege [Internet]. 2018 [cited 2021 Jan 28];73(5-6):229-36. Available from: http://hdl.handle.net/2268/242969
  » http://hdl.handle.net/2268/242969
• ² Ministério da Saúde (BR), Grupo Hospitalar Conceição. Inovação Tecnológica no Enfrentamento da Superlotação Hospitalar: a experiência do Hospital Nossa Senhora da Conceição - Porto Alegre/RS. Porto Alegre: Hospital Nossa Senhora da Conceição; 2018.
• ³ Hoot NR, Aronsky D. Systematic Review of Emergency Department Crowding: Causes, Effects, and Solutions. Ann Emerg Med. 2008;52(2). doi: http://doi.org/10.1016/j.annemergmed.2008.03.01
  » https://doi.org/10.1016/j.annemergmed.2008.03.01
• ⁴ O'Dwyer GO, Oliveira SP, Seta MH. Evaluation of emergency services of the hospitals from the QualiSUS program. Ciênc Saude Coletiva. 2009;14(5):1881-90. doi: http://doi.org/10.1590/S1413-81232009000500030.
  » https://doi.org/10.1590/S1413-81232009000500030
• ⁵ Bittencourt RJ, Hortale VA. Interventions to solve overcrowding in hospital emergency services: a systematic review. Cad Saude Publica. 2009;25(7):143954. doi: http://doi.org/10.1590/S0102-311X2009000700002.
  » https://doi.org/10.1590/S0102-311X2009000700002
• ⁶ Silva BMRV. Lean healthcare no serviço de urgência geral do Hospital Pêro da Covilhã. [dissertation]. Portugal: Universidade da Beira Interior; 2012 [cited 2021 Jan 28]. Available from: http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsrca&AN=rcaap.portugal.10400.6.1183
  » http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsrca&AN=rcaap.portugal.10400.6.1183
• ⁷ Vose C, Reichard C, Pool S, Snyder M, Burmeister D. Using LEAN to improve a segment of emergency department flow. J Nurs Adm. 2014;44(11):558-63. doi: http://doi.org/10.1097/NNA.0000000000000098.
  » https://doi.org/10.1097/NNA.0000000000000098
• ⁸ Tsai MT, Yen YL, Su CM, Hung CW, Kung CT, Wu KH, et al. The influence of emergency department crowding on the efficiency of care for acute stroke patients. Int J Qual Health Care. 2016;28(6):774-8. doi: http://doi.org/10.1093/intqhc/mzw109.
  » https://doi.org/10.1093/intqhc/mzw109
• ⁹ Andersson J, Nordgren L, Cheng I, Nilsson U, Kurland L. Long emergency department length of stay: A concept analysis. Int Emerg Nurs. 2020;53(2020):100930. doi: https://doi.org/10.1016/j.ienj.2020.100930.
  » https://doi.org/10.1016/j.ienj.2020.100930
• ¹⁰ Mackway-Jones K, Marsden J, Windle J. Sistema Manchester de Classificação de Risco. 2nd ed. Belo Horizonte: Folium; 2017.
• ¹¹ Douma MJ, Drake CA, O'Dochartaigh D, Smith KE. A Pragmatic Randomized Evaluation of a Nurse-Initiated Protocol to Improve Timeliness of Care in an Urban Emergency Department. Ann Emerg Med. 2016;68(5):1-7. doi: http://dx.doi.org/10.1016/j.annemergmed.2016.06.019.
  » https://doi.org/10.1016/j.annemergmed.2016.06.019
• ¹² Cabilan CJ, Boyde M. A systematic review of the impact of nurse-initiated medications in the emergency department. Australas Emerg Nurs J. 2017;20(2):53-62. doi: http://dx.doi.org/10.1016/j.aenj.2017.04.001.
  » https://doi.org/10.1016/j.aenj.2017.04.001
• ¹³ Delnavaz S, Hassankhani H, Roshangar F, Dadashzadeh A. Comparison of scenario based triage education by lecture and role playing on knowledge and practice of nursing students. Nurse Educ Today. 2018;70(1):54-9. doi: http://dx.doi.org/10.1016/j.nedt.2018.08.006.
  » https://doi.org/10.1016/j.nedt.2018.08.006
• ¹⁴ Cheng I, Castren M, Kiss A, Zwarenstein M, Brommels M, Mittmann N. Cost-effectiveness of a physician-nurse supplementary triage assessment team at an academic tertiary care emergency department. Can J Emerg Med. 2016;18(3):191-204. doi: https://doi.org/10.1017/cem.2015.88.
  » https://doi.org/10.1017/cem.2015.88
• ¹⁵ Soster CB, Anschau F, Rodrigues NH, Silva LGA, Klafke A. The assistance impact of the advanced triage protocol in the emergency department: systematic review and meta-analysis [Internet]. 2019 [cited 2021 Apr 12]. Available from: https://www.crd.york.ac.uk/prospero/display_record.php?ID=CRD42019142640
  » https://www.crd.york.ac.uk/prospero/display_record.php?ID=CRD42019142640
• ¹⁶ Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, Mulrow CD, et al. The PRISMA 2020 statement: an updated guideline for reporting systematic reviews. BMJ. 2021;372:n71. doi: https://doi.org/10.1136/bmj.n71.
  » https://doi.org/10.1136/bmj.n71
• ¹⁷ McHugh ML. Lessons in biostatistics interrater reliability: the kappa statistic. Biochem Medica [Internet]. 2012 [cited 2021 Apr 12];22(3):276-82. Available from: https://hrcak.srce.hr/89395
  » https://hrcak.srce.hr/89395
• ¹⁸ Cochrane Training. Cochrane RevMan [Homepage]. London: The Cochrane Collaboration; 2020 [cited 2021 Apr 12]. Available from: https://training.cochrane.org/online-learning/core-software-cochrane-reviews/revman
  » https://training.cochrane.org/online-learning/core-software-cochrane-reviews/revman
• ¹⁹ McGill R, Tukey JW, Larsen WA. Variations of box plots. Am Stat. 1978;32(1):12-6. doi: http://dx.doi.org/10.1080/00031305.1978.10479236.
  » https://doi.org/10.1080/00031305.1978.10479236
• ²⁰ Pereira MG, Galvão TF. Heterogeneity and publication bias in systematic reviews. Epidemiol Serv Saúde. 2014;23(4):775-8. doi: http://doi.org/10.5123/S1679-4974201400040002.
  » https://doi.org/10.5123/S1679-4974201400040002
• ²¹ Sterne JAC, Savovic J, Page MJ, Elbers RG, Blencowe NS, Emberson JR, et al. RoB 2: A revised tool for assessing risk of bias in randomised trials. BMJ. 2019;366:1-8. doi: https://doi.org/10.1136/bmj.l4898.
  » https://doi.org/10.1136/bmj.l4898
• ²² Guyatt G, Oxman AD, Akl EA, Kunz R, Vist G, Brozek J, et al. GRADE guidelines: 1. Introduction - GRADE evidence profiles and summary of findings tables. J Clin Epidemiol. 2011;64:383-94. doi: http://doi.org/10.1016/j.jclinepi.2010.04.026.
  » https://doi.org/10.1016/j.jclinepi.2010.04.026
• ²³ Evidence Prime, Inc. GRADEpro GTD [Homepage]. Hamilton: Evidence Prime; 2020 [cited 2021 Apr 12]. Available from: https://gradepro.org/.
  » https://gradepro.org
• ²⁴ Parris W, McCarthy S, Kelly A, Richardson S. Do triage nurse-initiated X-rays for limb injuries reduce patient transit time? Accid Emerg Nurs. 1997 Jan;5(1):14-5. doi: http://doi.org/10.1016/s0965-2302(97)90056-4.
  » https://doi.org/10.1016/s0965-2302(97)90056-4
• ²⁵ Jesionowski M, Riordan J, Quatrara B. Does a Provider in Triage and Rapid Medical Evaluation Help With Left Without Being Seen Rates and ED Crowding? J Emerg Nurs 2019;45(1):38-45. doi: http://doi.org/10.1016/j.jen.2018.09.001.
  » https://doi.org/10.1016/j.jen.2018.09.001
• ²⁶ Seguin D. A nurse-initiated pain management advanced triage protocol for ED patients with an extremity injury at a level I trauma center. J Emerg Nurs. 2004 Aug;30(4):330-5. doi: http://doi.org/10.1016/j.jen.2004.06.010.
  » https://doi.org/10.1016/j.jen.2004.06.010
• ²⁷ Singer AJ, Taylor M, LeBlanc D, Meyers K, Perez K, Thode HC Jr, et al. Early Point-of-Care Testing at Triage Reduces Care Time in Stable Adult Emergency Department Patients. J Emerg Med. 2018 Aug;55(2):172-8. doi: https://doi.org/10.1016/j.jemermed.2018.04.061.
  » https://doi.org/10.1016/j.jemermed.2018.04.061
• ²⁸ Simon LV, Matteucci MJ, Tanen DA, Roos JA, Riffenburgh RH. The Pittsburgh Decision Rule: Triage nurse versus physician utilization in the emergency department. J Emerg Med. 2006 Oct;31(3):247-50. doi: https://doi.org/10.1016/j.jemermed.2005.12.020.
  » https://doi.org/10.1016/j.jemermed.2005.12.020
• ²⁹ Tsai KC, Lin RF, Lee C, Li AH. An alternative tool for triaging patients with possible acute coronary symptoms before admission to a chest pain unit. Am J Emerg Med. 2018 Jul;36(7):1222-30. doi: https://doi.org/10.1016/j.ajem.2017.12.026.
  » https://doi.org/10.1016/j.ajem.2017.12.026
• ³⁰ Marconi GP, Chang T, Pham PK, Grajower DN, Nager AL. Traditional nurse triage vs physician telepresence in a pediatric ED. Am J Emerg Med. 2014 Apr;32(4):325-9. doi: http://dx.doi.org/10.1016/j.ajem.2013.12.032.
  » https://doi.org/10.1016/j.ajem.2013.12.032
• ³¹ Klassen TP, Ropp LJ, Sutcliffe T, Blouin R, Dulberg C, Raman S, et al. A randomized, controlled trial of radiograph ordering for extremity trauma in a pediatric emergency department. Ann Emerg Med. 1993 Oct;22(10):1524-9. doi: http://doi.org/10.1016/s0196-0644(05)81252-1.
  » https://doi.org/10.1016/s0196-0644(05)81252-1
• ³² Roberts RR, Zalenski RJ, Mensah EK, Rydman RJ, Ciavarella G, Gussow L, et al. Costs of an emergency department - Based accelerated diagnostic protocol vs hospitalization in patients with chest pain: A randomized controlled trial. JAMA. 1997 Nov;278(20):1670-6. doi: http://doi.org/10.1001/jama.1997.03550200046030.
  » https://doi.org/10.1001/jama.1997.03550200046030
• ³³ Lee KM, Wong TW, Chan R, Lau CC, Fu YK, Fung KH. Accuracy and efficiency of X-ray requests initiated by triage nurses in an Accident and Emergency department. Accid Emerg Nurs. 2016 Oct;4(4):179-81. doi: http://doi.org/10.1016/s0965-2302(96)90076-4.
  » https://doi.org/10.1016/s0965-2302(96)90076-4
• ³⁴ Kraemer HC, Periyakoil VS, Noda A. Kappa coefficients in medical research. Stat Med. 2002 Jul:2109-29. doi: http://doi.org/10.1002/sim.1180.
  » https://doi.org/10.1002/sim.1180
• ³⁵ Fan J, Woolfrey K. The Effect of Triage-applied Ottawa Ankle Rules on the Length of Stay in a Canadian Urgent Care Department: A randomized controlled trial. Acad Emerg Med. 2006 Feb;13(2):1537. doi: http://doi.org/10.1197/j.aem.2005.07.041.
  » https://doi.org/10.1197/j.aem.2005.07.041
• ³⁶ Cheng I, Lee J, Mittmann N, Tyberg J, Ramagnano S, Kiss A, et al. Implementing wait-time reductions under Ontario government benchmarks (Pay-for-Results): A Cluster Randomized Trial of the Effect of a Physician-Nurse Supplementary Triage Assistance team (MDRNSTAT) on emergency department patient wait times. BMC Emerg Med. 2013 Nov;13(1):17. doi: https://doi.org/10.1186/1471-227X-13-17.
  » https://doi.org/10.1186/1471-227X-13-17
• ³⁷ Holroyd BR, Bullard MJ, Latoszek K, Gordon D, Allen S, Tam S, et al. Impact of a Triage Liaison Physician on Emergency Department Overcrowding and Throughput: A Randomized Controlled Trial. Acad Emerg Med. 2007 Aug;14(8):702-8. doi: http://doi.org/10.1197/j.aem.2007.04.018.
  » https://doi.org/10.1197/j.aem.2007.04.018
• ³⁸ Lindley-Jones M, Finlayson BJ. Triage nurse requested x rays - are they worthwhile? J Accid Emerg Med. 2000 Mar;17(2):103-7. doi: http://doi.org/10.1136/emj.17.2.103.
  » https://doi.org/10.1136/emj.17.2.103
• ³⁹ Thurston J, Field S. Should accident and emergency nurses request radiographs? Results of a multicentre evaluation. J Accid Emerg Med. 1996 Mar;13:86-9. doi: http://doi.org/10.1136/emj.13.2.86.
  » https://doi.org/10.1136/emj.13.2.86
• ⁴⁰ Ho JKM, Chau JPC, Chan JTS, Yau CHY. Nurse-initiated radiographic-test protocol for ankle injuries: A randomized controlled trial. Int Emerg Nurs. 2018 Nov 41:1-6. doi: 10.1016/j.ienj.2018.04.001.
  » https://doi.org/10.1016/j.ienj.2018.04.001
• ⁴¹ Ho JK, Yau WH. Nurse-initiated albuterol metered-dose inhaler for acute exacerbations of chronic obstructive pulmonary disease in an emergency department: a randomised controlled trial. Hong Kong J Emerg Med. 2012;19(3):162-70. doi: http://doi.org/10.1177/102490791201900302.
  » https://doi.org/10.1177/102490791201900302
• ⁴² Subash F, Dunn F, McNicholl B, Marlow J. Team triage improves emergency department efficiency. Emerg Med J. 2004 Sep;21(5):542-4. doi: https://doi.org/10.1136/emj.2002.003665.
  » https://doi.org/10.1136/emj.2002.003665
• ⁴³ Pedersen GB, Storm JO. Emergency department X-rays requested by physicians or nurses. Ugeskrift for Laeger [Internet]. 2009 Jun [cited 2021 Mar 15];171(33):1747-51. Available from: https://www.researchgate.net/publication/24438918
  » https://www.researchgate.net/publication/24438918
• ⁴⁴ Morais B, Branquinho A, Barreira M, Corrreia J, Marino M, Marques N. Validation of the Ottawa ankle rules: Strategies for increasing specificity. Injury. 2021 Jan;52(4):1017-22. doi: http://doi.org/10.1016/j.injury.2021.01.006.
  » https://doi.org/10.1016/j.injury.2021.01.006
• ⁴⁵ Lindner G, Woiktok BK. Emergency department overcrowding: Analysis and strategies to manage an international phenomenon. Wien Klin Wochenschr. 2021 Mar;133(5-6):229-33. doi: https://doi.org/10.1007/s00508-019-01596-7.
  » https://doi.org/10.1007/s00508-019-01596-7
• ⁴⁶ Rocha HMN, Farre AGMC, Santana VJ Filho. Adverse Events in Emergency Department Boarding: A systematic review. J Nurs Scolarsh. 2021;53(4):458-67. doi: http://doi.org/10.1111/jnu.12653.
  » https://doi.org/10.1111/jnu.12653
• ⁴⁷ Rowe BH, Villa-Roel C, Guo X, Bullard MJ, Ospina M, Vandermeer B, et al. The role of triage nurse ordering on mitigating overcrowding in emergency departments: a systematic review. Acad Emerg Med. 2011 Dec;18(12):1349-57. doi: https://doi.org/10.1111/j.1553-2712.2011.01081.x.
  » https://doi.org/10.1111/j.1553-2712.2011.01081.x
• ⁴⁸ Ghanes K, Jouini O, Wargon M, Jemai Z. Modeling and analysis of triage nurse ordering in emergency departments. 2015. In: Conference on Industrial Engineering and Systems Management (IESM 2015) [Internet]; 2015 Oct 21-23; Seville, Spain. Red Hook, NY: Curran Associates: 2016 [cited 2021 Mar 15]. Available from: https://hal.archives-ouvertes.fr/hal-01265284/document
  » https://hal.archives-ouvertes.fr/hal-01265284/document
• ⁴⁹ Fry M. Triage nurses order x-rays for patients with isolated distal limb injuries: A 12-month ED study. J Emerg Nurs. 2001 Feb;27(1):17-22. doi: http://doi.org/10.1067/men.2001.112979.
  » https://doi.org/10.1067/men.2001.112979
• ⁵⁰ Stang AS, Crotts J, Johnson DW, Hartling L, Guttmann A. Crowding measures associated with the quality of emergency department care: a systematic review. Acad Emerg Med. 2015 May;22(6):643-56. doi: https://doi.org/10.1111/acem.12682.
  » https://doi.org/10.1111/acem.12682
• ⁵¹ Miranda MV Neto, Rewa T, Leonello VM, Oliveira MAC. Advanced practice nursing: a possibility for primary health care? Rev Bras Enferm. 2018;71(1):716-21. doi: https://doi.org/10.1590/0034-7167-2017-0672.
  » https://doi.org/10.1590/0034-7167-2017-0672
• ⁵² James MR, Pyrgos N. Nurse practitioners in accident and emergency departments. Arch Emerg Med. 1989;6(4):241-6. doi: http://doi.org/10.1136/emj.6.4.241.
  » https://doi.org/10.1136/emj.6.4.241

• *
  Artigo extraído da dissertação de mestrado “O impacto assistencial do protocolo de triagem avançada no serviço de emergência: uma revisão sistemática e meta-análise”, apresentada ao Mestrado Profissional e Produção de Tecnologias para o SUS, Grupo Hospitalar Conceição, Porto Alegre, RS, Brasil.

Editado por

• Editora Associada
  Maria Lúcia Zanetti

Datas de Publicação

• Publicação nesta coleção
  11 Mar 2022
• Data do Fascículo
  2022

Histórico

• Recebido
  31 Maio 2021
• Aceito
  01 Out 2021