Desempeño del Sistema de Alerta Precoz Infantil (SAPI) de deterioración clínica

ape Acta Paulista de Enfermagem Acta Paul Enferm 0103-2100 1982-0194 Escola Paulista de Enfermagem, Universidade Federal de São Paulo Resumen Objetivo Evaluar la precisión, utilidad, reproducibilidad y aplicabilidad del Sistema de Alerta Precoz Infantil (SAPI) en la identificación del deterioro clínico en niños y adolescentes hospitalizados. Métodos Estudio de prueba diagnóstica, prospectiva, realizada entre octubre de 2018 y octubre de 2019, para medir la precisión diagnóstica del SAPI en una muestra de 240 niños y su reproducibilidad y aplicabilidad en una muestra de 60 niños. Los datos fueron procesados y analizados en MedCalc y VassarStats.net. Resultados En el punto de corte ≥ 3, el puntaje presentó una sensibilidad del 73,6 %, especificidad del 95,7 %, valor predictivo positivo del 83 %, valor predictivo negativo de 92,7, área bajo la curva ROC del 93,6 %, prevalencia estimada por la prueba del 19,6 %, razón de probabilidad positiva 17,1, probabilidad posprueba positiva del 77,8 %, kappa simple de 0,946. Conclusión El estudio presenta evidencias sobre la elevada precisión, utilidad y reproducibilidad del SAPI en la identificación del deterioro clínico en un escenario hospitalario pediátrico brasileño, por lo que el instrumento se consideró aplicable en el contexto de la investigación. Introdução O reconhecimento precoce da piora clínica na criança hospitalizada é primordial para o gerenciamento adequado e oportuno da deterioração.(1) Nesta perspectiva, os Pediatric Early Warning Score (PEWS) são instrumentos desenvolvidos para sistematizar a avaliação clínica e auxiliar a equipe de saúde na identificação precoce de crianças em deterioração, subsidiando a tomada de decisão e a implementação de cuidados direcionados à redução da probabilidade de desfechos desfavoráveis.(2) Os PEWS são ferramentas de simples aplicação, baseadas em parâmetros clínicos e sinais vitais de fácil mensuração, sem auxílio de equipamentos complexos e caros, e atualmente são considerados ramos aferentes dos sistemas de resposta rápida à deterioração clínica pediátrica.(3,4) O primeiro PEWS, publicado em 2005, foi o Brighton Paediatric Early Warning Score (BPEWS). Trata-se de um sistema de pontuação composto por três componentes de avaliação: neurológico, cardiovascular e respiratório, além do uso de nebulização e presença de vômitos persistentes no pós-operatório. A pontuação pode variar entre 0 e 13 pontos, e a partir de 3 pontos, quanto maior a pontuação maior o risco de deterioração. (1,5,6) No Brasil, o BPEWS passou pelo processo de tradução, adaptação e validação para o contexto brasileiro (BPEWS-Br), e apresentou resultados animadores, tornando-se o primeiro escore pediátrico de alerta precoce validado em um cenário brasileiro com a finalidade de auxiliar na detecção precoce de piora clínica em crianças no espaço hospitalar.(1) Após validação do BPEWS-Br, seus autores, a partir de uma ampla discussão, levantaram a necessidade de ajustes no instrumento, a fim de incluir novos indicadores de avaliação da deterioração clínica pediátrica descritos na literatura e atender melhor ao contexto de estudo. Apesar do BPEWS-Br ter apresentado desempenho satisfatório, ele não continha indicadores considerados importantes preditores de piora clínica na criança, a exemplo de determinados critérios que podem auxiliar no rastreio de pacientes com suspeita de sepse. O propósito era dispor de uma ferramenta válida e mais adequada à realidade do serviço, da equipe, dos pacientes e do contexto da saúde pública brasileira.(1) Um novo instrumento, denominado de Escore Pediátrico de Alerta (EPA), foi desenvolvido a partir do BPEWS-Br. Inicialmente foi validado sob a óptica do conteúdo, apresentando um Índice de Validade de Conteúdo Geral de 0,97, considerado de fácil linguagem, boa estrutura e apresentação, além de contemplar indicadores pertinentes, de relevância clínica e aplicáveis ao local de estudo.(7) Entretanto, seu desempenho no reconhecimento da deterioração clínica precisa ser mesurado a fim de produzir evidências para fortalecer e sustentar sua utilização no cenário nacional. Estima-se que, desde a criação e validação do primeiro PEWS, mais de 30 escores estejam em uso, cada um com diferentes parâmetros avaliados, formatos, bem como grau de validação.(8) Evidências sobre validade e utilidade clínica dos sistemas de alerta pediátricos ainda são limitadas, dado o extenso número de escores em utilização. Sendo assim, pesquisas para obtenção de resultados robustos, válidos e clinicamente significativos para avaliar os PEWS em diferentes cenários são necessárias. Compreender e definir as propriedades que levam ao alto desempenho pode apoiar uma abordagem mais baseada em evidências para o desenvolvimento de PEWS futuros.(9) Diante da variabilidade desses instrumentos, a decisão sobre a adoção de um PEWS, precisa ser acompanhada de evidências sobre sua validação nos contextos de cuidado. O objetivo desse estudo é avaliar a acurácia, utilidade, reprodutibilidade e aplicabilidade do Escore Pediátrico de Alerta na identificação da deterioração clínica em crianças e adolescentes hospitalizados. Métodos Trata-se de um estudo quantitativo, prospectivo, de teste diagnóstico, para verificar o desempenho do EPA na identificação da deterioração clínica em crianças e adolescentes em um contexto hospitalar. A condução do estudo foi baseada nas recomendações do Standards for Reporting of Diagnostic Accuracy Studies (STARD).(10) O local da pesquisa foi um hospital materno-infantil de grande porte, referência para atendimento de crianças e adolescentes menores de 16 anos, com 240 leitos, localizado no município de Feira de Santana, segunda maior cidade do estado da Bahia, Brasil. A população de referência do estudo consiste em crianças e adolescentes de 1 mês a 15 anos, internados nas unidades clínico-cirúrgicas e de emergência do hospital. Foram excluídos da amostra: recém-nascidos, pacientes com idade ≥ 16 anos que permanecem em acompanhamento no hospital devido ao diagnóstico; pacientes com alta médica prescrita em prontuário; pacientes com diagnóstico de cardiopatia descrito no prontuário; em tratamento oncológico; em isolamento e em uso de ventilação mecânica invasiva. Optou-se por excluir recém-nascidos, pacientes cardiopatas e com doenças oncológicas por já existir na literatura propostas validadas de escores para esta população.(11-13) Pacientes oncológicos também foram excluídos por estarem em tratamento quimioterápico e com manipulação mais restrita pela baixa imunidade. Pacientes com indicação de isolamento foram excluídos pelo risco de infecção cruzada durante a coleta de dados. Foi calculada uma amostra de 240 pacientes para verificação da acurácia diagnóstica e utilidade do EPA. O cálculo amostral foi feito por meio da fórmula: N=1,962[0,17(1-0,17)/(0,052), somando mais 10% ao valor, considerando as perdas. A proporção de deterioração clínica adotada para o cálculo amostral foi 17%, encontrada em estudo anterior.(1) O espectro do Intervalo de Confiança (IC) foi de 0,10. A semiamplitude do IC como erro aceitável foi 0,05. O valor de Z foi 1,96.(14) Para verificação da reprodutibilidade entre os observadores e aplicabilidade do EPA foram avaliadas, por amostragem de conveniência, 60 crianças e adolescentes. Foram utilizados três instrumentos de medida e coleta de dados: o padrão de referência ou padrão ouro, o EPA e o instrumento para coleta dos dados sociodemográficos e clínicos para caracterização da amostra. O padrão de referência para a determinação da deterioração das crianças e adolescentes participantes do estudo foi o conjunto de critérios clínicos que compõem a Avaliação Clínica Primária da Criança Gravemente Doente recomendados pela American Heart Association (AHA) e pela American Academy of Pediatrics.(15) Dentre os critérios da AHA, para avaliação neurológica foi utilizada a Escala de Resposta Pediátrica AVDN (Alerta, Voz, Dor, Não responde), a fim de otimizar o tempo da avaliação. Optou-se pela exclusão da pressão arterial, visto que a hipotensão em crianças se caracteriza como um sinal tardio de descompensação cardiovascular.(5) Além disso, a falta de uma rotina consistente para mensuração da pressão arterial em crianças nas enfermarias poderia ser um fator dificultador para a coleta de dados. A partir de uma ampla discussão entre os pesquisadores sobre o padrão de referência adotado,(15) definiu-se que o paciente com 3 ou mais indicadores alterados no padrão de referência seria classificado “com sinais de deterioração”. O EPA (Figura 1) é composto por critérios clínicos de avaliação neurológica, respiratória (frequência respiratória, padrão respiratório, suporte de oxigênio) e cardiovascular (cor da pele, tempo de enchimento capilar, frequência cardíaca, temperatura e diurese), cuja pontuação pode variar de 0 a 11 pontos.(7) Figura 1 Escore Pediátrico de Alerta – EPA (frente e verso) As avaliações dos critérios clínicos para aplicação do padrão de referência e do EPA foram padronizadas a partir de um manual operacional, a fim de calibrar os observadores e minimizar o viés de aferição. Além disso, foi aplicado um teste piloto em 20 pacientes para sanar possíveis dúvidas no momento da aplicação, bem como adequar a coleta de dados à dinâmica da unidade de internação, ao trabalho da equipe multiprofissional e, principalmente, às crianças e seus acompanhantes. A coleta dos dados ocorreu no período de Outubro/2018 a Outubro/2019. As 240 crianças e adolescentes que participaram da verificação da acurácia diagnóstica e utilidade do EPA foram selecionadas mediante sorteio a partir da lista de pacientes internados nas unidades. As aplicações do EPA e do padrão de referência foram realizadas, de forma cega, por uma enfermeira com experiência em pediatria e por uma médica pediatra, respectivamente, respeitando um intervalo de 5 a 10 minutos entre as aferições. Os sinais de deterioração clínica identificados nos pacientes foram comunicados formalmente à equipe de plantão e as condutas pertinentes foram realizadas. A coleta dos dados para verificação da reprodutibilidade foi realizada em 60 crianças e adolescentes por duas enfermeiras com experiência em pediatria que aplicaram o EPA com intervalo de 5 minutos entre as aferições, de forma independente e cega. Além disso, as enfermeiras cronometraram o tempo de avaliação do paciente e aplicação do escore para avaliar sua aplicabilidade no contexto de estudo. Os dados obtidos foram digitados em dois bancos construídos no programa Excel versão 16.27 para confrontar as informações e identificar possíveis erros de digitação. Feito isto, foram processados eletronicamente no MedCalc® Statistical Software version 20.007 a fim de estimar os indicadores de acurácia do EPA. Para as variáveis qualitativas foram calculadas as frequências simples, absolutas e relativas. Para as variáveis quantitativas contínuas foram calculadas as médias, medianas e medidas de dispersão (desvio padrão e intervalo interquartil). Os indicadores adotados para medir a acurácia e utilidade do EPA foram: Sensibilidade, Especificidade, Valor Preditivo Positivo (VPP) e Valor Preditivo Negativo (VPN), Receiver Operating Characteristic Curve (ROC curve), Razão de Probabilidade Positiva (RPP), Razão de Probabilidade Negativa (RPN), Probabilidade Pós-teste Positivo (PPT+) e Probabilidade Pós-teste Negativo (PPT-). Além desses, foram calculadas a Prevalência determinada pelo padrão de referência e a Prevalência estimada pelo teste. Para medir a reprodutibilidade foram calculados os coeficientes de concordância Kappa Simples e Kappa Ponderado através do programa VassarStats.net. Para o cálculo do Kappa Simples, a classificação das crianças foi dicotomizada em “com sinais de deterioração” e “sem sinais de deterioração”, sendo considerado o ponto de corte ≥ 3 para a presença da deterioração clínica. Já para o Kappa Ponderado foi mantida a hierarquia natural (relativa à gravidade do evento) entre as categorias do escore, que variaram de 0 a 8 pontos na amostra estudada. Para avaliação dos resultados do índice Kappa foram adotados os seguintes critérios de referência para interpretação do grau de concordância: < 0,00 (pobre), 0,00–0,20 (leve), 0,21–0,40 (razoável), 0,41–0,60 (moderada), 0,61–0,80 (substancial), 0,81–1,00 (quase perfeita).(16) A aplicabilidade do EPA foi mensurada pela média de tempo, em minutos, dispendida para aplicação do escore pelas enfermeiras. O estudo foi aprovado por Comitê de Ética em Pesquisa (CAAE: 79484117.2.0000.0053) e atendeu todos os preceitos éticos para pesquisas que envolvem seres humanos. Resultados A amostra composta por 240 crianças e adolescentes variou quanto a idade entre 1 mês e 15 anos, sendo a mediana de 4 anos (intervalo interquartil: 7 anos). Em sua maioria, as crianças possuíam diagnóstico clínico como causa do internamento (93,0%), com prevalência das infecções e problemas relacionados ao aparelho respiratório. Mais da metade da amostra não tinha comorbidades (68,0%) e história de internamento anterior (59,0%). A tabela 1 descreve os indicadores de acurácia e utilidade do EPA para os pontos de corte encontrados. Os escores ≥ 2 e ≥ 3 foram considerados os melhores pontos de corte. O EPA ≥ 2 apresentou sensibilidade de 86,8%, especificidade de 87,7% e VPP de 66,7%. Para o EPA ≥ 3, a sensibilidade e especificidade foram de 73,6% e 95,7%, respectivamente, e VPP de 83%. Tabela 1 Indicadores de acurácia e utilidade do EPA EPA S IC 95% E IC 95% VPP IC 95% VPN IC 95% RPP IC 95% RPN IC 95% PPT+ PPT- PET 0 100 93,3 - 100 0,0 0,0 - 2,0 22,1 22,1 - 22,1 - - 1 1,0 - 1,0 - - 21,8 - 100 ≥ 1 98,1 89,9 - 100 57,7 50,3 - 64,9 39,7 35,7 - 43,9 99,1 93,9 - 99,9 2,3 2,0 - 2,8 0,03 0,0 - 0,2 39,1 0,8 54,6 ≥ 2 86,8 74,7 - 94,5 87,7 82,1 - 92,0 66,7 57,4 - 74,8 95,9 92,1 - 97,9 7,06 4,7 - 10,5 0,15 0,0 - 0,3 66,3 4 28,7 ≥ 3 73,6 59,7 - 84,7 95,7 91,7 - 98,1 83,0 70,8 - 90,7 92,7 89,1 - 95,3 17,2 8,6 - 34,5 0,28 0,2 - 0,4 82,7 6 19,6 ≥ 4 49,1 35,1 - 63,2 98,9 96,2 - 99,9 92,9 76,1 - 98,1 87,3 84,0 - 89,9 45,9 11,2 - 187 0,51 0,4 - 0,7 92,7 12,4 11,7 ≥ 5 26,4 15,3 - 40,3 99,5 97,1 – 100 93,3 65,3 - 99,0 82,7 80,2 - 84,9 49,4 6,6 -367,1 0,74 0,6 - 0,9 93,2 17,1 6,2 ≥ 6 17,0 8,1 - 29,8 100 98,0 – 100 100 98,0 - 100 81 79,0 - 82,8 - - 0,83 0,7 - 0,9 - 18,8 3,7 ≥ 7 13,2 6,54 - 24,8 100 98,0 – 100 100 98,0 - 100 - - - - 0,87 0,8 - 0,9 - 19,5 2,9 S: Sensibilidade; E: Especificidade; IC: Intervalo de Confiança; VPP: Valor Preditivo Positivo; VPP: Valor Preditivo Negativo; RPP: Razão de Probabilidade Positiva; RPN: Razão de Probabilidade Negativa; PET: Prevalência Estimada pelo Teste; PPT+: Probabilidade Pós-Teste Positivo; PPT-: Probabilidade Pós-Teste Negativo A Prevalência estimada de pacientes com deterioração clínica disparada pelo EPA ≥ 3 foi de 19,6%, se aproximando mais da Prevalência determinada pelo padrão de referência (22,1%) quando comparada a Prevalência estimada pelo EPA ≥ 2 (28,7%). No que se refere a utilidade do EPA, foram utilizadas as razões de probabilidade para calcular as Probabilidades Pós-teste Positivo (PPT+) e Pós-teste Negativo (PPT-). A PPT+ de deterioração clínica aumentou a probabilidade pré-teste (prevalência estimada pelo padrão de referência) de 22,1% para 59% na presença de um escore ≥ 2 e para 82,7% na presença de um escore ≥ 3. Já a PPT- reduziu a probabilidade pré-teste de 22,1% para 3%, se EPA < 2, e para 6%, se EPA < 3. Desse modo, na amostra avaliada pelo estudo, o escore ≥ 3 pode ser adotado como melhor ponto de corte, entendendo que este valor agregou melhor acurácia e utilidade ao teste. O desempenho geral do instrumento em discriminar a presença e ausência de deterioração clínica foi avaliado a partir da área sob a curva ROC entre o EPA e o padrão de referência (Figura 2). O valor encontrado foi de 0,936 (IC 95%: 0,89 - 0,96), indicando que, em 93,6% dos casos, o EPA será capaz de discriminar corretamente as crianças em deterioração clínica, e em apenas 6,4% o instrumento fornecerá falsos resultados. A partir da curva ROC é possível afirmar também que o melhor ponto de corte do EPA foi 3, visto que está mais próximo do canto superior esquerdo do gráfico. O ponto 3 forneceu 4,3% de resultados falso positivos, já o ponto 2 forneceu 12,3%. Figura 2 Curva ROC* entre EPA e o padrão de referência *Receiver Operating Characteristic Curve Para avaliar a reprodutibilidade de aplicação do EPA entre os enfermeiros foram calculados o coeficiente Kappa simples, a partir da dicotomização do escore no ponto 3 [0,946 (IC: 0,842 - 1,00)], e o coeficiente Kappa ponderado [0,834 (IC: 0,731 - 0,9162)], mantendo os pontos de corte do EPA mensurados na amostra. Para verificar a aplicabilidade do EPA no cenário de estudo, foi mensurado o tempo médio dispendido para avaliação do paciente e aplicação do instrumento pelas duas enfermeiras, sendo 4,2 minutos (DP: ±1,0) e 4,7 minutos (DP: ±1,8), respectivamente, com tempo mínimo de dois e máximo de onze minutos. As crianças com EPA ≥ 3 demandaram um maior tempo médio para avaliação por uma das enfermeiras (5,0 minutos) quando comparadas às crianças com EPA ≤ 2 (4,6 minutos), porém, para a segunda enfermeira não houve diferença nesse sentido (4,2 minutos). Assim, pode ser que o tempo para aplicação do EPA seja influenciado pelo grau de deterioração clínica do paciente. Ainda sobre a aplicabilidade do EPA, as enfermeiras participantes do estudo sinalizaram que o uso de critérios clínicos práticos e que não exigem equipamentos mais sofisticados são características positivas para aplicação do escore no contexto. Porém, elas trouxeram como limitação a necessidade de suporte da equipe médica para sua efetiva implantação. Discussão Um princípio básico para adoção de um escore de alerta é a sua capacidade em identificar de forma acurada e confiável os sinais de piora clínica de um paciente. Estudos para verificação de desempenho dos PEWS, geralmente utilizaram como indicadores de validade as medidas de sensibilidade, especificidade, valores preditivos e/ou área sob a curva ROC.1,6,17 Nesse estudo, para a validação do EPA, além desses indicadores, utilizou-se as razões de probabilidade e as probabilidades pós-teste positivo e negativo. O melhor ponto de corte do EPA encontrado nesse estudo, considerado capaz de alertar uma possível deterioração clínica foi o escore 3, ponderando o equilíbrio entre a sensibilidade, especificidade e uma excelente área sob a curva ROC (AUC).(25-27) A AUC encontrada no EPA (93,6%) foi similar à do BPEWS-Br (91,9%) e superior a encontrada em outros estudos, cujos valores variaram de 69% a 89%.(1,6,17-19,21-24) Não há um padrão de aceitabilidade entre sensibilidade e especificidade, mas sugere-se que ambas apresentem equilíbrio entre os valores mais altos possíveis.(25-27) A sensibilidade e a especificidade do EPA ≥ 3 foram de 73,6% e 95,7%. Estudos que validaram BPEWS em outros cenários, adotando diferentes pontos de corte que variaram de 1 a 4, encontraram resultados semelhantes para a sensibilidade e especificidade, respectivamente: 79,8% e 65,2% para o ponto de corte ≥ 1; 58% e 75%, 72% e 88%, 68,4% e 81,6% para o ponto de corte ≥ 2; 62% e 89% para o ponto de corte ≥ 2,5; 90,2% e 74,4%, 32% e 93% e 73,9% e 95,5% para o ponto de corte ≥ 3; e 14,8% e 97,7% para o ponto de corte ≥ 4.(1,6,17-19,21-24) Para estimar a predição da deterioração clínica pediátrica foram calculados os valores preditivos positivo (VPP) e negativo (VPN), a fim de medir a probabilidade de piora ou não do paciente diante da positividade ou negatividade do escore.(26) Considerando o ponto de corte ≥ 3, o EPA apresentou VPP de 83%, superior ao encontrado em alguns estudos que validaram versões adaptadas do BPEWS: 36% e 15% no ponto de corte ≥ 2, 77,3% e 5,8% no ponto de corte ≥ 3 e 58% no ponto de corte ≥ 4.(1,6,17,23,24) O VPN do EPA ≤ 3 foi de 92,7% e quatro estudos encontraram valores próximos ou superiores para os PEWS avaliados: 94,7% e 99,8% no ponto de corte ≥ 3; 96% e 98% no ponto de corte ≥ 2.(1,6,17,23) A fim de avaliar a utilidade do EPA, calculou-se a Razão de Probabilidade (RP), cujos valores no ponto de corte ≥ 3 foi de 17,2 (RPP) e 0,28 (RPN). Bons testes diagnósticos devem apresentar uma RPP > 10, indicando que seu resultado positivo contribui significativamente para o diagnóstico em questão, mostrando-se um instrumento util. Para os valores de RPN, quanto mais próximo de zero, menor a probabilidade de doença diante do teste negativo.(27) Dentre os estudos que validaram o BPEWS, foram identificados quatro, os quais trabalharam com a RP. Para a RPP, apenas o BPEWS-Br apresentou um valor similar ao do EPA, de 16,6, e os demais estudos apresentaram valores < 10, com variação dos pontos de corte entre ≥1 e ≥ 3: 6,2, 2,3 e 4,72. Para a RPN, a maioria dos estudos encontraram valores próximos ao encontrado no EPA: 0,27, 0,32, 0,3 e um estudo encontrou valor superior de 0,73.(1,17,21,22) A partir da RP pode-se encontrar a Probabilidade Pós-teste (PPT). Esse indicador também endossa a utilidade de um teste diagnóstico, pois informa o quanto o resultado do teste aumentará (PPT+) ou diminuirá (PPT-) a prevalência da doença (probabilidade pré-teste) naquele cenário.(27) Considerando a probabilidade pré-teste de deterioração clínica de 22,1% encontrada pelo padrão de referência, a PPT+ do EPA foi de 82,7% e PPT- foi de 6% no ponto de corte ≥ 3. Esses valores são similares aos encontrados no único estudo que avaliou a utilidade do BPEWS em um contexto brasileiro, encontrando a PPT+ de 80% e a PPT- de 6% para o mesmo ponto de corte.(1) A Prevalência Estimada (PE) de deterioração clínica pelo EPA também foi calculada nesse estudo, refletindo a razão entre o número de pessoas com deterioração clínica segundo o EPA e a população sob risco. A Prevalência de deterioração determinada pelo padrão de referência foi de 22,1%, já a PE pelo EPA ≥ 3 foi de 19,6%. No estudo de validação do BPEWS-Br, considerando o escore ≥ 3, a PE pelo EPA foi de 16,2% e a determinada pelo padrão de referência foi de 17%.(1) O estudo que validou a primeira versão modificada do BPEWS adotou como padrão de referência a transferência para UTI e encontrou uma PE de 24,2% para o escore ≥ 3.(6) A reprodutibilidade do EPA foi mensurada pelo Coeficiente kappa. O EPA apresentou um kappa simples de 0,946 e um kappa ponderado de 0,824. Portanto, o instrumento apresentou um grau de concordância quase perfeito, tanto para o kappa simples quanto para o kappa ponderado.(16) Alguns estudos verificaram a reprodutibilidade do BPEWS no processo de validação. Dois deles encontraram valores de kappa simples considerados substanciais: 0,75 e 0,74; e outros dois encontraram valores quase perfeitos: 0,85 e 0,91.(17,22,28,29) Apenas um estudo que validou o BPEWS calculou também o kappa ponderado, encontrando um valor de 0,80.(29) Outro estudo que buscou avaliar a confiabilidade inter examinadores entre enfermeiros que utilizam sistemas PEWS na região central da Dinamarca, identificou que estes atribuíram a mesma pontuação agregada para dois modelos de PEWS em 76% dos casos. Os coeficientes de correlação intraclasse para a pontuação agregada nos dois modelos PEWS foram 0,98 e 0,95.(30) Um PEWS deve ser objetivo, de fácil e rápida aplicação a fim de não gerar sobrecarga de trabalho ou trabalho extra para a equipe.(5,29) Nesse estudo, a aplicabilidade do EPA foi relacionada ao tempo dispensado para sua aplicação, sendo que o tempo médio total dispensado para aplicação (4,2 e 4,8 minutos) foi um pouco superior ao encontrado para o BPEWS-Br (4,1 e 3,5 minutos).(29) Isso, provavelmente, pode estar associado ao fato de o EPA agregar mais indicadores clínicos que o BPEWS. O tempo cronometrado para aplicação do BPEWS original foi descrito como 30 segundos. Esse tempo foi reduzido à medida que o avaliador se familiarizava com o instrumento.(5) Para aplicação do EPA no estudo, mesmo que o paciente estivesse monitorizado, foi realizada a contagem das frequências cardíaca e respiratória, além da aferição da temperatura axilar durante um minuto, conforme manual de instrução do equipamento. Sendo assim, acredita-se que, quando incorporado na rotina de avaliação da enfermeira e houver familiaridade com o escore, o tempo despendido para sua aplicação poderá ser reduzido gradativamente. Uma característica do EPA, assim como do BPEWS, que pode facilitar e agilizar sua aplicação é a não inclusão da pressão arterial (PA) como critério clínico, visto que a sua mensuração em crianças exige tempo, equipamentos apropriados, padronização do tamanho dos manguitos e uma rotina consistente para aferição. Esses fatores poderiam dificultar a implementação do EPA em muitas realidades brasileiras. No que se refere às limitações do EPA, nesta pesquisa, o escore não foi validado para uso em recém-nascidos, crianças cardiopatas e com doenças oncológicas, não sendo recomendado sua aplicação para estas populações, o que gera uma lacuna para a possibilidade de novos estudos nesta perspectiva. Para essas populações existem escores validados em cenários internacionais que precisam ser testados em hospitais brasileiros, a exemplo do The Neonatal Trigger Score para neonatos, do Cardiac Children’s Hospital Early Warning Score para pacientes cardiopatas e do The Children’s Hospital Early Warning Score para pacientes com doenças oncológicas.(11-13) O suporte da equipe médica foi apontado pelas enfermeiras como limitação para a efetiva implantação do EPA. A utilidade dos PEWS é relatada no que se refere a identificação de crianças doentes em deterioração clínica, a intervenção oportuna da equipe multidisciplinar, a comunicação efetiva e a confiança no cuidado de crianças. Porém, seu uso ainda é limitado devido à variação das pontuações e configurações.(31) Esse cenário suscita a necessidade de uma padronização de acordo a cada contexto. Autores sugerem como prioridades de pesquisas sobre o PEWS estudos que busquem: determinar suas características preditivas em diferentes cenários clínicos, populações e estruturas organizacionais; avaliar o efeito sobre a mortalidade e morbidade; investigar barreiras e fatores facilitadores para sua implementação; considerar o desenvolvimento de um PEWS nacional para padronizar na prática; além de compreender o papel de fatores humanos na sua implementação e explorar o papel da tecnologia na identificação e escalonamento de crianças em risco de deterioração.(10) Desse modo, ainda há muitas lacunas a serem preenchidas no que se refere ao conhecimento científico e produção de evidências sobre os PEWS, além de desafios a serem superados, principalmente no contexto nacional. Em relação ao uso desses escores pelos serviços brasileiros, estudo transversal, retrospectivo, avaliou a adesão dos enfermeiros ao preenchimento do PEWS em um Serviço de Emergência a partir da análise de 1.219 prontuários e encontrou 75,2% de adesão, o que aponta para a necessidade de ações para educação profissional, com a finalidade de melhorar os indicadores relacionados à aplicação do PEWS e garantia de assistência segura.(32) Autores afirmam que é possível implementar um PEWS em ambientes com recursos limitados. No entanto, este é um processo que consome tempo e energia, e requer uma equipe ativa e envolvida para o sucesso da implementação.(33) Escores pediátricos de alerta têm sido destacados pelo seu desempenho no reconhecimento precoce da piora clínica, já que fornecem evidências quantificáveis da deterioração. Porém, é importante destacar que os PEWS não irão identificar todas as crianças em risco de piora clínica, seja pela velocidade ou pelo mecanismo envolvido na deterioração, sendo essencial o treinamento da equipe para reconhecer padrões comuns de deterioração e não confiar no PEWS como único mecanismo de rastreio. No entanto, eles podem ser um complemento valioso para a tomada de decisão clínica, particularmente para a equipe com menor experiência, visto que são frequentemente acompanhadas por um algoritmo de escalonamento que indica a ação a ser tomada diante de cada pontuação.(10) Diante do exposto, os PEWS podem não apenas melhorar o poder de reconhecimento precoce da instabilidade clínica, mas também aumentar a consciência situacional da equipe e padronizar a comunicação, de modo que toda equipe, com diferentes níveis de formação, entenda a gravidade da situação. Quando adequadamente validados, e aliados a algoritmos de cuidado, podem desencadear ações oportunas e auxiliar na gestão da deterioração clínica. Conclusão O presente estudo fornece evidências sobre a elevada acurácia, utilidade e reprodutibilidade do EPA na identificação da deterioração clínica em um cenário hospitalar pediátrico brasileiro, e considerou o instrumento aplicável no contexto da pesquisa. Buscou seguir todo o rigor metodológico de um estudo de teste diagnóstico, porém limita-se por ser uma pesquisa unicêntrica e não validada, até o momento, para uso em recém-nascidos, crianças cardiopatas e com doenças oncológicas. A partir das evidências apresentadas, o EPA foi considerado um instrumento válido, útil, confiável e aplicável no reconhecimento precoce da deterioração clínica em crianças e adolescentes, podendo conferir à enfermeira maior autonomia, e, se vinculado a um algoritmo de cuidados, nortear ações de apoio e melhora na tomada de decisão em momentos críticos junto à equipe multidisciplinar. Destaca-se que, a melhoria do cuidado a pacientes em deterioração clínica transcende a aplicação de um escore de alerta. É preciso pensar em um sistema multifacetado, disparado a partir do reconhecimento precoce e que contemple a implementação de cuidados apropriados, pessoal treinado, recursos adequados e auditorias para melhorar o tratamento e aumentar a segurança do paciente. O próximo desafio é a padronização de um único Escore Pediátrico de Alerta no cenário nacional, estabelecendo uma linguagem comum entre os profissionais para reconhecer e responder prontamente à deterioração em crianças e adolescentes. Além disso, são necessários estudos sobre impacto da implantação destes instrumentos nos cenários de cuidado. Agradecimentos Ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq), Ministério da Ciência, Tecnologia, Inovações e Comunicações (MCTIC) e ao Ministério da Saúde (MS), chamada MCTIC/CNPq nº 28/2018 – Financiamento do Projeto “Reconhecimento da deterioração clínica pediátrica no contexto hospitalar da saúde da criança no município de Feira de Santana – Bahia - Brasil” da Universidade Estadual de Feira de Santana (UEFS), Processo nº 405101/2018-0. À Universidade Estadual de Feira de Santana. Ao Hospital Estadual da Criança e toda sua equipe. Referências 1 1. Miranda JO, Camargo CL, Nascimento CL, Portela DS, Monaghan A. Accuracy of a pediatric early warning score in the recognition of clinical deterioration. Rev Lat Am Enfermagem. 2017;25:e2912. Miranda JO Camargo CL Nascimento CL Portela DS Monaghan A Accuracy of a pediatric early warning score in the recognition of clinical deterioration Rev Lat Am Enfermagem 2017 25 e2912 2 2. Lambert V, Matthews A, MacDonell R, Fitzsimons J. Paediatric early warning systems for detecting and responding to clinical deterioration in children: a systematic review. BMJ Open. 2017;7(3):e014497. Review. Lambert V Matthews A MacDonell R Fitzsimons J Paediatric early warning systems for detecting and responding to clinical deterioration in children: a systematic review BMJ Open 2017 7 3 e014497 Review 3 3. Jensen CS, Aagaard H, Olesen HV, Kirkegaard H. A multicentre, randomised intervention study of the Paediatric Early Warning Score: study protocol for a randomised controlled trial. Trials. 2017;18(1):267. Jensen CS Aagaard H Olesen HV Kirkegaard H A multicentre, randomised intervention study of the Paediatric Early Warning Score: study protocol for a randomised controlled trial Trials 2017 18 1 267 4 4. Gawronski O, Parshuram C, Cecchetti C, Tiozzo E, Degli Atti ML, Dall’Oglio I, et al. Qualitative study exploring factors influencing escalation of care of deteriorating children in a children’s hospital. BMJ Paediatr Open. 2018;2(1):1–8. Gawronski O Parshuram C Cecchetti C Tiozzo E Degli Atti ML Dall’Oglio I et al Qualitative study exploring factors influencing escalation of care of deteriorating children in a children’s hospital BMJ Paediatr Open 2018 2 1 1 8 5 5. Monaghan A. Detecting and managing deterioration in children. Paediatr Nurs. 2005;17(1):32-5. Review. Monaghan A Detecting and managing deterioration in children Paediatr Nurs 2005 17 1 32 35 Review 6 6. Tucker KM, Brewer TL, Baker RB, Demeritt B, Vossmeyer MT. Prospective evaluation of a pediatric inpatient early warning scoring system. J Spec Pediatr Nurs. 2009;14(2):79-85. Tucker KM Brewer TL Baker RB Demeritt B Vossmeyer MT Prospective evaluation of a pediatric inpatient early warning scoring system J Spec Pediatr Nurs 2009 14 2 79 85 7 7. Oliveira TL, Miranda JO, Sobrinho CL, Mendoza RF, Monaghan AP, Alencar AA. Desenvolvimento e validação de conteúdo do escore pediátrico de alerta. Rev Soc Bras Enferm Ped. 2021;21(2):91-101. Oliveira TL Miranda JO Sobrinho CL Mendoza RF Monaghan AP Alencar AA Desenvolvimento e validação de conteúdo do escore pediátrico de alerta Rev Soc Bras Enferm Ped 2021 21 2 91 101 8 8. Roland D, Oliver A, Edwards ED, Mason BW, Powell CV. Use of paediatric early warning systems in Great Britain: has there been a change of practice in the last 7 years? Arch Dis Child. 2014;99(1):26-9. Roland D Oliver A Edwards ED Mason BW Powell CV Use of paediatric early warning systems in Great Britain: has there been a change of practice in the last 7 years? Arch Dis Child 2014 99 1 26 29 9 9. Chapman SM, Maconochie IK. Early warning scores in paediatrics: an overview. Arch Dis Child. 2019;104(4):395-9. Review. Chapman SM Maconochie IK Early warning scores in paediatrics: an overview Arch Dis Child 2019 104 4 395 399 Review 10 10. Cohen JF, Korevaar DA, Altman DG, Bruns DE, Gatsonis CA, Hooft L, et al. STARD 2015 guidelines for reporting diagnostic accuracy studies: explanation and elaboration. BMJ Open. 2016;6(11):e012799. Cohen JF Korevaar DA Altman DG Bruns DE Gatsonis CA Hooft L et al STARD 2015 guidelines for reporting diagnostic accuracy studies: explanation and elaboration BMJ Open 2016 6 11 e012799 11 11. Simeone S, Platone N, Serra N, Assanta N, Guillari A, Rea T, et al. Cardiac Children’s Hospital Early Warning Score: Italian Validation. J Pediatr Nurs. 2020;51:e21-6. Simeone S Platone N Serra N Assanta N Guillari A Rea T et al Cardiac Children’s Hospital Early Warning Score: Italian Validation J Pediatr Nurs 2020 51 e21 e26 12 12. Mortensen N, Augustsson JH, Ulriksen J, Hinna UT, Schmölzer GM, Solevåg AL. Early warning- and track and trigger systems for newborn infants: a review. J Child Health Care. 2017;21(1):112-20. Review. Mortensen N Augustsson JH Ulriksen J Hinna UT Schmölzer GM Solevåg AL Early warning- and track and trigger systems for newborn infants: a review J Child Health Care 2017 21 1 112 120 Review 13 13. Agulnik A, Forbes PW, Stenquist N, Rodriguez-Galindo C, Kleinman M. Validation of a Pediatric Early Warning Score in Hospitalized Pediatric Oncology and Hematopoietic Stem Cell Transplant Patients. Pediatr Crit Care Med. 2016;17(4):e146-53. Agulnik A Forbes PW Stenquist N Rodriguez-Galindo C Kleinman M Validation of a Pediatric Early Warning Score in Hospitalized Pediatric Oncology and Hematopoietic Stem Cell Transplant Patients Pediatr Crit Care Med 2016 17 4 e146 e153 14 14. Andrade AL, Zicker F. Métodos de investigação epidemiológica em doenças transmissíveis. Brasília (DF): Organizaçäo Pan-Americana da Saúde;Fundaçäo Nacional da Saúde; 1997. 182 p. Andrade AL Zicker F Métodos de investigação epidemiológica em doenças transmissíveis Brasília (DF) Organizaçäo Pan-Americana da Saúde;Fundaçäo Nacional da Saúde 1997 182 15 15. American Heart Association. Suporte avançado de vida em pediatria manual do profissional. Suporte avançado de vida em pediatria manual do profissional. EUA: Ourora; 2017. American Heart Association Suporte avançado de vida em pediatria manual do profissional. Suporte avançado de vida em pediatria manual do profissional EUA Ourora 2017 16 16. Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics. 1977;33(1):159-74. Landis JR Koch GG The measurement of observer agreement for categorical data Biometrics 1977 33 1 159 174 17 17. Gold DL, Mihalov LK, Cohen DM. Evaluating the pediatric early warning score (PEWS) system for admitted patients in the pediatric emergency department. Acad Emerg Med. 2014;21(11):1249–56. Gold DL Mihalov LK Cohen DM Evaluating the pediatric early warning score (PEWS) system for admitted patients in the pediatric emergency department Acad Emerg Med 2014 21 11 1249 1256 18 18. Zhai H, Brady P, Li Q, Lingren T, Ni Y, Wheeler DS, et al. Developing and evaluating a machine learning based algorithm to predict the need of pediatric intensive care unit transfer for newly hospitalized children. Resuscitation. 2014;85(8):1065–71. Zhai H Brady P Li Q Lingren T Ni Y Wheeler DS et al Developing and evaluating a machine learning based algorithm to predict the need of pediatric intensive care unit transfer for newly hospitalized children Resuscitation 2014 85 8 1065 1071 19 19. Skaletzky SM, Raszynski A, Totapally BR. Validation of a modified pediatric early warning system score: a retrospective case-control study. Clin Pediatr (Phila). 2012;51(5):431–5. Skaletzky SM Raszynski A Totapally BR Validation of a modified pediatric early warning system score: a retrospective case-control study Clin Pediatr (Phila) 2012 51 5 431 435 20 20. Akre M, Finkelstein M, Erickson M, Liu M, Vanderbilt L, Billman G. Sensitivity of the pediatric early warning score to identify patient deterioration. Pediatrics. 2010;125(4):e763-9. Akre M Finkelstein M Erickson M Liu M Vanderbilt L Billman G Sensitivity of the pediatric early warning score to identify patient deterioration Pediatrics 2010 125 4 e763 e769 21 21. Seiger N, Maconochie I, Oostenbrink R, Moll HA. Validity of different pediatric early warning scores in the emergency department. Pediatrics. 2013;132(4):841–50. Seiger N Maconochie I Oostenbrink R Moll HA Validity of different pediatric early warning scores in the emergency department Pediatrics 2013 132 4 841 850 22 22. Lillitos PJ, Hadley G, Maconochie I. Can paediatric early warning scores (PEWS) be used to guide the need for hospital admission and predict significant illness in children presenting to the emergency department? An assessment of PEWS diagnostic accuracy using sensitivity and specificity. Emerg Med J. 2016;33(5):329-37, Lillitos PJ Hadley G Maconochie I Can paediatric early warning scores (PEWS) be used to guide the need for hospital admission and predict significant illness in children presenting to the emergency department? An assessment of PEWS diagnostic accuracy using sensitivity and specificity Emerg Med J 2016 33 5 329 337 23 23. Lampin ME, Duhamel A, Behal H, Recher M, Leclerc F, Leteurtre S. Use of paediatric early warning scores in intermediate care units. Arch Dis Child. 2020;105(2):173-9. Lampin ME Duhamel A Behal H Recher M Leclerc F Leteurtre S Use of paediatric early warning scores in intermediate care units Arch Dis Child 2020 105 2 173 179 24 24. Bradman K, Borland M, Pascoe E. Predicting patient disposition in a paediatric emergency department. J Paediatr Child Health. 2014;50(10):E39–44. Bradman K Borland M Pascoe E Predicting patient disposition in a paediatric emergency department J Paediatr Child Health 2014 50 10 E39 E44 25 25. Ferreira JC, Patino CM. Understanding diagnostic tests. Part 1. J Bras Pneumol 2017;43(5):330. Ferreira JC Patino CM Understanding diagnostic tests. Part 1 J Bras Pneumol 2017 43 5 330 26 26. Patino CM, Ferreira JC. Understanding diagnostic tests. Part 2. J Bras Pneumol. 2017;43(6):408. Patino CM Ferreira JC Understanding diagnostic tests. Part 2 J Bras Pneumol 2017 43 6 408 27 27. Ferreira JC, Patino CM. Understanding diagnostic tests. Part 3. J Bras Pneumol. 2018;44(1):4. Ferreira JC Patino CM Understanding diagnostic tests. Part 3 J Bras Pneumol 2018 44 1 4 28 28. Bell D, Mac A, Ochoa Y, Gordon M, Gregurich MA, Taylor T. The Texas Children’s Hospital Pediatric Advanced Warning Score as a predictor of clinical deterioration in hospitalized infants and children: a modification of the PEWS tool. J Pediatr Nurs. 2013;28(6):e2-9. Bell D Mac A Ochoa Y Gordon M Gregurich MA Taylor T The Texas Children’s Hospital Pediatric Advanced Warning Score as a predictor of clinical deterioration in hospitalized infants and children: a modification of the PEWS tool J Pediatr Nurs 2013 28 6 e2 e9 29 29. Miranda JO, Camargo CL, Nascimento Sobrinho CL, Oliveira TL, Matos AC, Portela DS. Reproducibility and Applicability of a Pediatric Score of Clinical Deterioration Warning. Rev Min Enferm. 2019;23:1-6. Miranda JO Camargo CL Nascimento CL Sobrinho Oliveira TL Matos AC Portela DS Reproducibility and Applicability of a Pediatric Score of Clinical Deterioration Warning Rev Min Enferm 2019 23 1 6 30 30. Jensen CS, Aagaard H, Olesen HV, Kirkegaard H. Inter-rater reliability of two paediatric early warning score tools. Eur J Emerg Med. 2019;26(1):34-40. Jensen CS Aagaard H Olesen HV Kirkegaard H Inter-rater reliability of two paediatric early warning score tools Eur J Emerg Med 2019 26 1 34 40 31 31. Duraisamy R, Balasubramanian B, Palanisamy S. Utility of pediatric early warning scoring system in predicting clinical deterioration in children: a review. J Basic Clin Applied Health Science. 2019;2(3):115–8. Duraisamy R Balasubramanian B Palanisamy S Utility of pediatric early warning scoring system in predicting clinical deterioration in children: a review J Basic Clin Applied Health Science 2019 2 3 115 118 32 32. Ribeiro SP, Vieira LB, Strada JK, Freitas CA, Almeida VM, Wegner W. Aplication of transference note and paediatric early warning score in the Pediatric Emergency Department of Hospital de Clínicas de Porto Alegre. Sci Med. 2021;31(1):e39407. Ribeiro SP Vieira LB Strada JK Freitas CA Almeida VM Wegner W Aplication of transference note and paediatric early warning score in the Pediatric Emergency Department of Hospital de Clínicas de Porto Alegre Sci Med 2021 31 1 e39407 33 33. van der Fluit KS, Boom MC, Brandão MB, Lopes GD, Barreto PG, Leite DC, et al. How to implement a PEWS in a resource-limited setting: a quantitative analysis of the bedside-PEWS implementation in a hospital in northeast Brazil. Trop Med Int Health. 2021;26(10):1240-7. van der Fluit KS Boom MC Brandão MB Lopes GD Barreto PG Leite DC et al How to implement a PEWS in a resource-limited setting: a quantitative analysis of the bedside-PEWS implementation in a hospital in northeast Brazil Trop Med Int Health 2021 26 10 1240 1247 10.37689/acta-ape/2023AO008722 Original Article Pediatric Alert Score (EPA) performance in clinical deterioration 0000-0001-9151-8283 Oliveira Thaiane de Lima declare that they contributed to study design, data analysis and interpretation, article writing, review, relevant interpretation of the intellectual content and approval of the final version to be published 1 0000-0001-7659-3103 Miranda Juliana Freitas Oliveira declare that they contributed to study design, data analysis and interpretation, article writing, review, relevant interpretation of the intellectual content and approval of the final version to be published 1 0000-0001-7437-8768 Monaghan Alan Peter declare that they contributed to study design, data analysis and interpretation, article writing, review, relevant interpretation of the intellectual content and approval of the final version to be published 2 0000-0003-4905-2672 Silva Renata Costa declare that they contributed to study design, data analysis and interpretation, article writing, review, relevant interpretation of the intellectual content and approval of the final version to be published 3 0000-0001-5755-3376 Santana Ana Kelly de Araujo declare that they contributed to study design, data analysis and interpretation, article writing, review, relevant interpretation of the intellectual content and approval of the final version to be published 3 0000-0002-5848-0620 Silva Marina Vieira declare that they contributed to study design, data analysis and interpretation, article writing, review, relevant interpretation of the intellectual content and approval of the final version to be published 3 0000-0003-4833-4889 Bessa José de Junior declare that they contributed to study design, data analysis and interpretation, article writing, review, relevant interpretation of the intellectual content and approval of the final version to be published 1 0000-0002-4596-4300 Ribeiro Ana Paloma Martins Rocha declare that they contributed to study design, data analysis and interpretation, article writing, review, relevant interpretation of the intellectual content and approval of the final version to be published 1 1 Brazil Universidade Estadual de Feira de Santana, Feira de Santana, BA, Brazil. 2 United Kingdom University of Brighton, Brighton, United Kingdom. 3 Brazil Hospital Estadual da Criança, Feira de Santana, BA, Brazil. Corresponding author: Juliana Freitas Oliveira Miranda E-mail: [e-mail]/[e-mail] Associate Editor (Peer review process): Kelly Pereira Coca (https://orcid.org/0000-0002-3604-852X) Escola Paulista de Enfermagem, Universidade Federal de São Paulo, São Paulo, SP, Brazil Conflicts of interest: nothing to declare. Abstract Objective To assess the Pediatric Alert Score (EPA) accuracy, usefulness, reproducibility and applicability in identifying clinical deterioration in hospitalized children and adolescents. Methods This is a prospective diagnostic test study, carried out between October/2018 and October/2019, to measure EPA diagnostic accuracy in a sample of 240 children, and its reproducibility and applicability in a sample of 60 children. Data were processed and analyzed on MedCalc and VassarStats.net. Results At cut-off point ≥ 3, the score had a sensitivity of 73.6%, specificity of 95.7%, positive predictive value of 83%, negative predictive value of 92.7, area under the ROC curve of 93.6%, estimated prevalence of 19.6%, positive probability ratio of 17.1, positive post-test probability of 77.8%, simple Kappa of 0.946. Conclusion The study provides evidence on EPA high accuracy, usefulness and reproducibility in identifying clinical deterioration in a Brazilian pediatric hospital setting, and considered the instrument applicable in the context of the research. Clinical deterioration Early warning score Child hospitalized Pediatric nursing Validation study Introduction Early recognition of clinical worsening in hospitalized children is paramount for proper and timely management of deterioration.(1) In this perspective, the Pediatric Early Warning Score (PEWS) are instruments developed to systematize the clinical assessment and assist the health team in the early identification of deteriorating children, supporting decision-making and the implementation of care aimed at reducing the probability of unfavorable outcomes.(2 ) PEWS are tools of simple application, based on clinical parameters and vital signs that are easy to measure, without the aid of complex and expensive equipment, and are currently considered afferent branches of rapid response systems to pediatric clinical deterioration.(3,4) The first PEWS, published in 2005, was the Brighton Paediatric Early Warning Score (BPEWS). It is a scoring system composed of three assessment components: neurological, cardiovascular and respiratory, in addition to the use of nebulization and the presence of persistent vomiting in the postoperative period. The score can vary between 0 and 13 points, and from 3 points, the higher the score, the greater the risk of deterioration. (1,5,6) In Brazil, BPEWS went through the process of translation, adaptation and validity for the Brazilian context (BPEWS-Br), and presented encouraging results, becoming the first pediatric early warning score validated in a Brazilian setting with the aim of assisting in the early detection of clinical worsening in children in the hospital setting.(1) After BPEWS-Br validity, its authors, based on an extensive discussion, raised the need for adjustments to the instrument, in order to include new indicators for assessment of pediatric clinical deterioration described in the literature and better serve the study context. Although the BPEWS-Br performed satisfactorily, it did not contain indicators considered to be important predictors of clinical worsening in children, such as certain criteria that can help in screening patients with suspected sepsis. The purpose was to have a valid tool that was more adequate to the reality of the service, the team, the patients and the context of Brazilian public health.(1) A new instrument, called the Pediatric Alert Score (EPA), was developed from the BPEWS-Br. Initially, it was validated from the standpoint of content, presenting a General Content Validity Index of 0.97, considered easy to use, with good structure and presentation, in addition to contemplating relevant indicators of clinical relevance and applicable to the study site.(7) However, its performance in recognizing clinical deterioration needs to be measured in order to produce evidence to strengthen and sustain its use in the national scenario. It is estimated that, since the creation and validity of the first PEWS, more than 30 scores are in use, each with different parameters assessed, formats, as well as degree of validity.(8) Evidence on the validity and clinical utility of pediatric alert systems is still limited, given the large number of scores in use. Therefore, research to obtain robust, valid and clinically significant results to assess PEWS in different scenarios is necessary. Understanding and defining the properties that lead to high performance can support a more evidence-based approach to the development of future PEWS.(9) Given the variability of these instruments, the decision to adopt a PEWS needs to be accompanied by evidence on its validity in care contexts. This study aimed to assess EPA accuracy, usefulness, reproducibility and applicability in identifying clinical deterioration in hospitalized children and adolescents. Methods This is a quantitative, prospective, diagnostic test study to verify EPA performance in identifying clinical deterioration in children and adolescents in a hospital context. The study was conducted based on the Standards for Reporting of Diagnostic Accuracy Studies (STARD) recommendations.(10) The research site was a large maternal-infant hospital, a reference for the care of children and adolescents under 16 years of age, with 240 beds, located in the municipality of Feira de Santana, the second largest city in the state of Bahia, Brazil. The study’s reference population consists of children and adolescents aged 1 month to 15 years, admitted to the hospital’s clinical-surgical and emergency units. The following were excluded from the sample: newborns, patients aged ≥ 16 years who remained under follow-up at the hospital due to the diagnosis; patients with medical discharge prescribed in medical records; patients with a diagnosis of heart disease described in the medical records; undergoing cancer treatment; in isolation and using invasive mechanical ventilation. It was decided to exclude newborns, patients with heart disease and cancer because there are already validated proposals in the literature for scores for this population.(11-13) Patients with cancer were also excluded because they were undergoing chemotherapy and with more restricted handling due to low immunity. Patients with indication for isolation were excluded due to the risk of cross-infection during data collection. A sample of 240 patients was calculated to verify the EPA diagnostic accuracy and usefulness. The sample calculation was made using the formula: N=1.962[0.17(1-0.17)/(0.052), adding another 10% to the value, considering the losses. The proportion of clinical deterioration adopted for the sample calculation was 17%, found in a previous study.(1) The Confidence Interval (CI) spectrum was 0.10. The CI semi-amplitude as an acceptable error was 0.05. The value of Z was 1.96.(14) To verify the EPA reproducibility among observers and applicability, 60 children and adolescents were assessed by convenience sampling. Three measurement and data collection instruments were used: the reference standard or gold standard, the EPA and the instrument for collecting sociodemographic and clinical data for sample characterization. The reference standard for determining the deterioration of children and adolescents participating in the study was the set of clinical criteria that make up the Primary Clinical Assessment of the Critically Ill Child recommended by the American Heart Association (AHA) and the American Academy of Pediatrics.(15) Among the AHA criteria, for neurological assessment, the Pediatric AVPU Response Scale (Alert, Voice, Pain, Unresponsive) was used in order to optimize the assessment time. Blood pressure exclusion was chosen, since hypotension in children is characterized as a late sign of cardiovascular decompensation.(5) Furthermore, the lack of a consistent routine for blood pressure measurement in children in the wards could be a complicating factor for data collection. From a broad discussion among researchers about the adopted reference standard,(15) iit was defined that the patient with 3 or more altered indicators in the reference standard would be classified as “with signs of deterioration”. The EPA (Figure 1) consists of clinical criteria for neurological, respiratory (respiratory rate, breathing pattern, oxygen support) and cardiovascular assessment (skin color, capillary refill time, heart rate, temperature and urine output), whose score can range from 0 to 11 points.(7) Figure 1 Pediatric Alert Score – EPA (front and back) Assessments of clinical criteria for applying the reference standard and EPA were standardized from an operational manual, in order to calibrate observers and minimize measurement bias. Additionally, a pilot test was applied to 20 patients to resolve possible doubts at the time of application, as well as to adapt data collection to the inpatient dynamics unit, to the multidisciplinary team’s work and, mainly, to children and their companions. Data collection occurred from October/2018 to October/2019. The 240 children and adolescents who participated in verification of EPA diagnostic accuracy and usefulness were selected by drawing lots from the list of patients admitted to the units. The EPA and reference standard application was blindly performed by a nurse with experience in pediatrics and by a pediatrician, respectively, respecting an interval of 5 to 10 minutes between measurements. The signs of clinical deterioration identified in patients were formally communicated to the on-call team and the relevant conducts were performed. Data collection to verify reproducibility was performed in 60 children and adolescents by two nurses with experience in pediatrics who applied the EPA with an interval of 5 minutes between measurements, independently and blindly. Also, nurses timed the time of patient assessment and application of the score to assess its applicability in the study context. The data obtained were entered into two databases built in Excel 16.27 to compare the information and identify possible typing errors. Once this was done, they were processed electronically in MedCalc® Statistical Software version 20.007 in order to estimate the EPA accuracy indicators. Absolute and relative frequencies were calculated for qualitative variables. For continuous quantitative variables, means, medians and measures of dispersion (standard deviation and interquartile range) were calculated. The indicators adopted to measure the EPA accuracy and usefulness were: sensitivity, specificity, positive predictive value (PPV) and negative predictive value (NPV), Receiver Operating Characteristic Curve (ROC curve), positive likelihood ratio (PLR), negative likelihood ratio (NLR), positive post-test probability (+PTP) and negative post-test probability (-PTP). In addition to these, the prevalence determined by the reference standard and the estimated prevalence were calculated. To measure reproducibility, the Simple Kappa and Weighted Kappa coefficients of agreement were calculated using the VassarStats.net program. For the calculation of Simple Kappa, child classification was dichotomized into “with signs of deterioration” and “without signs of deterioration”, considering the cut-off point ≥ 3 for the presence of clinical deterioration. As for the Weighted Kappa, the natural hierarchy (relative to the severity of the event) between the score categories was maintained, which ranged from 0 to 8 points in the studied sample. To assess the Kappa index results, the following reference criteria were adopted to interpret the degree of agreement: < 0.00 (poor), 0.00–0.20 (mild), 0.21–0.40 (fair), 0.41–0.60 (moderate), 0.61–0.80 (substantial), 0.81–1.00 (almost perfect).(16) The EPA applicability was measured by the average time, in minutes, spent by the nurses to apply the score. The study was approved by the Research Ethics Committee, CAAE (Certificado de Apresentação para Apreciação Ética - Certificate of Presentation for Ethical Consideration) 79484117.2.0000.0053, and complied with all ethical precepts for research involving human beings. Results The sample of 240 children and adolescents ranged in age between 1 month and 15 years, with a median of 4 years (interquartile range: 7 years). Most children had a clinical diagnosis as the cause of hospitalization (93.0%), with a prevalence of infections and problems related to the respiratory system. More than half of the sample had no comorbidities (68.0%) and a history of previous hospitalization (59.0%). Table 1 describes the EPA accuracy and usefulness indicators for the cut-off points found. Scores ≥ 2 and ≥ 3 were considered the best cut-off points. EPA ≥ 2 had a sensitivity of 86.8%, specificity of 87.7% and PPV of 66.7%. For EPA ≥ 3, sensitivity and specificity were 73.6% and 95.7%, respectively, and PPV was 83%. Table 1 EPA accuracy and usefulness indicators EPA Sp 95% CI E 95% CI PPV 95% CI NPV 95% CI PLR 95% CI NLR 95% CI +PTP -PTP EP 0 100 93.3 - 100 0.0 0.0 - 2.0 22.1 22.1 - 22.1 - - 1 1.0 - 1.0 - - 21.8 - 100 ≥ 1 98.1 89.9 - 100 57.7 50.3 - 64.9 39.7 35.7 - 43.9 99.1 93.9 - 99.9 2.3 2.0 - 2.8 0.03 0.0 - 0.2 39.1 0.8 54.6 ≥ 2 86.8 74.7 - 94.5 87.7 82.1 - 92.0 66.7 57.4 - 74.8 95.9 92.1 - 97.9 7.06 4.7 - 10.5 0.15 0.0 - 0.3 66.3 4 28.7 ≥ 3 73.6 59.7 - 84.7 95.7 91.7 - 98.1 83.0 70.8 - 90.7 92.7 89.1 - 95.3 17.2 8.6 - 34.5 0.28 0.2 - 0.4 82.7 6 19.6 ≥ 4 49.1 35.1 - 63.2 98.9 96.2 - 99.9 92.9 76.1 - 98.1 87.3 84.0 - 89.9 45.9 11.2 - 187 0.51 0.4 - 0.7 92.7 12.4 11.7 ≥ 5 26.4 15.3 - 40.3 99.5 97.1 – 100 93.3 65.3 - 99.0 82.7 80.2 - 84.9 49.4 6.6 -367.1 0.74 0.6 - 0.9 93.2 17.1 6.2 ≥ 6 17.0 8.1 - 29.8 100 98.0 – 100 100 98.0 - 100 81 79.0 - 82.8 - - 0.83 0.7 - 0.9 - 18.8 3.7 ≥ 7 13.2 6.54 - 24.8 100 98.0 – 100 100 98.0 - 100 - - - - 0.87 0.8 - 0.9 - 19.5 2.9 S: Sensitivity; Sp: Specificity; CI: Confidence Interval; PPV: positive predictive value; PPV: negative predictive value; PLR: positive probability likelihood; NLR: negative probability likelihood; EP: estimated prevalence; +PTP: positive post-test probability; -PTP: negative post-test probability. The estimated prevalence (EP) of patients with EPA-triggered clinical deterioration ≥ 3 was 19.6%, closer to the prevalence determined by the reference standard (22.1%) when compared to EPA EP ≥ 2 (28.7%). Regarding EPA usefulness, Odds Ratios were used to calculate the +PTP and -PTP. +PTP of clinical deterioration increased the pre-test probability (prevalence estimated by the reference standard) from 22.1% to 59% in the presence of a score ≥ 2 and to 82.7% in the presence of a score ≥ 3. PTP reduced the pretest probability from 22.1% to 3% if EPA < 2, and to 6% if EPA < 3. Thus, in the sample assessed by the study, a score ≥ 3 can be adopted as the best cut-off point, understanding that this value added better accuracy and utility to the test. The instrument’s overall performance in discriminating the presence and absence of clinical deterioration was assessed from the area under the ROC curve between the EPA and the reference standard (Figure 2). The value found was 0.936 (95% CI: 0.89 - 0.96), indicating that, in 93.6% of cases, EPA will be able to correctly discriminate children in clinical deterioration, and in only 6.4% the instrument will give false results. From the ROC curve, it is also possible to state that the best cut-off point of EPA was 3, since it is closer to the upper left corner of the graph. Point 3 provided 4.3% of false positive results, while point 2 provided 12.3%. Figure 2 ROC curve* between EPA and reference standard *Receiver Operating Characteristic Curve To assess EPA application reproducibility among nurses, the simple Kappa coefficient was calculated, from the dichotomization of the score at point 3 [0.946 (CI: 0.842 - 1.00)], and the weighted Kappa coefficient [0.834 (CI: 1.00)] 0.731 - 0.9162)], maintaining the EPA cut-off points measured in the sample. To verify EPA applicability in the study scenario, the average time spent for patient assessment and application of the instrument by the two nurses was measured, being 4.2 minutes (SD: ±1.0) and 4.7 minutes (SD: 1.0) ±1.8), respectively, with a minimum time of two and a maximum of eleven minutes. Children with EPA ≥ 3 required a longer average time for assessment by one of the nurses (5.0 minutes) when compared to children with EPA ≤ 2 (4.6 minutes), however, for the second nurse there was no difference in this regard (4.2 minutes). Thus, it may be that the time for application of EPA is influenced by the degree of patients’ clinical deterioration. Still on EPA applicability, nurses participating in the study indicated that the use of practical clinical criteria and that they do not require more sophisticated equipment are positive characteristics for the application of the score in the context. However, they brought as a limitation the need for support from the medical team for their effective implementation. Discussion A basic principle for adopting an alert score is its ability to accurately and reliably identify signs of clinical worsening in a patient. Studies to verify the performance of PEWS, generally used as indicators of validity the measures of sensitivity, specificity, predictive values and/or area under the ROC curve.1,6,17 In this study, for EPA validity, in addition to these indicators, Odds Ratios and positive and negative post-test probabilities were used. The best EPA cut-off point found in this study, considered capable of alerting possible clinical deterioration, was score 3, weighing the balance between sensitivity, specificity and an excellent area under the ROC curve (AUC).(25-27) The AUC found in the EPA (93.6%) was similar to that of the BPEWS-Br (91.9%) and higher than that found in other studies, whose values ranged from 69% to 89%.(1,6,17-19,21-24) There is no standard of acceptability between sensitivity and specificity, but it is suggested that both have a balance between the highest possible values.(25-27) The sensitivity and specificity of EPA ≥ 3 were 73.6% and 95.7%. Studies that validated BPEWS in other settings, adopting different cut-off points ranging from 1 to 4, found similar results for sensitivity and specificity, respectively: 79.8% and 65.2% for a cut-off point ≥ 1; 58% and 75%, 72% and 88%, 68.4% and 81.6% for a cut-off point ≥ 2; 62% and 89% for a cut-off point ≥ 2.5; 90.2% and 74.4%, 32% and 93% and 73.9% and 95.5% for a cut-off point ≥ 3; and 14.8% and 97.7% for a cut-off point ≥ 4.(1,6,17-19,21-24) To estimate pediatric clinical deterioration prediction, positive (PPV) and negative predictive values (NPV) were calculated in order to measure the probability of patients worsening or not in the face of positivity or negativity of the score.(26) Considering the cut-off point ≥ 3, EPA presented a PPV of 83%, higher than that found in some studies that validated adapted versions of BPEWS: 36% and 15% at cut-off point ≥ 2, 77.3% and 5.8% at cut-off point ≥ 3 and 58% at cut-off point ≥ 4.(1,6,17,23,24) The EPA NPV ≤ 3 was 92.7% and four studies found values close to or higher for the assessed PEWS: 94.7% and 99.8% at cut-off point ≥ 3; 96% and 98% at cut-off point ≥ 2.(1,6,17,23) In order to assess EPA usefulness, the probability ratio (PR) was calculated, whose values at the cut-off point ≥ 3 were 17.2 (PLR) and 0.28 (NLR). Good diagnostic tests must present a PLR > 10, indicating that its positive result contributes significantly to the diagnosis in question, proving to be a useful instrument. For NLR values, the closer to zero, the lower the probability of disease in the face of a negative test.(27) Among the studies that validated the BPEWS, four were identified, which worked with RP. For PLR, only the BPEWS-Br presented a value similar to EPA, of 16.6, and the other studies presented values < 10, with a variation of cut-off points between ≥1 and ≥ 3: 6.2, 2, 3 and 4.72. For NLR, most studies found values close to those found in EPA: 0.27, 0.32, 0.3 and one study found a higher value of 0.73.(1,17,21,22) From the LR, one can find the post-test probability (PTP). This indicator also endorses the usefulness of a diagnostic test, as it informs how much the test result will increase (+PTP) or decrease (-PTP) the prevalence of the disease (pre-test probability) in that scenario.(27) Considering the pre-test probability of clinical deterioration of 22.1% found by the reference standard, EPA +PTP was 82.7% and -PTP was 6% at cut-off point ≥ 3. These values are similar to those found in the only study that assessed the BPEWS usefulness in Brazil, finding a +PTP of 80% and a -PTP of 6% for the same cut-off point.(1) The EP of clinical deterioration by EPA was also calculated in this study, reflecting the ratio between the number of people with clinical deterioration according to the EPA and the population at risk. The prevalence of deterioration determined by the reference standard was 22.1%, whereas the EP by EPA ≥ 3 was 19.6%. In the BPEWS-Br validity study, considering a score ≥ 3, the EP by EPA was 16.2% and that determined by the reference standard was 17%.(1) The study that validated the first modified version of the BPEWS adopted transfer to the ICU as a reference standard and found an EP of 24.2% for a score ≥ 3.(6) EPA reproducibility was measured by the Kappa coefficient. The EPA showed a simple Kappa of 0.946 and a weighted Kappa of 0.824. Therefore, the instrument showed an almost perfect degree of agreement, both for simple Kappa and for weighted Kappa.(16) Some studies have verified the BPEWS reproducibility in the validity process. Two of them found simple Kappa values considered substantial: 0.75 and 0.74; and two others found almost perfect values: 0.85 and 0.91.(17,22,28,29) Only one study that validated the BPEWS also calculated the weighted Kappa, finding a value of 0.80.(29) Another study that sought to assess inter-examiner reliability among nurses using PEWS systems in central Denmark found that nurses assigned the same aggregate score to two PEWS models in 76% of cases. The intraclass correlation coefficients for the aggregate score in the two PEWS models were 0.98 and 0.95.(30) A PEWS must be objective, easy and quick to apply so as not to generate work overload or extra work for the team.(5,29) In this study, the EPA applicability was related to the time taken for its application, and the average total time taken for application (4.2 and 4.8 minutes) was slightly higher than that found for the BPEWS-Br (4.1 and 3.5 minutes).(29) This can probably be associated with the fact that the EPA aggregates more clinical indicators than the BPEWS. The time taken to apply the original BPEWS was described as 30 seconds. This time was reduced as the evaluator became familiar with the instrument.(5) To apply the EPA in the study, even if patients were monitored, heart and respiratory rates were counted, in addition to measuring the axillary temperature for one minute, according to the equipment’s instruction manual. Therefore, it is believed that, when incorporated into nurses’ assessment routine and there is familiarity with the score, the time spent for its application can be gradually reduced. A characteristic of EPA, as well as BPEWS, which can facilitate and speed up its application is the non-inclusion of blood pressure (BP) as a clinical criterion, since its measurement in children requires time, appropriate equipment, standardization of size of cuffs and a consistent routine for gauging. These factors could hamper the EPA implementation in many Brazilian realities. Regarding the EPA limitations, in this research, the score was not validated for use in newborns, children with heart disease and oncological diseases, and its application for these populations is not recommended, which creates a gap for the possibility of new studies in this perspective. For these populations, there are scores validated in international settings that need to be tested in Brazilian hospitals, such as The Neonatal Trigger Score for neonates, the Cardiac Children’s Hospital Early Warning Score for patients with heart disease and The Children’s Hospital Early Warning Score for patients with cancer.(11-13) Medical team support was pointed out by the nurses as a limitation for the effective EPA implementation. The usefulness of PEWS is reported in terms of identifying sick children in clinical deterioration, timely intervention by the multidisciplinary team, effective communication and trust in child care. However, its use is still limited due to the variation of scores and configurations.(31) This scenario raises the need for standardization according to each context. Authors suggest as research priorities on the PEWS studies that seek to: determine its predictive characteristics in different clinical settings, populations and organizational structures; assess the effect on mortality and morbidity; investigate barriers and facilitating factors for its implementation; consider developing a national PEWS to standardize in practice; and understand the role of human factors in its implementation and explore the role of technology in identifying and scaling children at risk of deterioration.(10) Thus, there are still many gaps to be filled in terms of scientific knowledge and production of evidence on PEWS, as well as challenges to be overcome, especially in the national context. Regarding the use of these scores by Brazilian services, a cross-sectional, retrospective study assessed nurses’ adherence to filling out the PEWS in an Emergency Service based on an analysis of 1,219 medical records and found 75.2% of compliance, which points to the need for actions for professional education, with the purpose of improving indicators related to the application of PEWS and guaranteeing safe care.(32) Authors claim that it is possible to implement a PEWS in environments with limited resources. However, this is a time and energy consuming process, and requires an active and involved team for successful implementation.(33) Pediatric alert scores have been highlighted for their performance in the early recognition of clinical worsening, as they provide quantifiable evidence of deterioration. However, it is important to note that the PEWS will not identify all children at risk of clinical worsening, either because of the speed or the mechanism involved in the deterioration, staff training is essential to recognize common patterns of deterioration and not rely on PEWS as the only screening mechanism. However, they can be a valuable adjunct to clinical decision making, particularly for less experienced staff, as they are often accompanied by an escalation algorithm that indicates the action to be taken on each score.(10) Given the above, PEWS can not only improve the power of early recognition of clinical instability, but also increase the team’s situational awareness and standardize communication, so that all teams, with different levels of training, understand the severity of the situation. When properly validated, and combined with care algorithms, they can trigger timely actions and help manage clinical deterioration. Conclusion The present study provides evidence on EPA high accuracy, usefulness and reproducibility in identifying clinical deterioration in a Brazilian pediatric hospital setting, and considered the instrument applicable in the context of the research. It sought to follow all the methodological rigor of a diagnostic test study, but it is limited because it is single-center research and has not been validated, so far, for use in newborns, children with heart disease and with oncological diseases. Based on the evidence presented, the EPA was considered a valid, useful, reliable and applicable instrument for the early recognition of clinical deterioration in children and adolescents, being able to give the nurse greater autonomy, and, if linked to a care algorithm, guide support actions and improve decision-making at critical moments with the multidisciplinary team. It is noteworthy that the improvement of care for patients in clinical deterioration transcends the application of an alert score. It is necessary to think of a multifaceted system, triggered by early recognition and that includes the implementation of appropriate care, trained personnel, adequate resources and audits to improve treatment and increase patient safety. The next challenge is the standardization of a single EPA on the national scene, establishing a common language among professionals to recognize and promptly respond to deterioration in children and adolescents. Moreover, studies are needed on the impact of implementing these instruments in care settings. Acknowledgments To the Brazilian National Council for Scientific and Technological Development (CNPq - Conselho Nacional de Desenvolvimento Científico e Tecnológico), Ministry of Science, Technology, Innovations and Communications (MCTIC) and the Ministry of Health (MoH), called MCTIC/CNPq 28/2018 – Project Financing “Reconhecimento da deterioração clínica pediátrica no contexto hospitalar da saúde da criança no município de Feira de Santana – Bahia - Brasil” from the Universidade Estadual de Feira de Santana (UEFS), Process 405101/2018-0. To the UEFS. To the Hospital Estadual da Criança and all its staff.