Validade e confiabilidade da versão brasileira da Johns Hopkins Fall Risk Assessment Tool para avaliação do risco de quedas

RESUMO:

Objetivo:

Avaliar a validade e a confiabilidade da escala Johns Hopkins Fall Risk Assessment Tool (JH-FRAT) para avaliação do risco de quedas em pacientes hospitalizados.

Método:

Estudo retroativo com 297 pacientes de um hospital privado de São Paulo usando dados de 2014. A validade foi avaliada por meio da acurácia (sensibilidade, especificidade, valores preditivos positivo - VPP e negativo - VPN), da validade de critério, verificando-se as associações entre a classificação do risco pelas escalas JH-FRAT e Morse, e da análise discriminante (comparação dos pacientes com e sem quedas em relação aos itens da escala e verificação de situações prévias de risco em relação ao dano ocorrido). Foram utilizados os testes de associação χ². A confiabilidade foi avaliada por meio da reprodutibilidade teste-reteste interobservadores, usando as estatísticas Kappa ponderado quadrático e prevalence-adjusted and bias-adjusted Kappa (PABAK).

Resultados:

A sensibilidade foi de 97,0%, a especificidade, 14,6%, o VPP, 36,2%, e o VPN, 90,6%. A análise de critério mostrou associação (p < 0,0001) entre as avaliações pelas duas escalas. Cinco dos oito itens da escala e a classificação geral mostraram capacidade de discriminação do risco (p < 0,050). A reprodutibilidade interobservadores variou entre itens (PABAK de 0,25 a 1,00) e foi substancial na classificação do risco global (PABAK = 0,71).

Conclusão:

A JH-FRAT apresentou validade e confiabilidade esperadas para um instrumento de triagem do risco de quedas, podendo contribuir na aplicação de estratégias para a gestão de quedas em hospitais.

Palavras-chave:
Acurácia dos dados; Reprodutibilidade dos testes; Confiabilidade e validade; Pesquisa metodológica em enfermagem; Acidentes por quedas; Qualidade da assistência à saúde

ABSTRACT:

Objective:

To evaluate the validity and reliability of the Johns Hopkins Fall Risk Assessment Tool (JH-FRAT), which assesses the risk of falls in hospitalized inpatients.

Method:

Study with 297 patients at a hospital in São Paulo, using retrospective data form 2014. Validity was assessed by accuracy (sensitivity, specificity, positive predictive value - PPV and negative predictive value - NPV) and discriminant analysis (comparison of patients with and without falls in relation to the scale items and comparison of previous risk situations in relation to the injury). The χ² test and Fisher’s exact test were used. Reliability was assessed by reproducibility between methods and interobserver test-retest comparison in a subsample of 60 patients. We used the Kappa, quadratic weighted Kappa and PABAK statistics.

Results:

Sensitivity was 97.0%, specificity was 6%, PPV was 36.2% and NPV was 90.6%. Five of the eight items of the scale and the overall classification showed risk discrimination capability (p < 0.050). The risk of previous situations did not discriminate the injury resulting from the falls (p = 0.557). Reproducibility between methods was substantial (PABAK = 0.71). The interobserver reproducibility ranged between items (PABAK 0.25 to 1.00) and was substantial to the overall risk classification (PABAK = 0.71).

Conclusion:

JH-FRAT showed validity and reliability expected of a screening tool for risk of falls, and it can contribute to the implementation of fall management strategies in hospitals.

Keywords:
Data accuracy; Reproducibility of results; Reliability and validity; Nursing methodology research; Accidental falls; Quality of health care

INTRODUÇÃO

Quedas de pacientes hospitalizados são eventos adversos com repercussões negativas para pacientes e instituições^1,2,3,4,5, cuja prevenção deve adotar práticas baseadas em evidências, tais como campainha de chamada ao alcance do paciente, leito hospitalar em posição baixa e tratamento de causas de confusão mental^2,3,6,7,8. Entre as práticas preconizadas está o uso de escalas que identificam condições de risco para ocorrência de quedas, seja na forma de riscos específicos, seja na de estratificação do risco, direcionando intervenções compatíveis com as necessidades identificadas^2,3,4,7,8.

Entre os instrumentos disponíveis na literatura internacional, duas escalas passaram pelo processo de adaptação transcultural para uso no Brasil, a Morse Fall Scale⁹ e a Johns Hopkins Fall Risk Assessment Tool (JH-FRAT)⁵, ambas sem relato quanto às propriedades de medida da versão brasileira. Neste estudo, optou-se por avaliar as propriedades de medida da escala JH-FRAT por ser um instrumento com validade de conteúdo já demonstrada na versão brasileira, apresentando aplicabilidade em protocolos sistematizados e operacionalização simples⁵.

A JH-FRAT foi estruturada por profissionais do Johns Hopkins Hospital e da Johns Hopkins University School of Nursing para integração ao programa institucional de gestão de quedas em pacientes adultos hospitalizados^6,10,11. Essa escala foi estruturada com base em fatores de risco identificados na literatura - disponibilizando uma classificação do risco para direcionamento de medidas preventivas -, testada em pacientes e ajustada por um grupo de consenso¹⁰. Após dois anos de uso na instituição, foram avaliados a aceitabilidade e o conteúdo da escala, enfocando o relacionamento entre itens, o modelo de pontuação e a clareza e pertinência dos itens, resultando na definição da sua forma final e garantindo sua validade de conteúdo¹¹.

As propriedades de medida da escala foram avaliadas em pacientes hospitalizados na Coreia do Sul¹² e em idosos em casas de saúde americanas¹³, mostrando sensibilidade e especificidade aceitáveis^12,13. Esses estudos, porém, apresentam limitações metodológicas que dificultam a generalização dos resultados para outras populações.

Considerando que estudos prévios mostraram a JH-FRAT com propriedades de medida aceitáveis^10,11,12,13 e que há carência de avaliações de escalas de risco para quedas no Brasil, este estudo objetivou analisar as propriedades de medida da JH-FRAT para avaliação do risco de quedas em pacientes adultos hospitalizados.

MÉTODO

O estudo foi aprovado pelo Comitê de Ética em Pesquisa do Hospital Samaritano e seguiu os princípios da Declaração de Helsinki. Por utilizar dados secundários, ­dispensou-se o Termo de Consentimento Livre e Esclarecido. Foi obtida autorização dos autores da JH-FRAT e da versão brasileira da escala Morse para uso no estudo.

A população-alvo foi composta de pacientes adultos internados em um hospital privado de alta complexidade na cidade de São Paulo que utiliza um protocolo de gerenciamento de quedas desde 2005, com implantação da JH-FRAT no fim de 2013. O protocolo prevê a avaliação diária dos riscos individuais por meio da JH-FRAT, com adoção de medidas preventivas de acordo com os riscos de cada paciente e de medidas de precauções universais, como manutenção de luzes noturnas ativadas, sinalização do risco e ambiente livre de obstáculos. A avaliação era realizada por enfermeiros e registrada em prontuário eletrônico. Para este estudo foram usados os dados de 2014, após um período de treinamento e consolidação da rotina pela equipe de enfermagem.

Trata-se de um estudo caso-controle. Foram incluídos pacientes dos setores de internação de pacientes adultos (clínico, cirúrgico, oncologia, ginecologia e obstetrícia e tratamento intensivo), com ampla variedade de condições clínicas. Foram selecionados 100,0% dos pacientes com registro de quedas em 2014 (99 casos) e 198 pacientes sem quedas (dois controles para cada caso), totalizando uma amostra de 297 indivíduos. Para controles foram selecionados pacientes internados no quarto ao lado do paciente com evento de queda, no mesmo setor de internação e na mesma data da queda, de forma a homogeneizar as características da assistência recebida. Não foram utilizados outros critérios de pareamento, visando preservar diferenças quanto a outros potenciais fatores de risco que integram a estrutura operacional da JH-FRAT. Alguns pacientes tiveram mais de um evento de queda, sendo cada um deles avaliado independentemente. Para os pacientes com quedas, considerou-se a última avaliação dentro das 24 horas anteriores à queda. Para os pacientes sem quedas, foi utilizada a mesma data correspondente aos pacientes com quedas. Foram excluídos indivíduos com menos de 18 anos de idade e/ou permanência de internação inferior a 24 horas.

Cinco enfermeiros pesquisadores coletaram os dados retroativamente a partir do prontuário eletrônico, utilizando um formulário composto de campos de identificação (nº de prontuário, nº de atendimento, idade, data de avaliação, setor de internação), pelos itens da escala JH-FRAT e da escala Morse. Também foram obtidos dados a partir das fichas de notificação de queda, preenchidas por enfermeiras assistenciais.

A escala JH-FRAT é composta de oito aspectos de risco para queda¹¹:

1. situações prévias definidoras do risco: paralisia/imobilização completa; história de duas ou mais quedas nos seis meses anteriores à internação; história de uma queda durante a internação; e paciente ser considerado de alto risco de acordo com protocolos específicos. Se o paciente apresentar paralisia/imobilização completa, é classificado como baixo risco; se apresentar uma das outras condições, é classificado como alto risco. Nesses casos, a avaliação é encerrada e o restante da escala é aplicado somente a pacientes que não estão classificados nessas condições;

2. idade na ocasião da internação: 0-3 pontos;

3. história de uma queda nos seis meses anteriores à internação: 0-5 pontos;

4. eliminações intestinais e urinárias (aumento de frequência, urgência, incontinência): 0-4 pontos;

5. uso de medicamentos de alto risco de quedas: 0-7 pontos;

6. presença de equipamentos assistenciais que possam comprometer a mobilidade do paciente: 0-3 pontos;

7. comprometimento da mobilidade: 0-6 pontos;

8. comprometimento na cognição: 0-7 pontos.

A somatória dos pontos dos itens 2 a 8 fornece um escore de 0 a 35 pontos, que é categorizado em risco baixo (0-5 pontos), moderado (6-13 pontos) e alto (≥ 14 pontos)¹¹. O item 1 da escala não entra no cômputo, apenas na classificação do risco. Mais detalhes sobre a escala são descritos na literatura^5,6,11.

A escala Morse¹⁴ mostrou acurácia satisfatória na identificação de pacientes com alto risco de quedas em estudos internacionais^15,16. Ela é composta de seis aspectos (histórico de quedas; diagnósticos secundários; auxílio na deambulação; terapia/dispositivos endovenosos; marcha; e estado mental), com pontuações variando de 0 a 30, fornecendo um escore de 0 a 125 pontos categorizado em risco baixo (0-24 pontos), médio (25-44 pontos) e alto (≥ 45 pontos)⁹.

Neste estudo, a validade foi avaliada por meio das análises de acurácia, de critério (análise concorrente) e discriminante, e a confiabilidade, por meio da análise de reprodutibilidade.

Escalas para a avaliação do risco de quedas são consideradas testes diagnósticos do risco para o evento (queda)¹⁷. A validade dos testes diagnósticos é analisada por meio de estudos de acurácia, nos quais os resultados de um teste aplicado a uma população são comparados aos obtidos por um padrão ouro^17,18,19. Nesse caso, o teste é a JH-FRAT e o padrão ouro, a ocorrência de queda. A análise de acurácia verificou a sensibilidade, a especificidade, os valores preditivos positivo (VPP) e negativo (VPN) e as razões de verossimilhança positiva (RVP) e negativa (RVN). A sensibilidade avalia a probabilidade de um teste ser positivo quando existe a doença e consiste no cálculo da prevalência de expostos entre os eventos; a especificidade avalia a probabilidade de um teste ser negativo quando não existe a doença e consiste no cálculo da prevalência de não expostos entre os não eventos; o VPP avalia a probabilidade de existir a doença quando o teste foi positivo e consiste no cálculo da prevalência de eventos entre os expostos; e o VPN avalia a probabilidade de não existir a doença quando o teste foi negativo e consiste no cálculo da prevalência de não eventos entre os não expostos. A RVP informa a probabilidade de um resultado positivo ocorrer em uma pessoa com a doença em relação à probabilidade de ocorrência em uma pessoa sem a doença. A RVN informa a probabilidade de um resultado negativo ocorrer em uma pessoa com a doença em relação à probabilidade de ocorrência em uma pessoa sem a doença^3,20,21. Como exposição foi considerado o risco de quedas (escala JH-FRAT), e as análises consideraram dois cenários:

1. ponto de corte > 6 pontos (risco moderado/alto versus risco baixo);

2. ponto de corte > 13 pontos (risco alto versus risco moderado/baixo) na JH-FRAT.

A validade de critério compara a escala em escrutínio a um padrão válido que prediga o mesmo desempenho^22,23, sendo concorrente quando instrumento e critério são aplicados simultaneamente²². A validade de critério concorrente investigou as associações entre a classificação do risco pela JH-FRAT e pela Morse utilizando o teste do χ².

A análise discriminante verifica se um teste é capaz de identificar diferenças quanto a uma característica dos sujeitos²². Verificou-se se cada um dos oito itens da escala era capaz de discriminar a presença do risco específico entre os pacientes com e sem quedas utilizando o teste do χ².

Ainda na análise discriminante, verificou-se se situações prévias definidoras do risco (item 1 da escala) estavam associadas à gravidade do dano entre os eventos de queda, por meio do teste do χ². A gravidade do dano foi classificada, a partir de uma adaptação de Schwendimann et al.¹ em:

1. sem dano;

2. dano leve: pequenos cortes, sangramento leve, escoriação de pele, dor, edema, traumatismo cranioencefálico (TCE) leve, hiperemia e hematoma(s);

3. dano moderado: sangramento excessivo, laceração requerendo sutura, TCE moderado, luxação e entorse;

4. dano grave: fratura, hematoma subdural, TCE grave, morte.

A análise da reprodutibilidade foi realizada por meio da comparação teste-reteste interobservadores, com uma subamostra aleatória de 60 pacientes. Dois pesquisadores avaliaram de forma independente o mesmo paciente por meio da escala JH-FRAT, com base na mesma data de referência, a partir de dados registrados em prontuário eletrônico. Foram utilizadas as estatísticas Kappa ponderado quadrático e prevalence-adjusted and bias-adjusted Kappa (PABAK). Para a interpretação dos resultados, foram usados os critérios de Landis & Koch²⁴.

Em todas as análises foi considerado nível de significância de 5%. Foram utilizados os softwares SPSS (versão 23), STATA (versão 14) e WinPepi (versão 11.65).

RESULTADOS

A Tabela 1 mostra que a população de estudo foi composta de 297 pacientes, sendo 50,8% mulheres e 49,2% homens; 55,9% com idade a partir de 60 anos; 63,0% casadas(os)/com companheiros(as); 46,1% com ensino superior completo; 14,1% em unidades de terapia intensiva; e 85,9% em unidades abertas. Os pacientes com e sem quedas não apresentaram diferenças quanto a sexo (p = 0,870), faixa etária (p = 0,200), estado civil (0,159), escolaridade (0,189) e procedência da internação (p = 0,667). Observou-se que 10,8% dos pacientes tinham baixo risco de quedas, sendo 3,0% entre aqueles com quedas e 14,6% entre os sem quedas. Pacientes com alto risco de quedas tiveram maior percentual de ocorrência de eventos (62,6%) do que os demais (44,9%) (p = 0,002).

Tabela 1.
Estatística descritiva da população de estudo segundo a ocorrência de quedas, hospital privado, São Paulo, 2014.

Variáveis	Com quedas		Sem quedas		Total		Valor p*
	nº	%	nº	%	nº	%
Sexo
Feminino	51	51,5	100	50,5	151	50,8	0,870
Masculino	48	48,5	98	49,5	146	49,2
Faixa etária
< 50	20	20,2	66	33,3	86	29,0	0,200
50 a 59	17	17,2	28	14,1	45	15,2
60 a 69	17	17,2	30	15,2	47	15,8
70 a 79	26	26,3	47	23,7	73	24,6
80 e mais	19	19,2	27	13,6	46	15,5
Estado civil
Casado(a)/Com companheiro(a)	66	66,7	121	61,1	187	63,0	0,159
Solteiro(a)	13	13,1	36	18,2	49	16,5
Desquitado(a)/Divorciado(a)/Separado(a)/Viúvo(a)	20	20,2	34	17,2	54	18,2
Outros/Não informado	0	0,0	7	3,5	7	2,4
Escolaridade
Ensino superior completo	44	44,4	93	47,0	137	46,1	0,189
Ensino médio/técnico completo	34	34,3	73	36,9	107	36,0
Até ensino fundamental	18	18,2	20	10,1	38	12,8
Não informado	3	3,0	12	6,1	15	5,1
Procedência
Outros	33	33,3	71	35,9	104	35,0	0,667
Pronto-socorro	66	66,7	127	64,1	193	65,0
Setor
Baixo risco: 0-5 pontos	3	3,0	29	14,6	32	10,8	0,002
Risco moderado: 6-13 pontos	34	34,3	80	40,4	114	38,4
Alto risco: > 13 pontos	62	62,6	89	44,9	151	50,8
Total	99	100,0	198	100,0	297	100,0

• *Teste de associação pelo χ².

A análise de acurácia do cenário 1 mostrou sensibilidade = 97,0%; especificidade = 14,6%; VPP = 36,2%; VPN = 90,6%; RVP = 1,14; e RPN = 4,83. O cenário 2 mostrou sensibilidade = 62,6%; especificidade = 55,1%; VPP = 41,1%; VPN = 74,7%; RVP = 1,39; e RVN = 1,47.

A Tabela 2 mostra que, na validade de critério concorrente, houve associação estatisticamente significativa entre as duas escalas (p < 0,001). A maior proporção de pacientes classificados como baixo risco pela JH-FRAT foi classificada como baixo risco pela Morse (46,9%); a maior proporção de pacientes classificados como risco moderado pela JH-FRAT foi classificada dessa forma pela Morse (53,5%); e a maior proporção de pacientes classificados como alto risco pela JH-FRAT foi assim classificada pela Morse (57,6%). Quando risco moderado e alto são agrupados, a semelhança nos resultados entre as duas escalas sobe para 90,2%.

Tabela 2.
Análise comparativa da classificação do risco de quedas segundo as escalas Johns Hopkins Fall Risk Assessment Tool e Morse, hospital privado, São Paulo, 2014.

Classificação do risco	Risco baixo		Risco médio		Risco alto		Total		Valor p*
	nº	%	nº	%	nº	%	nº	%
Escala JH-FRAT	Escala Morse
Baixo risco: 0-5 pontos	15	46,9	14	43,8	3	9,4	32	100,0	< 0,001
Risco moderado: 6-13 pontos	12	10,5	61	53,5	41	36,0	114	100,0
Alto risco: > 13 pontos	14	9,3	50	33,1	87	57,6	151	100,0
Total	41	13,8	125	42,1	131	44,1	297	100,0

• JH-FRAT: Johns Hopkins Fall Risk Assessment Tool; *teste de associação pelo χ².

A análise discriminante mostrou quais itens da escala tiveram diferença estatisticamente significativa quanto à presença do risco específico (Tabela 3). No item “histórico de quedas”, 18,2% dos pacientes com evento tiveram história de uma queda nos seis meses anteriores à internação contra 2,5% daqueles sem queda (p < 0,001). No item “uso de medicamentos de alto risco para quedas”, a categoria “2 ou mais medicamentos” foi observada em 70,7% dos pacientes com evento e em 53,5% daqueles sem evento, e a sedação nas últimas 24 horas ocorreu em 3,0% dos pacientes com quedas e em 9,1% daqueles sem quedas (p = 0,027). Os resultados da categoria “sedação nas últimas 24 horas” são diferentes do esperado, mas o pequeno número de casos de queda (3 pacientes) não tem estabilidade estatística. O item “equipamentos comprometendo a mobilidade” mostrou que ≥ 3 equipamentos estiveram presentes em 5,1% dos pacientes com evento e em 11,1% daqueles sem evento (p = 0,040). Novamente, os resultados podem sofrer viés do pequeno número de sujeitos com quedas (cinco pacientes). No item “mobilidade comprometida”, os pacientes com eventos tiveram maiores percentuais do que aqueles sem eventos em todas as categorias avaliadas (p = 0,003). O mesmo ocorreu no item “cognição” (p < 0,001).

Tabela 3.
Estatística descritiva entre pacientes com e sem evento de quedas segundo a presença dos riscos de queda identificados pela escala Johns Hopkins Fall Risk Assessment Tool, hospital privado, São Paulo, 2014.

Item componente da JH-FRAT	Com quedas		Sem quedas		Total		Valor p*
	nº	%	nº	%	nº	%
Situações prévias de risco
Não pontuada /sem classificação	59	59,6	122	61,6	181	60,9	0,601
Baixo risco	1	1,0	5	2,5	6	2,0
Alto risco	39	39,4	71	35,9	110	37,0
Faixa etária (anos)
Não pontuada (< 60)	36	36,4	88	44,4	124	41,8	0,270
60-69	18	18,2	34	17,2	52	17,5
70-79	22	22,2	47	23,7	69	23,2
80 e mais	23	23,2	29	14,6	52	17,5
Histórico de queda
Não pontuada (sem histórico)	81	81,8	193	97,5	274	92,3	< 0,001
Uma queda nos seis meses anteriores	18	18,2	5	2,5	23	7,7
Eliminações
Não pontuada (sem problemas)	53	53,5	109	55,1	162	54,5	0,970
Urgência/aumento da frequência ou incontinência	45	45,5	87	43,9	132	44,4
Urgência/aumento da frequência e incontinência	1	1,0	2	1,0	3	1,0
Uso de medicamentos de alto risco para quedas
Não pontuada	8	8,1	25	12,6	33	11,1	0,027
1 medicamento de alto risco	18	18,2	49	24,7	67	22,6
2 ou mais medicamentos de alto risco	70	70,7	106	53,5	176	59,3
Sedação nas últimas 24 horas	3	3,0	18	9,1	21	7,1
Equipamentos comprometendo a mobilidade
Não pontuada (sem equipamentos)	12	12,1	14	7,1	26	8,8	0,040
1 equipamento	55	55,6	127	64,1	182	61,3
2 equipamentos	27	27,3	35	17,7	62	20,9
3 ou mais equipamentos	5	5,1	22	11,1	27	9,1
Mobilidade comprometida**
Não pontuada (sem alterações)	12	12,1	57	28,8	69	23,2	0,003
1 item pontuado	55	55,6	101	51,0	156	52,5
2 itens pontuados	28	28,3	38	19,2	66	22,2
3 itens pontuados	4	4,0	2	1,0	6	2,0
Cognição***
Não pontuada (sem alterações)	53	53,5	152	76,8	205	69,0	< 0,001
1 ou 2 pontos	19	19,2	30	15,2	49	16,5
3 a 5 pontos	15	15,2	14	7,1	29	9,8
6 ou 7 pontos	12	12,1	2	1,0	14	4,7
Classificação final do risco
Baixo risco: 0-5 pontos	3	3,0	29	14,6	32	10,8	< 0,001
Risco moderado: 6-13 pontos	34	34,3	80	40,4	114	38,4
Alto risco: > 13 pontos	62	62,6	89	44,9	151	50,8
Total	99	100,0	198	100,0	297	100,0

• JH-FRAT: Johns Hopkins Fall Risk Assessment Tool; *teste de associação pelo χ²; **questão com múltiplas opções: necessita auxílio/supervisão e/ou marcha instável e/ou comprometimento visual/auditivo; ***questão com múltiplas opções: percepções alteradas e/ou impulsividade e/ou falta de entendimento das limitações.

Ainda na análise da validade discriminante, as situações prévias definidoras do risco (item 1 da escala) não apresentaram associação com o(s) dano(s) decorrentes da queda (p = 0,557).

A Tabela 4 mostra os resultados da análise de confiabilidade por meio da reprodutibilidade interobservadores. Os valores do Kappa ponderado quadrático variaram de 0,15 a 1,00. Houve melhora após ajuste por prevalência e viés, com PABAK variando de 0,25 a 1,00. O item “situações prévias de risco” apresentou reprodutibilidade razoável (PABAK = 0,24). Para os demais itens foi observada reprodutibilidade substancial ou quase perfeita (PABAK de 0,60 a 1,00), e a classificação do risco global apresentou reprodutibilidade substancial (PABAK = 0,71).

Tabela 4.
Concordância no teste-reteste para cada item e para a classificação de risco final da escala Johns Hopkins Fall Risk Assessment Tool, hospital privado, São Paulo, 2014 (N = 60).

Item	Kappa ponderado quadrático	IC95%	PABAK ponderado quadrático
Situações prévias de risco	0,21	-0,04 - 0,46	0,24
Idade na ocasião da queda	1,00	--	1,00
Histórico de queda	0,20	-0,21 - 0,61	0,80
Eliminações	0,15	-0,09 - 0,39	0,77
Uso de medicamentos de alto risco para quedas	0,23	-0,07 - 0,53	0,84
Equipamentos que comprometem a mobilidade	0,37	0,07 - 0,67	0,84
Mobilidade	0,36	0,01 - 0,39	0,74
Cognição	0,34	0,03 - 0,65	0,87
Classificação do risco global (escala total)	0,27	-0,01 - 0,56	0,71

• IC95%: intervalo de confiança de 95%; PABAK: prevalence-adjusted and bias-adjusted Kappa.

DISCUSSÃO

O estudo analisou se a escala JH-FRAT é válida e confiável para a avaliação do risco de quedas em pacientes adultos internados. Os resultados sugerem que a JH-FRAT tem melhor sensibilidade no ponto de corte > 6 do escore, agrupando pacientes de risco moderado e alto na mesma categoria. Uma explicação para tal é a existência de um protocolo gerenciado para quedas na instituição de estudo, onde pacientes em determinadas condições (risco de sangramento, fragilidade óssea, entre outras) são classificados como de alto risco segundo o item 1 da escala (situações prévias definidoras de risco). Uma versão modificada da JH-FRAT avaliando 107 pacientes ambulatoriais a partir de 65 anos em casas de saúde no sul da Califórnia mostrou sensibilidade de 100,0% no ponto de corte > 6 e de 86,2% no ponto de corte > 13¹³. Um estudo utilizando a JH-FRAT com 356 pacientes maiores de 18 anos em cinco hospitais-escola gerais na Coreia do Sul, com ponto de corte > 13 pontos, mostrou sensibilidade de 62,0%¹².

A JH-FRAT mostrou melhor especificidade no ponto de corte > 13, separando os pacientes de risco alto dos demais. Sensibilidade e especificidade são inversamente proporcionais^19,21, e a sensibilidade foi elevada. Considerando que as ações sistematizadas preveniram a ocorrência de quedas, houve aumento do número de falso-positivos (pacientes em risco, porém sem quedas), com consequente diminuição da especificidade. O diagnóstico de uma condição e a exclusão dos falso-positivos são definidos por exames confirmatórios que devem ter alta especificidade, mas são subsequentes aos exames de rastreamento²¹. O estudo no sul da Califórnia mostrou especificidade de 0,0% no ponto de corte > 6 e de 49,3% no ponto de corte > 13 pontos¹³. O estudo na Coreia do Sul, com ponto de corte > 13 pontos, mostrou especificidade de 69,5%¹².

Os VPPs mostram que 63,8% (no corte > 6) e 58,9% (no corte > 13) dos pacientes com teste positivo para risco receberam cuidados preventivos desnecessários para quedas. Essa interpretação deve ser cautelosa. O aumento da prevalência do evento determina o aumento do VPP e a diminuição do VPN, e ambos dependem do contexto em que o teste é aplicado^16,18,20. Considerando que o efeito da população “tratada” reduz a ocorrência de quedas entre os portadores de risco, pode ocorrer viés ao diminuir o VPP e elevar o VPN. O estudo no sul da Califórnia mostrou VPP de 39,7% e VPN de 92,9% no ponto de corte > 13 pontos¹³. O estudo na Coreia do Sul, com ponto de corte > 13 pontos, mostrou VPP de 33,6% e VPN de 86,0%¹².

A RV oferece uma medida de razão de chances, combinando sensibilidade e especificidade no mesmo indicador²⁰. Os resultados foram maiores que 1,00 e, portanto, contribuem para a identificação do risco²⁰, especialmente a RVN do cenário 1, em que os pacientes sem quedas tiveram 4,83 vezes a chance de obter classificação de baixo risco quando comparados aos demais.

Para um teste de triagem, a característica mais importante é a sensibilidade, com elevada taxa de verdadeiro-positivos e baixa taxa de falso-negativos^20,21. A JH-FRAT, instrumento para triagem de risco, mostrou elevada sensibilidade.

A análise da validade de critério concorrente mostrou equivalências entre as classificações do risco das duas escalas (JH-FRAT e Morse), com melhor desempenho quando os riscos moderado e alto são agrupados, sugerindo que a JH-FRAT tem maior validade ao separar os pacientes de baixo risco dos demais.

Cinco dos oito itens da JH-FRAT e a classificação geral do risco discriminaram o risco, com maiores prevalências entre pacientes com quedas do que entre aqueles sem quedas, conforme o esperado.

As situações prévias definidoras do risco (item 1 da escala) não foram capazes de discriminar o tipo de dano decorrente da queda. Esses resultados podem ter viés decorrente do protocolo institucional, reduzindo tanto a ocorrência quanto a gravidade das quedas.

A prevalência de pacientes classificados como risco moderado/alto, tanto pela JH-FRAT quanto pela Morse, foi de 90,2%. Um paradoxo nas análises de reprodutibilidade por meio do Kappa pode ser induzido por elevada prevalência da condição analisada, podendo ser ajustado pela estatística PABAK²⁵. A reprodutibilidade entre testes mostrou substancial concordância após ajuste por essa estatística.

As medidas teste-reteste interobservadores mostraram concordância substancial ou quase perfeita após o uso da estatística PABAK em todos os itens, exceto nas “situações prévias de risco”. Os resultados obtidos pelo Kappa ponderado quadrático apresentaram melhora após correção pela estatística PABAK, apontando para o paradoxo já citado. O estudo no sul da Califórnia também mostrou concordância substancial ou quase perfeita na maioria dos itens e na classificação geral (ponto de corte ≥ 14)¹³.

O estudo apresenta algumas limitações. A mais importante é o fato de reunir uma população “tratada”, já que intervenções preventivas reduzem a ocorrência e a gravidade dos eventos, podendo alterar os desfechos e a acurácia de uma escala de avaliação de risco^26,27. Outra limitação refere-se à utilização de dados coletados retrospectivamente, tipo de coleta que é afetado pela qualidade dos dados disponíveis²⁸. Por fim, o número relativamente pequeno de quedas avaliado pode ter gerado algum viés.

Quedas são eventos sensíveis às práticas assistenciais e podem ser prevenidas por meio de abordagens sistematizadas em programas institucionais^{2,3,4,5,15,26}. Os melhores resultados são obtidos pela combinação de múltiplas intervenções, inclusive a avaliação individualizada dos riscos e as precauções universais^4,8. O uso de intervenções multifacetadas pode reduzir em até 18,0% a ocorrência de quedas, mas essa redução pode variar em função da quantidade e do tipo de ações². Os resultados mostraram a JH-FRAT como válida e confiável em termos de acurácia, capacidade discriminante e concordância na reprodutibilidade, confirmando-a como instrumento para triagem do risco de quedas e trazendo contribuições para profissionais e instituições interessados no uso de estratégias baseadas em evidências para a gestão de quedas em hospitais.

Há poucos estudos sobre a validade e a confiabilidade da JH-FRAT, e a presente pesquisa é a primeira no Brasil. É recomendável a realização de novos estudos com maiores grupos de pacientes hospitalizados, preferencialmente com corte prospectivo. Não ocorrendo conflitos éticos, são desejáveis a realização de estudos em populações “não tratadas” e a comparação de resultados antes e após a implantação de protocolos preventivos.

CONCLUSÕES

O estudo sugere que a versão brasileira da escala JH-FRAT tem validade e confiabilidade satisfatórias em termos de acurácia, critério, capacidade discriminante e reprodutibilidade. Ela pode ser utilizada na avaliação do risco de quedas em pacientes internados, subsidiando o direcionamento de ações preventivas. Este é o primeiro estudo no Brasil a avaliar a JH-FRAT e apresenta limitações, sendo desejáveis novas pesquisas.

AGRADECIMENTOS

Os autores agradecem ao Hospital Samaritano de São Paulo pelo apoio e suporte no desenvolvimento do estudo por meio da disponibilização de equipamentos, materiais e recursos humanos, sem os quais a pesquisa não seria possível.

REFERÊNCIAS

• ¹
  Schwendimann R, Bühler H, De Geest S, Milisen K. Falls and consequent injuries in hospitalized patients: effects of an interdisciplinary falls prevention program. BMC Health Serv Res 2006; 6: 69. https://dx.doi.org/10.1186%2F1472-6963-6-69
  » https://dx.doi.org/10.1186%2F1472-6963-6-69
• ²
  National Health Services. National Patient Safety Agency. Slips, trips and falls in hospital: The third report from the Patient Safety Observatory. London: National Health Services; 2007.
• ³
  Oliver D, Healy F. Falls risk prediction tools for hospital inpatients: do they work? Nurs Times 2009; 105(7): 18-21.
• ⁴
  Cumbler EU, Simpson JR, Rosenthal LD, Likosky DJ. Inpatient falls: defining the problem and identifying possible solutions. Part I: An evidence-based review. Neurohospitalist 2013; 3(3): 135-43. https://doi.org/10.1177/1941874412470665
  » https://doi.org/10.1177/1941874412470665
• ⁵
  Martinez MC, Iwamoto VE, Latorre MRDO, Noronha AM, Oliveira APS, Cardoso CEA, et al. Transcultural adaptation of the Johns Hopkins Fall Risk Assessment Tool. Rev Latino-Am Enfermagem 2016; 24: e2783. http://dx.doi.org/10.1590/1518-8345.1158.2783
  » http://dx.doi.org/10.1590/1518-8345.1158.2783
• ⁶
  Johns Hopkins Hospital. Fall risk assessment, prevention and management, adult. In: Johns Hopkins Hospital, editor. Nursing practice and organization manual: clinical protocols and procedures. Baltimore: Johns Hopkins Hospital; 2011. v. 2.
• ⁷
  Martinez MC, Iwamoto VE, Noronha AM, Oliveira APS, Sant'Ana THS, Cardoso CEA. Avaliação do risco de quedas em pacientes internados: por que realizar e como conduzir? Revista ACRED 2016; 6(11): 136-45.
• ⁸
  Agency for Healthcare Research and Quality. Preventing falls in hospitals: a toolkit for improving quality of care. Rockvilee: Agency for Healthcare Research and Quality; 2013.
• ⁹
  Urbanetto JS, Creutzberg M, Franz F, Ojeda BS, Gustavo AS, Bittencourt HR, et al. Morse fall scale: translation and transcultural adaptation for the Portuguese language. Rev Esc Enferm USP 2013; 47(3): 569-75. http://dx.doi.org/10.1590/S0080-623420130000300007
  » http://dx.doi.org/10.1590/S0080-623420130000300007
• ¹⁰
  Poe SS, Cvach MM, Gartrell DG, Radzik BR, Joy TL. An Evidence-based Approach to Fall Risk Assessment, Prevention and Management: Lessons Learned. J Nurs Care Qual 2005; 20(2): 107-16.
• ¹¹
  Poe SS, Cvach MM, Dawson PB, Straus H, Hill EE. The Johns Hopkins Fall Risk assessment Tool: Postimplementation Evaluation. J Nurs Care Qual 2007; 22(4): 293-8. https://doi.org/10.1097/01.NCQ.0000290408.74027.39
  » https://doi.org/10.1097/01.NCQ.0000290408.74027.39
• ¹²
  Kim KS, Kim JA, Choi YK, Kim YJ, Park MH, Kim HY, et al. A Comparative Study on the Validity of Fall Risk assessment Scales in Korean Hospitals. Asian Nurs Res 2011; 5(1): 28-37. https://doi.org/10.1016/S1976-1317(11)60011-X
  » https://doi.org/10.1016/S1976-1317(11)60011-X
• ¹³
  Hnizdo S, Archuleta RA, Taylor B, Kim SC. Validity and reliability of the modified John Hopkins Fall Risk Assessment Tool for elderly patients in home health care. Geriatr Nurs 2013; 34(5): 423-7. https://doi.org/10.1016/j.gerinurse.2013.05.011
  » https://doi.org/10.1016/j.gerinurse.2013.05.011
• ¹⁴
  Morse JM. Preventing patient falls. California: Thousand Oaks; 1997.
• ¹⁵
  Baek S, Piao J, Jin Y, Lee SM. Validity of the Morse Fall Scale implemented in an electronic medical record system. J Clin Nurs 2014; 23(17-18): 2434-40. https://doi.org/10.1111/jocn.12359
  » https://doi.org/10.1111/jocn.12359
• ¹⁶
  Costa-Dias MJM, Martins T, Araújo F. Study of the cut-off point of the Morse Fall Scale (MFS). Rev Enf Ref 2014; serIV(1): 65-74. http://dx.doi.org/10.12707/RIII13101
  » http://dx.doi.org/10.12707/RIII13101
• ¹⁷
  Aranda-Gallardo M, Morales-Asencio JM, Canca-Sanchez JC, Barrero-Sojo S, Perez-Jimenez C, Morales-Fernandez A, et al. Instruments for assessing the risk of falls in acute hospitalized patients: a systematic review and meta-analysis. BMC Health Serv Res 2013; 13: 122. https://dx.doi.org/10.1186%2F1472-6963-13-122
  » https://dx.doi.org/10.1186%2F1472-6963-13-122
• ¹⁸
  Glaros AG, Kline RB. Understanding the accuracy of tests with cutting scores: the sensitivity, specificity, and predictive value model. J Clin Psychol 1988; 44(6): 1013-23.
• ¹⁹
  Parikh R, Mathai A, Parikh S, Sekhar GC, Thomas R. Understanding and using sensitivity, specificity and predictive values. Indian J Ophthalmol 2008; 56(1): 45-50.
• ²⁰
  Streiner DL. Diagnosing Tests: Using and Misusing Diagnostic and Screening Tests. J Personal Assess 2003; 81(3): 209-9. https://doi.org/10.1207/S15327752JPA8103_03
  » https://doi.org/10.1207/S15327752JPA8103_03
• ²¹
  Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica. Parte I - Introdução a conceitos teóricos. In: Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Atenção Básica, editor. Série A. Normas e Manuais Técnicos: Cadernos de Atenção Primária: Rastreamento. Brasília: Ministério da Saúde; 2010. n. 29. p. 17-23.
• ²²
  Pasquali L. Validade dos testes psicológicos: será possível reencontrar o caminho? Psic Teor e Pesq 2007; 23(n. esp.):99-107. http://dx.doi.org/10.1590/S0102-37722007000500019
  » http://dx.doi.org/10.1590/S0102-37722007000500019
• ²³
  Mokkink LB, Terwee CB, Patrick DL, Alonso J, Stratford PW, Knol DL, et al. COSMIN checklist manual. COSMIN. Amsterdam: University Medical Center, Department of Epidemiology and Biostatistics, Institute for Health and Care Research; 2012.
• ²⁴
  Landis JR, Koch GG. The measurement of observer agreement for categorical data. Biometrics 1977; 33(1): 159-74.
• ²⁵
  Sim J, Wright CC. The Kappa statistic in reliability studies: use, interpretation, and sample size requirements. Phys Ther 2005; 85(3): 257-68.
• ²⁶
  Oliver D, Daly F, Martin FC, McMurdo MET. Risck factors and risk assessment tools for falls in hospital in-patients: a systematic review. Age Ageing 2004; 33(2): 122-30. https://doi.org/10.1093/ageing/afh017
  » https://doi.org/10.1093/ageing/afh017
• ²⁷
  Milisen K, Staelens N, Schwendimann R, De Paepe L, Verhaeghe J, Braes T, et al. Fall Prediction in Inpatients by Bedside Nurses Using the St. Thomas's Risk Assessment Tool in Falling Elderly Inpatients (STRATIFY) Instrument: A Multicenter Study. J Am Geriatr Soc 2007; 55(5): 725-33. https://doi.org/10.1111/j.1532-5415.2007.01151.x
  » https://doi.org/10.1111/j.1532-5415.2007.01151.x
• ²⁸
  Dawson-Saunder B, Trapp RG. Reading the medical literature. In: Dawson-Saunder B, Trapp RG, editores. Basic & Clinical Biostatistics. Connecticut: Appleton & Lange; 1994. p. 268-88.

• Fonte de financiamento: nenhuma.

• 3
  Número de identificação/aprovação do Comitê de Ética em Pesquisa: 678.566 de 27/05/2014 pelo Comitê de Ética em Pesquisa da Sociedade Hospital Samaritano de São Paulo.

Datas de Publicação

• Publicação nesta coleção
  29 Abr 2019
• Data do Fascículo
  2019

Histórico

• Recebido
  25 Maio 2017
• Revisado
  24 Fev 2018
• Aceito
  15 Maio 2018