Adaptação transcultural para o Brasil da Richmond Agitation-Sedation Scale para avaliação da sedação em terapia intensiva pediátrica

RESUMO

Objetivo:

Realizar adaptação transcultural para o Brasil da Richmond Agitation-Sedation Scale (RASS) para avaliação da sedação em terapia intensiva pediátrica

Métodos:

Processo de adaptação transcultural incluindo as etapas de equivalência conceitual, de itens, semântica e operacional, de acordo com recomendações atuais.

Resultados:

Pré-testes, divididos em duas etapas, incluíram 30 profissionais da unidade de terapia intensiva pediátrica de um hospital universitário, que aplicaram a RASS traduzida em pacientes de 29 dias a 18 anos. Os pré-testes mostraram Índice de Validade de Conteúdo acima de 0,90 para todos os itens: 0,97 na primeira etapa de pré-testes e 0,99 na segunda.

Conclusão:

A adaptação transcultural da RASS para o português do Brasil resultou em versão com excelente compreensão e aceitabilidade em cenário de terapia intensiva pediátrica. Estudos de confiabilidade e de validade devem ser realizados para avaliar as propriedades psicométricas da versão adaptada para o português do Brasil da RASS.

Descritores:
Tradução; Comparação transcultural; Sedação consciente; Sedação profunda; Unidade de terapia intensiva pediátrica

ABSTRACT

Objective:

To perform a cross-cultural adaptation of the Richmond Agitation-Sedation Scale (RASS) to Brazilian Portuguese for the evaluation of sedation in pediatric intensive care.

Methods:

Cross-cultural adaptation process including the conceptual, item, semantic and operational equivalence stages according to current recommendations.

Results:

Pretests, divided into two stages, included 30 professionals from the pediatric intensive care unit of a university hospital, who administered the translated RASS to patients aged 29 days to 18 years. The pretests showed a content validity index above 0.90 for all items: 0.97 in the first stage of pretests and 0.99 in the second.

Conclusion:

The cross-cultural adaptation of RASS to Brazilian Portuguese resulted in a version with excellent comprehensibility and acceptability in a pediatric intensive care setting. Reliability and validity studies should be performed to evaluate the psychometric properties of the Brazilian Portuguese version of the RASS.

Keywords:
Translating; Cross-cultural comparison; Conscious sedation; Deep sedation; Intensive care units, pediatric

INTRODUÇÃO

Sedação, assim como analgesia, abrange um espectro de estados desde sedação mínima até anestesia geral.⁽¹⁾⁾ Em crianças gravemente doentes, a administração de medicamentos que induzem a sedação e a analgesia é frequentemente necessária para promover conforto e alívio da dor, estabelecer sincronia com a ventilação mecânica (VM) e prevenir remoção acidental de dispositivos necessários para manter a vida, além de diminuir a ansiedade e o desconforto associado ao ambiente da terapia intensiva.⁽²⁾

Analogamente, a sedação inadequada ou insuficiente podem ocasionar assincronia com a VM, remoção inadvertida de cateteres e drenos, queda do leito e comportamento agressivo do paciente em relação à equipe de saúde.⁽³⁾ O estresse do paciente também pode ser resultante de sedação ou analgesia insuficientes e parece estar associado ao aumento do consumo de oxigênio pelo miocárdio, hipercoagulabilidade e imunossupressão.^(4-6) Por outro lado, a utilização de agentes sedativos ou analgésicos em altas doses e por tempo prolongado tem associação com vários eventos adversos e desfechos desfavoráveis, como aumento da permanência em VM,^(7,8) da incidência de pneumonia,⁽⁹⁾⁾ da ocorrência de delirium e síndrome de abstinência,⁽¹⁰⁾⁾ do tempo de internação hospitalar e da mortalidade,⁽¹¹⁾ além de elevar os custos da internação.^(12,13) Há, ainda, redução de mobilidade no leito, aumento de fenômenos tromboembólicos, fraqueza muscular e lesões cutâneas.⁽⁴⁾

Diversas recomendações de boas práticas clínicas enfatizam a necessidade da aplicação de terapia guiada por metas para a administração de sedativos e preconizam que este seja um cuidado padrão nas unidades de terapia intensiva (UTI), devido ao impacto do uso dessas medicações na descontinuação da assistência ventilatória e no tempo de permanência na UTI.^(3,4) Em pacientes pediátricos, já foi caracterizada a associação entre o uso de protocolos de sedação e diminuição do tempo de VM, de permanência em UTI, da frequência de extubação não planejada e da prevalência de síndrome de abstinência.^(14-16) Também em crianças com síndrome do desconforto respiratório agudo, há forte recomendação para oferecer sedação mínima, mas efetiva, guiada por metas, por meio da utilização de protocolos para monitorar, titular e guiar a sedação.⁽¹⁷⁾⁾ Para seguir as recomendações de terapia guiada por metas, é imprescindível o uso de um instrumento de aferição para o nível de sedação, tanto em adultos como em crianças.

Existem várias escalas subjetivas para avaliação de sedação e agitação em adultos internados em UTI. De dez escalas revisadas quanto às propriedades psicométricas, a Richmond Agitation-Sedation Scale (RASS) e a Sedation-Agitation Scale (SAS) foram consideradas as de melhor validade e confiabilidade para medir a qualidade e a profundidade da sedação em adultos, sendo úteis inclusive para a avaliação da resposta dos pacientes, mesmo naqueles que não estejam recebendo medicamentos para sedação/analgesia em infusão contínua. Adicionalmente, a RASS forneceu consistentemente um alvo consensual para a terapia sedativa guiada por metas, sendo a única a demonstrar viabilidade de uso e relevância clínica.⁽¹⁸⁾ Recentemente, a RASS passou por um estudo de validação em crianças com e sem uso de sedativos e analgésicos e demonstrou bom desempenho.⁽¹⁹⁾⁾ No Brasil, foi submetida à tradução para o português,⁽²⁰⁾ mas não foi realizado um processo completo de adaptação transcultural.

O objetivo deste trabalho foi realizar a adaptação transcultural para o português do Brasil da RASS, de acordo com as recomendações atuais.^(21,22)

MÉTODOS

Primeiramente, foi obtida a autorização dos desenvolvedores da RASS original da Virginia Commonwealth University, em Richmond, Virgínia, nos Estados Unidos.⁽²³⁾ A adaptação transcultural seguiu a abordagem universalista de Herdman et al.⁽²¹⁾ e Reichenheim e Moraes,⁽²⁴⁾ que avalia seis equivalências: conceitual, de itens, semântica, operacional, de mensuração e funcional. Esses passos são similares aos recomendados pelos Translation and Cultural Adaptation Process for Patient-Reported Outcomes-Principles of Good Practice, da International Society for Pharmacoeconomics and Outcomes Research (ISPOR),⁽²²⁾ embora as terminologias empregadas para designar cada etapa sejam diferentes. O presente estudo limitou-se às equivalências conceitual, de itens, semântica e operacional, não se estendendo às equivalências de mensuração e funcional.

Revisão da literatura e reuniões com seis especialistas em terapia intensiva pediátrica ou pediatria foram realizadas durante a avaliação das equivalências conceitual e de itens. Para a avaliação da equivalência semântica, foram realizadas três traduções independentes da RASS do inglês para o português do Brasil por três médicos brasileiros especialistas em terapia intensiva pediátrica, fluentes em inglês. Essas traduções foram conciliadas em uma versão preliminar por meio de uma reunião de consenso com os três tradutores, além de outros especialistas da equipe de pesquisa. A tradução conciliada passou por uma tradução reversa para o inglês por um tradutor norte-americano fluente em português do Brasil, que não recebeu informações prévias a respeito do instrumento. Esse tradutor realizou duas versões de tradução reversa: uma literal e outra mais conceitual. A equivalência entre essas versões e o instrumento original foi reexaminada em nova rodada de discussões entre os especialistas, para conciliação em uma única tradução reversa, que foi enviada para aprovação pelo autor do instrumento original. Todo o processo de tradução, conciliação e tradução reversa incluiu a RASS propriamente dita, assim como as instruções para sua aplicação, que fazem parte do instrumento. Para complementar a avaliação da equivalência semântica e avaliar a equivalência operacional, foram realizados pré-testes em duas etapas, nas quais a versão conciliada do instrumento foi aplicada por 30 profissionais de saúde (médicos, enfermeiros ou fisioterapeutas) em pacientes internados na UTI pediátrica do Instituto de Puericultura e Pediatria Martagão Gesteira da Universidade Federal do Rio de Janeiro (UFRJ). Foi considerado como critério de inclusão idade de 29 dias a 18 anos completos e, como critérios de exclusão, foram considerados uso de bloqueio neuromuscular, pacientes tetraplégicos, com diagnóstico prévio de redução da acuidade auditiva ou visual ou com morte encefálica suspeita ou confirmada. Cada profissional participante do pré-teste recebeu um formulário com a versão da RASS formatada conforme foi apresentada nos estudos originais, acrescida de um espaço ao lado de cada item, com cinco opções de resposta do tipo Likert (1 - “Não entendi nada.”; 2 - “Entendi um pouco.”; 3 - “Entendi mais ou menos.”; 4 - “Entendi quase tudo, mas tive algumas dúvidas.”; 5 - “Entendi perfeitamente e não tenho dúvidas.”), para que o profissional optasse pela resposta que melhor caracterizasse seu grau de compreensão sobre o respectivo item. Havia também campos abertos para expor dúvidas e sugestões. As respostas e as modificações sugeridas foram discutidas e conciliadas em duas reuniões de consenso, uma após a primeira etapa de pré-testes (realização dos 16 primeiros pré-testes) e outra após a segunda etapa de pré-testes (realização de mais 14 pré-testes), dando origem à versão final.

Os resultados dos pré-testes foram avaliados pelo cálculo da mediana das respostas tipo Likert sobre a compreensão de cada item e do Índice de Validade de Conteúdo (IVC) para a adaptação de instrumentos de aferição. O IVC mede a porcentagem de avaliadores que concordam com determinado item, possibilitando não só a observação de cada item isoladamente, mas do instrumento como um todo. O IVC de cada item foi calculado dividindo-se a soma do número de respostas 4 ou 5 (“Entendi quase tudo, mas tive algumas dúvidas.” e “Entendi perfeitamente e não tenho dúvidas.”, respectivamente) para determinado item pelo número total de respostas para o respectivo item. O IVC total foi calculado como a média dos IVC de cada item.⁽²⁵⁾⁾ A concordância mínima sugerida quando a avaliação é feita por seis ou mais sujeitos é de 0,78.⁽²⁶⁾ Foi utilizado o programa Excel 2010 (Microsoft Corporation) para a entrada e a análise dos dados. Termos de Consentimento Livre e Esclarecido foram aplicados aos profissionais e aos responsáveis pelos pacientes participantes do pré-teste. O estudo foi aprovado pelo Comitê de Ética em Pesquisa do Instituto de Puericultura e Pediatria Martagão Gesteira da UFRJ sob parecer 2.553.042.

Descrição da escala de agitação e sedação de Richmond

A RASS é composta de dez itens que descrevem níveis gradativos de agitação/sedação com seus respectivos escores e instruções para a aplicação do instrumento, sendo divididas em três passos. O primeiro passo consiste em observar o paciente. Se ele estiver alerta e calmo, o escore zero deve ser atribuído. Se estiver com comportamento compatível com inquietação ou agitação, deve ser atribuído escore de +1 a +4, de acordo com os parâmetros descrevendo diferentes níveis de agitação na coluna “Descrição” da escala. Caso o paciente não esteja alerta, deve-se seguir para o segundo passo e chamá-lo pelo nome. Se ele apresentar abertura ocular e contato visual, mantido por mais de 10 segundos, escore -1 deve ser atribuído. Se o contato visual não for mantido por mais do que 10 segundos, escore -2 deve ser atribuído. Se o paciente apresentar qualquer movimento em resposta ao comando verbal, mas sem contato visual, deve ser atribuído escore -3. Se o paciente não responder ao comando verbal, segue-se para o terceiro passo, estimulando-o fisicamente. Se o paciente apresentar qualquer movimento ao estímulo físico, escore -4 deve ser atribuído. Finalmente, se ele não apresentar qualquer resposta ao comando verbal ou ao estímulo físico, deve ser atribuído escore -5. Se o paciente não estiver alerta antes do comando verbal e do estímulo físico, deve ser atribuído escore de -1 a -5 (conforme a coluna “Descrição” da escala), mesmo se o paciente se tornar agitado após estímulo. O autor da escala original relatou tempo de aplicação inferior a 20 segundos.⁽²⁷⁾

RESULTADOS

A tradução reversa conciliada para o inglês foi aprovada pelo autor original da RASS, Curtis N. Sessler, em 25 de maio de 2017. A formação dos profissionais participantes do pré-teste teve a seguinte distribuição: 15 (50%) eram médicos, 12 (40%) enfermeiros e três (10%) fisioterapeutas. Em relação aos pacientes submetidos ao pré-teste (n = 8), a mediana de idade foi de 6 meses (intervalo interquartílico: 1 - 59), e o diagnóstico mais frequente foi de doenças respiratórias (Tabela 1). Em sete dos 30 pré-testes, os pacientes estavam recebendo infusão contínua de pelo menos um dos seguintes sedativos ou analgésicos: midazolam, fentanil e dexmedetomidina.

Tabela 1
Características demográficas e clínicas dos pacientes submetidos ao pré-teste da versão traduzida para o português do Brasil da escala de agitação e sedação de Richmond (n = 8)

Características
Idade (meses)	6 (1 - 59)
Sexo
Feminino	3 (37,5)
Masculino	5 (62,5)
Diagnóstico
Neurológico	1 (12,5)
Onco-hematológico	2 (25,0)
Respiratório	5 (62,5)
RASS	-2,5 (-4 - 0)

• RASS - escala de agitação e sedação de Richmond. Resultados expressos como n (%) ou mediana (intervalo interquartílico).

Em 27 dos 30 pré-testes, todos os itens receberam respostas que denotam bom grau de compreensão, correspondentes a 4 e 5 na escala do tipo Likert (“Entendi quase tudo, mas tive algumas dúvidas.” e “Entendi perfeitamente e não tenho dúvidas.”, respectivamente). Os IVC de todos os itens ficaram acima de 0,90, assim como o IVC total nas duas etapas do pré-teste (Tabela 2). Após a primeira etapa, que incluiu os primeiros 16 dos 30 pré-testes, foram feitas três alterações no texto do instrumento: após o termo “Procedimento”, foi acrescentada a frase “para aplicação da escala de agitação e sedação de Richmond”; o termo “consistente” no passo 1 do Procedimento foi substituído por “compatível”; e o termo “exceto” no passo 2 do Procedimento, por “mas sem”. Além dessas alterações, foi feita uma modificação na formatação da tabela, adotando-se modelo semelhante ao utilizado nos estudos de confiabilidade e validade do instrumento original,⁽²⁷⁾ que especificava, em coluna à direita dos itens referentes aos diferentes níveis de sedação, em quais deve-se realizar comando verbal ou estímulo físico, assim como a correspondência entre as respostas observadas e o escore a ser atribuído na seção “Procedimento”.

Tabela 2
Resultados das duas etapas do pré-teste com profissionais da equipe de unidade de terapia intensiva pediátrica para avaliação da compreensão da versão traduzida para o português do Brasil da escala de agitação e sedação de Richmond

Item	Primeira etapa (n = 16)		Segunda etapa (n = 14)
	Mediana (IQ25 - 75)	IVC	Mediana (IQ 25 - 75)	IVC
Escala
Escore +4	5 (4,3 - 5)	0,9375	5 (5 - 5)	1
Escore +3	5 (5 - 5)	0,9375	5 (4,8 - 5)	1
Escore +2	5 (5 - 5)	0,9375	5 (5 - 5)	1
Escore +1	5 (5 - 5)	1	5 (5 - 5)	1
Escore 0	5 (5 - 5)	1	5 (5 - 5)	1
Escore -1	5 (5 - 5)	1	5 (5 - 5)	0,9285
Escore -2	5 (5 - 5)	1	5 (5 - 5)	1
Escore -3	5 (5 - 5)	0,9375	5 (5 - 5)	1
Escore -4	5 (5 - 5)	1	5 (5 - 5)	1
Escore -5	5 (5 - 5)	1	5 (5 - 5)	1
Instruções
Primeiro passo	5 (5 - 5)	0,9375	5 (5 - 5)	1
Segundo passo	5 (5 - 5)	0,9375	5 (5 - 5)	1
Terceiro passo	5 (5 - 5)	0,9375	5 (5 - 5)	1
Total		0,9708		0,9952

• IQ - intervalo interquartílico; IVC - índice de validade de conteúdo. Obs: Das 30 avaliações, sete foram feitas com o paciente recebendo infusão contínua de midazolam, fentanil e/ou dexmedetomidina.

Ao final da segunda etapa, que incluiu mais 14 pré-testes, foi feita mais uma modificação de formatação, indicando, em coluna à direita dos itens referentes aos diferentes níveis de agitação, que apenas a observação do paciente era suficiente para a classificação. A palavra “Procedimento” foi alterada para “Instruções”, e a formatação dessa seção também foi novamente alterada, incorporando-se ao texto os escores a serem atribuídos a cada nível de agitação/sedação, ao invés do uso de uma coluna separada do texto para sinalizar essa correspondência (Tabela 3 e Figura 1). No campo para comentários do formulário utilizado para pré-teste, os seguintes termos foram questionados por ao menos um dos participantes: “combativo”, “agressivo”, “sem propósito”, “não totalmente alerta”, “qualquer movimento” e “consistente”. Ainda, dois participantes questionaram a equivalência de item do escore +4 (“Claramente combativo ou violento; perigo imediato para a equipe”), o qual pareceu inadequado para aplicação em lactentes, que dificilmente chegariam a pontuar +4. Nesse mesmo contexto, um desses participantes também questionou a viabilidade da aplicação do Passo 2 em lactentes muito jovens, o qual pressupunha contato visual do paciente ao ser chamado pelo examinador, o que não era compatível com o desenvolvimento normal dessa faixa etária.

Tabela 3
Comparação dos itens alterados nas versões para o português do Brasil da escala de agitação e sedação de Richmond

Item	Primeira versão	Segunda versão	Versão final
Escore +2	Agitado - movimentos sem propósito frequentes ou assincronia paciente-ventilador	Agitado - movimentos frequentes sem objetivo ou assincronia paciente-ventilador	Agitado - movimentos frequentes sem objetivo ou assincronia paciente-ventilador
Escore -1	Sonolento - não totalmente alerta, mas mantém despertar sustentado (mais de 10 segundos), com contato visual, ao comando verbal	Sonolento - não totalmente alerta ao comando verbal, mas mantém despertar sustentado (mais de 10 segundos), com contato visual	Sonolento - não totalmente alerta ao comando verbal, mas mantém despertar sustentado (mais de 10 segundos), com contato visual
Escore -2	Sedação leve - desperta brevemente (menos de 10 segundos), com contato visual, ao comando verbal	Sedação leve - ao comando verbal, desperta brevemente (menos de 10 segundos), com contato visual	Sedação leve - ao comando verbal, desperta brevemente (menos de 10 segundos), com contato visual
Escore -3	Sedação moderada - qualquer movimento (mas sem contato visual) ao comando verbal	Sedação moderada - qualquer movimento ao comando verbal (mas sem contato visual)	Sedação moderada - qualquer movimento ao comando verbal (mas sem contato visual)
Primeiro passo	1. Observe o paciente. O paciente está alerta e calmo (escore 0)? O paciente tem um comportamento consistente com inquietação ou agitação (escore +1 a +4, usando os critérios listados na coluna "Descrição" da escala (Figura 1)?	1. Observe o paciente O paciente está alerta e calmo O paciente tem um comportamento compatível com inquietação ou agitação	1. Observe o paciente. Se o paciente estiver alerta e calmo, atribua escore 0 Se o paciente estiver com um comportamento compatível com inquietação ou agitação, atribua escore de +1 a +4, de acordo com a coluna "Descrição" da escala (Figura 1)
Segundo passo	2. Se o paciente não estiver alerta, chame-o pelo nome, em voz alta, mande-o abrir os olhos e olhar para você. Repita uma vez, se necessário. O paciente pode ser verbalmente estimulado a continuar olhando para você, mas você não deve tocá-lo ou estimulá-lo fisicamente. O paciente apresenta abertura ocular e contato visual, mantido por mais de 10 segundos (escore -1). O paciente apresenta abertura ocular e contato visual mantido por não mais do que 10 segundos (escore -2). O paciente apresenta qualquer movimento em resposta ao comando verbal, exceto contato visual (escore -3)	2. Se o paciente não estiver alerta, chame-o pelo nome, em voz alta, mande-o abrir os olhos e olhar para você. Repita uma vez, se necessário. O paciente pode ser verbalmente estimulado a continuar olhando para você, mas você não deve tocá-lo ou estimulá-lo fisicamente O paciente apresenta abertura ocular e contato visual, mantido por mais de 10 segundos O paciente apresenta abertura ocular e contato visual mantido por não mais do que 10 segundos O paciente apresenta qualquer movimento em resposta ao comando verbal, mas sem contato visual	2. Se o paciente não estiver alerta, chame-o pelo nome, em voz alta, mande-o abrir os olhos e olhar para você. Repita uma vez, se necessário. O paciente pode ser verbalmente estimulado a continuar olhando para você, mas você não deve tocá-lo ou estimulá-lo fisicamente Se o paciente apresentar abertura ocular e contato visual, mantido por mais de 10 segundos, atribua escore -1 Se o paciente apresentar abertura ocular e contato visual mantido por não mais do que 10 segundos, atribua escore -2 Se o paciente apresentar qualquer movimento em resposta ao comando verbal, mas sem contato visual, atribua escore -3
Terceiro passo	3. Se o paciente não responder ao comando verbal, estimule-o fisicamente sacudindo seu ombro e, em seguida, friccionando seu esterno, caso não haja resposta ao estímulo no ombro. O paciente apresenta qualquer movimento ao estímulo físico (escore -4). O paciente não apresenta qualquer resposta ao comando verbal ou ao estímulo físico (escore -5)	3. Se o paciente não responder ao comando verbal, estimule-o fisicamente sacudindo seu ombro e, em seguida, friccionando seu esterno, caso não haja resposta ao estímulo no ombro O paciente apresenta qualquer movimento ao estímulo físico O paciente não apresenta qualquer resposta ao comando verbal ou ao estímulo físico	3. Se o paciente não responder ao comando verbal, estimule-o fisicamente sacudindo seu ombro e, em seguida, friccionando seu esterno, caso não haja resposta ao estímulo no ombro Se o paciente apresentar qualquer movimento ao estímulo físico, atribua escore -4 Se o paciente não apresentar qualquer resposta ao comando verbal ou ao estímulo físico, atribua escore -5

Figura 1
Versão final em português da escala de agitação e sedação de Richmond.

Escala de agitação e sedação de Richmond Antes de aplicar a RASS, leia as instruções da escala
Escore	Termo	Descrição
+4	Combativo	Claramente combativo ou violento: perigo imediato para a equipe	Observação do paciente
+ 3	Muito agitado	Puxa ou remove tubo(s) ou cateter(es) ou apresenta comportamento agressivo com a equipe
+2	Agitado	Movimentos frequentes sem objetivo ou assincronia paciente-ventilador
+1	Inquieto	Ansioso ou apreensivo, porém sem movimentos agressivos ou vigorosos
0	Alerta e calmo
-1	Sonolento	Não totalmente alerta ao comando verbal, mas mantém despertar sustentado (mais de 10 segundos), com contato visual	Comando verbal
-2	Sedação leve	Ao comando verbal, desperta brevemente (menos de 10 segundos), com contato visual
-3	Sedação moderada	Qualquer movimento ao comando verbal (mas sem contato visual)
-4	Sedação profunda	Sem resposta ao comando verbal, mas com qualquer movimento ao estímulo físico	Estímulo físico
-5	Não reponde a estímulos	Sem resposta ao comando verbal ou ao estímulo físico
Instruções para aplicação da escala de agitação e sedação de Richmond
1.	Observe o paciente
	Se o paciente estiver alerta e calmo, atribua escore 0
	Se o paciente estiver com um comportamento compatível com inquietação ou agitação, atribua escore de +1 a + 4, de acordo com a coluna "Descrição" da escala
2.	Se o paciente não estiver alerta, chame-o pelo nome, em voz alta, mande-o abrir os olhos e olhar para você. Repita uma vez, se necessário. O paciente pode ser verbalmente estimulado a continuar olhando para você, mas você não deve tocá-lo ou estimulá-lo fisicamente
	Se o paciente apresentar abertura ocular e contato visual, mantido por mais de 10 segundos, atribua escore -1
	Se o paciente apresentar abertura ocular e contato visual, mantido por não mais do que 10 segundos, atribua escore -2
	Se o paciente apresentar qualquer movimento em resposta ao comando verbal, mas sem contato visual, atribua escore -3
3.	Se o paciente não responder ao comando verbal, estimule-o fisicamente sacudindo seu ombro e, em seguida, friccionando seu esterno, caso não haja resposta ao estímulo no ombro
	Se o paciente apresentar qualquer movimento ao estímulo físico, atribua escore -4
	Se o paciente não apresentar qualquer resposta ao comando verbal ou ao estímulo físico, atribua escore -5

A média (desvio-padrão) e a mediana (intervalo interquartílico) da RASS atribuídas pelos profissionais foram -2,1 (2) e -2,5 (-4 - 0), respectivamente. A versão final da escala em português, contemplando os resultados da avaliação das equivalências conceitual, de itens, semântica e operacional, é apresentada na figura 1.

DISCUSSÃO

Este é o primeiro estudo de adaptação transcultural para o português do Brasil da escala de agitação e sedação de Richmond realizado de acordo com recomendações internacionais para assegurar a qualidade dos resultados. A versão final da RASS adaptada para o português do Brasil apresentou evidências de boa equivalência conceitual, de itens, semântica e operacional. Em 2008, Nassar Júnior et al.⁽²⁰⁾⁾ realizaram estudo de confiabilidade e validade de quatro escalas de sedação utilizadas em terapia intensiva, no qual partem de uma versão traduzida para o português do Brasil da RASS, mas não descrevem como e se foram feitos os processos de tradução e adaptação transcultural. Aparentemente, esses autores concentraram-se no relato da confiabilidade e da validade das escalas, foco principal do estudo. Por esse motivo, consideramos oportuna a realização do presente estudo, que descreve, de maneira pormenorizada, todo o processo de tradução e adaptação transcultural para o português falado no Brasil.

A escassez de instrumentos de avaliação do nível de sedação devidamente adaptados para uso em UTI pediátrica no Brasil pode comprometer a qualidade da assistência por facilitar a ocorrência de eventos adversos e desfechos desfavoráveis associados ao uso de níveis não ótimos de sedação. Entretanto, o uso de um instrumento de aferição em um contexto cultural diverso de seu contexto de origem requer um detalhado processo de equivalência transcultural para ser considerado seguro. Muitas vezes, a mudança de contexto pressupõe não somente a tradução para outro idioma, mas adaptações também podem ser necessárias para o uso em um outro país com o mesmo idioma ou, ainda, em diferentes regiões de um país.⁽²⁸⁾ Falhas nesse processo podem comprometer o desempenho do instrumento e inviabilizar comparações futuras. Neste estudo, procuramos seguir todas as etapas de um processo formal de adaptação transcultural para instrumentos de aferição.

Em nosso estudo, as principais alterações realizadas no instrumento após as duas etapas de pré-teste foram de ordem operacional e referiram-se à formatação do instrumento (com a inserção de uma coluna relacionando o tipo de estímulo realizado à graduação da agitação/sedação) e ao reforço das sinalizações relativas às instruções de aplicação do instrumento. Essas alterações refletem algum grau de dificuldade, ainda que pequeno, na aplicação do instrumento pelos profissionais de saúde, o que objetivamos sanar com o uso de uma sinalização mais explícita. Parte dessas alterações de formatação já tinha inclusive sido realizada na validação do instrumento em seu idioma original.⁽²⁷⁾⁾ Poucas foram as alterações de ordem semântica, relativas a termos de itens da escala.

As observações realizadas livremente pelos participantes do pré-teste contribuíram nas reuniões de consenso para o entendimento das dúvidas observadas nas avaliações do pré-teste. Todas as observações foram discutidas com a equipe de pesquisa, e algumas sugestões de modificação feitas pelos profissionais participantes foram incorporadas à versão final do instrumento. As mais relevantes foram aquelas relacionadas à aplicação do instrumento em lactentes, que evidenciaram limitações para aplicação nessa faixa etária. Autores de estudo recente também identificaram essa limitação e fizeram uma adaptação no instrumento em seu idioma original, nos níveis -2 e -3, acrescentando “abertura ocular” em recém-nascidos como resposta equivalente a “contato visual” em crianças maiores.⁽²⁹⁾ Dessa forma, o escore -2 ficou definido como “Briefly awakens with eye contact to voice (< 10 sec)” e o escore -3, como “Movement or eye opening to voice (but no eye contact)”. A escala adaptada para lactentes ainda não foi validada e, em nossa opinião, não parece oferecer boa discriminação entre esses dois níveis.

Existe grande variabilidade envolvendo práticas terapêuticas e de avaliação de sedação em crianças internadas em UTI,⁽³⁰⁾ o que pode dificultar a obtenção de um nível ótimo de sedação.^(31,32)) Muitas UTI não adotam qualquer instrumento para essa avaliação.^(33,34)) Em crianças, as escalas mais utilizadas são a Comfort, a Comfort-Behavior e State Behaviour Scale.^(35-37)) Todas foram validadas em crianças, mas nenhuma se mostrou superior.⁽²⁾ No Brasil, no entanto, pesquisa recente entre pediatras intensivistas revelou que a escala mais utilizada é a Ramsay.⁽³⁸⁾

A escala Comfort é a mais difundida nas UTI pediátricas de vários países.^(39,40)) Embora tenha sido desenhada para avaliar desconforto em crianças, foi operacionalizada para incluir tanto o construto agitação como dor. O uso de um instrumento específico para a graduação da agitação/sedação permitiria um ajuste terapêutico mais direcionado.⁽⁴¹⁾ Além disso, a Comfort utiliza variáveis comportamentais e fisiológicas. Como estas últimas podem estar controladas no paciente internado em UTI, sua utilidade foi questionada, resultando no desenvolvimento da Comfort-Behavior, que utiliza apenas as variáveis comportamentais, além de um item referente a choro para avaliar crianças fora de ventilação mecânica. Amoretti et al.⁽⁴²⁾ realizaram a tradução e a retrotradução para o Brasil da Comfort-Behavior, bem como estudo de validação, porém essa escala é considerada complexa, devido à quantidade de variáveis em cada nível, além de bastante extensa.⁽⁴³⁾ A Ramsay, por sua vez, é uma escala simples, que fornece alguma discriminação entre os níveis de sedação, mas só descreve um nível de agitação. A RASS, ao contrário, é uma escala específica, para avaliação tanto de sedação quanto de agitação, podendo ser aplicada igualmente em pacientes com e sem uso de sedativos ou analgésicos. Descreve dez níveis de consciência, que variam desde agitação extrema à sedação profunda, e ela pode ser aplicada rapidamente, seguindo três passos bem definidos. Além de ser de fácil utilização, foi demonstrado que essa escala possui excelente confiabilidade interobservador em adultos internados em UTI clínicas e cirúrgicas e excelente validade quando comparada à Escala Visual Analógica e outras de sedação selecionadas (escala de coma de Glasgow, Ramsay e SAS).^(23,27) Tem sido amplamente utilizada, não só com a finalidade de graduar o nível de sedação ou agitação para monitoração e ajuste terapêutico, mas também como pré-requisito para a aplicação de outros instrumentos, como o Método de Avaliação de Confusão para Crianças em Unidade de Terapia Intensiva (pCAM-ICU -Pediatric Confusion Assessment Method for the Intensive Care Unit)⁽⁴⁴⁾ e o Cornell Assessment of Pediatric Delirium,⁽⁴⁵⁾ ambos já adaptados para o português do Brasil,^(46,47)) além do Preschool Confusion Assessment Method for the ICU (psCAM-ICU)⁽⁴⁸⁾⁾ e da Sophia Observation Withdrawal Symptoms scale-Pediatric Delirium scale (SOS-PD).⁽⁴⁹⁾⁾ A RASS já passou por processos de adaptação transcultural para outros idiomas, como o sueco, o espanhol e o sérvio.^(50-52)) Optamos pela adaptação transcultural da RASS por sua simplicidade, objetividade e rápida aplicação.

Podemos identificar algumas limitações neste estudo. Apenas um tradutor ficou responsável pela tradução reversa, embora ele tenha contribuído com duas versões, uma literal e outra conceitual. Por outro lado, as demais etapas da equivalência semântica contaram com a participação de vários especialistas, inclusive com a realização de três traduções independentes do inglês para o português, permitindo que as diferenças fossem confrontadas e os melhores termos fossem escolhidos para a elaboração da versão conciliada. Outra limitação decorreu do pequeno número de pacientes com os escores positivos (ou de agitação) da escala durante as avaliações do pré-teste, não tendo sido incluído nenhum paciente em agitação extrema (escores +3 e +4). Tal fato também pode ser observado no estudo de validação em crianças do instrumento original,⁽¹⁹⁾ que, embora tenha incluído um número maior de pacientes, não encontrou nenhum classificado com escore +4. Outro estudo mais recente, com amostra ainda maior, também obteve distribuição semelhante.⁽²⁹⁾ É possível que a escassez de crianças classificadas com escore +4 se deva a uma real baixa frequência de crianças com grau extremo de agitação na UTI. Entretanto, a inadequação desse item à faixa etária de lactentes, que representam contingente considerável da população pediátrica internada em UTI, pode ter contribuído para esse achado.

A evidência disponível sobre escalas de avaliação da profundidade e da qualidade da sedação em adultos internados em UTI aponta para um melhor desempenho psicométrico da RASS em relação às demais. Acreditamos que, com alguns ajustes próprios à faixa etária de lactentes, o instrumento pode manter desempenho psicométrico superior ao das demais escalas também em crianças de qualquer faixa etária. Uma nova proposta de modificação para lactentes da RASS adaptada para o Brasil com avaliação de validade e confiabilidade em crianças admitidas em UTI é necessária para corroborar as propriedades psicométricas do instrumento para monitorar sedação em crianças gravemente enfermas de qualquer faixa etária.

CONCLUSÃO

A adaptação transcultural para o português do Brasil da RASS foi realizada de acordo com as recomendações atuais e resultou em uma versão brasileira, que deve possibilitar a realização de estudos de confiabilidade e validade no Brasil em crianças e adultos. Entretanto, seu uso em lactentes exige adaptações próprias a essa faixa etária. Uma vez demonstrado bom desempenho psicométrico do instrumento adaptado, ele poderá suprir a necessidade de uma escala simples, de aplicação fácil e rápida para avaliação da profundidade e da qualidade da sedação em qualquer faixa etária.

AGRADECIMENTO

Ao Dr. Curtis N. Sessler, pela pronta disponibilidade em autorizar a adaptação transcultural da RASS para o português do Brasil e por sua valiosa contribuição na etapa de equivalência semântica da adaptação da escala.

REFERÊNCIAS

• ¹
  Practice Guidelines for Moderate Procedural Sedation and Analgesia 2018: A Report by the American Society of Anesthesiologists Task Force on Moderate Procedural Sedation and Analgesia, the American Association of Oral and Maxillofacial Surgeons, American College of Radiology, American Dental Association, American Society of Dentist Anesthesiologists, and Society of Interventional Radiology. Anesthesiology. 2018;128(3):437-79.
• ²
  Harris J, Ramelet AS, van Dijk M, Pokorna P, Wielenga J, Tume L, et al. Clinical recommendations for pain, sedation, withdrawal and delirium assessment in critically ill infants and children: an ESPNIC position statement for healthcare professionals. Intensive Care Med. 2016;42(6):972-86.
• ³
  Nasraway SA Jr, Jacobi J, Murray MJ, Lumb PD; Task Force of the American College of Critical Care Medicine of the Society of Critical Care Medicine and the American Society of Health-System Pharmacists, American College of Chest Physicians. Sedation, analgesia, and neuromuscular blockade of the critically ill adult: revised clinical practice guidelines for 2002. Crit Care Med. 2002;30(1):117-8.
• ⁴
  Associação de Medicina Intensiva Brasileira; Sociedade Brasileira de Infectologia; Instituto Latino Americano de Sepse. Sepse: sedação, analgesia e bloqueio neuromuscular. In: Associação Médica Brasileira e Agência Nacional de Saúde Suplementar. Diretrizes Clínicas na Saúde Suplementar. São Paulo: AMB/ANS; 2011. p. 1-16.
• ⁵
  Girard TD, Pandharipande PP, Ely EW. Delirium in the intensive care unit. Crit Care. 2008;12(Suppl 3):S3.
• ⁶
  Reade MC, Finfer S. Sedation and delirium in the intensive care unit. N Engl J Med. 2014;370(5):444-54.
• ⁷
  Kollef MH, Levy NT, Ahrens TS, Schaiff R, Prentice D, Sherman G. The use of continuous i.v. sedation is associated with prolongation of mechanical ventilation. Chest. 1998;114(2):541-8.
• ⁸
  Strom T, Martinussen T, Toft P. A protocol of no sedation for critically ill patients receiving mechanical ventilation: a randomised trial. Lancet. 2010;375(9713):475-80.
• ⁹
  Quenot JP, Ladoire S, Devoucoux F, Doise JM, Cailliod R, Cunin N, et al. Effect of a nurse-implemented sedation protocol on the incidence of ventilator-associated pneumonia. Crit Care Med. 2007;35(9):2031-6.
• ¹⁰
  Salluh JI, Soares M, Teles JM, Ceraso D, Raimondi N, Nava VS, Blasquez P, Ugarte S, Ibanez-Guzman C, Centeno JV, Laca M, Grecco G, Jimenez E, Árias-Rivera S, Duenas C, Rocha MG; Delirium Epidemiology in Critical Care Study Group. Delirium epidemiology in critical care (DECCA): an international study. Crit Care. 2010;14(6):R210.
• ¹¹
  Kress JP, Pohlman AS, O'Connor MF, Hall JB. Daily interruption of sedative infusions in critically ill patients undergoing mechanical ventilation. N Engl J Med. 2000;342(20):1471-7.
• ¹²
  Gupta K, Gupta VK, Jayashree M, Singhi S. Randomized controlled trial of interrupted versus continuous sedative infusions in ventilated children. Pediatr Crit Care Med. 2012;13(2):131-5.
• ¹³
  Shinotsuka CR, Salluh JI. Perceptions and practices regarding delirium, sedation and analgesia in critically ill patients: a narrative review. Rev Bras Ter Intensiva. 2013;25(2):155-61.
• ¹⁴
  Poh YN, Poh PF, Buang SN, Lee JH. Sedation guidelines, protocols, and algorithms in PICUs: a systematic review. Pediatr Crit Care Med. 2014;15(9):885-92.
• ¹⁵
  Neunhoeffer F, Seitz G, Schmidt A, Renk H, Kumpf M, Fideler F, et al. Analgesia and sedation protocol for mechanically ventilated postsurgical children reduces benzodiazepines and withdrawal symptoms-but not in all patients. Eur J Pediatr Surg. 2017;27(3):255-62.
• ¹⁶
  Gaillard-Le Roux B, Liet JM, Bourgoin P, Legrand A, Roze JC, Joram N. Implementation of a nurse-driven sedation protocol in a PICU decreases daily doses of midazolam. Pediatr Crit Care Med. 2017;18(1):e9-17.
• ¹⁷
  Pediatric Acute Lung Injury Consensus Conference Group. Pediatric Acute Respiratory Distress Syndrome: Consensus Recommendations from the Pediatric Acute Lung Injury Consensus Conference. Pediatr Crit Care Med. 2015;16(5):428-39.
• ¹⁸
  Barr J, Fraser GL, Puntillo K, Ely EW, Gélinas C, Dasta JF, Davidson JE, Devlin JW, Kress JP, Joffe AM, Coursin DB, Herr DL, Tung A, Robinson BR, Fontaine DK, Ramsay MA, Riker RR, Sessler CN, Pun B, Skrobik Y, Jaeschke R; American College of Critical Care Medicine. Clinical Practice Guidelines for the Management of Pain, Agitation, and Delirium in Adult Patients in the Intensive Care Unit. Crit Care Med. 2013;41(1):263-306.
• ¹⁹
  Kerson AG, DeMaria R, Mauer E, Joyce C, Gerber LM, Greenwald BM, et al. Validity of the Richmond Agitation-Sedation Scale (RASS) in critically ill children. J Intensive Care. 2016;4:65.
• ²⁰
  Nassar Júnior AP, Pires Neto RC, de Figueiredo WB, Park M. Validity, reliability and applicability of Portuguese versions of sedation- agitation scales among critically ill patients. Sao Paulo Med J. 2008;126(4):215-9.
• ²¹
  Herdman M, Fox-Rushby J, Badia X. A model of equivalence in the cultural adaptation of HRQol instruments: the universalist approach. Qual Life Res. 1998;7(4):323-35.
• ²²
  Wild D, Grove A, Martin M, Eremenco S, McElroy S, Verjee-Lorenz A, Erikson P; ISPOR Task Force for Translation and Cultural Adaptation. Principles of Good Practice for the Translation and Cultural Adaptation Process for Patient-Reported Outcomes (PRO) Measures: report of the ISPOR Task Force for Translation and Cultural Adaptation. Value Health. 2005;8(2):94-104.
• ²³
  Sessler CN, Gosnell MS, Grap MJ, Brophy GM, O'Neal PV, Keane KA, et al. The Richmond Agitation-Sedation Scale: validity and reliability in adult intensive care unit patients. Am J Respir Crit Care Med. 2002;166(10):1338-44.
• ²⁴
  Reichenheim ME, Moraes CL. Operacionalização de adaptação transcultural de instrumentos de aferição usados em epidemiologia. Rev Saude Publica. 2007;41(4):665-73.
• ²⁵
  Polit DF, Beck CT. The content validity index: are you sure you know what's being reported? Critique and recommendations. Res Nurs Health. 2006;29(5):489-97.
• ²⁶
  Alexandre NM, Coluci MZ. [Content validity in the development and adaptation processes of measurement instruments]. Cien Saude Colet. 2011;16(7):3061-8. Portuguese.
• ²⁷
  Ely EW, Truman B, Shintani A, Thomason JW, Wheeler AP, Gordon S, et al. Monitoring sedation status over time in ICU Patients: reliability and validity of the Richmond Agitation-Sedation Scale (RASS). JAMA. 2003;289(22):2983-91.
• ²⁸
  Guillemin F, Bombardier C, Beaton D. Cross-cultural adaptation of health-related quality of life measures: literature review and proposed guidelines. J Clin Epidemiol. 1993;46(12):1417-32.
• ²⁹
  Kihlstrom MJ, Edge AP, Cherry KM, Zarick PJ, Beck SD, Boyd JM. Multi-modal Educational Curriculum to Improve Richmond Agitation-sedation Scale Inter-rater Reliability in Pediatric Patients. Pediatr Qual Saf. 2018;3(5):e096.
• ³⁰
  Jenkins IA, Playfor SD, Bevan C, Davies G, Wolf AR. Current United Kingdom sedation practice in pediatric intensive care. Paediatr Anaesth. 2007;17(7):675-83.
• ³¹
  Vet NJ, Ista E, De Wildt SN, Van Dijk M, Tibboel D, De Hoog M. Optimal sedation in pediatric intensive care patients: a systematic review. Intensive Care Med. 2013;39(9):1524-34.
• ³²
  Tabacco B, Tacconi C, Amigoni A. Survey on monitoring analgesia and sedation in the Italian pediatric intensive care units. Minerva Anestesiol. 2017;83(10):1010-6.
• ³³
  Singleton A, Preston RJ, Cochran A. Sedation and analgesia for critically ill pediatric burn patients: the current state of practice. J Burn Care Res. 2015;36(3):440-5.
• ³⁴
  Long D, Horn D, Keogh S. A survey of sedation assessment and management in Australian and New Zealand paediatric intensive care patients requiring prolonged mechanical ventilation. Aust Crit Care. 2005;18(4):152-7.
• ³⁵
  Ambuel B, Hamlett KW, Marx CM, Blumer JL. Assessing distress in pediatric intensive care environments: the COMFORT scale. J Pediatr Psychol. 1992;17(1):95-109.
• ³⁶
  Van Dijk M, de Boer JB, Koot HM, Tibboel D, Passchier J, Duivenvoorden HJ. The reliability and validity of the COMFORT scale as a postoperative pain instrument in 0 to 3-year-old infants. Pain. 2000;84(2-3):367-77.
• ³⁷
  Curley MA, Harris SK, Fraser KA, Johnson RA, Arnold JH. State Behavioral Scale: a sedation assessment instrument for infants and young children supported on mechanical ventilation. Pediatr Crit Care Med. 2006;7(2):107-14.
• ³⁸
  Colleti Júnior J, Araujo OR, Andrade AB, Carvalho WB. Práticas relacionadas à avaliação de sedação, analgesia e delirium entre pediatras intensivistas no Brasil. Einstein (São Paulo). 2020;18:eAO5168.
• ³⁹
  Kudchadkar SR, Yaster M, Punjabi NM. Sedation, sleep promotion, and delirium screening practices in the care of mechanically ventilated children: a wake-up call for the pediatric critical care community. Crit Care Med. 2014;42(7):1592-600.
• ⁴⁰
  Garcia Guerra G, Joffe AR, Cave D, Duff J, Duncan S, Sheppard C, Tawfik G, Hartling L, Jou H, Vohra S; Sedation Withdrawal and Analgesia Team, and the Canadian Critical Care Trials Group. Survey of Sedation and Analgesia Practice among Canadian Pediatric Critical Care Physicians. Pediatr Crit Care Med. 2016;17(9):823-30.
• ⁴¹
  Grant MJ, Balas MC, Curley MA; RESTORE Investigative Team. Defining sedation-related adverse events in the pediatric intensive care unit. Hear Lung. 2013;42(3):171-6.
• ⁴²
  Amoretti CF, Rodrigues GO, Carvalho PR, Trotta EA. Validação de escalas de sedação em crianças submetidas à ventilação mecânica internadas em uma unidade de terapia intensiva pediátrica terciária. Rev Bras Ter Intensiva. 2008;20(4):325-30.
• ⁴³
  Brunow de Carvalho W, Lucas da Silva PS, Paulo CS, Fonseca MM, Belli LA. Comparison between the Comfort and Hartwig sedation scales in pediatric patients undergoing mechanical lung ventilation. Sao Paulo Med J. 1999;117(5):192-6.
• ⁴⁴
  Smith HA, Boyd J, Fuchs DC, Melvin K, Berry P, Shintani A, et al. Diagnosing delirium in critically ill children: validity and reliability of the Pediatric Confusion Assessment Method for the Intensive Care Unit. Crit Care Med. 2011;39(1):150-7.
• ⁴⁵
  Traube C, Silver G, Kearney J, Patel A, Atkinson TM, Yoon MJ, et al. Cornell Assessment of Pediatric Delirium: a valid, rapid, observational tool for screening delirium in the PICU. Crit Care Med. 2014;42(3):656-63.
• ⁴⁶
  Molon ME, Castro RE, Foronda FA, Magalhães-Barbosa MC, Robaina JR, Piva JP, et al. Translation and cross-cultural adaptation of the Pediatric Confusion Assessment Method for the Intensive Care Unit into Brazilian Portuguese for the detection of delirium in pediatric intensive care units. Rev Bras Ter Intensiva. 2018;30(1):71-9.
• ⁴⁷
  Barbosa MD, Duarte MD, Bastos VC, Andrade LB. Translation and cross-cultural adaptation of the Cornell Assessment of Pediatric Delirium scale for the Portuguese language. Rev Bras Ter Intensiva. 2018;30(2):195-200.
• ⁴⁸
  Smith HA, Gangopadhyay M, Goben CM, Jacobowski NL, Chestnut MH, Savage S, et al. The Preschool Confusion Assessment Method for the ICU: Valid and Reliable Delirium Monitoring for Critically Ill Infants and Children. Crit Care Med. 2016;44(3):592-600.
• ⁴⁹
  Ista E, van Beusekom B, van Rosmalen J, Kneyber MC, Lemson J, Brouwers A, et al. Validation of the SOS-PD scale for assessment of pediatric delirium: a multicenter study. Crit Care. 2018;22(1):309.
• ⁵⁰
  Almgren M, Lundmark M, Samuelson K. The Richmond Agitation-Sedation Scale: translation and reliability testing in a Swedish intensive care unit. Acta Anaesthesiol Scand. 2010;54(6):729-35.
• ⁵¹
  Benítez-Rosario MA, Castillo-Padrós M, Garrido-Bernet B, González-Guillermo T, Martínez-Castillo LP, González A; Members of the Asocación Canaria de Cuidados Paliativos (CANPAL) Research Network. Appropriateness and reliability testing of the modified Richmond Agitation-Sedation Scale in Spanish patients with advanced cancer. J Pain Symptom Manage. 2013;45(6):1112-9.
• ⁵²
  Stasevic K, Stasevic M, Jankovic S, Djukic D, Dutina A, Grbic I. The validation and inter-rater reliability of the Serbian translation of the Richmond agitation and sedation scale in post anesthesia care unit patients. Hippokratia. 2016;20(1):50-4.

Editado por

Editor responsável: Antonio Paulo Nassar Jr.

Datas de Publicação

• Publicação nesta coleção
  19 Abr 2021
• Data do Fascículo
  Jan-Mar 2021

Histórico

• Recebido
  17 Fev 2020
• Aceito
  28 Maio 2020