Aplicação da curva CUSUM para avaliar o treinamento da intubação orotraqueal com o laringoscópio Truview EVO2®

Aplicación de la curva CUSUM para evaluar el entrenamiento de la intubación orotraqueal con el laringoscopio Truview Evo2®

Resumos

BACKGROUND AND OBJECTIVES: Learning curves have proved to be useful tools to monitor the performance of a worker on a new assignment. Those curves have been used to evaluate several medical procedures. The objective of this study was to evaluate the learning of orotracheal intubation (OTI) with the Truview EVO2® laryngoscope with the CUSUM learning curve. METHODS: Four trainees underwent OTI training with the Truview EVO2® laryngoscope in a mannequin. They received orientation on the successful and failure criteria of OTI and alternated during the attempts, for a total of 300 OTI for each one. Four learning curves were plotted using the CUSUM cumulative addition method. RESULTS: It was calculated that the 105 OTIs were necessary to achieve proficiency. The four trainees crossed the line of acceptable failure rate of 5% before completing 105 OTIs; the first trainee reached proficiency after 42 OTIs, the second and third after 56 OTIs, and the fourth after 97 OTIs, and from then on their performance remained constant. Differences in the success rate between residents and experienced anesthesiologists were not observed. CONCLUSIONS: The CUSUM learning curve is a useful instrument to demonstrate objectively the ability when performing a new task. Laryngoscopy with the Truview EVO2® in a mannequin proved to be an easy procedure for physicians with prior experience in OTI; however, one should be cautious when transposing those results to clinical practice.

ANESTHESIOLOGY, Teaching; TRACHEAL INTUBATION

ARTIGO CIENTÍFICO

Aplicação da curva CUSUM para avaliar o treinamento da intubação orotraqueal com o laringoscópio Truview EVO2^®*

Aplicación de la curva CUSUM para evaluar el entrenamiento de la intubación orotraqueal con el laringoscopio Truview Evo2^®

Jaqueline Betina Broenstrup Correa^I; José Ernani Flores Dellazzana, TSA^II; Alexandre Sturm^III; Dante Moore Almeida Leite^III; Getúlio Rodrigues de Oliveira Filho, TSA^IV; Rogério Gastal Xavier^V

^IAnestesiologista

^IIAnestesiologista; Instrutor do CET/SBA do HCPA

^IIIME do CET/SBA do HCPA

^IVAnestesiologista; Responsável do CET/SBA Integrado de Anestesiologia da SES-SC

^VPneumologista; Doutor em Clínica Médica; Professor Associado do Departamento de Medicina Interna/UFRGS; Coordenador da Unidade de Broncologia e do Laboratório Experimental de Vias Aéreas e Pulmão do HCPA

^{Endereço para correspondência}

RESUMO

JUSTIFICATIVA E OBJETIVOS: As curvas de aprendizado têm se mostrado ferramentas úteis no monitoramento do desempenho de um trabalhador submetido a uma nova tarefa. Essas curvas vêm sendo utilizadas na avaliação de vários procedimentos na prática médica. O objetivo desta pesquisa foi avaliar o aprendizado da intubação orotraqueal (IOT) com o laringoscópio Truview EVO2^® através da curva de aprendizado CUSUM.

MÉTODO: Quatro aprendizes realizaram o treinamento da IOT com o laringoscópio Truview EVO2^® em manequim. Eles foram orientados quanto aos critérios de sucesso e falha na IOT e alternaram-se nas tentativas, num total de 300 IOT para cada um deles. Quatro curvas de aprendizado foram construídas a partir do método da soma cumulativa CUSUM.

RESULTADOS: O número calculado para adquirir proficiência na tarefa foi de 105 IOT. Os quatro aprendizes cruzaram a linha de taxa de falha aceitável de 5% antes de completar 105 IOT: o primeiro aprendiz alcançou a faixa de proficiência após 42 IOT, o segundo e o terceiro aprendizes, após 56 IOT, e o quarto aprendiz, após 97 IOT, mantendo-se constantes em seus desempenhos a partir de então. Não houve diferença na taxa de sucesso entre residentes e anestesiologistas experientes.

CONCLUSÕES: A curva de aprendizado CUSUM é um instrumento útil para demonstração objetiva de habilidade na execução de uma nova tarefa. A laringoscopia com o Truview EVO2^® em manequim demonstrou ser um procedimento fácil para médicos com experiência prévia em IOT, porém, a transposição dos resultados para a prática clínica deve ser cautelosa.

Unitermos: ANESTESIOLOGIA, Ensino: Intubação; INTUBAÇÃO TRAQUEAL.

RESUMEN

JUSTIFICATIVA Y OBJETIVOS: Las curvas de aprendizaje han sido herramientas útiles en el monitoreo del desempeño de un trabajador sometido a una nueva tarea. Esas curvas han venido siendo utilizadas en la evaluación de varios procedimientos en la práctica médica. El objetivo de esta investigación, fue evaluar el aprendizaje de la intubación orotraqueal (IOT) con el Laringoscopio Truview Evo2^® a través de la curva de aprendizaje CUSUM.

MÉTODO: Cuatro aprendices realizaron el entrenamiento de la IOT con el Laringoscopio Truview Evo2^® en un maniquí. Se les orientó en cuanto a los criterios de éxito y falla en la IOT y se intercambiaban los intentos, en un total de 300 IOT para cada uno de ellos. Cuatro curvas de aprendizaje fueron construidas a partir del método de la suma acumulativa CUSUM.

RESULTADOS: El número calculado para adquirir el desempeño en la tarea fue de 105 IOT. Los cuatro aprendices cruzaron la línea de rango de falla aceptable de un 5% antes de completar 105 IOT: el primer aprendiz alcanzó el rango de desempeño después del 42 IOT, el segundo y el tercer aprendiz después de 56 IOT, y el cuarto aprendiz, después de 97 IOT, manteniéndose constantes en sus desempeños a partir de ese momento. No se registró diferencias en la tasa de éxito entre residentes y anestesiólogos expertos.

CONCLUSIONES: La curva de aprendizaje CUSUM es un instrumento útil para la demostración objetiva de la habilidad en la ejecución de una nueva tarea. La laringoscopia con el TruviewEvo2^® en un maniquí, demostró ser un procedimiento fácil para médicos con experiencia previa en IOT, sin embargo, al llevar los resultados a la práctica clínica, eso deberá hacerse con cautela.

INTRODUÇÃO

Há uma necessidade crescente de assegurar a qualidade no desempenho de habilidades exercidas na prática médica. Tais habilidades têm impacto sobre o atendimento aos pacientes e os resultados obtidos por equipes e instituições ¹.

Na primeira metade do século 20, modelos matemáticos foram aplicados ao controle de qualidade das linhas de produção industrial. A Curva de Soma Cumulativa (CUSUM) é uma das técnicas estatísticas conhecidas como Análise Sequencial. Os testes sequenciais foram desenvolvidos como instrumento para avaliar se a qualidade de um processo de produção está "sob controle" (produzindo itens dentro de um limite definido de qualidade) ou "fora de controle" e, baseado numa regra determinada a priori, interromper o processo, corrigi-lo e recomeçar dentro de um desempenho aceitável ^2-4.

A introdução de modelos matemáticos para o controle de qualidade na área biomédica vem da aplicação bem sucedida desses modelos nas linhas de produção da indústria. A análise CUSUM tem demonstrado ser instrumento objetivo e eficaz para assistir ao processo de aprendizado e monitorar a desempenho em procedimentos como endoscopias, colonoscopias, biópsias guiadas por ultrassonografia, procedimentos cirúrgicos e anestésicos, testes laboratoriais, para citar alguns ^5-15.

O aspecto mais difícil na aplicação dessa técnica para avaliar o treinamento é estabelecer a taxa aceitável e inaceitável de falha. Essa informação pode vir das orientações (guidelines) de Comissões de Especialistas na área que se pretende estudar, de trabalhos sobre o mesmo tema publicados na literatura ou de informações coletadas no local de estudo, a partir do desempenho da equipe mais experiente, desempenho que se deseje alcançar através do treinamento dos aprendizes. Contanto que se possa definir rigorosamente o que é sucesso e o que é falha e assegurar a consistência dessas definições, o procedimento a ser acompanhado pode ser submetido à análise CUSUM ³.

Dentre as várias habilidades desenvolvidas na prática anestésica inclui-se a intubação orotraqueal (IOT). O número de tentativas de IOT necessárias para adquirir proficiência, demonstrado por residentes em treinamento, é muito variável ^5,11,13-15. Alguns fatores podem interferir na aquisição da habilidade, como experiência prévia com técnicas semelhantes. Estudos conduzidos na área de atendimento a vítimas de trauma mostraram taxa de falha de IOT que pode chegar a 5% quando realizada por profissionais experientes, no ambiente hospitalar ¹⁶. Em anestesia geral, a IOT difícil ocorre com uma frequência entre 0,5% e 2%, podendo ser maior quando especialidades cirúrgicas isoladas são estudadas ¹⁷. A falha de IOT ocorre com menos frequência, variando entre 0,05% a 0,35%, dependendo da referência pesquisada ^17-19.

O objetivo deste estudo foi avaliar, pela técnica CUSUM, o aprendizado da IOT em manequim, com um novo modelo de laringoscópio lançado recentemente no mercado nacional, o Truview EVO2^®- Truphatek. A laringoscopia e a IOT com esse modelo apresentam diferenças em relação à envolvida no equipamento padrão, qual seja, o laringoscópio Macintosh, que, por ser de domínio dos autores pode vir a ter reflexos nos resultados dos estudos clínicos que se pretende desenvolver.

MÉTODO

Durante os meses de novembro e dezembro de 2007, sete encontros foram agendados para o treinamento da (IOT) com o laringoscópio Truview EVO2^®, em manequim Laerdal Airway Management (Laerdal^®), para construção da curva de aprendizado CUSUM.

Quatro dos pesquisadores foram os sujeitos estudados e tiveram de manifestar seu acordo em participar do projeto mediante assinatura de Consentimento Livre e Esclarecido. O projeto foi aprovado pelo Comitê de Ética do Hospital de Clínicas de Porto Alegre.

Descrição do equipamento

O laringoscópio Truview EVO2^® (Truphatek - Israel) é composto por um cabo-padrão, que comporta duas pilhas de tamanho C (médias) alcalinas que alimentam uma lâmpada de xenônio de 2,5 volts. O cabo articula-se a uma lâmina angulada (Figuras 1 e 2). Acoplada à lâmina, há uma óptica com refração de 42 graus: na extremidade proximal ao usuário fica o visor da óptica, com diâmetro de 15 mm, que permite a visão indireta da glote e das cordas vocais. O visor pode ser conectado ao cabo de um sistema endoscópico, para exibição da IOT na tela de vídeo. Na lâmina também há uma entrada para oxigênio, que pode ser usada para evitar o depósito de vapor na óptica, devido ao calor do corpo do paciente. Soluções antiembaçamento para uso médico também podem ser usadas para evitar esse efeito.

Descrição do procedimento

O procedimento teve início com a leitura das instruções contidas no Manual do Usuário, que acompanha o produto.

Os aprendizes foram orientados quanto aos critérios de sucesso e falha na IOT e alternaram-se nas tentativas, num total de 300 IOT para cada um deles, distribuídas pelos sete encontros.

Enquanto um aprendiz procedia à IOT, o segundo cronometrava o tempo, o terceiro efetuava o registro numa planilha e o quarto realizava na ventilação com dispositivo balão-válvula (Figura 3).

Critérios de sucesso e fracasso na IOT

• Sucesso: intubação orotraqueal em tempo igual ou inferior a 45 segundos, confirmada por visualização da cânula orotraqueal na traqueia do manequim e insuflação dos pulmões através de ventilação manual com dispositivo balão-válvula.

• Fracasso: tempo para intubação orotraqueal superior a 45 segundos e/ou incapacidade de intubação.

A taxa de falha aceitável (p0) para IOT foi de 5%, e a de falha inaceitável (p1), de 10%. Foram definidas taxas de falha aceitável e inaceitável mais rigorosas que as da literatura pesquisada por estar-se avaliando residentes e anestesiologistas com experiência em IOT. A probabilidade de erro tipo I (α) e II (β) foi determinada em 0,1.

O cálculo do tamanho da amostra (número de IOT) para uma taxa aceitável de falha de 5% foi de 105 tentativas.

A partir dos dados das 300 IOTs efetuadas no manequim, foram construídas as curvas CUSUM para cada um dos aprendizes, de acordo com as fórmulas descritas no quadro I.

A taxa de sucesso dos residentes e dos anestesiologistas experientes foi comparada através do teste Exato de Fischer, com nível de significância de 5%.

Na apresentação gráfica da curva CUSUM, cada aprendiz foi representado simbolicamente por uma figura geométrica (▲, ■, ●, ♦) garantindo-lhes o anonimato.

RESULTADO

Os valores calculados para a construção da curva CUSUM estão demonstrados na tabela I. A partir da determinação de α e β de 0,1, da taxa de falha aceitável de 5% e da taxa de falha inaceitável de 10%, chegou-se às linhas h0 e h1 (Figura 4). Entre essas duas linhas horizontais, presentes no gráfico, está delimitada a área de indefinição quanto à proficiência, na sequência de tentativas de IOT. O gráfico da curva de aprendizado começa em zero. Os valores calculados de s (para cada sucesso), e de 1-s (para cada falha), determinam a direção da curva para baixo e para cima respectivamente. Quando a curva cruza a linha h1, significa que o aprendiz está apresentando uma taxa de falhas inaceitável para o procedimento em estudo, conforme o consenso da especialidade, e precisa ser avaliado quanto às causas dessas falhas, se elas persistirem. Ao cruzar a linha h0, o aprendiz demonstra ter adquirido a proficiência no procedimento, ou seja, taxa de falhas aceitável. O cálculo do tamanho da amostra equivale ao número de repetições necessárias para definir a tendência do aprendiz dentro dessas três possibilidades: proficiência, indefinição ou falta de proficiência. Taxa de falha inaceitável muito rigorosa se reflete num cálculo de amostra pequeno, podendo gerar alerta de falhas muito precocemente no treinamento ⁷. A escolha desse valor depende do impacto que as falhas podem ter sobre os pacientes, para que seja gerada uma intervenção que determine e corrija a causa dessas falhas ¹².

A determinação de valores iguais para alfa e beta gera distâncias idênticas de h0 e h1 a partir do zero. Porém, outros valores para alfa e beta podem ser escolhidos, de acordo com o risco que se queira correr de considerar apto alguém que não está, ou inapto alguém que já está suficientemente treinado dentro dos critérios estabelecidos ¹⁴.

O número calculado de repetições necessárias para o estudo foi de 105 IOT, para uma taxa aceitável de falha de 5%, com o laringoscópio Truview EVO2^®. Os quatro aprendizes, com tempos de experiência diferentes em Anestesiologia, completaram o treinamento proposto de 300 IOT, distribuídas em sete dias, uma vez por semana.

Todas as falhas ocorreram no primeiro dia de treinamento (Tabela II). Os quatro aprendizes cruzaram a linha de taxa de falha aceitável de 5% (h0) antes de completar as 105 IOT (Figura 4): o aprendiz ▲ alcançou a faixa de proficiência após 42 IOT, os aprendizes ■ e ♦, após 56 IOT e o aprendiz ●, após 97 IOT, mantendo-se constantes em seus desempenhos a partir de então.

Não houve diferença na taxa de sucesso entre residentes e anestesiologistas experientes (teste Exato de Fisher, p = 0,2).

DISCUSSÃO

A avaliação do aprendizado na tarefa da IOT com o laringoscópio Truview EVO2^® foi realizada em manequim. A transposição dos resultados para o cenário clínico tem limitações a ser consideradas. A realidade apresenta situações mais complexas que podem resultar em desempenho inferior ao demonstrado em simulações. A diversidade na anatomia das vias aéreas, a urgência do procedimento e a experiência prévia são exemplos de fatores que têm potencial para influenciar os resultados de estudos realizados com pacientes. Porém, a execução de tarefas repetitivas pode ter início num ambiente de simulação. O uso de simuladores e manequins para treinamento na área da saúde baseia-se na ideia de desenvolver um nível mínimo de habilidade para facilitar o desempenho no momento do contato com os pacientes ^20,21. Exemplos clássicos no uso de manequins e simuladores são os treinamentos regulares de atendimento às vítimas de parada cardiorrespiratória ²¹ e os simuladores de voo usados na aeronáutica e no treinamento aeroespacial ²². A aplicação da curva CUSUM para situações clínicas que exijam estratificação de risco pode sofrer adaptações matemáticas para refletir de forma mais fidedigna o aprendizado nessas circunstâncias. Rogers e col. apresentaram revisão bastante ilustrativa a esse respeito, onde os autores discutem as várias adaptações da curva CUSUM, de acordo com o contexto que se queira avaliar.

As curvas de aprendizado vêm merecendo a atenção de pesquisadores na área médica que buscam uma forma sistemática de avaliar o aprendizado de médicos em treinamento e de monitorar o desempenho de profissionais já habilitados ^1,2,5-15.

Através da curva CUSUM, pode-se determinar quando o aprendiz passa a ter desempenho aceitável em tarefa, semelhante àquele apresentado por profissionais habilitados, podendo influenciar o planejamento dos programas de treinamento, tanto no que se refere ao número de oportunidades práticas a que o aprendiz deva ser exposto, quanto no que diz respeito à determinação de habilidades mínimas que permitam progressão para tarefas cada vez mais complexas, com maior segurança. Outro ponto positivo das curvas de aprendizado é a possibilidade de avaliação do desempenho ao longo do tempo, em oposição a um momento único, como nos testes e provas, que podem não descrever o desempenho verdadeiro do aprendiz ^24,25.

A IOT com o laringoscópio padrão Macintosh é uma tarefa já conhecida e dominada pelos quatro sujeitos da pesquisa, com níveis diferentes de experiência: dois médicos residentes e dois anestesiologistas. No entanto, o laringoscópio Truview EVO2^® exige rotina diferente para intubação. A principal diferença consiste na visão indireta da glote e das cordas vocais através de uma óptica, enquanto a laringoscopia tradicional permite a visão direta das cordas vocais. A inserção da cânula orotraqueal com o Truview EVO2^® tem que ser feita necessariamente com a mesma moldada por guia metálica. O sujeito que está procedendo à intubação só verá a extremidade distal da cânula quando ela alcançar a entrada da glote, num pequeno campo de visão projetado pela óptica. Para os aprendizes, essa foi considerada a parte mais difícil do procedimento: a habilidade de colocar no campo de visão da óptica a extremidade distal da cânula, para então inseri-la na glote, através das cordas vocais.

Conforme estabelecido pelas taxas de sucesso e falha aceitáveis, os aprendizes alcançaram a zona de proficiência entre a 46ª e a 97ª intubações realizadas em manequim. Esses números podem vir a ser comparados ao desempenho das intubações com pacientes, para determinar se o treinamento prévio em manequim poderia diminuir o número de procedimentos necessários na prática clínica. Em um estudo ¹⁴ que avaliou a curva de aprendizado de residentes de anestesia para IOT com o laringoscópio Macintosh, 57,14% cruzaram h0 (linha que delimita a zona de proficiência) após 43 ± 33,49 procedimentos. Porém, para um dos aprendizes, a curva permaneceu na zona de indeterminação após 144 procedimentos, mostrando a variabilidade que os sujeitos da pesquisa podem apresentar, bem como a necessidade de identificar aprendizes com maior dificuldade, a fim de gerenciar melhor o treinamento.

A consistência da curva no sentido de aprendizado foi grande para os treinados, com poucas falhas nas primeiras dez intubações e nenhuma falha até a 300ª intubação. Isso sugere a facilidade no uso do Truview EVO2^® para aqueles que já possuem treinamento prévio em laringoscopia. A facilidade no aprendizado se refletiu na semelhança de desempenho entre residentes e anestesiologistas experientes, sem diferença nas curvas de aprendizado entre eles.

O treinamento e a demonstração da aquisição de habilidade prática no uso de um novo equipamento são cruciais antes de se iniciarem estudos para compará-lo a uma técnica padrão, para que os resultados não possam ser atribuídos à falta de proficiência com o novo equipamento. O treinamento prévio no uso do laringoscópio Truview EVO2^® permitirá que os pesquisadores o comparem à técnica de IOT padrão, em situações onde existe uma promessa de superioridade de seu uso sobre a laringoscopia tradicional, como nas IOT difíceis por limitação da extensão cervical e em pacientes com cordas vocais menos visíveis (Cormack 3 e 4). É crítico que se esteja equipado e treinado em técnicas alternativas de abordagem das vias aéreas difíceis, como recomendam os algoritmos de várias sociedades internacionais de Anestesiologia e Medicina de Emergência ^17,27.

A facilidade demonstrada na aquisição da habilidade de IOT com o Truview EVO2^®, para médicos que já possuem alguma prática nessa tarefa, estimula a expansão do uso desse equipamento no treinamento de outros profissionais, como os médicos que trabalham em Medicina Intensiva e de Urgência, e como parte integrante do arsenal para o manuseio das vias aéreas.

Os autores agradecem ao Grupo de Reanimação Cardiorrespiratória do Hospital de Clínicas de Porto Alegre, pela cessão do manequim de treinamento Laerdal Airway Management (Laerdal^®).

Apresentado em 6 de novembro de 2008

Aceito para publicação em 28 de janeiro de 2009

• 01. Steiner SH, Cook RJ, Farewell VT et al. - Monitoring surgical performance using risk-adjusted cumulative sum charts. Biostatistics 2000;1:441-452.
• 02. Bolsin S, Colson M - The use of the Cusum technique in the assessment of trainee competence in new procedures. Int J Qual Health Care 2000;12:433-438.
• 03. Anzanello MJ, Fogliatto FS - Curvas de aprendizado: estado da arte e perspectivas de pesquisa. Gest Prod 2007;14:109-123.
• 04. Williams SM, Parry BR, Schlup MMT - Quality control: an application of the cusum. Br Med J 1992;304:1359-1361.
• 05. Kestin IG - A statistical approach to measuring the competence of anaesthetic trainees at practical procedures. Br J Anaesth 1995;75:805-809.
• 06. Nan Rij AM, McDonald JR; Pettigrew RA et al. - Cusum as an aid to early assessment of surgical trainee. Br J Surg 1995;82:1500-1503.
• 07. Lim TO, Soraya A, Ding LM et al. - Assessing doctors' competence: application of CUSUM technique in monitoring doctors' performance. Int J Qual Health Care 2002;14:251-258.
• 08. Lim TO - Statistical process control tools for monitoring clinical performance. Int J Qual Health Care 2003;15:3-4.
• 09. Leandro G, Rolando N, Gallus G et al. - Monitoring surgical and medical outcomes: the Bernoulli cumulative SUM chart. A novel application to assess clinical interventions. Postgrad Med J 2005;81:647-652.
• 10. Chang WR, McLean IP - CUSUM: A tool for early feedback about performance? BMC Med Res Methodol 2006;6:8.
• 11. Konrad C, Schüpfer G, Wietlisbach M et al. - Learning manual skills in anesthesiology: is there a recommended number of cases for anesthetic procedures? Anesth Analg 1998;86:635-639.
• 12. Rogers CA, Reeves BC, Caputo M et al. - Control chart methods for monitoring cardiac surgical performance and their interpretation. J Thorac Cardiovasc Surg 2004;128:811-819.
• 13. Charuluxananan S, Kyokong O, Somboonviboon W et al. - Learning manual skills in spinal ansthesia and orotracheal intubation: is there any recommended number of cases for anesthesia residency training program? J Med Assoc Thai 2001;84(suppl 1):S251-5.
• 23. Cooper JB, Taqueti VR - A brief history of the development of mannequin simulators for clinical education and training. Qual Saf Health Care 2004;13(suppl 1):11-18.
• 24. Newble D - Techniques for measuring clinical competence: objective structured clinical examinations. Med Educ 2004;38: 199-203.
• 25. Sivarajan M, Miller E, Hardy C et al. - Objective evaluation of clinical performance and correlation with knowledge. Anesth Analg 1984;63:603-607.
• 26. Hagberg CA, Benumof JL - The American Society of Anesthesiologists' Management of the Difficult Airway Algorithm and Explanation: analysis of the algorithm, em: Hagberg CA - Benumof's Airway Management: Principles and Practice, 2 Ed, Philadelphia, Mosby-Elsevier 2007;236-251.

*

Recebido do Laboratório Experimental de Vias Aéreas e Pulmões do Centro de Pesquisas do Hospital de Clínicas de Porto Alegre (HCPA/UFRGS) - Serviço de Pneumologia, Porto Alegre, RS

Datas de Publicação

• Publicação nesta coleção
  26 Maio 2009
• Data do Fascículo
  Jun 2009

Histórico

• Recebido
  06 Nov 2008
• Aceito
  28 Jan 2009