Protocolo de Avaliação Miofuncional Orofacial com Escores Informatizado: usabilidade e validade

Resumos

OBJETIVO:  Testar a usabilidade do protocolo de Avaliação Miofuncional Orofacial com Escores (AMIOFE) Informatizado e analisar a validade do mesmo.

MÉTODOS:  Estudo dividido em três etapas: a primeira, produção da versão informatizada do AMIOFE. A segunda etapa consistiu na validação da interface do usuário, na qual 100 protocolos AMIOFE de um banco de dados, preenchidos em versão impressa, foram transferidos empregando o instrumento informatizado. Alterações necessárias no sistema ocorreram nessa etapa. Na terceira etapa, usabilidade da versão multimídia do protocolo AMIOFE, três avaliadoras transferiram os dados de outros 25 protocolos do banco de dados para a versão informatizada, sendo que o tempo para a transferência dos dados de cada protocolo foi computado e comparado entre os examinadores pelo teste ANOVA one-way. Além disso, essas avaliadoras analisaram a usabilidade do protocolo informatizado de acordo com os "Dez princípios de usabilidade Heurística", como descritos na literatura.

RESULTADOS:  O protocolo informatizado satisfez aos princípios de usabilidade heurística, de acordo com a avaliação das três avaliadoras fonoaudiólogas, e o tempo médio despendido pelas avaliadoras para a transposição dos dados de cada protocolo para o software variou de 3,1±0,75 a 3,83±0,91 minutos.

CONCLUSÃO:  O protocolo AMIOFE Informatizado é válido e teve sua usabilidade/funcionalidade confirmada.

Avaliação; Validação de Programas de Computador; Diagnóstico por Computador; Interface Usuário-Computador; Fonoaudiologia; Sistema Estomatognático

PURPOSE:  To test the usability of Computerized Orofacial Myofunctional Evaluation (OMES) protocol and analyze its validity.

METHODS:  The study was divided into three stages: the first stage, production of the computerized version of OMES. The second stage was the validation of the user's interface, in which 100 OMES protocols of a database, filled in printed version, were transferred using the computerized instrument. Necessary changes to the system have occurred at this stage. In the third stage, usability of the OMES protocol in multimedia version, three evaluators transferred data from other 25 printed protocols from database for the computerized version, and the time to transfer the data of each protocol was computed and compared between examiners by one-way ANOVA. Moreover, these evaluators analyzed the usability of computerized protocol according to the "Ten principles of Heuristics usability" as described in the literature.

RESULTS:  The computerized protocol satisfied the principles of heuristics usability, according to the evaluation of the three Speech-Language Pathology evaluators, and the average time spent by the evaluators to transpose the data of each protocol to the software ranged from 3.1±0.75 to 3.83±0.91 minutes.

CONCLUSION:  The Computerized AMIOFE protocol is valid and had its usability/functionality confirmed.

Evaluation; Software Validation; Diagnosis, Computer-Assisted; User-Computer Interface; Speech, Language and Hearing Sciences; Stomatognathic System

INTRODUÇÃO

O avanço tecnológico e a habilitação de profissionais viabilizaram a construção de protocolos eletrônicos. Vários serviços de saúde já os implantaram ou estão em fase de implantação, para aplicação clínica e em pesquisas científicas. Portanto, a Fonoaudiologia precisa acompanhar esse momento de transição e participar dele.

Os protocolos eletrônicos propiciam melhor acesso à informação, maior segurança, troca eletrônica de dados entre as instituições, facilidade para realização de pesquisas coletivas, com possibilidade de resgate e cruzamento dessas informações^{( 1 )}.

Anteriormente, o seu uso era limitado devido ao custo dos equipamentos, à manutenção e à falta de mão-de-obra qualificada ou pela possível resistência das pessoas à informática. Contudo, hoje é possível realizar a criação destes, aumentando a taxa de precisão dos registros, com baixo custo, reduzido espaço físico e o mínimo treinamento de pessoas^{( 2 - 6 )}.

Esses instrumentos podem favorecer a organização administrativa e financeira dos atendimentos, o tempo da equipe na manipulação dos procedimentos, o resgate de informações sobre os pacientes, o conhecimento e a disponibilidade desse conhecimento onde e quando ele for necessário, para a adequada tomada da decisão e, em certos casos, a geração do diagnóstico e a orientação terapêutica^{( 1 , 7 , 8 )}.

Com base nisso, foi desenvolvida a versão informatizada do Protocolo de Avaliação Miofuncional Orofacial com Escores (AMIOFE)^{( 9 )}, a fim de otimizar os registros para o uso clínico e em pesquisas.

Resumidamente, o protocolo AMIOFE foi criado para conter dados suficientes para detecção e graduação de distúrbios miofuncionais orofaciais, sem que fosse extenso e demasiadamente abrangente. Previamente, ele foi validado para crianças^{( 9 )}, jovens e adultos, com boa sensibilidade e especificidade^{( 10 )}.

Para que a utilização de um software seja válida e ocorra com propriedade, este deve passar por uma etapa conhecida como inspeção de usabilidade (funcionalidade), que é uma forma de avaliar as interfaces do usuário^{( 11 )}.

Usabilidade é definida na norma ISO 9241-11 como: "medida na qual um produto pode ser usado por usuários específicos para alcançar objetivos específicos com eficácia, eficiência e satisfação em um contexto específico de uso" (p. 3)^{( 12 )}.

Portanto, diz respeito à interação homem-máquina. Para ser facilmente aceito pelo usuário, o instrumento deve ser fácil de aprender a usar, fácil de utilizar^{( 13 )} e a sua validade está relacionada à satisfação e utilidade percebidas pelos usuários^{( 14 )}.

O objetivo do presente estudo foi verificar a usabilidade do protocolo AMIOFE Informatizado e analisar sua validade.

MÉTODOS

O projeto foi aprovado pelo Comitê de Ética em Pesquisa do Hospital das Clínicas da Faculdade de Medicina de Ribeirão Preto da Universidade de São Paulo (HCFMRP-USP) de acordo com o Processo HCRP n° 15602/2-12. Os participantes (avaliadoras) foram esclarecidos sobre os objetivos e métodos da pesquisa e foi solicitado que assinassem o Termo de Consentimento Livre e Esclarecido.

Produção da versão informatizada protocolo Avaliação Miofuncional Orofacial com Escores

No protocolo AMIOFE informatizado, foram mantidas as características da versão original e, consequentemente, as suas propriedades psicométricas^{( 9 )}. O desenvolvimento do software foi realizado por um graduando do curso de Informática Biomédica sob orientação de um docente da área. Para sua criação, foi utilizada a linguagem de programação Java, executável no sistema operacional Windows, na seguinte ordem:

1. entrada no sistema e seleção de protocolo preexistente ou novo;

2. dados de identificação do paciente;

3. dados da avaliação de aparência e postura;

4. dados de avaliação de mobilidade;

5. dados relativos às funções;

6. dados da avaliação funcional da oclusão;

7. espaço reservado para comentários finais.

Validação da interface do usuário

Nesta etapa de pré-teste do instrumento, foram utilizados 100 protocolos AMIOFE, preenchidos em versão impressa, provenientes do banco de dados de pesquisas anteriores da equipe. Todos foram transferidos para a versão informatizada por uma aluna de iniciação científica.

Vinte e cinco protocolos impressos foram aleatoriamente selecionados do total e transferidos para o AMIOFE Informatizado por outro membro da equipe. Para não serem criadas duplicatas, os registros foram introduzidos no sistema com um código antes da identificação.

Posteriormente, cada usuário listou as possíveis alterações no software relacionadas ao funcionamento e/ou erros detectados, elas foram confrontadas e discutidas e, então, apresentadas, para que as mudanças necessárias fossem realizadas na área de Informática Biomédica, antes da etapa seguinte.

Usabilidade da versão multimídia do protocolo Avaliação Miofuncional Orofacial com Escores

A versão corrigida do protocolo AMIOFE Informatizado foi testada quanto a sua validade da seguinte maneira:

A. Três fonoaudiólogas (média de idade: 25±0,8), com treino prévio na área da motricidade orofacial e com diferentes níveis de treinamento (de 30 a 66 meses, média: 46meses±18,3) para o uso do protocolo AMIOFE (versão impressa), participaram como avaliadoras da usabilidade. Elas digitalizaram os dados independentemente e não trocaram informações.

Foram transferidos dados de outros 25 protocolos impressos do banco de dados, diferentes dos da etapa anterior, para a versão informatizada. Para não criar duplicatas no sistema, cada avaliadora digitou no sistema um código diferente na identificação de cada protocolo.

B. O tempo para a transferência dos dados de cada protocolo foi computado.

C. As três avaliadoras, também independentemente, analisaram a usabilidade do sistema de acordo com os "Dez princípios de usabilidade Heurística", propostos por Nielsen^{( 11 )}. Em relação a cada um dos itens descritos, cada avaliadora respondeu a uma das alternativas: não satisfaz (escore 1), satisfaz parcialmente (escore 2), satisfaz (escore 3). O instrumento de avaliação de usabilidade, contendo os princípios e as suas descrições, é apresentado no Quadro 1.

Quadro 1
Avaliação de Usabilidade Heurística realizada pelos avaliadores quanto ao protocolo Avaliação Miofuncional Orofacial com Escores Informatizado

Análise dos dados

A estatística descritiva foi realizada para as variáveis envolvidas. Os examinadores foram comparados quanto ao tempo despendido para a transferência das informações pelo teste ANOVA one-way.

RESULTADOS

Validação da interface do usuário

Durante o pré-teste do protocolo AMIOFE Informatizado, foram constatados problemas e as mudanças necessárias para tais foram propostas. De modo geral, os principais erros encontrados foram relativos à padronização dos marcadores no protocolo; botões que não estavam cumprindo suas funções adequadamente ou, ainda, que estavam faltando; ausência de itens do protocolo impresso; e sobreposição de alguns dados ao abrir um protocolo já preenchido.

Antes de iniciar a etapa do teste de usabilidade da versão multimídia do protocolo AMIOFE, foram realizados os ajustes e solucionados os problemas já listados. Dessa maneira, o protocolo informatizado, como citado anteriormente, seguiu o padrão do protocolo impresso, como ilustrado nas Figuras 1 e 2.

Figura 1
Exemplo de tela do protocolo Avaliação Miofuncional Orofacial com Escores Informatizado relativa à avaliação da mobilidade

Figura 2
Exemplo de tela do protocolo Avaliação Miofuncional Orofacial com Escores Informatizado relativa à avaliação funcional da oclusão

Usabilidade da versão multimídia do protocolo Avaliação Miofuncional Orofacial com Escores

O protocolo informatizado satisfez aos princípios de usabilidade heurística, de acordo com a avaliação das três avaliadoras fonoaudiólogas, com pontuação variando de 28 a 29, num total de 30 pontos. O princípio avaliado com o menor escore foi o (5) "prevenção de erros". Os dados e as somas são apresentados na Tabela 1.

Tabela 1
Avaliação de usabilidade heurística do protocolo Avaliação Miofuncional Orofacial com Escores Informatizado, de acordo com os princípios de Nielsen(11)

Princípio	Escores atribuídos por avaliador			Total
	Avaliadora 1	Avaliadora 2	Avaliadora 3
1	3	3	3	9
2	3	3	3	9
3	2	3	3	8
4	3	3	3	9
5	2	3	2	7
6	3	2	3	8
7	3	3	3	9
8	3	3	3	9
9	3	2	3	8
10	3	3	3	9
Total por avaliadora	28	28	29	85

O tempo médio despendido pelas avaliadoras para a transposição dos dados de cada protocolo para o software variou de 3,1 a 3,83 minutos. O tempo despendido pela avaliadora 2 foi significantemente maior que o da avaliadora 3 (p<0,01). A comparação estatística é apresentada na Tabela 2 e no Gráfico 1.

Tabela 2
Tempo total despendido por avaliadora para a transferência de 25 protocolos Avaliação Miofuncional Orofacial com Escores da versão impressa para a informatizada. Médias e desvios padrão, em minutos

	Avaliadora 1	Avaliadora 2	Avaliadora 3	Valor de p
Total	83,1a	95,93a,b	77,77a,c	0,01
Média	3,32	3,83	3,10
DP	0,73	0,91	0,75

• Médias com diferentes letras indicam diferenças no pós-teste de Tukey
• ^Legenda
  : p = probabilidade no teste estatístico ANOVA; DP = desvio padrão

Gráfico 1
Tempos totais médios despendidos por avaliadora para digitação dos protocolos, em minutos, com os respectivos desvios padrão

DISCUSSÃO

No presente estudo, a usabilidade heurística do protocolo AMIOFE Informatizado foi determinada, com excelente resultado nas avaliações das três usuárias.

Um problema de usabilidade pode ser definido como qualquer característica, observada em determinada situação, que possa retardar, prejudicar ou inviabilizar a realização de uma tarefa, aborrecendo, constrangendo ou traumatizando o usuário^{( 15 )}.

No caso do AMIOFE Informatizado, apenas o item relativo à possibilidade de "prevenção de erros" foi avaliado por dois dos avaliadores como satisfazendo parcialmente. De fato, o programa não informa se, por exemplo, o avaliador se esquecer de introduzir um ou mais dados da avaliação. Assim sendo, não há bloqueio que possa impedir a continuidade. Mas, de outro ponto de vista, se um dado não puder ser obtido, isso não impossibilitará a continuidade da avaliação e registro.

O tempo médio despendido para a transposição dos dados foi breve, no máximo 3,83±0,91 minutos, e a diferença entre duas das avaliadoras, embora significante estatisticamente, não ultrapassou um minuto. Esse tempo não diz respeito à avaliação do paciente com simultânea introdução dos dados no protocolo eletrônico, mas sim, como explicado, apenas à transposição do papel para o programa.

A meta em relação ao AMIOFE Informatizado foi torná-lo funcional. Seguindo os princípios propostos por Nielsen^{( 11 )}, as informações aparecem em uma ordem natural e lógica, com uma linguagem facilmente compreendida pelo usuário, como já fora delineada no protocolo original, facilitando seu manejo.

Protocolos eletrônicos concedem muitas facilidades e garantem melhora na gestão de informação e na qualidade das pesquisas^{( 1 )}. Em termos clínicos, a versão informatizada do protocolo em questão acrescentará praticidade, velocidade e facilidade de visualização dos resultados, porque, com apenas um comando ("click"), é possível introduzir o resultado do item avaliado e para cada categoria do protocolo, como aparência, postura, mobilidade dos componentes do sistema estomatognático e funções (respiração, mastigação e fala). O software apresenta a sua somatória, tão logo concluída a respectiva avaliação. Ao concluir a avaliação, a pontuação total é informada e corresponde à condição miofuncional orofacial do sujeito avaliado.

A partir disso, o profissional poderá definir a necessidade de terapia miofuncional orofacial para um determinado paciente, comparando o resultado numérico de sua avaliação aos parâmetros de normalidade, previamente descritos^{( 16 , 17 )}.

Cabe ressaltar que o uso do protocolo AMIOFE informatizado não elimina a necessidade de conhecimentos relativos à área de motricidade orofacial e de treinamento em avaliação propriamente dita.

Uma avaliação miofuncional orofacial criteriosa, principalmente quando o instrumento utilizado teve a sua validade testada e apresenta bons níveis de sensibilidade e especificidade, favorece o correto diagnóstico fonoaudiológico e a decisão terapêutica adequada^{( 18 )}.

A usabilidade do protocolo AMIOFE Informatizado durante a avaliação do paciente é viável e um banco de dados digital é gerado com todas as informações. Portanto, não mais será necessária a digitação dos dados posteriormente à avaliação, o que reduzirá o tempo para organização destes, bem como melhora na qualidade da informação e de precisão dos registros^{( 4 )}. Os dados relacionados aos pacientes bem como os resultados poderão ser resgatados de maneira rápida, clara, sem gerar dúvidas^{( 3 )} e com custos reduzidos^{( 5 )}.

A necessidade de informatização em diversas áreas, incluindo na área da saúde, mostra-se cada vez mais indispensável, uma vez que seus avanços abriram inúmeras possibilidades para a utilização da informática na clínica e na pesquisa científica^{( 4 )}. Especialmente a pesquisa científica cresceu tanto qualitativa como quantitativamente^{( 3 )}.

De acordo com nosso conhecimento, o protocolo AMIOFE Informatizado é o primeiro instrumento de avaliação miofuncional orofacial em versão eletrônica, com comprovada validade de critério e de construto^{( 9 , 10 )}, bem como usabilidade heurística, elaborado na área de motricidade orofacial, em versão digitalizada. Com base em nossa experiência, consideramos que ele tem potencial para favorecer avanços tanto na prática clínica como em pesquisas científicas na área.

CONCLUSÃO

O protocolo AMIOFE Informatizado teve sua usabilidade/funcionalidade confirmada e mostrou-se útil para o armazenamento e resgate dos dados da avaliação miofuncional orofacial.

AGRADECIMENTOS

Agradecemos a colaboração das fonoaudiólogas que participaram como avaliadoras neste trabalho.

Referências bibliográficas

• ¹ Cano DVB, Malafaia O, Alves VLS, Avanzi O, Pinto JSP. Protocolo eletrônico de fisioterapia respiratória em pacientes com escoliose idiopática do adolescente. Rev Col Bras Cir. 2011;38(3):177-80.
• ² McAfee A. Mastering the three worlds of information technology. Harv Bus Rev. 2006;84(11):141-9.
• ³ Garcia PN, Goldchmit M, Souza-Dias CR. Projeto piloto de informatização dos prontuários do setor de motilidade ocular extrínseca da Santa Casa de São Paulo. Arq Bras Oftalmol. 2008;71(4):504-8.
• ⁴ Zago-Filho LA, Malafaia O, Moreira ATR, Matias JEF. Base eletrônica de dados clínicos e cirúrgicos das doenças da retina e vítreo. Arq Bras Oftalmol. 2008;71(3):357-64.
• ⁵ Cavalcanti RF, Studart LM, Kosminsky M, Goes PSA. Validation of the multimedia version of the RDC/TMD axis II questionnaire in Portuguese. J Appl Oral Sci. 2010;18(3):231-6.
• ⁶ Fernandes GL, Santos RE, Malafaia O, Aoki T. Criação de protocolo eletrônico em câncer do colo do útero. Rev Col Bras Cir. 2012;39(1):28-32.
• ⁷ Wechsler R, Anção MS, Campos CJR, Sigulem D. A informática no consultório médico. J Pediatr (Rio J). 2003;79(supl. 1):S3-S12.
• ⁸ Nykänen P, Brender J, Talmon J, Keizer N, Rigby M, Beuscart-Zephir MC, et al. Guideline for good evaluation practice in health informatics (GEP-HI). Int J Med Inform. 2011;80(12):815-27.
• ⁹ Felício CM, Ferreira CLP. Protocol of orofacial myofunctional evaluation with scores. Int J Pediatr Otorhinolaryngol. 2008;7(3):367-75.
• ¹⁰ de Felício CM, Medeiros AP, de Oliveira Melchior M. Validity of the 'protocol of oro-facial myofunctional evaluation with scores' for young and adult subjects. J Oral Rehabil. 2012;39(10):744-53.
• ¹¹ Nielsen J. Heuristic evaluation. In: Nielsen J, Mack RL, editors. Usability inspection methods. New York: John Wiley & Sons; 1994.
• ¹² Associação Brasileira de Normas Técnicas. NBR ISO 9241-11/1998 - Requisitos Ergonômicos para Trabalho de Escritórios com Computadores: Orientações sobre Usabilidade. Rio de Janeiro: ABNT; 2000.
• ¹³ Carvalho AAA. Testes de usabilidade: exigência supérflua ou necessidade? In: Congresso da Sociedade Portuguesa de Ciência da Educação; 2002. Lisboa. Atas da Sociedade Portuguesa de Ciências da Educação; Lisboa; 2002. p. 235-42.
• ¹⁴ Sun J, Teng JTC. Information Systems Use: construct conceptualization and scale development. Comput Human Behav. 2012;28:1564-74.
• ¹⁵ Dias C. Usabilidade na Web: criando portais mais acessíveis. Rio de Janeiro: Alta Books; 2003.
• ¹⁶ de Felício CM, Sidequersky FV, Tartaglia GL, Sforza C. Electromyographic standardized indices in healthy Brazilian young adults and data reproducibility. J Oral Rehabil. 2009;36(8):577-83.
• ¹⁷ Giglio LD. Biomecânica orofacial e a eficiência mastigatória em adultos jovens. [dissertação]. Ribeirão Preto: Universidade de São Paulo; 2013.
• ¹⁸ Felício CM, Folha GA, Ferreira CLP, Medeiros APM. Expanded protocol of orofacial myofunctional evaluation with scores: validity and reliability. Int J Pediatr Otorhinolaryngol. 2010;74(11):1230-9.

• Fonte de financiamento: Pró-Reitoria de Pesquisa da Universidade de São Paulo.
• Trabalho realizado no Núcleo de Apoio à Pesquisa em Morfofisiologia, Complexo Craniofacial, Laboratório de Investigação do Sistema Estomatognático, Faculdade de Medicina de Ribeirão Preto, Universidade de São Paulo - USP - Ribeirão Preto (SP), Brasil.
• *
  CMF realizou a concepção e desenho do estudo, análise estatística, interpretação dos resultados, revisão do artigo e aprovação da versão a ser publicada; GAF realizou o desenho do estudo, coleta de dados, análise estatística, escrita do artigo, interpretação dos resultados e aprovação da versão a ser publicada; ASG realizou a coleta e tabulação dos dados, escrita do artigo e interpretação dos resultados; MMMD realizou a construção do instrumento informatizado, revisão do artigo e aprovação da versão a ser publicada; PMAM realizou a construção do instrumento informatizado, revisão e aprovação da versão a ser publicada.

Datas de Publicação

• Publicação nesta coleção
  July-Aug 2014

Histórico

• Recebido
  06 Fev 2014
• Aceito
  03 Jul 2014