Evaluación de usabilidad de un prototipo de tecnología digital educacional sobre monitorización de la presión intracraneal ¹

RESUMEN

Objetivo:

evaluar la usabilidad de un prototipo educacional digital sobre un nuevo método para monitorización de la presión intracraneal, de manera mínimamente invasiva.

Método:

estudio descriptivo con abordaje cuantitativo sobre la evaluación de usabilidad de un prototipo con base en las diez reglas Heurísticas de Nielsen. Participaron cuatro especialistas del área de Interacción Humana Computador.

Resultados:

la evaluación resultó en ocho reglas heurísticas violadas y 31 problemas de usabilidad en las 32 pantallas del prototipo.

Conclusión:

las sugestiones de los evaluadores fueron cruciales para el desarrollo de una interfaz amigable e intuitiva y éstas serán consideradas en la versión final de la tecnología educacional digital.

Descriptores:
Tecnología Educacional; Tecnología en Salud; Enfermería; Evaluación

ABSTRACT

Objective:

to assess the usability of a digital learning technology prototype as a new method for minimally invasive monitoring of intracranial pressure.

Method:

descriptive study using a quantitative approach on assessing the usability of a prototype based on Nielsen's ten heuristics. Four experts in the area of Human-Computer interaction participated in the study.

Results:

the evaluation delivered eight violated heuristics and 31 usability problems in the 32 screens of the prototype.

Conclusion:

the suggestions of the evaluators were critical for developing an intuitive, user-friendly interface and will be included in the final version of the digital learning technology.

Descriptors:
Educational Technology; Health Technology; Nursing; Evaluation

RESUMO

Objetivo:

avaliar a usabilidade de um protótipo educacional digital sobre um novo método para monitoração da pressão intracraniana de forma minimamente invasivo para enfermeiros e médicos.

Método:

estudo descritivo com abordagem quantitativa sobre a avaliação de usabilidade de um protótipo com base nas dez Heurísticas de Nielsen. Participaram quatro especialistas da área de Interação Humano Computador.

Resultados:

a avaliação resultou em oito heurísticas violadas e 31 problemas de usabilidade nas 32 telas do protótipo.

Conclusão:

as sugestões dos avaliadores foram cruciais para o desenvolvimento de uma interface amigável e intuitiva e serão consideradas na versão final da tecnologia educacional digital.

Descritores:
Tecnologia Educacional; Tecnologia em Saúde; Enfermagem; Avaliação

Introducción

El uso de la tecnología tiene una fuerte influencia en la sociedad actual, las informaciones surgen de forma acelerada de los cuatro cantos del mundo, por medio de computadores y dispositivos móviles conectados a la internet y, se puede decir que la tecnología y la sociedad son indisolubles¹.

Esa vasta demanda de información trae consigo la competitividad profesional y la exigencia de personas más calificadas e intelectivas en todas las áreas del conocimiento, siendo que en el área de la salud, la actualización profesional posibilita el desarrollo de competencias y habilidades para la toma de decisiones objetivando la seguridad del paciente².

Sin embargo, la falta de tiempo debido a la sobrecarga y al exceso de tareas diarias puede ser un obstáculo para la actualización profesional y, por otro lado, el ambiente de trabajo un facilitador a través de la Educación a Distancia (EaD)^2-5, además de la flexibilidad de horario y ritmo de aprendizaje^6-7.

La EaD está en expansión en el país y es considerada una herramienta eficiente por proporcionar a cualquier persona la posibilidad de buscar conocimiento, sin límites de frontera⁵. Entre las herramientas utilizadas en la EaD se puede citar a la tecnología digital educacional, que ha sido cada vez más utilizada para promover el aprendizaje en salud, principalmente, en la enfermería^6,8-10.

La utilización de tecnología digital educacional puede ser una estrategia eficiente en el proceso enseñanza/aprendizaje, sin embargo el desarrollo de esa herramienta necesita, además de un contenido pedagógico rico y dinámico, una interfaz bien planificada y que sea intuitiva para el usuario¹¹. En ese contexto, es importante que esos recursos sean evaluados por profesionales o usuarios, independientemente del método utilizado.

Diversos métodos de evaluación han sido utilizados en herramientas digitales educacionales^4,11-12, sin embargo, cuando se refiere a la calidad de la interfaz, o sea, un producto que satisfaga y atienda las necesidades del usuario, el método más empleado es el de usabilidad^13-16.

La evaluación de usabilidad se refiere a la facilidad con que los usuarios realizan determinadas tareas cuando interactúan con una herramienta u objeto por medio de una interfaz y está relacionada a cinco atributos: facilidad de aprendizaje, memorización, prevención de errores, eficiencia y satisfacción en el uso¹⁷.

Un estudio de revisión sistemática mostró que uno de los métodos de evaluación de usabilidad más utilizado es la evaluación heurística¹⁸. Entre estos, se puede citar las reglas heurísticas de Nielsen¹⁷, que es un método simple y de bajo costo¹⁹, capaz de encontrar varios problemas de usabilidad con un número reducido de evaluadores^15,19-20, en un corto período de tiempo²¹ que poseen alta confiabilidad en los resultados, además de posibilitar que sean suministradas sugestiones para la mejoría de la interfaz^16,19-20.

Cuanto más precoz se realiza la evaluación, menor será el costo con las alteraciones¹⁷. Así, la elaboración de prototipos surge como una estrategia eficiente y económica, una vez que posibles problemas pueden ser detectados por medio de pruebas y evaluaciones y corregidos antes de la versión final del producto^11,19-20,22.

En ese contexto, el objetivo de esa investigación fue evaluar la usabilidad de un prototipo de tecnología digital educacional sobre un nuevo método para monitorización de la presión intracraneal de manera mínimamente invasiva.

Método

Se trata de un estudio descriptivo con abordaje cuantitativo sobre la evaluación de usabilidad de un prototipo de tecnología digital educacional.

En la evaluación de usabilidad se utilizó el método analítico, en el cual los evaluadores especialistas en usabilidad inspeccionan una interfaz en busca de problemas, pudiendo proponer mejorías para la misma¹⁷. Existen diversos tipos de evaluación analítica, entre estos la evaluación heurística¹⁷, utilizada en esta investigación.

El método de evaluación heurístico se basa en la utilización de un conjunto de principios de usabilidad que orientan a los evaluadores en cuanto examinan una interfaz en busca de problemas y deficiencias¹⁷.

Se encuentran numerosas reglas heurísticas disponibles en guidelines, siendo que, dos expertos en usabilidad agruparon esas heurísticas en apenas diez reglas con el objetivo de facilitar la evaluación cuando colocadas en práctica, denominadas de reglas Heurísticas de Nielsen¹⁷.

La evaluación heurística debe ser ejecutada por un conjunto reducido de evaluadores que puede variar entre tres y cinco personas. Una cantidad inferior a tres es insuficiente para obtener resultados fidedignos y superior a cinco es desnecesaria, ya que las evaluaciones de los problemas de usabilidad encontradas se vuelven recurrentes¹⁷.

Siendo así, la evaluación fue realizada por profesionales del área de la informática matriculados en el Programa de postgraduación de Ciencias de la Computación de la Universidad Federal de Sao Carlos y que atendieron a los siguientes criterios de inclusión: ser especialista en el área Interacción Humana Computador (IHC) y ya haber realizado otras evaluaciones heurísticas.

Para la selección de los participantes fue utilizado el método intencional en el cual los mismos son escogidos intencionalmente, por el investigador, a partir de criterios de inclusión, que llevan en consideración el conocimiento del investigador sobre la población y sus características, lo que proporciona condiciones para que los individuos sean incluidos en la muestra²³. Así, cuatro participantes fueron convidados formalmente vía e-mail. Después de la confirmación, se programó una fecha y local para la primera fase de la evaluación.

Para proceder a la evaluación heurística, tres fases deben ser consideradas: pre-evaluación, evaluación y sesión con evaluadores¹⁷ las cuales son descritas a seguir.

Pre-evaluación

En esa fase, se debe presentar la interfaz al evaluador, suministrar informaciones sobre sus funcionalidades, objetivo y uniformización de las terminologías.

De esa forma, la presentación del prototipo a los evaluadores fue realizada por la investigadora en Power Point^(r), con el auxilio de un proyector multimedia. Durante el encuentro, con duración de dos horas y treinta minutos, también fue discutido entre los evaluadores la uniformización sobre las reglas heurísticas de Nielsen y los problemas y usabilidad que se encajaban en cada una de ellas, objetivando un mejor entendimiento sobre lo que evaluar. Fue suministrado un documento con preguntas relacionadas a cada regla heurística, como demostrado en la Figura 1. Además de eso, fue solicitado por la investigadora que fuesen sugeridas soluciones para el problema encontrado, lo que en ese tipo de evaluación no es obligatorio; al final, fue definido hora y local para el próximo encuentro.

Figura 1
Reglas Heurísticas de Nielsen⁽¹⁷⁾ y preguntas que fueron realizadas en cada regla heurística. Sao Carlos, SP, Brasil, 2013

Evaluación

Esa fase debe ser realizada individualmente y el participante puede escoger el local en donde se hará la evaluación. Cada evaluador debe inspeccionar, por lo menos, dos veces el prototipo; la primera tiene como objetivo familiarizar el evaluador con la interfaz y la segunda, permitir que el evaluador se enfoque en elementos específicos en busca de problemas de usabilidad siguiendo las diez reglas Heurísticas de Nielsen¹⁷, verificando su gravedad conforme los grados de severidad que pueden variar en una escala de cero (0) a cuatro (4), siendo que cuanto mayor es la puntuación, peor será el problema de usabilidad (Figura 2).

Figura 2
Escala de severidad atribuida en la evaluación de usabilidad, con base en las diez reglas Heurísticas de Nielsen. Sao Carlos, SP, Brasil, 2013

Los evaluadores optaron por realizar la evaluación individual en local y computador propio. Para eso, fue destinado a cada uno de ellos un CD-ROM con el prototipo y el instrumento de recolección de datos contiendo los siguientes ítems: heurística violada, problemas de usabilidad, local (pantalla del prototipo), severidades y soluciones.

Sesión con evaluadores y desarrolladores del proyecto

En esa fase los evaluadores se encontraron con la investigadora en fecha y local previamente determinado, con duración de tres horas y treinta minutos. El objetivo del encuentro fue la discusión entre los evaluadores sobre sus evaluaciones, o sea, las reglas heurísticas violadas, los problemas de usabilidad encontrados, las severidades, el local y las sugestiones para la solución de cada problema. Los evaluadores optaron en seguir el orden por pantalla y así se procedió a la discusión; cada pantalla era discutida por el evaluador que discurría sobre las heurísticas y problemas de usabilidad encontrados. Cuando existía discordancia entre las evaluaciones se iniciaba la discusión entre los evaluadores, hasta llegar a un consenso final, que era registrado por la investigadora, en el mismo instrumento de recolección de datos utilizado para la evaluación individual. El resultado final de esa fase fue una única lista de: 1) reglas heurísticas violadas, 2) problemas de usabilidad encontrados con sus severidades, 3) local de la ocurrencia, y 4) sugestiones para los problemas encontrados.

El proyecto fue aprobado, con el protocolo nº 027/2011, por el Comité de Ética en Seres Humanas de la UNICEP - Centro Universitario Central Paulista y siguió las normas nacionales e internacionales de ética en investigación en que participan seres Humanas.

Resultados

La evaluación resultó en ocho heurísticas violadas entre las diez reglas por Nielsen(17) e identificó 31 problemas de usabilidad en las 32 pantallas del prototipo (Tabla 1).

Tabla 1
Heurísticas violadas, problemas de usabilidad y las severidades encontradas en las pantallas del prototipo. Sao Carlos, SP, Brasil, 2013

Heurística violada	Problemas de usabilidad		Severidades				Total
	Porcentaje		0	1	2	3	4
1- Visibilidad del estado del sistema	5 (16,13%)				3	2		5
2- Correspondencia entre la interfaz del sistema y el mundo real	7 (22,58%)			3	1	2		6
3- Control y libertad del usuario	7 (22,58%)		1	1	3	2		7
4- Consistencia y estándar	5 (16,13%)				2	4		6
5- Prevención de errores	3 (9,68%)			1	1	1		3
6- Reconocimiento en vez de recordación	1 (3,23%)			1				1
8- Estética y diseño minimalista	2 (6,46%)			1	1			2
10- Ayuda y documentación	1 (3,23)					1		1
Total por heurística	31 (100%)		1	7	11	12	0	31

Los resultados mostraron que "Correspondencia entre la interfaz del sistema y el mundo real" y "Control y libertad del usuario" fueron las reglas heurísticas más violadas con 7 (22,58%) problemas de usabilidad identificados en cada uno, seguido por "Visibilidad del estado del sistema" y "Consistencia y estándar" totalizando 5 (16,13%).

En relación a los principales comentarios hechos por los evaluadores mediante las heurísticas violadas se destacaron los siguientes: mejoría en el diseño como alteración de colores del encabezado y pie de página, polución visual en las pantallas, ausencia de estándar para los links, falta mensaje de alerta cuando el usuario clica en un link informando que está en una página de web, posibilidad de proseguir caso el usuario no quera asistir al video y falta de botón para deshabilitar el sonido, permitiendo al usuario el control de sus acciones.

En la evaluación también fueron encontrados: errores gramaticales del idioma portugués, ausencia de mayor elucidación explicativa en los gráficos y de la analogía de un globo se llenando, simulando el aumento de la presión intracraneal.

Discusión

La tecnología ha sido una herramienta de gran importancia para los profesionales del área de la salud en la formación^3,7,11,24, asistencia^3-4,14 e investigación^5,18. En ese contexto, es necesaria la evaluación de esos sistemas, pues en caso contrario, la tecnología deja de desempeñar su función de facilitadora y los recursos serán subutilizados.

La evaluación heurística en esta investigación fue realizada por cuatro participantes, debido a que los estudios de esta naturaleza recomiendan de 3 a 5 evaluadores, los cuales podrán encontrar hasta 75% de problemas de usabilidad ^(15,17,20-22; se utilizaron las reglas Heurísticas de Nielsen¹⁷ por mostrarse apropiadas para la evaluación de: softwares^15,19,22, sistemas de información en salud²² y recursos digitales de aprendizaje¹⁶.

Se piensa que la combinación de dos o más tipos de evaluaciones es capaces de encontrar más problemas de usabilidad¹⁸, siendo que, las reglas heurísticas de Nielsen siempre están presentes^15-16,20. Los autores recomiendan el uso de la evaluación heurística y realizar pruebas con el usuario. La evaluación heurística pudo ser usada por primera vez para identificar y corregir los problemas más evidentes y, después de las modificaciones, utilizada para hacer pruebas con usuarios¹⁶. Así, como trabajo futuro de esta investigación, se pretende evaluar la versión final del prototipo con los usuarios.

Los resultados presentados indican la importancia de realizar evaluaciones de los sistemas antes de que queden disponibles para el usuario. De las diez reglas heurísticas propuestas por Nielsen ocho fueron violadas, generando 31 problemas de usabilidad en las 32 pantallas del prototipo. La Correspondencia entre la interfaz del sistema y el mundo real; el Control y libertad del usuario; la Visibilidad del estado del sistema y consistencia; y el "Estándar", representaron más de 77% de las reglas heurísticas violadas. Algunos estudios presentaron resultados semejantes utilizando el mismo método de evaluación de esta investigación^15-16,21-22.

Problemas de usabilidad relacionados a esas reglas heurísticas pueden disminuir la interacción entre el sistema y el usuario. Por tanto, el proyectista debe estar atento al desarrollo de interfaces para que sean intuitivas y accesibles, inclusive para usuarios sin experiencia, evitando esfuerzos extras en aprender a usar el sistema²⁵.

En relación a las sugestiones de los evaluadores, el equipo del proyecto y el desarrollador de la tecnología digital educacional comprendieron fácilmente, una vez que estaban bien justificadas por las reglas heurísticas.

Es deseado que la interfaz y sus contenidos sean simples con un lenguaje claro y objetivo^11,25. En un estudio los evaluadores sugirieron menos contenido en cada página, organizar esos contenidos por tópicos con lenguaje más objetivo y cambiar la presentación visual⁷. El exceso de contenido¹³ y la mejoría de la organización de esos contenidos¹² también fueron citados en otros estudios.

Así, una de las contribuciones de destaque apuntadas por los evaluadores fueron problemas de usabilidad en la interfaz que podrían confundir o distraer al usuario en el momento de la utilización del recurso, para estos problemas identificados, los evaluadores sugirieron cambios significativos. Otros estudios presentaron sugestiones semejantes a los de esa investigación tales como: inserir explicaciones sobre gráficos e imágenes poco representativas^15,25, crear barra de desplazamiento para textos extensos²⁵; modificar el color de la interfaz^9,15 para verde claro, estandarizar los links²⁵, aparecimiento de mensajes de error cuando el usuario llena el registro incorrectamente, permaneciendo en el local en donde paró¹⁶ e inserir una página con la presentación de los íconos²⁵. Según un estudio de evaluación de una tecnología educacional, los evaluadores tuvieron dificultades en interpretar algunos íconos⁷, demostrando la importancia en dejarlos intuitivos.

Para una obtener una interfaz fácil de usar se pueden utilizar botones que faciliten las acciones de los usuarios. Los botones son usados para seleccionar ítems o acciones y deben tener la descripción de su acción utilizando verbos²⁵. En ese contexto, fue sugerido por los evaluadores un botón en donde el usuario pudiese aumentar o disminuir la fuente, botón al pie de página que habilite y deshabilite el sonido y botón para imprimir. Sugestiones semejantes fueron identificadas en otro estudio¹⁶.

Otro comentario de los evaluadores fue relacionado al control del usuario en sus acciones en cuanto recorre la interfaz (uno de los principios de usabilidad) y fue sugerido utilizar un ^_breadcrumb* en la parte superior de la pantalla para rastrear sus acciones, o sea, que le muestre en donde está y como llegó hasta allí, corroborando otro hallazgo²¹.

Las reglas heurísticas "flexibilidad y eficiencia de utilización" y "ayuda a los usuarios a reconocer, diagnosticar y recuperarse de errores" no fueron violadas. Se piensa que esas heurísticas no fueron violadas por el hecho de que el prototipo no presentaba todas sus funcionalidades y algunas acciones no pudieron ser evaluadas. Además, los evaluadores hicieron algunas sugestiones para ser observadas en el desarrollo de la versión final de la tecnología digital educacional siendo ellas: "si el navegador está configurado para no descargar imágenes y videos: ¿El contenido y la navegación permanecerán intactos y sin perjuicio al usuario?" y "¿El usuario puede configurar fuentes y tamaño?".

Las reglas heurísticas menos violadas fueron: 1) reconocimiento en lugar de recordación "no posee mensaje de error en la página de registro" y 2) ayuda y documentación "no existe un ítem de ayuda en las páginas", sin embargo, las violaciones relacionadas a esas heurísticas pueden conducir al usuario a una interpretación equivocada de la real acción pretendida, llevándolo a un esfuerzo inútil, a sobrecarga cognitiva, frustración e insatisfacción^20-21,25.

El grado de severidad varió entre 0 (no es un problema de usabilidad) a 3 (problema mayor de usabilidad) sugiriendo que algunas violaciones eran lo suficientemente graves para exigir atención. Ninguna severidad de grado 4 (catastrófico) fue evidenciada en este estudio. Cada problema de usabilidad y sus severidades identificadas, en este estudio, fueron consideradas por creer que podrían afectar negativamente la eficacia de la versión final de la tecnología digital educacional.

Los resultados de esta investigación reflejan la importancia de realizar evaluaciones de tecnologías digitales educacionales para tornarlas eficientes, fáciles de usar y que favorezcan el proceso enseñanza aprendizaje. En la enfermería, los investigadores que participan en el desarrollo de sistemas educacionales se preocupan en corregir y modificar sus productos mediante comentarios y sugestiones de sus evaluadores, antes de colocarlos a disposición del usuario final^{7-10,12-13,24}.

Una limitación para esta investigación fue que el prototipo no presentaba todas las funcionalidades y, por tanto, algunas acciones no pudieron ser evaluadas, además de la dificultad de encontrar cinco evaluadores siguiendo los criterios de inclusión de este estudio. Sin embargo, cuatro evaluadores compusieron el muestreo permaneciendo dentro de lo que es esperado para ese tipo de evaluación¹⁷.

Conclusión

Frente a los hallazgos de esta investigación, se considera que el objetivo fue alcanzado una vez que fue posible identificar un gran número de problemas de usabilidad utilizando un mínimo de esfuerzos y apenas un tipo de evaluación.

La ventaja de la evaluación heurística es que los evaluadores, especialistas en el método, pudieron sugerir soluciones para los problemas encontrados, destacar los puntos fuertes y frágiles del proyecto y, por tanto, todas las sugestiones fueron consideradas para la versión final de la tecnología digital educacional.

Como trabajo futuro se pretende evaluar la nueva versión de la tecnología digital educacional con usuarios, entendiendo que la utilización de la evaluación es esencial para que un producto de calidad pueda ser colocado a disposición de los usuarios.

References

• ¹
  Veraszto EV, Silva D, Barros J Filho, Miranda NA, García FG, Amaral SF, et al. Influência da sociedade no desenvolvimento tecnológico: um estudo das concepções de graduandos brasileiros do Estado de São Paulo. Rev CTS [Internet]. 2011 [Acesso 13 out 2015]; 17(6):179-211. Disponível em: http://revistacts.net/files/Volumen%206%20-%20N%C3%BAmero%2017/Veraszto.pdf
  » http://revistacts.net/files/Volumen%206%20-%20N%C3%BAmero%2017/Veraszto.pdf
• ²
  Silva AN, Santos AMG, Cortez EA, Cordeiro BC. Limites e possibilidades do ensino à distância (EaD): na educação permanente em saúde: revisão integrativa. Ciênc Saúde Coletiva [Internet]. 2015 [Acesso 13 out 2015];20(4):1099-1107. Disponível em: http://www.scielosp.org/pdf/csc/v20n4/1413-8123-csc-20-04-01099.pdf
  » http://www.scielosp.org/pdf/csc/v20n4/1413-8123-csc-20-04-01099.pdf
• ³
  Prado C, Silva IA, Soares AVN, Aragaki IMM, Shimoda GT, Zaniboni VF, et al. Teleamamentação no Programa Nacional de Telessaúde no Brasil: a experiência da Telenfermagem. Rev Esc Enferm USP. [Internet]. 2013 [Acesso 9 abr 2014];47(4):990-6. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000400990&lng=pt&nrm=iso
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000400990&lng=pt&nrm=iso
• ⁴
  Grossi MG, Kobayashi RM. A construção de um ambiente virtual de aprendizagem para educação a distância: uma estratégia educativa em serviço. Rev Esc Enferm USP. [Internet]. 2013 [Acesso 9 abr 2014];47(3):756-60. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000300756&lng=pt&nrm=iso
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000300756&lng=pt&nrm=iso
• ⁵
  Rojo PT, Vieira SS, Zem-Mascarenhas SH, Sandor ER, Vieira CRSP. Panorama of nursing distance education in Brazil. Rev Esc Enferm USP. [Internet]. 2011 [Acesso 9 abr 2014];45(6):1476-80. Disponível em: http://www.scielo.br/pdf/reeusp/v45n6/v45n6a28.pdf
  » http://www.scielo.br/pdf/reeusp/v45n6/v45n6a28.pdf
• ⁶
  Fonseca LMMI, Aredes NDA, Dias DMV, Scochi CGS, Martins JCA, Rodrigues MA. Serious game e-Baby: percepção dos estudantes de enfermagem sobre a aprendizagem da avaliação clínica do bebê prematuro. Rev Bras Enferm. [Internet]. 2015 [Acesso 13 out 2015];68(1):13-9. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-71672015000100013
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-71672015000100013
• ⁷
  Fonseca LMM, Aredes NDA, Leite AM, Santos CB, Lima RAG, Scochi CGS. Evaluation of an educational technology regarding clinical evaluation of preterm newborns. Rev. Latino-Am. Enfermagem. [Internet]. 2013 [Acesso 13 out 2015];21(1):[08 telas]. Disponível em: http://www.scielo.br/pdf/rlae/v21n1/v21n1a11.pdf
  » http://www.scielo.br/pdf/rlae/v21n1/v21n1a11.pdf
• ⁸
  Castro FSF, Dias DMV, Higarashi IH, Scochi CGS, Fonseca LMM. Evaluation of digital educational student-technology interaction in neonatal nursing. Rev Esc Enferm USP. [Internet]. 2015 [Acesso 13 out 2015];49(1):114-121. Disponível em: http://www.scielo.br/pdf/reeusp/v49n1/pt_0080-6234-reeusp-49-01-0114.pdf
  » http://www.scielo.br/pdf/reeusp/v49n1/pt_0080-6234-reeusp-49-01-0114.pdf
• ⁹
  Góes FSN, Camargo RAA, Fonseca LMM, Oliveira GF, Hara CYN, Felipe HR, Caldas NB. Avaliação de tecnologia digital educacional "sinais vitais e anatomia" por estudantes da educação profissionalizante em enfermagem. Reme - Rev Min Enferm. [Internet]. 2015 [Acesso 13 out 2015];19(2):37-43. Disponível em: http://www.reme.org.br/artigo/detalhes/1004
  » http://www.reme.org.br/artigo/detalhes/1004
• ¹⁰
  Silveira DT, Catalan VM, Neutzling AL, Martinato LHM. Digital learning objects in nursing consultation: technology assessment by undergraduate students. Rev. Latino-Am. Enfermagem. [Internet]. 2010 [Acesso 13 out 2015];18(5):[09 telas]. Disponível em: http://www.scielo.br/pdf/rlae/v18n5/pt_23
  » http://www.scielo.br/pdf/rlae/v18n5/pt_23
• ¹¹
  Rodrigues RCV, Peres HHC. An educational software development proposal for nursing in neonatal cardiopulmonary resuscitation. Rev Esc Enferm USP. [Internet]. 2013 [Acesso 9 abr 2014];47(1):235-41. Disponível em: http://www.scielo.br/scielo.php?pid=S0080-62342013000100030&script=sci_arttext
  » http://www.scielo.br/scielo.php?pid=S0080-62342013000100030&script=sci_arttext
• ¹²
  Mori S, Whitaker I Y, Marin H F. Avaliação do website educacional em Primeiros Socorros. Rev Esc Enferm USP. [Internet]. 2013 [Acesso 9 abr 2014];47(4):950-7. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000400950&lng=pt&nrm=iso
  » http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0080-62342013000400950&lng=pt&nrm=iso
• ¹³
  Góes FSN, Fonseca LMM, Furtado MCC, Leite AM, Scochi CGS. Evaluation of the virtual learning object "Diagnostic reasoning in nursing applied to preterm newborns". Rev. Latino-Am. Enfermagem. [Internet]. 2011 [Acesso 9 abr 2013];19(4):894-901. Disponível em: http://www.scielo.br/scielo.php?pid=S0104-11692011000400007&script=sci_arttext&tlng=pt
  » http://www.scielo.br/scielo.php?pid=S0104-11692011000400007&script=sci_arttext&tlng=pt
• ¹⁴
  Rangel AL, Évora YDM, Oliveira MMB. O processo de avaliação do software de geração automática de escala de Trabalho da enfermagem e da escala por ele gerada. J Health Inform. [Internet]. 2012 [Acesso 5 mar 2013];4(n.esp):200-4. Disponível em: http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/208/148
  » http://www.jhi-sbis.saude.ws/ojs-jhi/index.php/jhi-sbis/article/view/208/148
• ¹⁵
  Choi J, Bakken S. Web-based education for low-literate parents in neonatal intensive care unit: development of a website and heuristic evaluation and usability testing. Rev Int J Med Inform. [Internet]. 2010 [Acesso 25 jul 2014];79(8):565-575. Available from: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2956000/
  » http://www.ncbi.nlm.nih.gov/pmc/articles/PMC2956000/
• ¹⁶
  Davids MR, Chikte UME, Halperin ML. An efficient approach to improve the usability of e-learning resources: the role of heuristic evaluation. Rev Adv Physiol Educ. [Internet]. 2013 [Acesso 25 jul 2014];7(sn):242-24. Disponível em: http://advan.physiology.org/content/37/3/242.full-text.pdf+html
  » http://advan.physiology.org/content/37/3/242.full-text.pdf+html
• ¹⁷
  Nielsen J. Usability Engineering. San Francisco: Academic Press; 1993. 362 p.
• ¹⁸
  Martins AI, Queirós A, Rocha NP, Santos BS. Avaliação de usabilidade: uma revisão sistemática da literatura. Rev Ibérica de Sistemas Tecnol Informação. [Internet]. 2013 [Acesso 25 jul 2014];11(6):31-43. Disponível em: http://ojs.academypublisher.com/index.php/risti/article/view/risti113144
  » http://ojs.academypublisher.com/index.php/risti/article/view/risti113144
• ¹⁹
  Alsumait A, Al-Osaimi A. Usability heuristics evaluation for child learning applications. J Software. [Internet]. 2010 [Acesso 25 jul 2014];5(6):654-661. Disponível em: http://dl.acm.org/citation.cfm?id=1806417
  » http://dl.acm.org/citation.cfm?id=1806417
• ²⁰
  Weegen S, Verwey R, Tange HJ, Spreeuwenberg MD, Witte LP. Usability testing of a monitoring and feedback tool to stimulate physical activity. Patient Prefer Adherence [Internet]. 2014 [Acesso 25 jul 2014];8(sn):311-322. Disponível em: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3962312/?tool=pubmed
  » http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3962312/?tool=pubmed
• ²¹
  Nabovati E, Vakili-Arki H, Eslami S, Khajouei R. Usability evaluation of laboratory and radiology information systems integrated into a hospital information system. J Med Syst. [Internet]. 2014 [Acesso 25 jul 2014];38(4):35. Disponível em: http://www.ncbi.nlm.nih.gov/pubmed/24682671
  » http://www.ncbi.nlm.nih.gov/pubmed/24682671
• ²²
  Yuan MJ, Finley GM, Long J, Mills C, Johnson RK. Evaluation of user Interface and workflow design of a bedside nursing clinical decision support system. Rev Interact J Med Res. [Internet]. 2013 [Acesso 25 jul 2014];2(1):e4. Disponível em: http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3628119/
  » http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3628119/
• ²³
  Polit DF, Beck CT, Hungler BP. Fundamentos de pesquisa em enfermagem: avaliação de evidências para a prática da enfermagem. Porto Alegre: Artmed; 2011. 670 p.
• ²⁴
  Corradi MI, Silva SH, Scalabrin EE. Objetos virtuais para apoio ao processo ensino-aprendizagem do exame físico em enfermagem. Acta Paul Enferm. [Internet]. 2011 [Acesso 5 mar 2013];24(3): 348-53. Disponível em: http://www.scielo.br/pdf/ape/v24n3/07pdf
  » http://www.scielo.br/pdf/ape/v24n3/07pdf
• ²⁵
  Passos JE, Silva TLK. Design de interface do ambiente virtual hyperCAL. Rev Design Tecnol. [Internet]. 2010 [Acesso 13 out 2015];1(sn):88-100. Disponível em: http://www.pgdesign.ufrgs.br
  » http://www.pgdesign.ufrgs.br

• 1
  Artículo parte de la disertación de maestría "Educação a distância sobre o método minimamente invasivo para monitoração da pressão intracraniana l", presentada a la Universidade Federal de São Carlos, São Carlos, SP, Brasil.
• *
  Es un recurso que muestra el camino de las páginas visitadas, indica al lector en donde él está y facilita que vuelva a la página inicial.

Fechas de Publicación

• Publicación en esta colección
  2016

Histórico

• Recibido
  26 Jul 2015
• Acepto
  20 Ene 2016