RESUMEN
Objetivo:
realizar la validación semántica y evaluar las propiedades psicométricas de las versiones cortas de las Escalas de Medición del Cociente de Empatía/Sistematización, originadas en Cambridge y validadas en Portugal, para medir el perfil empático y sistemático de los individuos.
Método:
estudio metodológico que comprendió la validación semántica (validez de contenido) y verificación de las propiedades psicométricas (consistencia interna) de las escalas. Cinco jueces participaron de la validación semántica. Después de calculado el Índice de Validez de Contenido, se realizó el pretest con dieciocho estudiantes de enfermería y posteriormente se aplicó a una muestra.
Resultados:
la muestra estuvo compuesta por 215 estudiantes de enfermería, siendo 186 (86,51%) del sexo femenino, con edad media de 21 años. Las escalas presentaron buena consistencia interna con valores de Alpha de Cronbach Global de 0,83 para el Cociente de Empatía y 0,79 para el Cociente de Sistematización. Las correlaciones entre las escalas y subescalas del Cociente de Empatía y Cociente de Sistematización fueron todas positivas y significativas, las que fueron resultado del test de correlación de Pearson.
Conclusión:
las escalas fueron consideradas confiables y válidas para medir el perfil empático y sistemático de estudiantes de enfermería; la versión final fue denominada de “versiones cortas de las Escalas de Medición del Cociente de Empatía/Sistematización - Brasil”.
Descriptores:
Enfermería; Empatía; Estudiantes de Enfermería; Encuestas y Cuestionarios; Personal de Enfermería; Conducta
ABSTRACT
Objective:
to perform the semantic validation of the short versions of the Empathy-Systemizing Quotient Scales, intended to measure the empathetic and systemizing profiles of individuals. The scales originated in Cambridge and were validated in Portugal, and were assessed for their psychometric properties.
Method:
methodological study included the scales’ semantic validation (content validity) and verification of their psychometric properties (internal consistency). Five judges participated in the semantic validation. The Content Validity Index was calculated, a pretest was conducted with 18 undergraduate nursing students, and, finally, the scales were applied to a sample.
Results:
the sample was composed of 215 undergraduate nursing students, 186 (86.51%) of whom were women aged 21 years old, on average. The scales presented good internal consistency with global Cronbach’s alphas equal to 0.83 and 0.79 for the Empathy Quotient and the Systemizing Quotient, respectively. Correlations between the scales and subscales of the Empathy Quotient and Systemizing Quotient were all positive and significant according to the Pearson correlation coefficient.
Conclusion:
the scales are reliable and valid to measure the empathetic and systemizing profile of undergraduate nursing students and the final version was named “versões curtas das Escalas de Medição do Quociente de Empatia/Sistematização - Brasil” [short versions of the Empathy-Systemizing Quotient Scales - Brazil].
Descriptors:
Nursing; Empathy; Students Nursing; Surveys and Questionnaires; Nursing Staff; Behavior
RESUMO
Objetivo:
realizar a validação semântica e avaliar as propriedades psicométricas das versões curtas das Escalas de Medição do Quociente de Empatia/Sistematização, originadas em Cambridge e validadas em Portugal, para mensurar o perfil empático e sistemático dos indivíduos.
Método:
estudo metodológico no qual foram compreendidas a validação semântica (validade de conteúdo) e a verificação das propriedades psicométricas (consistência interna) das escalas. Cinco juízes participaram da validação semântica. Foi calculado o Índice de Validade de Conteúdo, seguido de pré-teste, com 18 graduandos em enfermagem e posterior aplicação a uma amostra.
Resultados:
a amostra foi composta de 215 graduandos em enfermagem, sendo 186 (86,51%) do sexo feminino, com idade média de 21 anos. As escalas apresentaram boa consistência interna, com valores de Alfa de Cronbach global de 0,83 para o Quociente de Empatia e 0,79 para o Quociente de Sistematização. As correlações entre as escalas e subescalas do Quociente de Empatia e Quociente de Sistematização foram todas positivas e significantes, resultantes do teste de correlação de Pearson.
Conclusão:
as escalas foram consideradas confiáveis e válidas para mensurar o perfil empático e sistemático de graduandos em enfermagem e a versão final foi denominada versões curtas das Escalas de Medição do Quociente de Empatia/Sistematização - Brasil.
Descritores:
Enfermagem; Empatia; Estudantes de Enfermagem; Inquéritos e Questionários; Recursos Humanos de Enfermagem; Comportamento
Introducción
La empatía es la capacidad de identificar los pensamientos y emociones de otras personas, constituyendo un componente esencial en las interacciones sociales, que permite la percepción de los sentimientos de otros; por medio de la empatía las personas son capaces de deducir las intenciones y entender los comportamientos ajenos11 Baron-Cohen S. The extreme male brain theory of autism. Trends Cogn Sci. [Internet]. 2002 [cited Jun 5, 2017];6(6):248-254. doi: https://doi.org/10.1016/S1364-6613(02)01904-6.
https://doi.org/10.1016/S1364-6613(02)01...
. Sin embargo, es importante destacar que la empatía puede variar conforme la personalidad y el estado emocional de la persona, ya que si ella está emocionalmente perturbada será más difícil la comprensión del punto de vista del otro22 Baron-Cohen S, Wheelwright S. The empathy quotient: An investigation of adults with Asperger syndrome or high functioning autism, and normal sex differences. J Autism Dev Disord. [Internet]. 2004 [cited Jun 25, 2017];34(2):163-75. Available from: https://www.ncbi.nlm.nih.gov/pubmed/15162935
https://www.ncbi.nlm.nih.gov/pubmed/1516...
-33 Kim J, Lee SJ. Reliability and validity of the Korean Version of the Empathy Quotient Scale. Psychiatry Investig. [Internet]. 2010 [cited Aug 5, 2017];7(1):24-30. doi: http://dx.doi.org/10.4306/pi.2010.7.1.24
http://dx.doi.org/10.4306/pi.2010.7.1.24...
. La empatía es un facilitador fundamental para una convivencia social eficaz; se sabe que, como habilidad es más desarrollada en individuos del sexo femenino22 Baron-Cohen S, Wheelwright S. The empathy quotient: An investigation of adults with Asperger syndrome or high functioning autism, and normal sex differences. J Autism Dev Disord. [Internet]. 2004 [cited Jun 25, 2017];34(2):163-75. Available from: https://www.ncbi.nlm.nih.gov/pubmed/15162935
https://www.ncbi.nlm.nih.gov/pubmed/1516...
3 Kim J, Lee SJ. Reliability and validity of the Korean Version of the Empathy Quotient Scale. Psychiatry Investig. [Internet]. 2010 [cited Aug 5, 2017];7(1):24-30. doi: http://dx.doi.org/10.4306/pi.2010.7.1.24
http://dx.doi.org/10.4306/pi.2010.7.1.24...
-44 Giménez-Espert María del Carmen, Prado-Gascó Vicente-Javier. The moderator effect of sex on attitude toward communication, emotional intelligence, and empathy in the nursing field. Rev. Latino-Am. Enfermagem. [Internet]. 2017 [cited Jul 17, 2018]; 25:e2969. http://dx.doi.org/10.1590/1518-8345.2018.2969
http://dx.doi.org/10.1590/1518-8345.2018...
.
La sistematización es la capacidad cognitiva de comprensión de las variables de un sistema y de entendimiento de sus reglas, lo que capacita al individuo a predecir y controlar el comportamiento de ese sistema11 Baron-Cohen S. The extreme male brain theory of autism. Trends Cogn Sci. [Internet]. 2002 [cited Jun 5, 2017];6(6):248-254. doi: https://doi.org/10.1016/S1364-6613(02)01904-6.
https://doi.org/10.1016/S1364-6613(02)01...
. Es la capacidad que la persona tiene de captar informaciones y manosearlas de diferentes maneras. Cuando el individuo sigue reglas, el cerebro se concentra en la observación de los detalles de esos sistemas, en su funcionamiento. Esos observadores son propensos a ser metódicos y este perfil es más predominante en personas del sexo masculino55 Baron-Cohen S, Jennifer R, Dheraj B, Nhishanth G, Sally W. The systemizing quotient: an investigation of adults with Asperger syndrome or high functioning autism and normal sex differences. Philos Trans R Soc Lond B Biol Sci. [Internet]. 2003 [cited Aug 25, 2017]; 358 (1430): 361-74. doi: http://dx.doi.org/10.1098/rstb.2002.1206
http://dx.doi.org/10.1098/rstb.2002.1206...
.
La teoría de la empatización-sistematización (E-S) fue desarrollada para distinguir estos dos conceptos opuestos y comprobarlos en diversos tipos de personas para analizar sus perfiles a través de su comportamiento social. A pesar de ser opuestos, ellos son semejantes en el sentido de permitir dar sentido a los acontecimientos y efectuar previsiones confiables. Pueden ser denominadas como dos dimensiones cognitivas en la definición de cerebro femenino y masculino. Todas las personas poseen habilidades empáticas y sistemáticas, sin embargo algunas tienden a desarrollar mayor capacidad por una de las dos, o hasta mismo ser equilibrado entre ambas66 Rodrigues J, Gonçalves G, Lopes A, Santos J. Systemizing Quotient: An exploratory factor analysis. Psychologica. [Internet]. 2010 [cited Oct 25, 2017];1(52):41-54. [Portuguese] Available from: http://impactum-journals.uc.pt/psychologica/article/view/989
http://impactum-journals.uc.pt/psycholog...
-77 Baron-Cohen S. Autism: The Empathizing-Systemizing (E-S) theory. Ann N Y Acad Sci. [Internet]. 2009 [cited Sept 25, 2017];1156:68-80. doi: http://dx.doi.org/10.1111/j.1749-6632.2009.04467.x
http://dx.doi.org/10.1111/j.1749-6632.20...
.
Existen cinco tipos de cerebro, los que son: Tipo E, en el cual la empatía es más desarrollada que la sistematización, es más común en el “cerebro femenino”; Tipo S, la sistematización es más desarrollada que la empatía, siendo más común en los “cerebros masculinos”; Tipo B, tanto la empatía como la sistematización son equilibrados, denominados de “cerebros equilibrados”; Tipo E Extremo, la empatía es altamente desarrollada y la sistematización muy reducida, denominados de “mente ciega”; y el Tipo S Extremo, la sistematización es súper desarrollada y la empatía extremadamente escasa, definido como “sistema ciego”66 Rodrigues J, Gonçalves G, Lopes A, Santos J. Systemizing Quotient: An exploratory factor analysis. Psychologica. [Internet]. 2010 [cited Oct 25, 2017];1(52):41-54. [Portuguese] Available from: http://impactum-journals.uc.pt/psychologica/article/view/989
http://impactum-journals.uc.pt/psycholog...
,88 Baron-Cohen S. Mindblindness: An essay on autism and theory of mind. Boston, MA: MIT Press; 1995.. Es importante destacar que no todas las mujeres poseen el “cerebro femenino” y no todos los hombres poseen el “cerebro masculino”, pero en esta clasificación se enfatiza lo que la mayoría representa33 Kim J, Lee SJ. Reliability and validity of the Korean Version of the Empathy Quotient Scale. Psychiatry Investig. [Internet]. 2010 [cited Aug 5, 2017];7(1):24-30. doi: http://dx.doi.org/10.4306/pi.2010.7.1.24
http://dx.doi.org/10.4306/pi.2010.7.1.24...
,99 Baron Cohen S, Cassidy S, Auyeung B, Allison C, Achoukhi M, Robertson S, et al. Attenuation of typical sex differences in 800 adults with autism vs. 3,900 controls. PLoS One. [Internet]. 2014 [cited Oct 25, 2017];9(7):e102251. doi: http://dx.doi.org/10.1371/journal.pone.0102251
http://dx.doi.org/10.1371/journal.pone.0...
.
En la empatía, el enfoque está en el estado mental de la persona, incluyendo su emoción. Si la persona presenta un nivel de emoción muy bajo, puede ser que ella tenga algún disturbio mental, como el autismo, por ejemplo, y es una manera simple de explicar los obstáculos sociales y comunicativos, en cuanto que la sistematización en alto nivel es expresada a través de comportamientos repetitivos y de la resistencia en querer cambiar algo nuevo. Siendo así, en cuanto las personas empáticas presentan preocupación emocional con el próximo, las personas sistemáticas se preocupan con su control emocional y con sus propios intereses33 Kim J, Lee SJ. Reliability and validity of the Korean Version of the Empathy Quotient Scale. Psychiatry Investig. [Internet]. 2010 [cited Aug 5, 2017];7(1):24-30. doi: http://dx.doi.org/10.4306/pi.2010.7.1.24
http://dx.doi.org/10.4306/pi.2010.7.1.24...
,1010 Baron-Cohen S, Wheelwright S, Lawson J, Griffin R, Ashwin C, Billington J, et al. Empathising and systemising in autism spectrum conditions. Handbook of Autism and Pervasive Developmental Disorders. 3rd ed. John Wiley; 2005..
En 2003 las escalas originales Empathy Quotient (EQ) y Systemizing Quotient (SQ) fueron desarrolladas por investigadores del Departamento de Psicología Experimental y Psiquiatría de la Universidad de Cambridge - Reino Unido. Ellas fueron comprobadas inicialmente en personas con Autismo, Síndrome de Asperger y Autismo de Alto Funcionamiento, pero con el Cociente de Inteligencia (CI) normal, considerando que personas que poseen esos trastornos tienen como característica la baja interacción social y dificultades en los procesos de comunicación. Las escalas obtuvieron resultados esperados delante de las pruebas en esta población22 Baron-Cohen S, Wheelwright S. The empathy quotient: An investigation of adults with Asperger syndrome or high functioning autism, and normal sex differences. J Autism Dev Disord. [Internet]. 2004 [cited Jun 25, 2017];34(2):163-75. Available from: https://www.ncbi.nlm.nih.gov/pubmed/15162935
https://www.ncbi.nlm.nih.gov/pubmed/1516...
,55 Baron-Cohen S, Jennifer R, Dheraj B, Nhishanth G, Sally W. The systemizing quotient: an investigation of adults with Asperger syndrome or high functioning autism and normal sex differences. Philos Trans R Soc Lond B Biol Sci. [Internet]. 2003 [cited Aug 25, 2017]; 358 (1430): 361-74. doi: http://dx.doi.org/10.1098/rstb.2002.1206
http://dx.doi.org/10.1098/rstb.2002.1206...
y a partir de ahí pasaron a ser aplicadas en diversos tipos de poblaciones en el mundo.
Inicialmente las dos escalas fueron aplicadas separadamente, teniendo cada una 60 preguntas de múltiple elección: la escala de empatía contenía 40 preguntas referentes a empatía y 20 ítems complementarios creados para distraer al lector; y, la escala de sistematización también fue construida con la misma lógica y mismo número de preguntas22 Baron-Cohen S, Wheelwright S. The empathy quotient: An investigation of adults with Asperger syndrome or high functioning autism, and normal sex differences. J Autism Dev Disord. [Internet]. 2004 [cited Jun 25, 2017];34(2):163-75. Available from: https://www.ncbi.nlm.nih.gov/pubmed/15162935
https://www.ncbi.nlm.nih.gov/pubmed/1516...
,55 Baron-Cohen S, Jennifer R, Dheraj B, Nhishanth G, Sally W. The systemizing quotient: an investigation of adults with Asperger syndrome or high functioning autism and normal sex differences. Philos Trans R Soc Lond B Biol Sci. [Internet]. 2003 [cited Aug 25, 2017]; 358 (1430): 361-74. doi: http://dx.doi.org/10.1098/rstb.2002.1206
http://dx.doi.org/10.1098/rstb.2002.1206...
.
Después de cuatro años, fueron desarrolladas las versiones cortas de las escalas denominadas de Empathy Quotient (EQ-Short) conteniendo 22 preguntas y Systemizing Quotient (SQ-Short) 25 preguntas. Ellas fueron examinadas a través de análisis psicométricas, siendo que la consistencia interna fue mayor comparada con las versiones originales del cuestionario, concluyéndose que ambas versiones son confiables y adecuadas para medir las diferencias individuales de empatía y sistematización1111 Wakabayashi A, Baron-Cohen S, Wheelwright S, Goldenfeld N, Delaney J, Fine D, et al. Development of short forms of the Empathy Quotient (EQ-Short) and the Systemizing Quotient (SQ-Short). Personality and Individual Differences. [Internet]. 2006 [cited Aug 25, 2017]; 4: 929-40. doi: http://dx.doi.org/10.1016/j.paid.2006.03.017
http://dx.doi.org/10.1016/j.paid.2006.03...
.
En Brasil existen pocas escalas que miden el perfil empático, pero ninguna sobre el perfil sistemático. Frente a la importancia que la empatía asume en el relacionamiento interpersonal de profesionales de la salud y de estos con los pacientes y comunidad, se decidió realizar la validación de las versiones cortas de las escalas Empathy Quotient (EQ) y Systemizing Quotient (SQ). Sin embargo, en el primer contacto con el autor principal de la versión original en inglés22 Baron-Cohen S, Wheelwright S. The empathy quotient: An investigation of adults with Asperger syndrome or high functioning autism, and normal sex differences. J Autism Dev Disord. [Internet]. 2004 [cited Jun 25, 2017];34(2):163-75. Available from: https://www.ncbi.nlm.nih.gov/pubmed/15162935
https://www.ncbi.nlm.nih.gov/pubmed/1516...
- con la finalidad de obtener autorización para la validación de los cuestionarios - el mismo nos informó que el cuestionario ya había sido validado en varios idiomas; así, identificamos que el cuestionario ya poseía una versión validada para el portugués de Portugal. Con esa constatación, decidimos realizar la adaptación semántica del cuestionario validado en Portugal para el portugués brasileño.
En 2011, las versiones cortas fueron validadas para el portugués de Portugal, las que fueron denominadas Escalas de Medición del Cociente de Empatía/Sistematización. Se realizó el análisis factorial exploratorio en ambas, las cuales obtuvieron resultados razonables y similares a los de la versión original, siendo el Alpha de Cronbach 0,90 en el CE y 0,89 en el CS. En esta versión fueron identificados cuatro dominios en el Cociente de Empatía, siendo: “Empatía Cognitiva (EC)”, “Reactividad Emocional (RE)”, “Capacidades Sociales (CS)” y “Dificultades Empáticas (DE)”; y, en el Cociente de Sistematización fueron, caracterizados dos dominios: “Procesos (P)” y “Contenidos (C)”. Inicialmente la CE contenía 22 preguntas, sin embargo un ítem del dominio CS fue removido debido a no tener una buena puntuación en el análisis del coeficiente Alfa de Cronbach; su remoción no alteró el valor del Alfa global11 Baron-Cohen S. The extreme male brain theory of autism. Trends Cogn Sci. [Internet]. 2002 [cited Jun 5, 2017];6(6):248-254. doi: https://doi.org/10.1016/S1364-6613(02)01904-6.
https://doi.org/10.1016/S1364-6613(02)01...
,1212 Rodrigues J, Lopes A, Giger JC, Gomes A, Santos J, Gonçalves G. Measure scales of Empathizing/Systemizing Quotient: A validation test for the Portuguese population. Psicologia. [Internet]. 2011 [cited Jun 25, 2017]; 25 (1): 73-89. [Portuguese] Available from: http://www.scielo.mec.pt/pdf/psi/v25n1/v25n1a04.pdf
http://www.scielo.mec.pt/pdf/psi/v25n1/v...
.
Esas escalas vienen siendo utilizadas con éxito en diversos países para medir el perfil empático y sistemático.
En ese contexto, el objetivo de este estudio fue realizar la validación semántica y evaluar las propiedades psicométricas de las versiones cortas de las Escalas de Medición del Cociente de Empatía/Sistematización.
Método
Se trata de un estudio metodológico de validación semántica de las versiones cortas de las Escalas de Medición del Cociente de Empatía/Sistematización para el portugués brasileño. El estudio fue desarrollado en dos fases: 1) validación semántica (validez de contenido) de las escalas y 2) evaluación de las propiedades psicométricas (consistencia interna).
Inicialmente, contactamos a la investigadora que validó las versiones cortas de las escalas en Portugal66 Rodrigues J, Gonçalves G, Lopes A, Santos J. Systemizing Quotient: An exploratory factor analysis. Psychologica. [Internet]. 2010 [cited Oct 25, 2017];1(52):41-54. [Portuguese] Available from: http://impactum-journals.uc.pt/psychologica/article/view/989
http://impactum-journals.uc.pt/psycholog...
, la cual nos envió el cuestionario y autorizó a proceder con la validación semántica en Brasil.
En esta fase fueron realizadas la Validez Aparente y de Contenido, para analizar la equivalencia semántica, experiencial, idiomática y conceptual. Se utilizó la colaboración de cinco jueces, siendo tres enfermeros brasileños, un enfermero portugués y un internacionalista y abogado, todos con experiencias didácticas y fluentes en el portugués brasileño. Estos clasificaron los ítems de los cuestionarios como apropiados o no apropiados, y entonces fue calculado el Índice de Validez de Contenido (IVC). Los ítems con el IVC igual a 100% tuvieron la adaptación mantenida en el cuestionario definitivo. Los ítems con IVC menor que 80% sufrieron algunas modificaciones en el lenguaje y fueron reevaluados por los jueces, los que concordaron con las alteraciones realizadas1313 Polit DF, Beck CT. Nursing Research: Generating and Assessing Evidence for Nursing Practice. 9th ed. Wolters Kluwer Health/Lippincott Williams & Wilkins; 2012..
En seguida las escalas fueron comprobadas en un pretest con 18 estudiantes de enfermería en una reunión, simulando las condiciones esperadas en la futura aplicación. Los alumnos fueron esclarecidos en cuanto al propósito del pretest y al finalizar el llenado de los cuestionarios fueron estimulados a verbalizar dudas. Como no ocurrió ninguna sugestión de modificación, las escalas fueron consideradas comprensibles por el público objeto del estudio. Así, se obtuvieron las versiones cortas finales de las escalas, que fueron denominadas de “Escalas de Medición del Cociente de Empatía/Sistematización - Brasil”.
Teniendo como referencia el modelo de los autores de las versiones cortas validadas en Portugal66 Rodrigues J, Gonçalves G, Lopes A, Santos J. Systemizing Quotient: An exploratory factor analysis. Psychologica. [Internet]. 2010 [cited Oct 25, 2017];1(52):41-54. [Portuguese] Available from: http://impactum-journals.uc.pt/psychologica/article/view/989
http://impactum-journals.uc.pt/psycholog...
,1212 Rodrigues J, Lopes A, Giger JC, Gomes A, Santos J, Gonçalves G. Measure scales of Empathizing/Systemizing Quotient: A validation test for the Portuguese population. Psicologia. [Internet]. 2011 [cited Jun 25, 2017]; 25 (1): 73-89. [Portuguese] Available from: http://www.scielo.mec.pt/pdf/psi/v25n1/v25n1a04.pdf
http://www.scielo.mec.pt/pdf/psi/v25n1/v...
, en la segunda fase, las escalas tuvieron sus propiedades psicométricas evaluadas por medio del análisis de confiabilidad, verificadas por la medida de la consistencia interna de los ítems de los cuestionarios, calculados por el coeficiente Alpha de Cronbach. Este indicador es recomendado para analizar la consistencia de instrumentos debido a que refleja el grado de covariancia de los ítems entre sí, siendo considerados aceptables valores mayores que 0,70, el que refleja un alto grado de consistencia interna1414 Pasquali L. Psicometria: teoria dos testes na psicologia e na educação. Rio de Janeiro: Vozes; 2003.. El coeficiente de correlación de Pearson fue utilizado apenas para verificar la relación entre los totales de las escalas y entre los factores de las escalas CE y CS.
Se adoptó como nivel de significación valores iguales a 0,05. Se presupone hipotéticamente que las correlaciones sean positivas y significativas entre los dominios (Empatía cognitiva, Reactividad emocional, Capacidades Sociales y Dificultades empáticas) y estos con el total de la Escala del Cociente de Empatía y entre los factores (Contenidos y Procesos) y con el total de la Escala del Cociente de Sistematización. El análisis de la correlación de Pearson fue realizado de acuerdo con la clasificación: r< 0,2 significa una asociación muy baja; entre 0,2 y 0,39 baja; entre 0,4 y 0,69 moderada; entre 0,7 y 0,89 alta; y, entre 0,9 y 1,0 muy alta1515 Pestana MH, Gageiro JN. Descobrindo a regressão: Com a complementaridade do SPSS. Lisboa: Edições Sílabo; 2005..
El estudio contó con una muestra de 215 estudiantes de enfermería de una universidad pública situada en el interior del estado de Sao Paulo. Los datos fueron recogidos en el período de octubre a noviembre de 2016; participaron estudiantes del primero al quinto año matriculados en los cursos de bachillerato y bachillerato de licenciatura en enfermería. La recogida de datos fue realizada en los días en que los grupos cursaban disciplinas que reunían todos los alumnos en una sala de clases. En esa ocasión, el objetivo de la investigación era presentado por la investigadora que convidaba a los alumnos presentes a participar del estudio, entregaba el Término de Consentimiento Libre e Informado (TCLI) y los cuestionarios imprimidos para que los participantes los llenaran y devolvieran respondidos. Además de las Escalas sobre los Cocientes de Empatía (CE) y de Sistematización (CS), fueron recogidos datos para la caracterización sociodemográfica de los participantes (sexo, fecha de nacimiento, curso y semestre). El tiempo gastado para llenar los instrumentos era de aproximadamente 15 minutos.
La investigación fue realizada después de la aprobación de los autores de los cuestionarios y de la autora de la versión para la lengua portuguesa en Portugal, así como del Comité de Ética en Investigación con el número 191/2016.
Con relación las escalas, la CE posee 21 ítems distribuidos en cuatro dominios descritos como: Empatía Cognitiva (9,12,18,19,20); Capacidades Sociales (1,6,10,13,15); Reactividad Emocional (2,8,14,17,21); y, Dificultades Empáticas (3,4,5,7,11,16). La CS presenta 25 preguntas distribuidas en los factores “Contenidos” (3, 4,7,8,9,10,11,12,15,17,19,20) y “Procesos” (1,2,5,6,13,14,16,18,21,22,23,24,25). Los ítems reversos de las escalas son: CE (3,4,5,7,11,16), y CS (3,4,7,9,10,11,12,15,17,19,20,23,25).
Las respuestas a los ítems de los cuestionarios son indicadas en una escala tipo Likert de (1) uno a (4) cuatro puntos, donde (1) uno corresponde a “Concuerdo Totalmente”, (2) dos a “Concuerdo Parcialmente”, (3) tres a “Discuerdo Parcialmente” y (4) a “Discuerdo Totalmente”. El participante puede puntuar (0) cero (en una respuesta no empática/no sistemática), (1) un punto (en una respuesta parcialmente empática/sistemática), o (2) dos puntos (en una respuesta totalmente empática/sistemática), es decir, cada ítem es puntuado (2,1,0,0), pudiendo así, variar su puntuación máxima entre 0 y 42 puntos en el CE y de 0 a 50 puntos en el CS.
Los datos fueron introducidos dos veces en planillas del programa Excel, para verificar la consistencia y después fueron transportados para el programa IBM SPSS Statistics versión 24 (2016), por medio del cual fueron procesados los análisis descriptivos de caracterización de los estudiantes de enfermería y de los puntajes de los ítems de las escalas del CE y CS.
Resultados
De los 215 participantes, 186 (86,5%) eran del sexo femenino, con edad variando entre 17 y 48 años y media de 21 años (DE=3,21).
Las escalas presentaron valores globales de Alfa de Cronbach de 0,83 para el Cociente de Empatía y 0,79 para el Cociente de Sistematización (Tabla 1).
Las correlaciones entre los puntajes de las versiones cortas de las Escalas de Medición del Cociente de Empatía y Cociente/Sistematización - Brasil, mostraron correlación moderada entre “Dificultades Empáticas” y “Reactividad Emocional” (r = 0,406; P = 0,000) y “Empatía Cognitiva” y “Reactividad Emocional” (r = 0,515; P = 0,000); baja correlación entre “Capacidades Sociales” y “Reactividad Emocional” (r = 0,391; P = 0,000), “Dificultades Empáticas” y “Empatía Cognitiva” (r = 0,358; P = 0,000) y “Capacidades Sociales” y “Reactividad Emocional” (r = 0,391; P = 0,000); y muy baja correlación entre “Capacidades Sociales” y “Dificultades Empáticas” (r = 0,141; P = 0,039) (Tabla 2).
Discusión
Las pruebas psicométricas revelaron una alta correlación entre las variables y la adecuación muestral. En los análisis de los valores de los Alpha de Cronbach globales del CE/CS con los obtenidos en las versiones cortas originales (CE = Alpha 0,90 y CS = Alpha 0,89) y de las versiones cortas en Portugal (CE = Alpha 0,85 y CS = 0,72), se verificó que la confiabilidad y consistencia interna de los instrumentos obtuvieron una alta correlación entre las variables11 Baron-Cohen S. The extreme male brain theory of autism. Trends Cogn Sci. [Internet]. 2002 [cited Jun 5, 2017];6(6):248-254. doi: https://doi.org/10.1016/S1364-6613(02)01904-6.
https://doi.org/10.1016/S1364-6613(02)01...
-22 Baron-Cohen S, Wheelwright S. The empathy quotient: An investigation of adults with Asperger syndrome or high functioning autism, and normal sex differences. J Autism Dev Disord. [Internet]. 2004 [cited Jun 25, 2017];34(2):163-75. Available from: https://www.ncbi.nlm.nih.gov/pubmed/15162935
https://www.ncbi.nlm.nih.gov/pubmed/1516...
,55 Baron-Cohen S, Jennifer R, Dheraj B, Nhishanth G, Sally W. The systemizing quotient: an investigation of adults with Asperger syndrome or high functioning autism and normal sex differences. Philos Trans R Soc Lond B Biol Sci. [Internet]. 2003 [cited Aug 25, 2017]; 358 (1430): 361-74. doi: http://dx.doi.org/10.1098/rstb.2002.1206
http://dx.doi.org/10.1098/rstb.2002.1206...
,1111 Wakabayashi A, Baron-Cohen S, Wheelwright S, Goldenfeld N, Delaney J, Fine D, et al. Development of short forms of the Empathy Quotient (EQ-Short) and the Systemizing Quotient (SQ-Short). Personality and Individual Differences. [Internet]. 2006 [cited Aug 25, 2017]; 4: 929-40. doi: http://dx.doi.org/10.1016/j.paid.2006.03.017
http://dx.doi.org/10.1016/j.paid.2006.03...
-1212 Rodrigues J, Lopes A, Giger JC, Gomes A, Santos J, Gonçalves G. Measure scales of Empathizing/Systemizing Quotient: A validation test for the Portuguese population. Psicologia. [Internet]. 2011 [cited Jun 25, 2017]; 25 (1): 73-89. [Portuguese] Available from: http://www.scielo.mec.pt/pdf/psi/v25n1/v25n1a04.pdf
http://www.scielo.mec.pt/pdf/psi/v25n1/v...
.
Los valores de Alpha revelaron que hubo consistencia interna razonable en los factores del CE; los del CS presentaron un valor bajo en el factor “Contenidos” y razonable en los “Procesos”. Sin embargo, comparando con los factores encontrados en la versión corta validada para el portugués europeo y para el portugués de Brasil, los resultados obtenidos son similares11 Baron-Cohen S. The extreme male brain theory of autism. Trends Cogn Sci. [Internet]. 2002 [cited Jun 5, 2017];6(6):248-254. doi: https://doi.org/10.1016/S1364-6613(02)01904-6.
https://doi.org/10.1016/S1364-6613(02)01...
,1212 Rodrigues J, Lopes A, Giger JC, Gomes A, Santos J, Gonçalves G. Measure scales of Empathizing/Systemizing Quotient: A validation test for the Portuguese population. Psicologia. [Internet]. 2011 [cited Jun 25, 2017]; 25 (1): 73-89. [Portuguese] Available from: http://www.scielo.mec.pt/pdf/psi/v25n1/v25n1a04.pdf
http://www.scielo.mec.pt/pdf/psi/v25n1/v...
.
Las correlaciones fueron todas positivas y significativas, confirmando el presupuesto establecido hipotéticamente. Al comparar los resultados de correlación con los hallazgos de los investigadores portugueses66 Rodrigues J, Gonçalves G, Lopes A, Santos J. Systemizing Quotient: An exploratory factor analysis. Psychologica. [Internet]. 2010 [cited Oct 25, 2017];1(52):41-54. [Portuguese] Available from: http://impactum-journals.uc.pt/psychologica/article/view/989
http://impactum-journals.uc.pt/psycholog...
, se encontraron resultados similares como: “EC” y “CS” r=0,606; “EC” y “RE” r = 0,559; “CS” y “RE” r = 0,538; y, “DE” y “CS” r = 0,302. En relación a la correlación por factores relacionados al CE, se obtuvieron resultados altos en “RE” (r = 0,783; P = 0,000), “CS” (r = 0,826; P = 0,000) y moderados entre “DE” (r = 0,668; P = 0,000) y “CS” (r = 0,684; P = 0,000). Las pruebas de las correlaciones de Pearson del Cociente de Sistematización resultaron en moderados entre “Procesos” y “Contenidos” (r = 0,498; P= 0,000) e intercalando los factores con el CS también se encontraron resultados altos como: “P” (r= 0,845; P = 0,000) y “C” (r = 0,885; P = 0,000).
Varios otros estudios comprobaron las propiedades psicométricas de las escalas en diversas poblaciones, como entre: estudiantes en ciencias exactas y humanas1212 Rodrigues J, Lopes A, Giger JC, Gomes A, Santos J, Gonçalves G. Measure scales of Empathizing/Systemizing Quotient: A validation test for the Portuguese population. Psicologia. [Internet]. 2011 [cited Jun 25, 2017]; 25 (1): 73-89. [Portuguese] Available from: http://www.scielo.mec.pt/pdf/psi/v25n1/v25n1a04.pdf
http://www.scielo.mec.pt/pdf/psi/v25n1/v...
,1717 Billington J, Baron-Cohen S, Wheelwright S. Cognitive style predicts entry into physical sciences and humanities: Questionnaire and performance tests of empathy and systemizing. Learning and Individual Differences. [Internet]. 2007 [cited Nov 25, 2017];17:260-8. doi: https://doi.org/10.1016/j.lindif.2007.02.004
https://doi.org/10.1016/j.lindif.2007.02...
-1818 Dostál D, Pháková A, Záskodná T. Domain-Specific Creativity in Relation to the Level of Empathy and Systemizing. The Journal of Creative Behavior. [Internet]. 2015 [cited Aug 25, 2017];51(3):225-39. doi: http://dx.doi.org/10.1002/jocb.103
http://dx.doi.org/10.1002/jocb.103...
; estudiantes de diversos cursos1818 Dostál D, Pháková A, Záskodná T. Domain-Specific Creativity in Relation to the Level of Empathy and Systemizing. The Journal of Creative Behavior. [Internet]. 2015 [cited Aug 25, 2017];51(3):225-39. doi: http://dx.doi.org/10.1002/jocb.103
http://dx.doi.org/10.1002/jocb.103...
; estudiantes de enfermería1919 Penprase B, Oakley B, Ternes R, Driscoll D. Empathy as a determining factor for nursing career selection. J Nurs Educ. [Internet]. 2013 [cited Sept 25, 2017];52(4):192-7. doi: http://dx.doi.org/10.3928/01484834-20130314-02
http://dx.doi.org/10.3928/01484834-20130...
-2020 Kim SC, Burke L, Sloan C, Barnett S. Attitudes toward teen mothers among nursing students and psychometric evaluation of Positivity Toward Teen Mothers scale. Nurse Educ Today. [Internet]. 2013 [cited Oct 25, 2017];33(9):986-91. doi: http://dx.doi.org/10.1016/j.nedt.2012.10.014
http://dx.doi.org/10.1016/j.nedt.2012.10...
; personas con desorden de despersonalización2121 Lawrence EJ, Shaw P, Baker D, Baron-Cohen S, David AS. Measuring empathy: reliability and validity of the empathy quotient. Psychol Med. [Internet]. 2004 [cited Nov 15, 2017];34(5):911-24. Available from: https://www.ncbi.nlm.nih.gov/pubmed/15500311
https://www.ncbi.nlm.nih.gov/pubmed/1550...
; autistas2222 Williams JHG, Cameron IM. The Actions and Feelings Questionnaire in Autism and Typically Developed Adults. J Autism Dev Disord. [Internet]. 2017 [cited Dec 5, 2017];47:3418-3430. doi: http://dx.doi.org/10.1007/s10803-017-3244-8
http://dx.doi.org/10.1007/s10803-017-324...
23 Berthoz S, Wessa M, Kedia G, Wicker B, Grèzes J. Cross-cultural validation of the empathy quotient in a French-speaking sample. Can J Psychiatry. [Internet]. 2008 [cited Oct 25, 2017];53(7):469-77. doi: http://dx.doi.org/10.1177/070674370805300712
http://dx.doi.org/10.1177/07067437080530...
24 Groen Y, Fuermaier ABM, Den Heijer AE, Tucha O, Althaus M. The Empathy and Systemizing Quotient: The Psychometric Properties of the Dutch Version and a Review of the Cross-Cultural Stability. J Autism Dev Disord. [Internet]. 2015 [cited Aug 10, 2017];45:2848-64. doi: http://dx.doi.org/10.1007/s10803-015-2448-z
http://dx.doi.org/10.1007/s10803-015-244...
25 Dudas RB, Lovejoy C, Cassidy S, Allison C, Smith P, Baron-Cohen S. The overlap between autistic spectrum Conditions and borderline personality Disorder. PLoS ONE. [Internet]. 2017 [cited Oct 10, 2017];12(9):e0184447. doi: http://dx.doi.org/10.1371/journal.pone.0184447
http://dx.doi.org/10.1371/journal.pone.0...
-2626 Tavassoli T, Miller LJ, Schoen SA, Jo Brout J, Sullivan J, Baron-Cohen S. Sensory reactivity, empathizing and systemizing in autism spectrum conditions and sensory processing disorder. Dev Cogn Neurosci. [Internet]. 2018 Jan [cited Mar 5, 2018]; 29:72-7. doi: http://dx.doi.org/10.1016/j.dcn.2017.05.005
http://dx.doi.org/10.1016/j.dcn.2017.05....
; y, niños y adultos con trastorno de déficit de atención e hiperactividad2727 Groen Y, Den Heijer AE, Fuermaier ABM, Althaus M, Tucha O. Reduced emotional empathy in adults with subclinical ADHD: evidence from the empathy and systemizing quotient. Atten Defic Hyperact Disord. [Internet]. 2017 Aug [cited Dec 5, 2017]. doi: 10.1007/s12402-017-0236-7
https://doi.org/10.1007/s12402-017-0236-...
, todos obtuvieron buena confiabilidad. Debido a la diversidad de las poblaciones estudiadas, usando las escalas cortas de las Medidas del Cociente de Empatía/Sistematización, el presente estudio con estudiantes en enfermería confirma su validez y confiabilidad.
La validación semántica de este instrumento representa una contribución valiosa para la literatura brasileña en el campo de la empatía y en su aplicación en públicos distintos; este recurso se presenta como muy útil para ser explorado en el área de enfermería, así como en las profesiones de salud en que el contacto humano es fundamental para el cuidado, para la gestión de personas y para la enseñanza. Por tanto, las escalas validadas podrán auxiliar nuevas investigaciones y contribuir para la práctica clínica, administrativa y pedagógica de la enfermería.
Conclusión
Las versiones cortas de las Escalas de Medición del Cociente de Empatía/Sistematización - Brasil se mostraron válidas y confiables para medir el perfil empático y sistemático de estudiantes de enfermería. Las escalas pueden ser utilizadas separadamente, ya que son independientes. Una limitación de este estudio fue su realización en apenas una institución y población. Se sugiere que futuras investigaciones sean realizadas para comprobar las propiedades psicométricas de las escalas en otras poblaciones brasileñas.
References
-
1Baron-Cohen S. The extreme male brain theory of autism. Trends Cogn Sci. [Internet]. 2002 [cited Jun 5, 2017];6(6):248-254. doi: https://doi.org/10.1016/S1364-6613(02)01904-6
» https://doi.org/10.1016/S1364-6613(02)01904-6 -
2Baron-Cohen S, Wheelwright S. The empathy quotient: An investigation of adults with Asperger syndrome or high functioning autism, and normal sex differences. J Autism Dev Disord. [Internet]. 2004 [cited Jun 25, 2017];34(2):163-75. Available from: https://www.ncbi.nlm.nih.gov/pubmed/15162935
» https://www.ncbi.nlm.nih.gov/pubmed/15162935 -
3Kim J, Lee SJ. Reliability and validity of the Korean Version of the Empathy Quotient Scale. Psychiatry Investig. [Internet]. 2010 [cited Aug 5, 2017];7(1):24-30. doi: http://dx.doi.org/10.4306/pi.2010.7.1.24
» http://dx.doi.org/10.4306/pi.2010.7.1.24 -
4Giménez-Espert María del Carmen, Prado-Gascó Vicente-Javier. The moderator effect of sex on attitude toward communication, emotional intelligence, and empathy in the nursing field. Rev. Latino-Am. Enfermagem. [Internet]. 2017 [cited Jul 17, 2018]; 25:e2969. http://dx.doi.org/10.1590/1518-8345.2018.2969
» http://dx.doi.org/10.1590/1518-8345.2018.2969 -
5Baron-Cohen S, Jennifer R, Dheraj B, Nhishanth G, Sally W. The systemizing quotient: an investigation of adults with Asperger syndrome or high functioning autism and normal sex differences. Philos Trans R Soc Lond B Biol Sci. [Internet]. 2003 [cited Aug 25, 2017]; 358 (1430): 361-74. doi: http://dx.doi.org/10.1098/rstb.2002.1206
» http://dx.doi.org/10.1098/rstb.2002.1206 -
6Rodrigues J, Gonçalves G, Lopes A, Santos J. Systemizing Quotient: An exploratory factor analysis. Psychologica. [Internet]. 2010 [cited Oct 25, 2017];1(52):41-54. [Portuguese] Available from: http://impactum-journals.uc.pt/psychologica/article/view/989
» http://impactum-journals.uc.pt/psychologica/article/view/989 -
7Baron-Cohen S. Autism: The Empathizing-Systemizing (E-S) theory. Ann N Y Acad Sci. [Internet]. 2009 [cited Sept 25, 2017];1156:68-80. doi: http://dx.doi.org/10.1111/j.1749-6632.2009.04467.x
» http://dx.doi.org/10.1111/j.1749-6632.2009.04467.x -
8Baron-Cohen S. Mindblindness: An essay on autism and theory of mind. Boston, MA: MIT Press; 1995.
-
9Baron Cohen S, Cassidy S, Auyeung B, Allison C, Achoukhi M, Robertson S, et al. Attenuation of typical sex differences in 800 adults with autism vs. 3,900 controls. PLoS One. [Internet]. 2014 [cited Oct 25, 2017];9(7):e102251. doi: http://dx.doi.org/10.1371/journal.pone.0102251
» http://dx.doi.org/10.1371/journal.pone.0102251 -
10Baron-Cohen S, Wheelwright S, Lawson J, Griffin R, Ashwin C, Billington J, et al. Empathising and systemising in autism spectrum conditions. Handbook of Autism and Pervasive Developmental Disorders. 3rd ed. John Wiley; 2005.
-
11Wakabayashi A, Baron-Cohen S, Wheelwright S, Goldenfeld N, Delaney J, Fine D, et al. Development of short forms of the Empathy Quotient (EQ-Short) and the Systemizing Quotient (SQ-Short). Personality and Individual Differences. [Internet]. 2006 [cited Aug 25, 2017]; 4: 929-40. doi: http://dx.doi.org/10.1016/j.paid.2006.03.017
» http://dx.doi.org/10.1016/j.paid.2006.03.017 -
12Rodrigues J, Lopes A, Giger JC, Gomes A, Santos J, Gonçalves G. Measure scales of Empathizing/Systemizing Quotient: A validation test for the Portuguese population. Psicologia. [Internet]. 2011 [cited Jun 25, 2017]; 25 (1): 73-89. [Portuguese] Available from: http://www.scielo.mec.pt/pdf/psi/v25n1/v25n1a04.pdf
» http://www.scielo.mec.pt/pdf/psi/v25n1/v25n1a04.pdf -
13Polit DF, Beck CT. Nursing Research: Generating and Assessing Evidence for Nursing Practice. 9th ed. Wolters Kluwer Health/Lippincott Williams & Wilkins; 2012.
-
14Pasquali L. Psicometria: teoria dos testes na psicologia e na educação. Rio de Janeiro: Vozes; 2003.
-
15Pestana MH, Gageiro JN. Descobrindo a regressão: Com a complementaridade do SPSS. Lisboa: Edições Sílabo; 2005.
-
16Wheelwright S, Baron-Cohen S, Goldenfeld N, Delaney J, Fine D, Smith R. Predicting autism spectrum quotient (AQ) from the systemizing quotient-revised (SQ-R) and empathy quotient (EQ). Brain Res. [Internet]. 2006 [cited Oct 15, 2017];1079:47-56. doi: http://dx.doi.org/10.1016/j.brainres.2006.01.012
» http://dx.doi.org/10.1016/j.brainres.2006.01.012 -
17Billington J, Baron-Cohen S, Wheelwright S. Cognitive style predicts entry into physical sciences and humanities: Questionnaire and performance tests of empathy and systemizing. Learning and Individual Differences. [Internet]. 2007 [cited Nov 25, 2017];17:260-8. doi: https://doi.org/10.1016/j.lindif.2007.02.004
» https://doi.org/10.1016/j.lindif.2007.02.004 -
18Dostál D, Pháková A, Záskodná T. Domain-Specific Creativity in Relation to the Level of Empathy and Systemizing. The Journal of Creative Behavior. [Internet]. 2015 [cited Aug 25, 2017];51(3):225-39. doi: http://dx.doi.org/10.1002/jocb.103
» http://dx.doi.org/10.1002/jocb.103 -
19Penprase B, Oakley B, Ternes R, Driscoll D. Empathy as a determining factor for nursing career selection. J Nurs Educ. [Internet]. 2013 [cited Sept 25, 2017];52(4):192-7. doi: http://dx.doi.org/10.3928/01484834-20130314-02
» http://dx.doi.org/10.3928/01484834-20130314-02 -
20Kim SC, Burke L, Sloan C, Barnett S. Attitudes toward teen mothers among nursing students and psychometric evaluation of Positivity Toward Teen Mothers scale. Nurse Educ Today. [Internet]. 2013 [cited Oct 25, 2017];33(9):986-91. doi: http://dx.doi.org/10.1016/j.nedt.2012.10.014
» http://dx.doi.org/10.1016/j.nedt.2012.10.014 -
21Lawrence EJ, Shaw P, Baker D, Baron-Cohen S, David AS. Measuring empathy: reliability and validity of the empathy quotient. Psychol Med. [Internet]. 2004 [cited Nov 15, 2017];34(5):911-24. Available from: https://www.ncbi.nlm.nih.gov/pubmed/15500311
» https://www.ncbi.nlm.nih.gov/pubmed/15500311 -
22Williams JHG, Cameron IM. The Actions and Feelings Questionnaire in Autism and Typically Developed Adults. J Autism Dev Disord. [Internet]. 2017 [cited Dec 5, 2017];47:3418-3430. doi: http://dx.doi.org/10.1007/s10803-017-3244-8
» http://dx.doi.org/10.1007/s10803-017-3244-8 -
23Berthoz S, Wessa M, Kedia G, Wicker B, Grèzes J. Cross-cultural validation of the empathy quotient in a French-speaking sample. Can J Psychiatry. [Internet]. 2008 [cited Oct 25, 2017];53(7):469-77. doi: http://dx.doi.org/10.1177/070674370805300712
» http://dx.doi.org/10.1177/070674370805300712 -
24Groen Y, Fuermaier ABM, Den Heijer AE, Tucha O, Althaus M. The Empathy and Systemizing Quotient: The Psychometric Properties of the Dutch Version and a Review of the Cross-Cultural Stability. J Autism Dev Disord. [Internet]. 2015 [cited Aug 10, 2017];45:2848-64. doi: http://dx.doi.org/10.1007/s10803-015-2448-z
» http://dx.doi.org/10.1007/s10803-015-2448-z -
25Dudas RB, Lovejoy C, Cassidy S, Allison C, Smith P, Baron-Cohen S. The overlap between autistic spectrum Conditions and borderline personality Disorder. PLoS ONE. [Internet]. 2017 [cited Oct 10, 2017];12(9):e0184447. doi: http://dx.doi.org/10.1371/journal.pone.0184447
» http://dx.doi.org/10.1371/journal.pone.0184447 -
26Tavassoli T, Miller LJ, Schoen SA, Jo Brout J, Sullivan J, Baron-Cohen S. Sensory reactivity, empathizing and systemizing in autism spectrum conditions and sensory processing disorder. Dev Cogn Neurosci. [Internet]. 2018 Jan [cited Mar 5, 2018]; 29:72-7. doi: http://dx.doi.org/10.1016/j.dcn.2017.05.005
» http://dx.doi.org/10.1016/j.dcn.2017.05.005 -
27Groen Y, Den Heijer AE, Fuermaier ABM, Althaus M, Tucha O. Reduced emotional empathy in adults with subclinical ADHD: evidence from the empathy and systemizing quotient. Atten Defic Hyperact Disord. [Internet]. 2017 Aug [cited Dec 5, 2017]. doi: 10.1007/s12402-017-0236-7
» https://doi.org/10.1007/s12402-017-0236-7
Fechas de Publicación
-
Publicación en esta colección
2018
Histórico
-
Recibido
23 Oct 2017 -
Acepto
19 Jul 2018