Open-access Clima motivacional, satisfação, engajamento e sucesso acadêmico em estudantes angolanos e dominicanos

pee Psicologia Escolar e Educacional Psicol. Esc. Educ. 2175-3539 Associação Brasileira de Psicologia Escolar e Educacional (ABRAPEE) Resumo O objetivo do estudo foi triplo: validar as versões em português e espanhol da Escala de Orientação e Clima Motivacional (MOC); avaliar a sua invariância métrica em amostras de estudantes dominicanos e angolanos; e estudar as relações das orientações e climas motivacionais com os aspectos educacionais relevantes. Participaram 2.302 estudantes dominicanos e 2.028 angolanos, de 14 a 18 anos. A Análise Fatorial Confirmatória mostrou que as quatro dimensões da hipótese do MOC se ajustaram bem aos dados de ambas as amostras. Os resultados mais relevantes mostraram que as percepções dos alunos sobre o clima de ensino estavam positivamente relacionadas ao engajamento escolar e ao sucesso acadêmico em ambas as amostras, enquanto as percepções do clima de desempenho estavam negativamente relacionadas com ditas variáveis. Os resultados são discutidos no âmbito da teoria das metas de realização e com relação às implicações para a prática educacional. Introducción Como afirman Wang y Holcombe (2010), la falta de compromiso de los adolescentes con la escuela se ha convertido en un problema crítico para los psicólogos escolares y los gestoresde la educación de todo el mundo. Esto es importante porque se ha descubierto que el compromiso de los estudiantes está directamente relacionado con un aumento en el éxito académico y una mayor satisfacción con la escuela. El compromiso escolar puede definirse como la participación de los estudiantes en los logros académicos (Christenson, Reschly, & Wylie, 2012). La UNESCO (2013) indicó que alrededor de 14 millones de estudiantes en el mundo abandonan la escuela sin completar sus estudios. Los factores que pueden influir en esta situación son diversos, entre los cuales el clima motivacional de la clase es uno de los más importantes (Awang-Hashim, Kaur, & Noman, 2015). En el campo de la psicología educativa, la perspectiva sociocognitiva de la motivación que pone el énfasis en cómo los estudiantes obtienen significado de sus experiencias en entornos de logro, ha ganado en importancia a lo largo de las últimas tres décadas (por ejemplo, Ames, 1992; Androutsou & Anastasiou, 2014; Barkoukis & Hagger, 2013; Duda, 2005; Mello & Leme, 2016; Nicholls, 1984; Porto & Gonçalves, 2017; Skaalvik & Federici, 2016). Una de las teorías más destacadas de la motivación de logro en las escuelas es la Teoría de las Metas de Logro (TML; Elliot, 2005; Nicholls, 1984). Como línea de investigación, la TML se ha centrado en aspectos del entorno de aprendizaje relacionados con las metas (objetivos) que los estudiantes se proponen en un contexto dado para demostrar competencia (Ames, 1992). Numerosas investigaciones han encontrado relaciones significativas entre las orientaciones de meta de los estudiantes en la escuela, y sus creencias sobre la frecuencia con la que se logra el éxito en ese contexto. Diversos estudios analíticos han revelado al menos dos dimensiones independientes de las metas académicas personales y las creencias sobre las causas del éxito escolar. La primera dimensión, la “orientación a la maestría”, consiste en el objetivo de mejorar la propia habilidad y obtener conocimiento, y la creencia de que, para tener éxito, los estudiantes deben trabajar duro, intentar comprender el trabajo escolar y colaborar con sus compañeros. La segunda dimensión, la “orientación a la ejecución”, se define por el objetivo de establecer la superioridad de uno sobre los demás, y la creencia de que el éxito en la escuela requiere vencer a los demás y mostrar una capacidad superior (Duda & Nicholls, 1992). Como señalaba Nicholls (1984), las metas de maestría y las metas de ejecución a veces se denominan metas de tarea y metas de ego cuando se consideran en el plano de las diferencias individuales (orientaciones disposicionales), mientras que reciben el nombre de implicación a la tarea e implicación al ego, respectivamente, cuando se refieren a estados (climas situacionales). La evidencia de investigación y las aplicaciones de la TML indican que la adherencia al comportamiento educativo puede verse facilitada en entornos de aprendizaje que enfatizan la mejora y el progreso personal, lo que hace que perseguir metas de maestría sea significativo para los estudiantes (Ames, 1992). La literature especializada sugiere que los estudiantes de primaria y secundaria muestran patrones de motivación y aprendizaje más positivos cuando sus entornos escolares resaltan la maestría, la comprensión, la mejora de las habilidades y el conocimiento. Sin embargo,los entornos escolares que se centran en demostrar una alta capacidad y competir por las calificaciones, pueden aumentar el rendimiento académico de algunos estudiantes, pero muchos jóvenes experimentan una disminución de su motivación en estas condiciones (Meece, Anderman, & Anderman, 2006). Por lo tanto, especialmente en contextos educativos en los que la ‘competición’ no es una prioridad, se recomienda que los estudiantes estén más orientados a la maestría (tarea, aprendizaje) que ala ejecución (ego, comparación) (Lee, Hayes, Seitz, DiStefano, & O'Connor, 2016). Aunque se ha encontrado una predisposición dominante a estar orientado bien a la maestría o bien a la ejecución, debido a la naturaleza ortogonal de las orientaciones de meta, es possible presentar una alta o baja orientación a ambas metas. La investigación sobre la juventud ha demostrado que una alta orientación a la maestría, ya sea individualmente o en combinación con una alta orientación a la ejecución, está relacionada con patrones cognitivos, afectivos y conductuales adaptativos (Papaioannou, Ampatzoglou, Kalogiannis, & Sagovits, 2008). El hecho de que se adopte o no una determinada meta de logro dependerá de la importancia que esta meta tenga para el individuo, las percepciones de las metas destacadas en la situación y la influencia de otras personas significativas (como padres, profesoresy compañeros) que refuerzan o enfatizan una perspectiva de meta sobre la otra (Duda, 2005). Los climas de maestría o de rendimiento están relacionados con la forma en que los ‘otros significativos' estructuran los diferentes entornos. El clima de maestría puede caracterizarse por promover el aprendizaje y el apoyo de los profesores, así como la percepción de los estudiantes de una atmósfera de ayuda cuando el esfuerzo es importante para mejorar.Por el contrario, se puede describir un clima de ejecución mediante la promoción de la competición por parte de los profesores y la comparación normativa de los estudiantes, así como la percepción de los estudiantes sobre la rivalidad intra-estudiantes, el elogio normativo y el reconocimiento desigual, la opinión de que los errores son castigados y los estudiantes temen cometer errores (Ames, 1992; Duda, 2005). Tal como ha mostrado la literatura científica, tanto las orientaciones de meta como la percepción del clima motivacional de la clase, tienen relaciones significativas con diferentes variables de la vida y el contexto escolar de los estudiantes (Meece et al., 2006; Wang & Holcombe, 2010). La orientación disposicional y el clima motivacional de los estudiantes se han relacionado, entre otros, con la motivación intrínseca (Froiland & Worrell, 2016), el autoconcepto académico (Seaton, Parker, Marsh, Craven, & Yeung, 2014), el ajuste adolescente (Travers, Bohnert, & Randall, 2013), el bienestar de los adolescentes (Moltafet & Firozabadi, 2014; Travers, Bohnert, & Randall, 2013), el compromiso escolar (Fonsêca et al., 2016; Wang & Eccles, 2013; Wang & Holcombe, 2010), la percepción de apoyo a la autonomía (Barkoukis y Hagger, 2013; Stornes, Bru, & Idsoe, 2008), yel logro académico (Androutsou & Anastasiou, 2014; Skaalvik & Federici, 2016; Wang & Holcombe, 2010). Por lo tanto, la evaluación del clima motivacional y las orientaciones de meta de los estudiantes han incrementado su importancia en las últimas décadas. El rendimiento escolar constituye el centro de la psicología educativa, y ha estado estrechamente relacionado con la motivación de los estudiantes (Green et al., 2012; Meece et al., 2006). En términos generales, los teóricos de la motivación están interesados en explicar el compromiso y la persistencia en la tarea, así como actividades cognitivas tales como la resolución de problemas y la toma de decisiones (Elliot, 2005). En la investigación educativa, las teorías de la motivación se usan con mayor frecuencia para explicar la elección de actividades, el compromiso, la persistencia, la búsqueda de ayuda y el rendimiento de los estudiantes en el ámbito educativo (Lee et al., 2016; Martin, Collie, Mok, & McInermey, 2016). En este contexto, la escala de Orientación y Clima Motivacional (MOC; Stornes & Bru, 2011; Stornes et al., 2008) es una medida que se desarrolló para evaluar las orientaciones de meta personales y las percepciones del clima motivacional. Fue desarrollada a partir de una versión noruega del Cuestionario de Percepción del Clima Motivacional en el Deporte (Ommundsen, Roberts, & Kavussanu, 1998), y el Cuestionario de Percepción de Éxito en el Deporte (Roberts, Treasure, & Balagué, 1998). Objetivo general El objetivo de esta investigación ha sido analizar las relaciones entre el clima motivacional, el compromiso escolar y el éxito académico, en muestras de poblaciones de estudiantes de Angola y República Dominicana. Objetivos específicos (1) Validar las versiones en español y portugués del MOC; (2) Evaluar la invarianza de medida de este instrumento a través de amplias muestras de estudiantes dominicanos y angoleños; y (3) Estudiar las relaciones de las orientaciones motivacionales y los climas motivacionales con resultados educativos relevantes. Hipótesis (a) La estructura factorial de las versiones en español y portugués del MOC coincidirá con la estructura propuesta por Stornes y Bru (2011); (b) Habrá una invarianza de medida de la escala MOC en las dos muestras estudiadas; (c) La orientación de maestría y la percepción del clima de maestría de la clase estarán positivamente relacionadas con el compromiso y el éxito académico de los estudiantes; (d) La orientación a la ejecución y la percepción del clima de ejecución (comparación) de la clase estarán relacionadas negativamente con el compromiso y el éxito académico de los estudiantes. Método Participantes Se han utilizado muestras de estudiantes de dos países, República Dominicana y Angola, para validar la escala. La República Dominicana es un país de habla hispana en el área caribeña de América, mientras que Angola es un país de habla portuguesa en el suroeste de África. La muestra de la República Dominicana está compuesta por un total de 2302 adolescentes que estudiaban Enseñanza Media en Santo Domingo, la capital de la República Dominicana. La media de edad era de 15.50 años (DT = 1.57). El 58% de ellos eran mujeres. La mayoría de los estudiantes fueron a escuelas públicas (58.3%).Los estudiantes de escuelas privadas fueron 22.8%, y el 18.8% restante de los estudiantes asistían a centros politécnicos. La muestra angoleña tiene un total de 2028 adolescentes que estudiaban los gradosescolaresséptimo a duodécimo en la provincia de Benguela (Angola). Su media de edad era 17.41 años (DT = 2.29). El 51.0% eran mujeres. El 52.7% vivía en zonas urbanas. Todos los participantes fueron reclutados en sus escuelas, mediante muestreo incidental o por conveniencia. Procedimiento El procedimiento fue el mismo para las dos muestras. Primero, se solicitó el permiso a las autoridades de los Ministerios de Educación de Angola y República Dominicana para desarrollar la investigación. Luego, se contactó con las autoridades de los centros educativos que expresaron su disposición a cooperar, para explicarles en qué consistía la investigación y obtener su permiso para llevarla a cabo. Finalmente, se informó a los estudiantes sobre el objetivo de la investigación y se les entregó una carta dirigida a la familia, solicitando permiso para su participación en el studio (si eran menores de edad). Todos los estudiantes participantes lo hicieron voluntariamente, después de devolver el consentimiento informado. Este estudio cumple con los valores éticos requeridos por el código ético de la Asociación Americana de Psicología (APA). La encuesta fue autoadministrada. La tasa de respuesta para ambas muestras fue superior al 99%. Los instrumentos autoadministrados fueron aplicados por un miembro del equipo de investigación, en las aulas de los estudiantes y durante las horas normales de clase, sin la presencia de sus profesores para maximizar el anonimato de las respuestas y garantizar la confidencialidad del proceso. Los entrevistadores estuvieron presentes solo para resolver las dudas que los participantes pudieran tener. Instrumentos de medida La encuesta incluyó información sociodemográfica y escalas relevantes en el campo de investigación del compromiso escolar. Entre ellos, se utilizó la escala de Orientación y Clima Motivacional (MOC; Stornes & Bru, 2011). Tal como informaron Stornes et al. (2008), la escala se adaptó para entornos escolares y estaba formada porítems relacionados con la percepción de los estudiantes sobreindicadores orientados alamaestría y a la ejecución (comparación) en el ambiente del aula. Esta escala se compone de 15 ítems y cubre las cuatro dimensiones del TML: orientación a la maestría, orientación a la ejecución, clima de maestría, y clima de ejecución. Los ítems sobre el clima motivacional y la orientación de metas tenían cinco alternativas de respuesta que iban desde "totalmente en desacuerdo" hasta "totalmente de acuerdo". Stornes y Bru (2011) informaron que los coeficientes alfa de Cronbach de esta escala fueron: Orientación a la maestría (.88), Orientación a la ejecución (78), Clima de maestría (74) y Clima de ejecución (75). Además de la escala MOC, se utilizaron otras medidas con fines de validación. Todos los instrumentos fueron presentados con una escala tipo Likert de cinco anclajes. Específicamente: Percepción de Apoyo a la Autonomía.La percepción de los estudiantes sobre el apoyo a la autonomía proporcionada por los profesores se evaluó con la versión corta de seis ítems del Cuestionario de Clima de Aprendizaje (LCQ, Jang, Kim, & Reeve 2012). Ejemplos de ítems: “Siento que mi professor/a me brinda oportunidades y opciones”, “Mi profesor/a escucha cómo me gustaría hacer las cosas”.El alfa para la muestra de Angola fue de .70, mientras que el alfa en la muestra dominicana fue de .90. Escala de Compromiso Escolar (Nie & Lau, 2009). Una escala de cinco ítems que mide un solo factor de la percepción de los estudiantes de su atención, esfuerzo y participación en las actividades del aula. Ejemplos de ítems "En mi clase escucho atentamente cuando el professor/a explica algo", "En mi clase hago todo lo posible por completar el trabajo de clase". El alfa para la muestra de Angola fue .74, y .88 para la muestra dominicana. Satisfacción con la Escuela (Nie & Lau, 2009). Una escala de cuatro ítems que mide un solo factor con un alfa de .76 para ambas muestras. Ejemplos de ítems: "Estoy contento de estar en esta escuela", "Creo que es bueno estudiar en esta escuela". Cuestionario de Éxito Académico, compuesto por cinco ítems que miden una sola dimensión (Plunkett, Henry, Houltberg, Sands, & Abarca-Mortensen, 2008). Ejemplos de ítems: "Las calificaciones son muy importantes para mí", "Generalmente termino mis tareas escolares a tiempo". La estimación alfa fue de .60 en la muestra de Angola y .64 para la muestra dominicana. Autoconcepto Académico, medido con los cuatro ítems empleados en Brunner et al. (2010). Ejemplos: "Aprendo cosas rápidamente en la mayoría de las asignaturas escolares", "Obtengo buen rendimiento en la mayoría de las asignaturas escolares". La fiabilidad obtenida fue de .73 para los estudiantes angoleños y .88 para los estudiantes dominicanos. Análisis estadísticos Los Análisis Factoriales Confirmatorios (AFC) se realizaron, estimaron y probaron en Mplus 7.3. Se utilizó la estimación de MLR dado que los datos eran notablemente no normales. Para evaluar el ajuste del modelo a los datos, se utilizaron varios índices que habitualmente recomienda la literature especializada (a) el estadístico chi-cuadrado; (b) el CFI (ComparativeFitIndex); (c) el RMSEA (Root Mean Squared Error of Approximation); y (d) el SRMR (Standardized Root Mean Residual). Un modelo con un CFI de .90 (mejor si el CFI = .95 o mayor) y RMSEA y SRMR de .08 o menores, indicarían un ajuste razonable del modelo hipotético a los datos (Hu & Bentler, 1999). Estos AFCs involucraron el estudio conjunto de la estructura factorial del MOC en muestras de Angola y República Dominicana, y en consecuencia se utilizó una prueba formal de invarianza de medida. Para establecer la invarianza de medida se requiere un conjunto de análisis factoriales confirmatorios con constricciones crecientes. También es necesario probar si las diferencias entre los modelos citados son significativas, ya sea desde el punto de vista estadístico o práctico (van de Schoot, Lugtig, & Hox, 2012). Como primer paso, se probó el modelo teórico en cada grupo. Luego, se probó simultáneamente un modelo configural (sin restricciones de parámetros entre los grupos), en ambos grupos, para establecer el modelo de referencia. Este modelo probó la equivalencia configural (o la misma estructura de factor que se mantiene para todos los grupos). Si este modelo multimuestra sin restricciones se ajusta bien a los datos, entonces se pasa a constreñir (restringir a igualdad) las cargas factoriales o invarianza métrica. La invarianza métrica se utiliza para saber si los encuestados dieron el mismo significado a las dimensiones en estudio. El siguiente paso en la secuencia fue probar un modelo con las interceptas de los ítems restringidas a igualdadoinvarianza escalar, lo que implica que el significado y los niveles de los ítems son iguales entre los grupos. Este tipo de invarianza se llama invarianza escalar o fuerte, y es necesario que ocurra para realizar comparaciones significativas en las medias latentes entre los grupos. Los modelos en la rutina de invarianza están anidados, y se pueden comparar con lógica estadística o lógica de modelado. Los modelos restringidos y no restringidos se comparan, con lógica estadística aplicando diferencias entre las chi-cuadrado de los modelos (diferencias deχ2, Δχ2), o con una lógica de modelado estadístico mediante la comparación de valores CFI (ΔCFI).La lógica estadística ha sido criticada, entre otros, por Cheung y Rensvold (2002) que recomendaron el enfoque del modelado que utiliza índices de ajuste prácticos para determinar la adecuación de un modelo. Por lo general, se utiliza un criterio de corte de diferencias de CFI inferiores a .01 para declarar invarianza (Cheung & Rensvold, 2002). Además de los modelos confirmatorios, se emplearon otros análisis estadísticos. Se estimaron los alfasdeCronbach y los índices de fiabilidad compuesta (IFC) para estimar la fiabilidad de las dimensiones en estudio. El alfa de Cronbach es el estimador de consistencia interna más utilizado, pero ha sido criticado por ser solo completamente apropiado con ítems y pruebas esencialmente tau-equivalentes, sobre-estimando o sub-estimando la fiabilidad (más a menudo la última) en el caso de que la tau-equivalencia no se mantenga. Una alternativa al alfa es el índice de fiabilidad compuesta, que puede calcularse utilizando estimaciones de análisis factoriales confirmatorios (Graham, 2006). Se calcularon ambas estimaciones de consistencia interna. Finalmente, se calcularon los coeficientes de correlación de Pearson entre las cuatro dimensiones de la escala y el conjunto de medidas con las que los climas y orientaciones motivacionales deberían estar teóricamente relacionados. Alfas y correlaciones se estimaron en SPSS 22. Resultados Invarianza de medida por país La estructura factorial hipotetizada era un modelo de cuatro factores con dos dimensiones relacionadas con la orientación a la maestría o a la ejecución de los estudiantes, y otras dos dimensiones relacionadas con el clima motivacional de maestría o de ejecución en el aula. Esta estructura factorial se especificó y probó por separado en ambas muestras. Para la muestra de Angola, el modelo de cuatro factores se ajustaba bien a los datos (χ2 (84) = 386.5, p<.001; CFI = .92; RMSEA = .042 [.038 - .046]; SRMR = .038). En la misma línea, el modelo de cuatro factores también ajustó bien a los datos dominicanos (χ2 (84) = 638.3, p<.001; CFI = .92; RMSEA = .053 [.030 - .057]; SRMR = .05). Tabla 1 Conjunto de modelos jerárquicos para probar la invarianza de medida entre países Modelo χ2 df p Δχ2 Δdf P CFI ΔCFI SRMR RMSEA 90% CI Configural 1031.74 169 <.001 -- -- 917 -- 050 049 046-052 Métrico 1051.45 180 <.001 23.8 11 013 916 001 052 047 045-050 Scalar 1499.56 191 <.001 548.5 11 <.01 874 042 061 056 054-059 Scalar con 3 ítemsliberados 1211.85 188 <.001 188.1 8 <.01 901 012 054 050 048-053 Dado que la solución de cuatro factores ajustaba bien en ambas muestras, era apropiado evaluar la invarianza de medida. La Tabla 1 muestra los índices de bondad de ajuste para la secuencia de modelos anidados en la rutina de invarianza de medida. Primero, debe establecerse un ajuste aceptable del modelo configural, un modelo multigrupo en el que no se imponen restricciones entre los grupos. Este modelo de configuración ajustó a los datos razonablemente bien. En consecuencia, se probó la secuencia de modelos restringidos que prueban la invarianza de medida. Las restricciones en las cargas factoriales (invarianza métrica) fueron sostenibles, porque el ajuste no se deterioró, e incluso en el caso del RMSEA fue mejor. Luego, las interceptas de los ítems se restringieron entre los grupos (invarianza escalar), y los índices de ajuste mostraron un deterioro importante. Este deterioro en el ajuste del modelo fue indicativo de desigualdades relevantes en las interceptas de los ítems o una falta de invarianza escalar. Los índices de modificación permitieron encontrar las restricciones que no se impusieron correctamente desde un punto de vista estadístico. Las intercepciones de ítems que no podían considerarse iguales en Angola y República Dominicana fueron las de los ítems 1, 2 y 9. Por lo tanto, se eliminaron esas tres restricciones y se probó el modelo de invarianza escalar parcial correspondiente. Este modelo de invarianza escalar parcial ajustaba bien a los datos, y fue el modelo retenido. Las cargas factoriales estandarizadas para este modelo de mejor ajuste se expone en la tabla 2 para ambas muestras. Tabla 2 Cargas factoriales estandarizadas y correlaciones ítem-totales (homogeneidad) para el modelo de cuatro factores en las muestras dominicana y angoleña Factor Ítems Descripciónresumida del ítem Domin. λ Domin. rit Angol. λ Angol. rit Orientacióna la Ejecución 1 Me siento con éxito cuando soy el mejor 51 43 36 31 5 Me siento con éxito cuando supero a los demás 76 64 61 44 9 Me siento con éxito cuando soy más inteligente que los demás 77 65 61 40 13 Me siento con éxito mostrando que soy el mejor 68 58 51 40 Clima de Ejecución 2 Solo los estudiantes exitosos son tomados en cuenta 64 45 59 42 6 Losprofessores muestran más atención a los estud. exitosos 72 52 65 40 10 Se anima a los estudiantes a superar a los demás 46 32 42 28 Orientación a la Maestría 3 Me siento content/a cuando tengo éxito 63 55 48 36 7 Me siento exitoso/a cuando hago un buen esfuerzo 76 66 59 45 11 Me siento exitoso cuando trabajo duro y triunfo 71 61 56 44 14 Me siento exitoso cuando trabajo lo mejor que puedo 70 61 63 47 Clima de Maestría 4 Los profesores esperan que aprendamos nuevas habilidades 70 55 59 42 8 Los prof. se dedican a ampliar nuestra comprensión del tema 69 57 55 44 12 Se anima a los estudiantes a practicar habilidades… 51 42 42 32 15 El progreso es importante para todos los estudiantes 56 41 54 37 Nota:Todas las cargas factorials son estadísticamente significativas con p <.01 Consistencia interna Las estimaciones del alfa de Cronbach y el IFC para los cuatro factores en la muestra dominicana fueron los siguientes: .77 y .83 para Orientación a la Ejecución; .64 y .72 para el Clima de Ejecución; .81 y .87 para Orientación a la Maestría; .71 y .80 para el Clima de Maestría. Las estimaciones de alfa de CronbacheIFC para los cuatro factores en la muestra de Angola fueron los siguientes, respectivamente: .61 y .67 para la Orientación a la Ejecución; .55 y .62 para el Clima de Ejecución; .65 y .75 para la Orientación a la Maestría; .60 y .72 para el Clima de Maestría. La Tabla 2 también ofrece correlación ítem-total para los 15 ítems en ambas muestras. Todos ellos pueden considerarse adecuados. Relaciones entre motivaciones, satisfacción escolar, compromiso, y éxito académico Para evaluar la validez nomológica de los cuatro factores en la escala MOC, se calcularon sus correlaciones con una serie de variables teóricamente relacionadas con la orientación y el clima motivacional. La Tabla 3 muestra las correlaciones entre las cuatro dimensiones en la escala MOC y el apoyo a la autonomía por los profesores, el compromise escolar, la satisfacción con la escuela, el autoconcepto académico y el éxito académico percibido. En general, las cuatro dimensiones están relacionadas de manera consistente y significativa con la red nomológica. Como era de esperar, las relaciones tanto de la orientación a la maestría como del clima de maestría fueron mayores con todos los resultados positivos considerados como criterios (satisfacción, compromiso y logro académico) que con la orientación a la ejecución y el clima de ejecución. Vale la pena señalar que el clima de ejecución fue bajo y / o incluso se relacionó negativamente con los criterios, todos ellos resultados positivos del entorno escolar y del proceso de aprendizaje. Tabla 3 Relaciones entre las dimensiones del MOC y los criterios en ambas muestras Dominicana Angoleña Criterios OE CE OM CM OE CE OM CM Apoyoautonomíaprofesores 17** -.15** 43** .53** 22** 13** 35** 43** Compromiso escolar 17** -.08** 53* .53** 13** 10** 37** 41** Satisfacción con la escuela 03 -.18** 27** .37** 25** 03 18** 25** Éxitoacadémico 17** -.11** 41** .40** 24** 08** 30** 33** Autoconceptoacadémico 15** -.08** 39** .38** 23** 08** 30** 27** Notas: *p < .05; **p < .01; OE = Orientationa la Ejecución; CE = Clima de Ejecución; OM = Orientación a la Maestría; CM = Clima de Maestría Discusión y conclusiones Basado en el marco de la Teoría de las Metas de Logro (TML), el objetivo de este estudio fue triple: (1) validar las versiones en español y portugués del MOC; (2) evaluar la invarianza de medida en ampliasmuestras de estudiantes dominicanos y angoleños; y (3) estudiar las relaciones de las orientaciones y climas motivacionales con factores educativos relevantes. Con respecto a la validez factorial de ambas versiones de la escala MOC (portugués y español), se esperaba obtener una estructura de cuatro factores, dos de ellos de clima motivacional (maestría y ejecución), y dos de orientaciones motivacionales (maestría y ejecución). Estos cuatro factores ajustaron adecuadamente a los datos observados en ambas muestras. Esto no solo se encontró en la versión noruega original de la escala desarrollada por Stornes y Bru (2011) y Stornes et al. (2008) basado en el Cuestionario de Percepción del Clima Motivacional en el Deporte (Ommundsen et al., 1998), sino también en otras escalas (Duda & Nicholls, 1992; Roberts et al., 1998). Además, la dimensionalidad también era coherente con el fundamento de la TML (Elliot, 2005; Nicholls, 1984) que plantea estos dos climas y orientaciones, ya sea con las etiquetas de ejecución y maestría o con las etiquetas de ego y tarea (Nicholls, 1984). La segunda hipótesis planteaba que habría una invarianza de medida de la escala MOC en las dos muestras estudiadas. Las cuatro dimensiones representaban bien los puntajes para ambas muestras, pero lo más importante, la rutina de invarianza encontró invarianza métrica (el mismo significado en todas las versiones) e invarianza escalar parcial. Solo tres elementos, dos de ellos de la orientación a la ejecución y uno para el clima de ejecución, se encontraron invariantes escalares. Hasta donde sabemos, éste es el primer estudio de invarianza de medida realizado con la escala MOC. Estudios futuros deberían tratar de replicarcuidadosamente los resultados de la invarianza escalar parcial encontrados en estainvestigación, atendiendo a qué elementos particulares son invariantes, si los hay. Si otros países, versiones, etc., encuentran que estos tres ítems no invariantes siguen siendo problemáticos, esto podría conducir a cambios en la escala. Con respecto a la fiabilidad de los factores del MOC, los resultados son adecuados para la versión española, y muy similares a las fiabilidades encontradas por Stornes y Bru (2011). No obstante, aparecieron estimaciones de fiabilidad más bajas en la version angoleña, y específicamente para el clima de ejecución y la orientación a la ejecución, precisamente las dimensiones a las que pertenecen los tres elementos no invariantes. Sin embargo, teniendo en cuenta que las cargas factoriales (las estimaciones en las que se basan los IFC) pueden considerarse invariantes en todos los grupos, esta menor fiabilidad no parece particularmente problemática. En resumen, los resultados de esta investigación han demostrado la validez de la escala para ambos países. Una consecuencia de este resultado es que, como es la primera vez que se ha validado en español y portugués, los hablantes nativos de estos idiomas en otros países podrían usar esta escala como una herramienta útil hasta que se realicen más estudios de validación específicamente para sus respectivos países. En relación con la tercera hipótesis, que afirmaba que la orientación a la maestría y la percepción del clima de maestría estarían positivamente relacionados con el compromiso y el éxito académico de los estudiantes, los resultados de este estudio fueron realmente en este sentido. Las correlaciones encontradas estaban en la línea de toda la literatura previa (Ames, 1992; Androutsou & Anastasiou, 2014; Lee et al., 2016). En cuanto a las relaciones de las cuatro dimensiones de la orientación y el clima motivacional con importantes variables educativas como apoyo a la autonomía y satisfacción con la escuela, los resultados también estuvieron en línea con estudios previos. En particular, todas las relaciones encontradas concuerdan con estudios sobre autoconcepto (Seaton et al., 2014), compromiso escolar (Wang & Holcombe, 2010), percepción de apoyo a la autonomía (Barkoukis & Hagger, 2013; Jang et al., 2012; Stornes et al., 2008), o logro académico (Meece et al., 2006; Wang & Holcombe, 2010). Desde una perspectiva aplicada, los resultados de este estudio resaltan la importancia de que los profesores promuevan entornos de aprendizaje en los que predomine un clima de maestría (aprendizaje), debido a su mayor impacto positivo en todas las variables personales y escolares aquí estudiadas. Los resultados indican que, aunque la percepción del clima de ejecución (comparación, rendimiento) también tuvo algunos efectos positivos sobre los resultados educativos, los obtenidos cuando los estudiantes percibieron el clima de maestría fueron mayores. A pesar de los resultados relevantes, esta investigación también presenta algunas limitaciones. Así, aunque ambas muestras estudiadas son grandes, sin embargo, no fueron muestras aleatorias y, por lo tanto, la generalización de estos resultados es limitada. Además, las relaciones estudiadas dentro de un diseño transversal no permiten una interpretación causal fuerte, por lo que deberían realizarse estudios longitudinales, quepodrían arrojar luz sobre las cadenas causales. Referencias Ames, C. A. (1992). Classrooms: goals, structures, and student motivation. Journal of Educational Psychology, 84, 261-271. Ames C. A 1992 Classrooms: goals, structures, and student motivation Journal of Educational Psychology 84 261 271 Androutsou, D.; Anastasiou, A. (2014). The relationship between school climate and student performance in the classroom: An empirical study concerning the factors that modulate the school climate in primary education in Greece. International Journal of Academic Research in Business and Social Sciences, 4(1), 253-267. Androutsou D. Anastasiou A 2014 The relationship between school climate and student performance in the classroom: An empirical study concerning the factors that modulate the school climate in primary education in Greece International Journal of Academic Research in Business and Social Sciences 4 1 253 267 Awang-Hashim, R.; Kaur, A.; Noman, M. (2015). The interplay of socio-psychological factors on school engagement among early adolescents. Journal of Adolescence, 45, 214-224. doi:10.1016/j.adolescence.2015.10.001 Awang-Hashim R. Kaur A. Noman M 2015 The interplay of socio-psychological factors on school engagement among early adolescents Journal of Adolescence 45, 214 224 10.1016/j.adolescence.2015.10.001 Barkoukis, V.; Hagger, M. S. (2013). The trans-contextual model: perceived learning and performance motivational climates as analogues of perceived autonomy support. European Journal of Psychology of Education, 28(2), 353-372. doi:10.1007/s10212-012-0118-5 Barkoukis V. Hagger M. S 2013 The trans-contextual model: perceived learning and performance motivational climates as analogues of perceived autonomy support European Journal of Psychology of Education 28 2 353 372 10.1007/s10212-012-0118-5 Brunner, M.; Keller, U.; Dierendonck, C.; Reichert, M.; Ugen, S.; Fischbach, A.; Martin, R. (2010). The structure of academic self-concepts revisited: The nested Marsh/Shavelsonmodel. Journal of Educational Psychology, 102(4), 964-981.doi:10.1037/a0019644 Brunner M. Keller U. Dierendonck C. Reichert M. Ugen S. Fischbach A. Martin R 2010 The structure of academic self-concepts revisited: The nested Marsh/Shavelsonmodel Journal of Educational Psychology 102 4 964 981 10.1037/a0019644 Cheung, G. W.; Rensvold, R. B. (2002). Evaluating goodness-of-fit indexes for testing MI. Structural Equation Modeling, 9, 235-255. doi:10.1207/S15328007SEM0902_5 Cheung G. W. Rensvold R. B 2002 Evaluating goodness-of-fit indexes for testing MI Structural Equation Modeling 9 235 255 10.1207/S15328007SEM0902_5 Christenson, S. L.; Reschly, A. L.; Wylie, C. (2012). Preface. In Christenson, S. L.; Reschly, A. L.; Wylie, C. (Eds.), Handbook of research on student engagement. New York: Springer. Christenson S. L. Reschly A. L. Wylie C 2012 Preface Christenson S. L. Reschly A. L. Wylie C Handbook of research on student engagement New York Springer Duda, J. L. (2005). Motivation in sport: The relevance of competence and achievement goals. In Elliot, A. J.; Dweck,C. S. (Eds.), Handbook of competence and motivation (pp. 318-335). New York: Guilford Press. Duda J. L 2005 Motivation in sport: The relevance of competence and achievement goals Elliot A. J. Dweck C. S Handbook of competence and motivation 318 335 New York Guilford Press Duda, J. L.; Nicholls, J. G. (1992). Dimensions of achievement motivation in schoolwork and sport. Journal of Educational Psychology, 84, 290-299.doi:10.1037/0022-0663.84.3.290 Duda J. L. Nicholls J. G 1992 Dimensions of achievement motivation in schoolwork and sport Journal of Educational Psychology 84 290 299 10.1037/0022-0663.84.3.290 Elliot, A. J. (2005). A conceptual history of the achievement goal construct. In Elliot, A.; Dweck, C. (Eds.), Handbook of competence and motivation (pp. 52-72). New York: Guilford Press. Elliot A. J 2005 A conceptual history of the achievement goal construct Elliot A. Dweck C Handbook of competence and motivation 52 72 New York Guilford Press Fonsêca, P. N.; Lopes, B. J.; Palitot, R. M.; Estanislau, A. M.; Couto, R. N.; Coelho, G. L. (2016). Engajamento escolar: explicação a partir dos valores humanos. Psicologia Escolar e Educacional, 20(3), 611-620. doi:10.1590/2175-3539201502031061 Fonsêca P. N. Lopes B. J. Palitot R. M. Estanislau A. M. Couto R. N. Coelho G. L 2016 Engajamento escolar: explicação a partir dos valores humanos Psicologia Escolar e Educacional 20 3 611 620 10.1590/2175-3539201502031061 Froiland, J. M; Worrell, F. C. (2016). Intrinsic motivation, learning goals, engagement, and achievement in a diverse high school. Psychology in the Schools, 53(3), 321-336.doi:10.1002/pits.21901 Froiland J. M Worrell F. C 2016 Intrinsic motivation, learning goals, engagement, and achievement in a diverse high school Psychology in the Schools 53 3 321 336 10.1002/pits.21901 Graham, J. M. (2006). Congeneric and essentially tau-equivalent estimates of score reliability: What they are and how to use them. Educational and Psychological Measurement, 66, 930-944.doi:10.1177/0013164406288165 Graham J. M 2006 Congeneric and essentially tau-equivalent estimates of score reliability: What they are and how to use them Educational and Psychological Measurement 66 930 944 10.1177/0013164406288165 Green, J.; Liem, G. A.; Martin, A. J.; Colmar, S., Marsh, H. W.; McInerney, D. (2012). Academic motivation, self-concept, engagement, and performance in high school: Key processes from a longitudinal perspective. Journal of Adolescence, 35, 1111-1122. doi:10.1016/j.adolescence.2012.02.016 Green J. Liem G. A. Martin A. J. Colmar H. W. S. Marsh McInerney D 2012 Academic motivation, self-concept, engagement, and performance in high school: Key processes from a longitudinal perspective Journal of Adolescence 35 1111 1122 10.1016/j.adolescence.2012.02.016 Hu, L.; Bentler, P. M. (1999). Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Structural Equation Modeling, 6, 1-55.doi:10.1080/10705519909540118 Hu L. Bentler P. M 1999 Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives Structural Equation Modeling 6 1 55 10.1080/10705519909540118 Jang, H.; Kim, E. U.; Reeve, J. (2012). Longitudinal test of self-determination theory’s motivation mediation model in a naturally occurring classroom context. Journal of Educational Psychology, 104(4), 1175-1188.doi:10.1037/a0028089 Jang H. Kim E. U. Reeve J 2012 Longitudinal test of self-determination theory’s motivation mediation model in a naturally occurring classroom context Journal of Educational Psychology 104 4 1175 1188 10.1037/a0028089 Lee, C. S.; Hayes, K. N.; Seitz, J.; DiStefano, R.; O'Connor, D. (2016). Understanding motivational structures that differentially predict engagement and achievement in middle school science. International Journal of Science Education, 38(2), 192-215. doi:10.1080/09500693.2015.1136452 Lee C. S. Hayes K. N. Seitz J. DiStefano R. O'Connor D 2016 Understanding motivational structures that differentially predict engagement and achievement in middle school science International Journal of Science Education 38 2 192 215 10.1080/09500693.2015.1136452 Martin, A. J.; Collie, R. J.; Mok, M. M.; McInermey, D. M. (2016). Personal best (PB) goal structure, individual PB goals, engagement, and achievement: A study of Chinese- and English-speaking background students in Australian schools. British Journal of Educational Psychology, 86(1), 75-91. doi:10.1111/bjep.12092 Martin A. J. Collie R. J. Mok M. M. McInermey D. M 2016 Personal best (PB) goal structure, individual PB goals, engagement, and achievement: A study of Chinese- and English-speaking background students in Australian schools British Journal of Educational Psychology 86 1 75 91 10.1111/bjep.12092 Meece, J. L.; Anderman, E. M.; Anderman, L. H. (2006). Classroom goal structure, student motivation, and academic achievement. Annual Review of Psychology, 57, 487-503.doi:10.1146/annurev.psych.56.091103.070258 Meece J. L. Anderman E. M. Anderman L. H 2006 Classroom goal structure, student motivation, and academic achievement Annual Review of Psychology 57 487 503 10.1146/annurev.psych.56.091103.070258 Mello, M. B. J.; Leme, M. I. S. (2016). Motivação de alunos dos cursos superiores de tecnología. Psicologia Escolar e Educacional, 20(3), 581-590.doi:10.1590/2175-3539/2015/02031053 Mello M. B. J. Leme M. I. S 2016 Motivação de alunos dos cursos superiores de tecnología Psicologia Escolar e Educacional 20 3 581 590 10.1590/2175-3539/2015/02031053 Nicholls, J. G. (1984). Achievement motivation: Conceptions of ability, subjective experience, task choice, and performance. Psychology Review, 91, 328-346.doi:10.1037/0033-295X.91.3.328 Nicholls J. G 1984 Achievement motivation: Conceptions of ability, subjective experience, task choice, and performance Psychology Review 91 328 346 10.1037/0033-295X.91.3.328 Nie, Y.; Lau, S. (2009). Complementary roles of care and behavioral control in classroom management: The self-determination theory perspective. Contemporary Educational Psychology, 34, 185-194. doi:10.1016/j.cedpsych.2009.03.001 Nie Y. Lau S 2009 Complementary roles of care and behavioral control in classroom management: The self-determination theory perspective Contemporary Educational Psychology 34 185 194 10.1016/j.cedpsych.2009.03.001 Ommundsen, Y.; Roberts, G. C.; Kavussanu, M. (1998). Perceived motivational climate and cognitive and affective correlates among Norwegian athletes. Journal of Sports Sciences, 16(2), 153-164. doi:10.1080/026404198366867 Ommundsen Y. Roberts G. C. Kavussanu M 1998 Perceived motivational climate and cognitive and affective correlates among Norwegian athletes Journal of Sports Sciences 16 2 153 164 10.1080/026404198366867 Papaioannou, A. G.; Ampatzoglou, G.; Kalogiannis, P.; Sagovits, A. (2008). Social agents, achievement goals, satisfaction and academic achievement in youth sport. Psychology of Sport and Exercise, 9, 122-141. doi:10.1016/j.psychsport.2007.02.003 Papaioannou A. G. Ampatzoglou G. Kalogiannis P. Sagovits A 2008 Social agents, achievement goals, satisfaction and academic achievement in youth sport Psychology of Sport and Exercise 9 122 141 10.1016/j.psychsport.2007.02.003 Plunkett, S. W.; Henry, C. S.; Houltberg, B. J.; Sands, T.; Abarca-Mortensen, S. (2008). Academic support by significant others and educational resilience in Mexican-Origin ninth grade students from intact families. The Journal of Early Adolescence, 28, 333-355.doi:10.1177/0272431608314660 Plunkett S. W. Henry C. S. Houltberg B. J. Sands T. Abarca-Mortensen S 2008 Academic support by significant others and educational resilience in Mexican-Origin ninth grade students from intact families The Journal of Early Adolescence 28 333 355 10.1177/0272431608314660 Porto, R. C.; Gonçalves, M. P. (2017). Motivação e envolvimento acadêmico: um estudo com estudantes universitários. Psicologia Escolar e Educacional, 21(3), 515-522. doi:10.1590/2175-3539/2017/021311192 Porto R. C. Gonçalves M. P 2017 Motivação e envolvimento acadêmico: um estudo com estudantes universitários Psicologia Escolar e Educacional 21 3 515 522 10.1590/2175-3539/2017/021311192 Roberts, G. C.; Treasure, D. C.; Balagué, G. (1998). Achievement goals in sport: The development and validation of the Perceptions of Success Questionnaire. Journal of Sports Sciences, 16, 337-347. doi:10.1080/02640419808559362 Roberts G. C. Treasure D. C. Balagué G 1998 Achievement goals in sport: The development and validation of the Perceptions of Success Questionnaire Journal of Sports Sciences 16 337 347 10.1080/02640419808559362 Seaton, M.; Parker, P.; Marsh, H.; Craven, R.; Yeung, A. S. (2014). The reciprocal relations between self-concept, motivation and achievement: Juxtaposing academic self-concept and achievement goal orientations for mathematics success. Educational Psychology, 34, 49-72. doi:10.1080/01443410.2013.825232 Seaton M. Parker P. Marsh H. Craven R. Yeung A. S 2014 The reciprocal relations between self-concept, motivation and achievement: Juxtaposing academic self-concept and achievement goal orientations for mathematics success Educational Psychology 34 49 72 10.1080/01443410.2013.825232 Skaalvik, E. A.; Federici, R. A. (2016). Relations between classroom goal structures and students’ goal orientations in mathematics classes: When is a mastery goal structure adaptive? Social Psychology of Education, 19, 135-150. doi:10.1007/s11218-015-9323-9 Skaalvik E. A. Federici R. A. 2016 Relations between classroom goal structures and students’ goal orientations in mathematics classes: When is a mastery goal structure adaptive? Social Psychology of Education 19 135 150 10.1007/s11218-015-9323-9 Stornes, T.; Bru, E. (2011). Perceived motivational climates and self-reported emotional and behavioral problems among Norwegian secondary school students. School Psychology International, 32(4), 425-438. doi:10.1177/0143034310397280 Stornes T. Bru E 2011 Perceived motivational climates and self-reported emotional and behavioral problems among Norwegian secondary school students School Psychology International 32 4 425 438 10.1177/0143034310397280 Stornes, T.; Bru, E.; Idsoe, T. (2008). Classroom social structure and motivational climates: On the influence of teachers' involvement, teachers' autonomy support and regulation in relation to motivational climates in school classrooms. Scandinavian Journal of Educational Research, 52, 315-329.doi:10.1080/00313830802025124 Stornes T. Bru E. Idsoe T 2008 Classroom social structure and motivational climates: On the influence of teachers' involvement, teachers' autonomy support and regulation in relation to motivational climates in school classrooms Scandinavian Journal of Educational Research 52 315 329 10.1080/00313830802025124 Travers, L. V.; Bohnert, A. M.; Randall, E. T. (2013). Brief report: Adolescent adjustment in affluent communities: The role of motivational climate and goal orientation. Journal of Adolescence, 36, 423-428. doi:10.1016/j.adolescence.2012.11.009 Travers L. V. Bohnert A. M. Randall E. T 2013 Brief report: Adolescent adjustment in affluent communities: The role of motivational climate and goal orientation Journal of Adolescence 36 423 428 10.1016/j.adolescence.2012.11.009 United Nations Educational Scientific and Cultural Organization [UNESCO] (2013). Schooling for millions of children jeopardized by reductions in aid. Retrieved from https://unesdoc.unesco.org/ark:/48223/pf0000221129 United Nations Educational Scientific and Cultural Organization 2013 Schooling for millions of children jeopardized by reductions in aid Retrieved from https://unesdoc.unesco.org/ark:/48223/pf0000221129 van de Schoot, R.; Lugtig, P.;Hox, J. (2012). A checklist for testing measurement invariance. European Journal of Developmental Psychology, 9(4), 486-492.doi:10.1080/17405629.2012.686740 van de Schoot R. Lugtig P. Hox J 2012 A checklist for testing measurement invariance European Journal of Developmental Psychology 9 4 486-492.doi:10.1080/17405629.2012.686740 Wang, M. T.; Eccles, J. S. (2013). School context, achievement motivation, and academic engagement: A longitudinal study of school engagement using a multidimensional perspective. Learning and Instruction, 28, 12-23. doi:10.1016/j.learninstruc.2013.04.002 Wang M. T. Eccles J. S 2013 School context, achievement motivation, and academic engagement: A longitudinal study of school engagement using a multidimensional perspective Learning and Instruction 28 12 23 10.1016/j.learninstruc.2013.04.002 Wang, M. T.; Holcombe, R. (2010). Adolescents’ perceptions of school environment, engagement, and academic achievement in middle school. American Educational Research Journal, 47(3), 633-662. doi:10.3102/0002831209361209 Wang M. T. Holcombe R 2010 Adolescents’ perceptions of school environment, engagement, and academic achievement in middle school American Educational Research Journal 47 3 633 662 10.3102/0002831209361209 Paper Motivational climate, satisfaction, engagement, and academic success in Angolan and Dominican students 0000-0002-1878-8751 Gutiérrez Melchor 1 0000-0002-3424-1668 Tomás José Manuel 1 0000-0002-6105-2491 Gómez Antoni 1 0000-0001-8262-7701 Moll Adrián 1 1 Universidad de Valencia - Valencia - España; melchor.gutierrez@uv.es; Jose.M.Tomas@uv.es; angocer@alumni.uv.es; amollvi@alumni.uv.es Abstract The aim was threefold: to validate the Portuguese and Spanish versions of the Motivational Orientation and Climate Scale (MOC), to test for measurement invariance across large Dominican and Angolan students’ samples, and to study the relationships of motivational orientations and climates with relevant educational outcomes. Participants were 2302 Dominican and 2028 Angolan students from 14 to 18 years old. Confirmatory Factor Analyses were used to study factorial structure of the MOC. Main results showed that the hypothesized four dimensions fitted the data from both samples well. Regarding the relationships analyzed, the most relevant results shown that students’ perceptions of mastery class climate was positively related with school engagement and academic success in both Dominican and Angolan samples, while perceptions of performance class climate was negatively related to these school variables. Results are discussed within the achievement goal framework and in regard to the implications for educational practices. Keywords: Motivation self-concept adolescents Introduction As Wang and Holcombe (2010) stated, the lack of adolescents’ engagement with school has become a critical issue among school psychologists and educational managers around the world.It is important because it has been found that student engagement is directly related to an increase in academic success and greater satisfaction with school. School engagement may be defined as the students’ participation in academic achievements (Christenson, Reschly, & Wylie, 2012).UNESCO (2013) indicated that about 14 million students in the world drop out of school without completing their studies. Factors that may influence this situation are diverse, among which the motivational class climate is one of the most important (Awang-Hashim, Kaur, & Noman, 2015). In the educational psychology arena, the socio-cognitive perspective of motivation that emphasize how students derive meaning from their experiences in achievement settings have gained prominence along the last three decades (for example, Ames,1992; Androutsou & Anastasiou, 2014; Barkoukis & Hagger, 2013; Duda, 2005; Mello & Leme, 2016; Nicholls, 1984;Porto & Gonçalves, 2017; Skaalvik & Federici, 2016). One of the most prominent theories of achievement motivation at schools is the Achievement Goal Theory (AGT; Elliot, 2005; Nicholls, 1984). As a line of research, the AGT has focused on aspects of the learning environment that relate to the goals that students take in a given context to demonstrate competence (Ames, 1992). Numerous investigations have found a significant relationship between students’ goal orientations at school and their beliefs about how often success is achieved in that context. Factor analytic studies have revealed at least two independent dimensions of both personal academic goals and beliefs about the causes of school success. The first dimension, task orientation, consists of the goal of improving one's skill or gaining insight or knowledge and the beliefs that, in order to succeed, students must work hard, attempt to understand schoolwork, and collaborate with their peers. The second dimension, ego orientation, is defined by the goal of establishing one's superiority over others and the beliefs that success in school requires attempts to beat others and superior ability (Duda & Nicholls, 1992). As Nicholls (1984) stated, mastery goals and performance goals are sometimes referred to as task goals and ego goals when discussed as individual differences (dispositional orientations), while they are referred to as task-involvement and ego-involvement, respectively, when discussed as states (situational climates). AGT evidence and applications indicate that adherence to educational behavior can be facilitated by learning environments emphasizing improvement and personal progress, which make pursuits of mastery goals meaningful for students (Ames, 1992). Considerable evidence suggests that elementary and secondary students show the most positive motivation and learning patterns when their school settings emphasize mastery, understanding, and improving skills and knowledge. Whereas school environments that are focused on demonstrating high ability and competing for grades can increase the academic performance of some students, research suggests that many young people experience diminished motivation under these conditions (Meece, Anderman, & Anderman, 2006). Therefore, especially in educational contexts in which competition is not a priority, it is recommended that students are more task-oriented than the ego-oriented (Lee, Hayes, Seitz, DiStefano, & O'Connor, 2016). Although a dominant predisposition to be either task- and/or ego-oriented has been identified, due to the theoretical orthogonal nature of goal orientations, it could be possible to be high or low in both. Research on youth has demonstrated that a high task orientation, either singly or in combination with a high ego orientation, are related to adaptive cognitive, affective, and behavioural patterns (e.g., Papaioannou, Ampatzoglou, Kalogiannis, & Sagovits, 2008). Whether or not a certain achievement goal is adopted will depend on the importance this goal has for the individual, the perceptions of the salient goals in the situation, and the influence of significant others (such as parents, teachers, or peers) who reinforce or emphasize one goal perspective over the other (Duda, 2005). Mastery climates or performance are related to how the 'significant others' structure the different environments. Mastery climate can be characterized by promoting learning and support from teachers as well as the students’ perception of an atmosphere of help when the effort is important to improve. Conversely, a performance climate can be described by teachers’ promotion of competition and normative comparison of students, as well as students’ perception of intra-students’ rivalry, normative praise, and unequal recognition, the view that mistakes are punished, and students’ worries about mistakes (Ames, 1992; Duda, 2005). As the scientific literature has shown, both students’ goal orientations and the students’ perception of motivational class climate have meaningful relationships with different variables of students’ life and school context (Meece et al., 2006; Wang & Holcombe, 2010). Students’ dispositional orientation and motivational climate have been related, among others, with intrinsic motivation (Froiland & Worrell, 2016), academic self-concept (Seaton, Parker, Marsh, Craven, & Yeung, 2014), adolescent adjustment (Travers, Bohnert, & Randall, 2013), adolescent well-being (Moltafet & Firozabadi, 2014; Travers, Bohnert, & Randall, 2013), school engagement (Fonsêca et al., 2016; Wang & Eccles, 2013; Wang & Holcombe, 2010), perceived autonomy support (Barkoukis & Hagger, 2013; Stornes, Bru, & Idsoe, 2008), or academic achievement (Androutsou & Anastasiou, 2014; Skaalvik & Federici, 2016; Wang & Holcombe, 2010). Thus, the evaluation of motivational climate and students’ goal orientations has become important in recent decades. School performance is at the core of educational psychology, and this performance has been tightly related to students’ motivation (Green et al., 2012; Meece et al., 2006). Generally speaking, motivation theorists are interested in explaining task engagement and persistence, as well as cognitive activities such as problem solving and decision making (Elliot, 2005). In educational research, motivation theories are most often used to explain students’ activity choice, engagement, persistence, help seeking, and performance in school (Lee et al., 2016; Martin, Collie, Mok, & McInermey, 2016). In this context, the Motivational Orientation and Climate scale (MOC; Stornes & Bru, 2011; Stornes et al., 2008) is a measure that was developed to assess personal goal orientations and perceptions of motivational climate. It was developed based on a Norwegian version of the Perceived Motivational Climate in Sport Questionnaire (Ommundsen, Roberts, & Kavussanu, 1998), and the Perception of Success Questionnaire (Roberts, Treasure, & Balagué, 1998). General purpose The aim of this research has been to analyze the relationships among motivational climate, school engagement and academic success, in samples from Angolan and Dominican Republic populations. Specific objectives (1) To validate the Spanish and Portuguese versions of the MOC; (2) To test for measurement invariance across large Dominican and Angolan students’ samples; and (3) Study the relations of motivational orientations and climates with relevant educational outcomes. Hypotheses (a) The factorial structure of Spanish and Portuguese versions of the MOC will be coincident with the structure proposed by Stornes and Bru (2011); (b)There will be a measurement invariance of the MOC scale across the two studied samples; (c) Mastery orientation and perceived mastery class climate will be positively related to students’ engagement and academic success; (d) Performance orientation and perceived performance class climate will be negatively related to students’ engagement and academic success. Method Participants Samples of students from two countries, Dominican Republic and Angola, were used to validate the scale. The Dominican Republic is a Spanish-speaking country in the Caribbean area of America, while Angola is a Portuguese-speaking country in the South-West of Africa. The sample from the Dominican Republic was composed of a total of 2302 students studying middle education in Santo Domingo, the capital of the Dominican Republic. Their mean age was 15.50 years old (SD= 1.57). 58% of them were women. Most of the students went to public schools (58.3%), private schools’ students were 22.8%, and the remaining 18.8% of the students went to polytechnics. The Angolan sample had a total of 2028 students studying seventh to twelfth grades in the Benguela province (Angola). Their mean age was 17.41 years old (SD = 2.29). 51.0% were women. 52.7% were lived in urban areas. The participants were recruited in their schools, by means of incidental or convenience sampling. Procedure The procedure was the same for the two samples. First, permission from the authorities of the Angolan and Dominican Ministries of Education was requested to develop the research. Then, authorities of the schools who have expressed their willingness to cooperate were contacted to explain what the research is and get their permission to carry it out. Finally, the students were informed of the research aim and were given a letter addressed to the family of minors, requesting permission for their participation in the study. All participating students do so voluntarily, after returning the informed consent. This study complies with the ethical values required by the American Psychological Association (APA) ethical code. The survey was self-administered. Response rates for both samples were more than 99%. The self-administered instruments were applied by a member of the research team, in the students’ classrooms and during normal classroom hours, without the presence of their teachers to maximize the anonymity of the answers and guarantee the confidentiality of the process. Interviewers were present just to solve doubts or hesitations the participants may have had. Measurement instruments The survey included socio-demographic information and scales relevant for the school engagement research arena. Among them, the Motivational Orientation and Climate scale (MOC; Stornes & Bru, 2011) was used. As Stornes et al. (2008) related, the scale was adapted for school settings and consisted of items that tap performance versus mastery oriented cues in the classroom environment as perceived by the students. This scale is composed of 15 items and covers the four dimensions of the AGT: mastery orientation, performance orientation, mastery climate, and performance climate. Items for motivational climate and goal orientation had five response categories ranging from ‘totally disagree’ to ‘totally agree’. As Stornes and Bru (2011) informed, the Cronbach’s alpha coefficients were: Performance orientation (.88), Mastery orientation (.78), Performance motivational climate (.74), and Mastery motivational climate (.75). Additional to this scale, other measures were used for validation purposes. All instruments were scaled with a five point Likert-type scale. Specifically: Perceived autonomy support. Students’ perception of teachers-provided autonomy support was assessed with the six-item short version of the Learning Climate Questionnaire (LCQ, Jang, Kim, & Reeve 2012).Sample items were: “I feel that my teacher provides me with choices and options” or “My teacher listens to how I would like to do things”. Alpha for the Angolan sample was .70, while the alpha in the Dominican sample was .90. Engagement scale (Nie & Lau, 2009). A scale of five items measuring a single factor of students’ perception of their attention, effort and participation in classroom activities. Sample items were “In my class I listen carefully when the teacher explains something” or “In my class I try my best to complete class work”. Alpha for the Angolan sample was .74, and it was .88 for the Dominican sample. School satisfaction (Nie & Lau, 2009). A scale of four items measuring a single factor with an alpha of .76 for both samples. Sample items were “I am glad to be in this school” or “I think it is nice to study in this school”. Academic Success Questionnaire composed of five items measuring a single dimension (Plunkett, Henry, Houltberg, Sands, & Abarca-Mortensen, 2008). Sample items were “Grades are very important to me,” or “I usually finish my homework on time”. Alpha estimate was de .60 in the Angolan sample and .64 for the Dominican sample. Academic Self-concept measured with the four items employed in Brunner et al. (2010). Sample items were: “I learn things quickly in most school subjects” or “I perform well in most school subjects”. Reliability estimates were: .73 for Angolan students and .88 for Dominican students. Statistical analyses Confirmatory Factor Analyses (CFA) were performed, estimated and tested in Mplus 7.3. MLR estimation was used given that data were markedly non-normal. In order to test model-data fit, several indices of fit were used, indices that come from different rationale: (a) the chi-square statistic; (b) the comparative fit index (CFI); (c) the root mean squared error of approximation (RMSEA); and (d) the Standardized Root Mean Residual (SRMR). A model with a CFI of .90 (better if CFI> .95) or larger and RMSEA and SRMR of .08 or lower would be indicative of reasonable fit between the hypothesized model and the data (for example, Hu & Bentler, 1999). These CFA involved the study of the factorial structure of the MOC in both Angolan and Dominican Republic samples, and accordingly a formal test of measurement invariance was used. In order to establish measurement invariance to run a set of confirmatory factor analyses of increasing sets of constrictions is required. It is also required to test whether differences between the cited models are significant either from statistical or a practical point of view (van de Schoot, Lugtig, & Hox, 2012). As a first step, the theoretical model was tested in each group. Then, a configural model, with no parameter constraints across groups, was simultaneously tested for both groups to establish the baseline model. This model tested configural equivalence (or same factor structure holding for all groups). If this unconstrained multisample model fits the data well, then factor loadings are constrained across groups (metric invariance). Metric invariance is used to know if respondents gave the same meaning to the dimensions under study. The next step in the sequence was to test a model with constrained item intercepts for scalar invariance, implying that the meaning and the levels of the items are equal across groups. This type of invariance is called scalar or strong invariance, and it is needed in order to make meaningful comparisons among latent means across groups. Models in the invariance routine are nested, and they can be compared with the statistical and the modelling rationales. Constrained and unconstrained models are compared, with a statistical rationale (χ2 differences, Δχ2), or with a modelling rationale (comparing CFI values, ΔCFI).The statistical approach has been criticized, among others, by Cheung and Rensvold (2002) that recommended the modelling approach that uses practical fit indices in order to determine the adequacy of a fitted model. A cut-off criteria of CFI differences lower than .01 is usually employed to declare invariance (Cheung & Rensvold, 2002). Additionally to the confirmatory models, other statistical analyses were employed. Cronbach’s alphas and Composite Reliability Indexes (CRI) were used to estimate the reliability of the dimensions under study. Cronbach's alpha is the widest used estimator of internal consistency, but it has been criticized as being only completely appropriate with essentially tau-equivalent items and tests, over or underestimating reliability (more often the latter) in the case that tau-equivalence does not hold. An alternative to alpha is the Composite Reliability Index, which may be calculated using estimates from confirmatory factor analyses (Graham, 2006). Both estimates of internal consistency were calculated. Finally, zero-order correlation coefficients were calculated among the four dimensions in the scale and the set of measures with which motivational climates and orientations should be theoretically related. Alpha and zero-order correlations were estimated in SPSS 22. Results Measurement invariance by country The hypothesized factor structure was a four-factor model with two dimensions related to students’ mastery or performance orientation and other two dimensions related to classroom performance or mastery climates. This factor structure was separately specified and tested in both samples. For the Angolan sample the four-factor model fitted the data quite well (χ2(84)= 386.5, p< .001; CFI= .92; RMSEA= .042 [.038 - .046]; SRMR= .038). In the same vein, the four-factor model also fitted the Dominican data well (χ2(84)= 638.3, p< .001; CFI= .92; RMSEA= .053 [.030 - .057]; SRMR= .05). Table 1 Set of hierarchical model to test for measurement invariance across countries Model χ2 df p Δ χ2 Δdf P CFI ΔCFI SRMR RMSEA 90% CI Configural 1031.74 169 <.001 -- -- .917 -- 050 .049 046-.052 Metric 1051.45 180 <.001 23.8 11 013 .916 .001 052 .047 045-.050 Scalar 1499.56 191 <.001 548.5 11 <.01 .874 .042 061 .056 054-.059 Scalar with 3 item intercepts freed 1211.85 188 <.001 188.1 8 <.01 .901 .012 054 .050 048-.053 Given that the four-factor solution fitted both samples well, it was therefore appropriate to test for measurement invariance. Table 1 shows the goodness-of-fit indices for the sequence of nested models in the measurement invariance routine. First, an acceptable model fit must be stablished for the configural model, a multi-group model in which no constraints on across groups are made. This configural model fitted the data reasonably well. Accordingly, the sequence of constrained models that test for measurement invariance was tested. Constraints on factor loadings (metric invariance) was tenable, because the fit was not deteriorated, and even in the case of the RMSEA was better. Then, item intercepts were constrained across groups (scalar invariance), and fit indexes shown an important deterioration. This deterioration in model fit was indicative of relevant inequalities in item intercepts or a lack of scalar invariance. Modification indices allowed finding those constraints that were not correctly imposed from a statistical point of view. The item intercepts that could not be considered equal in Angola and Dominican Republic were those of items 1, 2 and 9. Therefore, those three constraints were removed and the correspondent partial scalar invariance model tested. This partial scalar invariance model fitted the data well, and it was the retained model. Standardized factor loadings for this retained model are shown in table 2 for both samples. Table 2 Standardized factor loadings and item-total correlations (homogeneity) for the four-factor model in the Dominican and Angolan samples Factor Item Item summary description Dominican λ Dominican rit Angolan λ Angolan rit Perform. Orientation 1 I feel successful when I am the best 51 .43 36 31 5 I feel successful when I am besting others 76 64 61 44 9 I feel successful when I am clever than others 77 65 61 40 13 I feel successful showing the others that I am the best 68 58 51 40 Perform. Climate 2 Only successful students are taken notice of 64 45 59 42 6 The teacher gives most attention to the successful students 72 52 65 40 10 Students are encouraged to outperform others 46 32 42 28 Mastery Orientation 3 I feel content when I succeed 63 55 48 36 7 I feel successful when I am making a good effort 76 66 59 45 11 I feel successful when I work hard and succeed 71 61 56 44 14 I feel successful when I work to the best of my ability 70 61 63 47 Mastery Climate 4 Teacher expects us to learn new skills and gain new knowledge 70 55 59 42 8 Teacher is engaged in broadening our underst. for the subject 69 57 55 44 12 Students encouraged to practice skills that they not yet have been successful with 51 42 42 32 15 Improvement is important for every student 56 41 54 37 Note: All factor loadings statistically significant p < .01 Internal consistency Cronbach’s alphas and CRI estimates for the four factors in the Dominican sample were respectively: .77 and .83 for Performance Orientation; .64 and .72 for Performance Climate; .81 and .87 for Mastery Orientation; .71 and .80 for Mastery Climate. Cronbach’s alpha and CRI estimates for the four factors in the Angolan sample were respectively: .61 and .67 for Performance Orientation; .55 and .62 for Performance Climate; .65 and .75 for Mastery Orientation; .60 and .72 for Mastery Climate. Table 2 also offers item-total correlation for the 15 items in both samples. All of them may be considered adequate. Relationships among motivations, school satisfaction and engagement, and academic success In order to test for the nomological validity of the four factors in the MOC scale, their correlations with a number of variables theoretically related to the motivational orientation and climate were calculated. Table 3 shows the relationships among the four dimensions in the MOC scale and teachers support for autonomy, school engagement and satisfaction, academic self-concept and perceived academic success. In general, the four dimensions were consistently and significantly related to the nomological net. As expected, the relationships of both mastery orientation and climate were larger with all positive outcomes considered as criteria (satisfaction, engagement and academic achievement) than they were with the performance orientation and climate. It is worth noting that performance climate was low and/or even negatively related with the criteria, all of them positive outcomes of the school environment and the learning process. Table 3 Relationships among MOC’s dimensions and the criteria in both samples Dominican Angolan Criteria PO PC MO MC PO PC MO MC Teachers support for autonomy 17** -.15** 43** 53** .22** 13** 35** 43** Engagement 17** -.08** 53* 53** 13** 10** 37** 41** Satisfaction with school 03 -.18** 27** 37** 25** 03 18** 25** Academic success 17** -.11** 41** 40** 24** 08** 30** 33** Academic Self-Concept 15** -.08** 39** 38** 23** 08** 30** 27** Notes: *p < .05; **p < .01; PO = Performance Orientation; PC = Performance Climate; MO = Mastery Orientation; MC = Mastery Climate Discussion and conclusions Based on the AGT framework, the aim of this study was threefold: (1) to validate the Spanish and Portuguese versions of the MOC; (2) to test for measurement invariance across large Dominican and Angolan students’ samples; and (3) study the relations of motivational orientations and climates with relevant educational outcomes. With respect to the factorial validity of both versions of the MOC scale (Portuguese and Spanish), a structure of four factors, two of them of motivational climate (performance and mastery), and two of them motivational orientations (also performance and mastery) was expected. These four factors adequately fitted the observed data in both samples. This was not only found in the original Norwegian version of the scale developed by Stornes and Bru (2011) and Stornes et al. (2008) based on the Perceived Motivational Climate in Sport Questionnaire (Ommundsen et al., 1998), but also in other scales (Duda & Nicholls, 1992; Roberts et al., 1998). Moreover, the dimensionality was also coherent with the AGT (Elliot, 2005; Nicholls, 1984) that posits these two climates and orientations, either with the labels of performance and mastery or with the labels of ego and task (Nicholls, 1984). The second hypothesis was that there would be a measurement invariance of the MOC scale across the two studied samples. The four dimensions represented well the scores for both samples, but more importantly, the invariance routine found metric invariance (same meaning across versions) and partial scalar invariance. Only three items, two of them from the performance orientation and one for performance climate, were found scalar invariant. To our knowledge, this is the first measurement invariance study done with MOC scale. Future studies should carefully try to replicate the partial scalar invariance results in this study, attending at which particular items are invariant, if any. If other countries, versions, etc., find that these three non-invariant items remain problematic, this could lead to changes in the scale. With respect to reliability, results are adequate for the Spanish version of the scale, and very similar to the reliabilities found in Stornes and Bru (2011). However, there were lower reliability estimates in the Angolan, and specifically for performance climate and orientation, precisely the dimensions the three non-invariant items belong to. Nevertheless, having into account that factor loadings (the estimates in which the CRI are based) can be considered invariant across groups, this particular lower reliabilities do not seem particularly troublesome. In sum, the results of the research have proven the validity of the scale for both countries. One implication of this result is that as is the first that it has been validated in Spanish and Portuguese, native speakers of these languages in other countries could use this scale as a useful tool until further investigations are performed specifically for their respective countries. In relation to the third hypothesis, which stated that mastery orientation and perceived mastery climate would be positive related to students’ engagement and academic success, results of this study were those indeed. The correlations were in line with all previous literature (Ames, 1992; Androutsou & Anastasiou, 2014; Lee et al., 2016). The fourth hypothesis was that performance orientation and perceived performance climate would be negatively related to students’ engagement and academic achievement.This hypothesis has been partially supported by our data, especially in termsof the perceived performance climate, which has an inverse relation with engagement and academic success, more in Dominican sample than in the Angolan one. In general, these results are in line with those of Barkoukis and Hagger (2013), or Lee et al. (2016). Regarding the relationships of the four dimensions of climate and motivational orientation with important educational variables as support for autonomy and satisfaction with school, the results were also in line with previous studies. In particular, all found relationships agree with previous studies about self-concept (Seaton et al., 2014), school engagement (Wang & Holcombe, 2010), perceived autonomy support (Barkoukis & Hagger, 2013; Jang et al., 2012; Stornes et al., 2008), or academic achievement (Meece et al., 2006; Wang & Holcombe, 2010). From an applied perspective, the results of this study highlight the importance of teachers promoting learning environments in which a mastery climate predominates, because of its greatest positive impact on all personal and school variables studied here. The results indicate that although the perception of performance climate also had some positive effects on educational outcomes, those obtained when students perceived mastery climate were greater. Current research also has some limitations. Both studied samples were large. However, they were not random samples and generalization of these results is therefore limited. Additionally, the studied relationships within a cross-sectional design do not allow for a strong causal interpretation, and further longitudinal studies should seed light on causal chains. This paper was translated from Spanish by the authors.
location_on
Associação Brasileira de Psicologia Escolar e Educacional (ABRAPEE) Associação Brasileira de Psicologia Escolar e Educacional (ABRAPEE), Rua Mirassol, 46 - Vila Mariana , CEP 04044-010 São Paulo - SP - Brasil , Fone/Fax (11) 96900-6678 - São Paulo - SP - Brazil
E-mail: revista@abrapee.psc.br
rss_feed Acompanhe os números deste periódico no seu leitor de RSS
Acessibilidade / Reportar erro