Análisis de evidencias evaluativas ante la efectividad del e-liderazgo en Educación Superior

Análise de provas avaliativas sobre a eficácia do e-liderança no ensino superior

Analysis of evaluative evidence on the effectiveness of e-leadership in higher education

Resumen

La evolución de los entornos de aprendizaje virtuales destaca la importancia del rol de los líderes para la mejora tanto del desarrollo de las instituciones, como el logro de las metas y objetivos que estas se marcan. En esta investigación, utilizando una metodología descriptiva y de corte cuantitativo mediante un estudio transversal basado en la aplicación del cuestionario: Adaptación del VAL-ED al contexto universitario, hemos podido estudiar las principales evidencias que se utilizan para evaluar el e-liderazgo pedagógico en la Educación Superior on-line en España, lo que permitirá avanzar tanto en una mejor comprensión de la efectividad de los comportamientos de liderazgo centrados en el aprendizaje, así como en qué medida, las diferentes evidencias con las que cuentan las personas que interactúan con los directivos, son determinantes a la hora de valorar el desempeño de la gestión del aprendizaje en la Educación Superior en contextos formativos on-line.

Palabras clave:
Liderazgo; Educación Superior; Evidencias; Evaluación

Resumo

A evolução dos ambientes virtuais de aprendizagem destaca a importância do papel dos líderes para melhorar tanto o desenvolvimento das instituições quanto o alcance das metas e objetivos por elas estabelecidos. Nesta pesquisa, utilizando uma metodologia descritiva e quantitativa por meio de um estudo transversal baseado na aplicação do questionário: Adaptação do VAL-ED ao contexto universitário, pudemos estudar as principais evidências usadas para avaliar o e- liderança no Ensino Superior Online na Espanha, o que permitirá avançar tanto em uma melhor compreensão da eficácia dos comportamentos de liderança focados no aprendizado, quanto em que medida as diferentes evidências disponíveis para as pessoas que interagem com os gerentes são determinantes na avaliação do desempenho da gestão da aprendizagem no Ensino Superior em contextos de formação online.

Palavras-chave:
Liderança; Educação Superior; Evidências; Avaliação

Abstract

The evolution of virtual learning environments highlights the importance of the role of leaders in enhancing both the development of institutions and the achievement of their goals and objectives. In this research In this research, using a descriptive and quantitative methodology through a cross-sectional study based on the application of the questionnaire: Adaptation of the VAL-ED to the university context, we have been able to study the main evidence used to evaluate pedagogical e-leadership in on-line Higher Education in Spain, which will allow us to advance both in a better understanding of the effectiveness of leadership behaviors focused on learning, as well as to what extent, the different evidences available to the people who interact with managers, are determinants when assessing the performance of learning management in Higher Education in on-line formative contexts.

Keywords:
Leadership; Higher Education; Evidence; Evaluation

1 Introducción

El uso de las Tecnologías de la Información y la Comunicación (TIC) está integrado en los procesos de enseñanza y aprendizaje (LÓPEZ BELMONTE et al., 2019). Esta realidad está derivando en que las organizaciones educativas se estén transformando en estructuras flexibles, abiertas e innovadoras dando cabida a nuevos métodos y recursos de enseñanza (PALOMINO; CÁCERES y NAVAS-PAREJO, 2021).

De igual modo, el liderazgo educativo se está convirtiendo en un factor importante y una prioridad política para mejorar la educación (GONZÁLEZ-FERNÁNDEZ et al., 2020). Efectivamente, tal y como argumentan Harris, Jones e Ismail (2022)), el liderazgo en los contextos educativos puede tener un impacto particularmente positivo en los resultados institucionales y de los estudiantes.

En esta misma línea ciertos autores afirman que el liderazgo pedagógico influye en la gestión de los recursos, selección y evaluación de metas educativas, apoyo a la calidad docente, distribución de las labores pedagógicas y colaboración con el entorno que, en definitiva, mejoran la labor del profesorado teniendo un impacto indirecto en los aprendizajes del alumnado (GONZÁLEZ-FERNÁNDEZ et al., 2020).

En un entorno virtual, el liderazgo se conoce como e-leadership o liderazgo virtual, y también empieza a destacar como una parte importante del liderazgo educativo (EHLERS, 2020). De hecho, el e-liderazgo y el liderazgo virtual están representados por una serie de procesos que, a su vez, influyen a individuos, grupos y organizaciones, a través de la aplicación de las TIC avanzadas (JONES; MASSIAH y SOUDERRAJ, 2017).

Sin embargo, a pesar de que el aprendizaje virtual ha entrado en la corriente principal de la Educación Superior como un agente de cambio estratégico (MILLER y IVES, 2020), la investigación del e-liderazgo en el contexto universitario no está completamente desarrollada. En efecto, investigadores señalan cómo el escaso número de trabajos en esta línea sugiere que esta área de investigación aún está poco desarrollada, por lo que debe ser estudiada en profundidad, lo que revertirá en una mejora de la eficacia y eficiencia del desarrollo organizacional (PALOMINO; CÁCERES; PÉREZ et al., 2023b (En prensa)).

Y es que se puede afirmar que el desempeño del liderazgo, a menudo, es difícil de medir porque su impacto puede no ser observable de inmediato. Por otro lado, la forma en que se utilicen las fuentes de evidencia de calidad también dependerá de la estructura organizacional, sus recursos y de los procesos que respaldan la investigación. Sin embargo, dentro del campo específico de la Educación, estos autores confirman que este es un tema generalmente poco investigado (RICKINSON et al., 2022).

Es por ello que, el trabajo de investigación debe continuar con el fin de comprender en qué medida, las diferentes evidencias con las que cuentan las personas que interactúan con los directivos son determinantes a la hora de valorar la influencia de la gestión del aprendizaje en la Educación Superior, concretamente en contextos formativos on-line. Este es pues el problema de investigación del que partimos en este estudio.

2 Marco teórico

Tal y como encontramos en Miras Teruel y Longás Mayayo (2020, p.288) “cuando la sociedad se ve afectada por nuevas tendencias y cambios irreversibles que se encadenan entre sí, el Sistema Educativo también se ve afectado, por lo que necesita redefinirse, reubicarse y replantearse”. Es por ello por lo que debemos tener en cuenta los nuevos cotextos de la educación virtual, que se va a caracterizar por implicar un proceso de enseñanza y aprendizaje basado en los principios de la pedagogía activa, en la que los estudiantes son responsables a la hora de participar de forma frecuente y efectiva en diferentes entornos virtuales (AURANGZEB y MAZHAR, 2020). De igual modo se manifiestan Ibarra-Sáiz et al. (2023), cuando resaltan la importancia de centrarse en un enfoque constructivista que permita al alumnado a través del trabajo autónomo, construir su conocimiento. Si bien, tal y como encontramos en Cordie y Lin (2018), el aprendizaje virtual, va a presentar unos desafíos únicos, sobre todo en el contexto de la Educación Superior.

Diversos estudios han concluido que el liderazgo en educación determina, en gran medida, la calidad de la educación (MARICHAL-GUEVERA; RODRÍGUEZ-GARCÍA y CÁCERES-RECHE, 2017). En esta misma línea se manifiestan Leiva-Guerrero y Vásquez (2019). Como resultado de ésto, en los últimos años, se está descubriendo cómo incluso en diferentes documentos normativos se empieza a evidenciar cómo el rol del directivo se va dirigiendo hacia el liderazgo pedagógico (CAMPOS; VALDÉS y ASCORRA, 2019).

Esta realidad demanda directivos que sean capaces de dirigir diferentes procesos, no sólo administrativos, sino también aquellos dirigidos hacia el logro de los objetivos estratégicos definidos que garanticen el mejor desempeño de los estudiantes, así como la calidad de las organizaciones (LEIVA-GUERRERO y VÁSQUEZ, 2019). Y para tales efectos, resulta fundamental la evaluación sistemática del liderazgo de los directivos en los contextos de la Educación Superior (MORENO-SOCORRO y URQUIZA, 2020).

En el entorno cada vez más complejo de las organizaciones actuales, el uso de fuentes de evidencia fiables puede ayudar a reducir la incertidumbre asociada a la toma de decisiones y acciones organizacionales (JEPSEN y ROUSSEAU, 2022). En general, estas atribuciones son una explicación causal relacionada con un efecto o resultado observado, habiéndose prestado atención al comportamiento y efectividad del directivo en diferentes situaciones. Por lo tanto, para evaluar el papel del uso de la evidencia en las percepciones sobre el liderazgo y el lugar de trabajo, se debe verificar el uso que se hace de la evidencia.

Y es que las opiniones de los diferentes grupos con los que interactúan los líderes son producto de sus relaciones e interacciones de trabajo, y reflejan las interpretaciones o atribuciones de esos individuos sobre el comportamiento del directivo y su efectividad (JEPSEN y ROUSSEAU, 2022). Por otro lado, y aunque tal y como encontramos en Rickinson et al. (2022), la forma en que se utilicen las fuentes de evidencia de calidad también dependerá de la estructura organizacional, sus recursos y de los procesos que respaldan la investigación; dentro del campo específico de la Educación, estos autores confirman que este es un tema generalmente poco investigado.

3 Metodología

El objetivo general del presente estudio se centra en estudiar las principales evidencias que se utilizan para evaluar el e-liderazgo pedagógico en la Educación Superior on-line en España mediante la aplicación del VAL-ED en la Universidad Internacional de la Rioja (en adelante, UNIR).

En relación a los objetivos específicos, se destacan los siguientes:

• Identificar las principales evidencias seleccionadas para comprobar la efectividad del comportamiento en el liderazgo del directivo tomando como referencia los estándares de competencia de VAL-ED.

• Determinar en qué medida los agentes educativos de la UNIR (claustro, supervisores y directivos) coinciden en la selección de evidencias a la hora de evaluar el desempeño efectivo del liderazgo pedagógico de los directivos.

La metodología utilizada para lograr los objetivos ha sido descriptiva y de corte cuantitativo mediante un estudio transversal basado e la implementación del cuestionario: Adaptación del VAL-ED al contexto universitario, desarrollado por Palomino, Cáceres, Lucena et al. (2022).

Cuando las herramientas de evaluación se utilizan según lo previsto con una muestra suficientemente significativa para cada grupo con el que interactúan los líderes, estos instrumentos proporcionarán resultados fiables y válidos a cerca de los comportamientos clave en la gestión del aprendizaje, y facilitaran las interpretaciones que van a permitir a los gerentes identificar áreas de mejora que incidan en liderazgo centrado en el aprendizaje más eficaz (PALOMINO; CÁCERES; LUCENA et al., 2022). La investigación ha contado con la aprobación del decanato de la Facultad de Educación de la Universidad Internacional de la Rioja. Todas las titulaciones y personas que han participado en la investigación lo han hecho de manera voluntaria, habiendo sido informados previamente de las características y objetivos de la misma.

4 Instrumento de recogida de datos

El cuestionario utilizado ha sido la tradución y adaptación del VAL-ED al contexto universitario español, desarrollado por Palomino, Cáceres y Lara (2023a (En prensa)). Este cuestionario es una herramienta de evaluación múltiple, con una escala de calificación basada en una serie de evidencias, que evalúa los comportamientos de los directivos que se sabe que influyen directamente en el desempeño del equipo docente y, a través de ellos, en el aprendizaje de los estudiantes, así como las fuentes de evidencia que cada uno de los grupos de encuestados ha utilizado para evaluar dichos comportamientos (VANDERBILT UNIVERSITY, 2011a).

4.1 Componentes principales

Como ya hemos destacado y tal y como encontramos en Porter et al. (2008), el marco conceptual del cuestionario incluye seis componentes principales:

1. Estándares para el aprendizaje de los estudiantes elevados.

2. Plan de estudios riguroso.

3. Enseñanza de calidad.

4. Cultura de aprendizaje y conducta profesional.

5. Relación con la comunidad.

6. Responsabilidad por los resultados.

4.2 Procesos clave

De igual modo, presenta seis procesos clave:

1. Planificación.

2. Implementación.

3. Apoyo.

4. Inclusión.

5. Comunicación.

6. Supervisión.

Tal y como plantean Porter et al. (2008), la evaluación 360 constará de 72 elementos en cada uno de los cuestionarios 1, 2 y 3 que contestarán tres grupos de encuestados. Para cada uno de los 72 ítems, el encuestado califica la efectividad del comportamiento del directivo. La escala de eficacia tiene cinco opciones, (1) no efectivo, (2) mínimamente efectivo, (3) razonablemente efectivo, (4) efectivo y (5) muy efectivo.

Por otro lado, con el fin de calificar la efectividad de cada par de ítems de cada una de las celdas que conforman los 72 ítems principales de comportamiento, el encuestado debe verificar las fuentes de evidencia en las que se basará la calificación de efectividad. Hay cinco opciones para fuentes de evidencia: (1) documentación oficial, (2) documentación interna, (3) otra documentación, (4) observación personal o (5) no hay fuente de evidencia. El hecho de ser una herramienta de evaluación de 360 grados, implica que las diferentes personas clave que rodean al directivo (es decir, claustro, el propio directivo y los supervisores de este último) serán las que respondan al cuestionario para poder evaluar el liderazgo. Con el fin de comprobar la fiabilidad de los cuestionarios, se calculó el valor alfa de Cronbach para cada uno de ellos, obteniéndose los siguientes valores: 0,896 para el cuestionario de Supervisores. 0,948 para el cuestionario de los directores, y 0,938 para el cuestionario de los profesores. Dado que todos los valores obtenidos están muy próximos a 1, podemos concluir que los tres cuestionarios obtenidos son fiables.

5 Población y muestra

La muestra se obtuvo de la Facultad de Educación de la Universidad Internacional de La Rioja. De las 38 titulaciones oficiales que oferta la Facultad de Educación de la Universidad Internacional de La Rioja, 11 participaron en el estudio, obteniéndose la siguiente muestra de participantes: 11 directores, incluidos 3 directores de grado y 8 directores de másteres oficiales; 5 supervisores de los directivos de las 11 titulaciones participantes, siendo 2 supervisores de directores de grado y másteres oficiales, y 3 supervisores de directores de másteres oficiales; finalmente, participaron del estudio un total de 89 profesores.

Esto obtuvo como resultado una muestra participante de 105 personas que representaban el 100% de los directores de las titulaciones; el 100% de los supervisores y más del 75% del personal docente en cada titulación. De este modo, podemos afirmar que la muestra representa de modo heterogéneo las diferentes titulaciones de la Facultad de Educación y las partes interesadas.

6 Procedimiento

Para lograr el potencial de VAL-ED para los fines previstos y administrarse según lo diseñado, tal y como sugieren Vanderbilt University (2011b), éste se aplicó con integridad, teniéndose en cuenta los siguientes aspectos presentes en la guía de implementación:

• Dado que la evaluación debe realizarse, como muy pronto, durante el final del segundo mes del curso, ya que aumenta la probabilidad de que los encuestados hayan tenido una oportunidad razonable de interactuar con el director de titulación que están evaluando, la recogida de datos tuvo lugar entre mayo de 2021 y febrero de 2022. Se recogieron 105 cuestionarios.

• El instrumento se aplicó en formato digital y los participantes de la encuesta fueron informados previamente sobre los objetivos de ésta; su participación fue voluntaria y las respuestas tratadas de forma anónima y confidencial. De igual modo, se les permitió disponer del tiempo adecuado para leer, reflexionar sobre la evidencia y calificar el comportamiento del director.

• Los docentes invitados a completar el VAL-ED debían resultar en una muestra representativa y razonablemente grande. En este sentido obtuvimos 89 respuestas, que es un número suficiente para llevar a cabo el estudio. Este hecho, sumado a que también participaron todos los supervisores, junto con los directores de titulación, da como resultado una evaluación de 360 grados.

• De igual modo, la evaluación fue coordinada por una persona neutral, objetiva y que no completó el cuestionario para ninguno de los directivos de las titulaciones que participaron.

7 Análisis e interpretación de resultados

Los datos fueron analizados a partir del cálculo de porcentajes de los valores estadístico-descriptivos de media y desviación típica por cada dimensión y el contraste entre los factores para detectar la posible existencia de diferencias significativas. El programas estadístico utilizado fue IBM SPSS. La puntuación más importante que resulta del VAL-ED es la puntuación de efectividad total general del directivo. Vanderbilt University (2011a) de cara a identificar el nivel de competencia de los directivos, estableció una serie de puntuaciones de corte, que establecerán cada uno de los niveles: Inferior al básico, básico, competente y distinguido.

7.1 Evidencias en las que se basan las puntuaciones

A la hora de completar el cuestionario, se le pide a cada uno de los encuestados que reflexione el elemento que describe el comportamiento del director y que identifique en qué fuentes de evidencia se basa para hacer su calificación de efectividad. Las alternativas entre las que pueden seleccionar son: (a) documentación oficial, (b) documentación interna, (c) otra documentación, (d) observación personal y (e) no hay fuente de evidencia. Si bien en Vanderbilt University (2011c) se sugiere que cuando un supervisor o maestro marca "no hay fuente de evidencia", la calificación de efectividad del director tenía que ser "ineficaz", en nuestro caso, en todos aquellos casos en los que los comportamientos del directivo fueron marcados con “no hay fuente de evidencia”, éstos no se tuvieron en cuenta de cara al cálculo de la efectividad de esos ítems en cada uno de los grupos de encuestados.

7.2 Resultados

Los datos obtenidos nos permiten tanto analizar el e-liderazgo pedagógico en la Facultad de Educación de la UNIR identificando la efectividad del comportamiento en el liderazgo del directivo, como verificar qué evidencias han utilizado a la hora de justificar la puntuación de efectividad del desempeño de los directivos, tal y como nos planteábamos en el objetivo principal de este trabajo.

Las Tablas 1 a 3 informan del resultado de los promedios de los 72 ítems, para directivos, supervisores y directores respectivamente, así como el porcentaje de veces que los encuestados indicaron cada tipo de fuente de evidencia, o aquellos casos en los que no utilizaron ninguna evidencia. Al no haber restricciones en la cantidad de fuentes de evidencia que se podían verificar para cualquier elemento, los porcentajes no suman 100% entre los tipos de evidencia dentro de un grupo de encuestados. De este modo, con los datos obtenidos en estas tablas, podremos tal y como nos planteábamos en el objetivos específicos 1, identificar tanto las principales evidencias, de la efectividad del liderazgo.

En los resultados ilustrados en la Tabla 1, el grupo de los directores tuvo una tendencia a utilizar una buena combinación de tipos de evidencia. La frecuencia y el porcentaje de respuestas en las que este grupo no tenía ninguna evidencia a la hora de justificar la calificación de los diferentes elementos, no ha sido muy elevado (inferior al 19%). Cabe resaltar que, con esta información, los directores podrían, para evaluaciones futuras, trabajar para garantizar que las evidencias estén disponibles o sean más obvias para todos los grupos de encuestados.

Tal y como se desprende de esta misma tabla, la fuente de evidencia más común utilizada por todos los encuestados fue la documentación interna, seguido de la observación personal. Cuando hacemos referencia a la documentación interna, cabe destacar que estas fuentes de evidencia consisten en los siguientes documentos:

• Resultados de Encuestas:

  • PDI (Personal Docente e Investigador).

  • PGA (Personal de Gestión y Administración).

  • Acredita SA (Satisfacción Asignatura).

  • Acredita SG (Satisfacción Global).

  • Actas de las Reuniones de Facultad.

  • Actas de las Reuniones de Área.

  • Actas de los claustros de la titulación.

  • Actas de las reuniones de la UCT (Unidad de Calidad de la Titulación)

  • Actas de los claustros de coordinación horizontal de las asignaturas.

  • Actas de reuniones con los departamentos transversales.

  • Informes de seguimiento interno de UNIR.

  • Informe anual de la titulación.

  • Informe de propuestas de mejora de la titulación.

  • Informe de egresados y empleabilidad.

  • Informe del Defensor Universitario.

  • Guías Docentes donde se encuentra la presentación, competencias, contenidos, metodología, bibliografía, evaluación y calificación, profesorado y orientaciones para el estudio de cada asignatura.

Esta documentación está disponible en su totalidad tanto para los directores como para los supervisores, si bien, no siempre está disponible para los profesores, aunque los resultados de éstos se trasladan al profesorado en los diferentes claustros.

Cabe destacar igualmente cómo la observación personal es, en prácticamente todos los ítems, la segunda fuente de evidencia más utilizada por los directivos. En este caso, ésta consiste en la percepción que los directores tienen de su propio desempeño teniendo en cuenta su actitud y posicionamiento respecto cada uno de los ítems evaluados.

Por otro lado, la documentación oficial, en este grupo de encuestados ha sido igualmente una fuente de evidencia que se ha utilizado en muchos de los elementos evaluados. Ésta, está disponible para todo el personal de la Universidad, así como para los estudiantes, e incluye los siguientes documentos:

Tabla 1.
Resultados VAL-ED 360 de los directivos de la intersección de cada Componente Principal y los Procesos Clave.

CP*	PC*	Puntuaciones Directivos y desempeño	Fuentes de evidencia	% de uso	Desempeño Media Direct. Sup. y Prof.
Estándares para el aprendizaje de los estudiantes elevados	Planificación	Distinguido 4,45	Documentación Oficial	63,6%	Distinguido 4,38
			Documentación Interna	72,7%
			Otra Documentación	18,2%
			Observación Personal	45,5%
			No hay fuente de evidencia	0,0%
	Implementación	Distinguido 4,50	Documentación Oficial	27,3%	Distinguido
			Documentación Interna	72,7%
			Otra Documentación	45,5%
			Observación Personal	54,5%
			No hay fuente de evidencia	9,1%
	Apoyo	Distinguido 4,50	Documentación Oficial	18,2%	Distinguido 4,43
			Documentación Interna	63,6%
			Otra Documentación	45,5%
			Observación Personal	54,5%
			No hay fuente de evidencia	9,1%
	Inclusión	Distinguido 4,18	Documentación Oficial	45,5%	Distinguido 4,19
			Documentación Interna	63,6%
			Otra Documentación	45,5%
			Observación Personal	27,3%
			No hay fuente de evidencia	9,1%
	Comunicación	Distinguido 4,86	Documentación Oficial	36,4%	Distinguido 4,43
			Documentación Interna	63,6%
			Otra Documentación	45,5%
			Observación Personal	90,9%
			No hay fuente de evidencia	0,0%
	Supervisión	Distinguido 4,13	Documentación Oficial	45,5%	Distinguido 4,62
			Documentación Interna	90,9%
			Otra Documentación	36,4%
			Observación Personal	54,5%
			No hay fuente de evidencia	0,0%
Plan de Estudios riguroso	Planificación	Básico 3,59	Documentación Oficial	81,8%	Competente 3,92
			Documentación Interna	81,8%
			Otra Documentación	18,2%
			Observación Personal	45,5%
			No hay fuente de evidencia	0,0%
	Implementación	Distinguido 4,45	Documentación Oficial	45,5%	Distinguido 4,03
			Documentación Interna	63,6%
			Otra Documentación	45,5%
			Observación Personal	45,5%
			No hay fuente de evidencia	0,0%
	Apoyo	Distinguido 4,77	Documentación Oficial	36,6%	Distinguido 4,28
			Documentación Interna	81,8%
			Otra Documentación	45,5%
			Observación Personal	63,6%
			No hay fuente de evidencia	0,0%
	Inclusión	Distinguido 4,40	Documentación Oficial	27,3%	Distinguido 4,41
			Documentación Interna	72,7%
			Otra Documentación	27,3%
			Observación Personal	72,7%
			No hay fuente de evidencia	0,0%
	Comunicación	Distinguido 4,68	Documentación Oficial	45,5%	Distinguido 4,35
			Documentación Interna	63,6%
			Otra Documentación	72,7%
			Observación Personal	72,7%
			No hay fuente de evidencia	0,0%
	Supervisión	Distinguido 4,36	Documentación Oficial	45,5%	Distinguido 4,24
			Documentación Interna	81,8%
			Otra Documentación	27,3%
			Observación Personal	63,6%
			No hay fuente de evidencia	0,0%
Enseñanza de Calidad	Planificación	Distinguido 4,40	Documentación Oficial	45,5%	Distinguido 4,17
			Documentación Interna	90,9%
			Otra Documentación	45,5%
			Observación Personal	36,4%
			No hay fuente de evidencia	0,0%
	Implementación	Distinguido 4,72	Documentación Oficial	45,5%	Distinguido 4,39
			Documentación Interna	72,7%
			Otra Documentación	27,3%
			Observación Personal	54,5%
			No hay fuente de evidencia	0,0%
	Apoyo	Distinguido 4,68	Documentación Oficial	27,3%	Distinguido 4,59
			Documentación Interna	81,8%
			Otra Documentación	36,4%
			Observación Personal	72,7%
			No hay fuente de evidencia	0,0%
	Inclusión	Distinguido 4,59	Documentación Oficial	36,4%	Distinguido 4,33
			Documentación Interna	63,6%
			Otra Documentación	36,4%
			Observación Personal	54,5%
			No hay fuente de evidencia	9,1%
	Comunicación	Distinguido 4,27	Documentación Oficial	9,1%	Distinguido 4,32
			Documentación Interna	63,6%
			Otra Documentación	45,5%
			Observación Personal	63,6%
			No hay fuente de evidencia	9,1%
	Supervisión	Distinguido 4,68	Documentación Oficial	9,1%	Competente 3,94
			Documentación Interna	72,7%
			Otra Documentación	45,5%
			Observación Personal	63,6%
			No hay fuente de evidencia	9,1%
Cultura de aprendizaje y comportamiento profesional	Planificación	Distinguido 4,86	Documentación Oficial	18,2%	Distinguido 4,41
			Documentación Interna	63,6%
			Otra Documentación	27,3%
			Observación Personal	54,5%
			No hay fuente de evidencia	9,1%
	Implementación	Distinguido 4,68	Documentación Oficial	27,3%	Distinguido 4,43
			Documentación Interna	81,8%
			Otra Documentación	27,3%
			Observación Personal	72,7%
			No hay fuente de evidencia	0,0%
	Apoyo	Distinguido 4,54	Documentación Oficial	36,4%	Distinguido 4,59
			Documentación Interna	81,8%
			Otra Documentación	45,5%
			Observación Personal	72,7%
			No hay fuente de evidencia	0,0%
	Inclusión	Distinguido 4,45	Documentación Oficial	45,5%	Distinguido 4,32
			Documentación Interna	54,5%
			Otra Documentación	36,4%
			Observación Personal	63,6%
			No hay fuente de evidencia	0,0%
	Comunicación	Distinguido 4,45	Documentación Oficial	27,3%	Distinguido 4,46
			Documentación Interna	54,5%
			Otra Documentación	36,4%
			Observación Personal	45,5%
			No hay fuente de evidencia	18,2%
	Supervisión	Distinguido 4,13	Documentación Oficial	45,5%	Distinguido 4,09
			Documentación Interna	72,2%
			Otra Documentación	27,3%
			Observación Personal	63,6%
			No hay fuente de evidencia	9,1%
Relación con la Comunidad	Planificación	Distinguido 4,27	Documentación Oficial	54,5%	Competente 3,80
			Documentación Interna	45,5%
			Otra Documentación	45,5%
			Observación Personal	63,6%
			No hay fuente de evidencia	9,1%
	Implementación	Competente 3,90	Documentación Oficial	45,5%	Competente 3,72
			Documentación Interna	54,5%
			Otra Documentación	36,4%
			Observación Personal	54,5%
			No hay fuente de evidencia	9,1%
	Apoyo	Competente 3,95	Documentación Oficial	36,4%	Básico 3,52
			Documentación Interna	54,5%
			Otra Documentación	45,5%
			Observación Personal	45,5%
			No hay fuente de evidencia	9,1%
	Inclusión	Competente 3,95	Documentación Oficial	36,4%	Competente 3,61
			Documentación Interna	45,5%
			Otra Documentación	36,4%
			Observación Personal	27,3%
			No hay fuente de evidencia	18,2%
	Comunicación	Distinguido 4,45	Documentación Oficial	45,5%	Competente 3,89
			Documentación Interna	72,7%
			Otra Documentación	36,4%
			Observación Personal	45,5%
			No hay fuente de evidencia	9,1%
	Supervisión	Distinguido 4,50	Documentación Oficial	45,5%	Competente 3,80
			Documentación Interna	54,5%
			Otra Documentación	27,3%
			Observación Personal	36,4%
			No hay fuente de evidencia	9,1%
Responsabilidad por el desempeño	Planificación	Competente 3,90	Documentación Oficial	27,3%	Distinguido 4,20
			Documentación Interna	72,7%
			Otra Documentación	45,5%
			Observación Personal	54,5%
			No hay fuente de evidencia	9,1%
	Implementación	Distinguido 4,54	Documentación Oficial	27,3%	Distinguido 4,25
			Documentación Interna	63,6%
			Otra Documentación	36,4%
			Observación Personal	63,6%
			No hay fuente de evidencia	9,1%
	Apoyo	Distinguido 4,63	Documentación Oficial	36,4%	Distinguido 4,36
			Documentación Interna	72,7%
			Otra Documentación	36,4%
			Observación Personal	63,6%
			No hay fuente de evidencia	9,1%
	Inclusión	Distinguido 4,50	Documentación Oficial	45,5%	Distinguido 4,42
			Documentación Interna	63,6%
			Otra Documentación	36,4%
			Observación Personal	45,5%
			No hay fuente de evidencia	9,1%
	Comunicación	Distinguido 4,90	Documentación Oficial	54,5%	Distinguido 4,58
			Documentación Interna	90,9%
			Otra Documentación	27,3%
			Observación Personal	54,5%
			No hay fuente de evidencia	9,1%
	Supervisión	Distinguido 4,77	Documentación Oficial	54,5%	Distinguido 4,30
			Documentación Interna	81,8%
			Otra Documentación	27,3%
			Observación Personal	54,5%
			No hay fuente de evidencia	9,1%
Puntuación Media Total					Distinguido
					4,21

Fuente:

• Memoria de la titulación. Documento en el que se detalla el diseño de los títulos oficiales impartidos en la Universidad.

• Informe favorable de ANECA.

• Resolución de verificación del Consejo de Universidades.

• Plan de Estudios publicado en el BOR.

• Informe Monitor: Informe de seguimiento sobre la implantación del título. Realizado por una Comisión de Evaluación formada por expertos.

• Informe de Modificación Favorable (MODIFICA). Informe en el que ANECA permite modificaciones puntuales de diferentes elementos en una Memoria que ya ha obtenido el informe favorable de ANECA.

• Principales Resultados de la titulación que incluye: Número de estudiantes de nuevo ingreso por curso académico, tasas de graduación, abandono, eficiencia y rendimiento, el grado de satisfacción de los estudiantes, el profesorado y el personal de gestión y administración con el título.

En los resultados ilustrados en Tabla 2, los supervisores tendieron a utilizar una buena combinación de tipos de evidencia. En este caso, también encontramos cómo tanto la frecuencia como el porcentaje de respuestas en las que el grupo de supervisores no tenía ninguna evidencia a la hora de justificar la calificación de los diferentes elementos, no ha sido muy elevado.

Por otro lado, las fuentes de evidencia más utilizadas, fueron la documentación interna y la observación personal. Estos resultados, no son de extrañar teniendo en cuenta que los supervisores van a tener acceso a la misma documentación tanto oficial como interna con la que cuentan los directores.

A la hora de analizar la observación personal, hemos de tener en cuenta que el grupo de supervisores se basa en la percepción que éstos tienen del desempeño de los directores en cada elemento, en su observación del intercambio de información tanto a nivel presencial, como por medios electrónicos como pueden ser el correo electrónico, las reuniones por Teams, llamadas telefónicas, etc.

En los resultados ilustrados en la Tabla 3, encontramos cómo el grupo de encuestados de los profesores utilizaron igualmente una buena combinación de tipos de evidencia. La fuente de evidencia más utilizada fue la observación personal. Éstos, aunque tienen acceso a la documentación oficial, tienen un acceso mucho más limitado a la documentación interna que los directores como los supervisores.

Cabe destacar cómo a la hora de analizar la observación personal, el grupo de profesores también se basa en su percepción del intercambio de información tanto a nivel presencial, como por medios electrónicos.

Por último, de las tablas 1, 2 y 3 se desprende cómo todas las opciones de fuentes de evidencia fueron seleccionadas con frecuencia por cada grupo de encuestados. Estos resultados de evidencia distribuidos, se consideran como positivos y es probable que revelen comportamientos en diferentes entornos o condiciones, lo que aumenta la generalización de las calificaciones.

8 Discusión

A la hora de determinar en qué medida las Instituciones de Educación Superior están buscando formas de mejorar la efectividad del liderazgo de los directivos, surge la evaluación de éstos como una herramienta efectiva, que puede ser significativa a la hora de determinar estas mejoras (ESGUERRA y CONTRERAS, 2016). El hecho de evaluar el liderazgo de los directivos con una herramienta fiable y válida como la que han adaptado Palomino, Cáceres y Lara (2023a (En prensa)), nos va a permitir avanzar en este sentido (PALOMINO; CÁCERES; LUCENA et al., 2022).

Tabla 2.
Resultados VAL-ED 360 de los supervisores de la intersección de cada Componente Principal y los Procesos Clave.

CP*	PC*	Puntuaciones Directivos y desempeño	Fuentes de evidencia	% de uso	Desempeño Media Direct. Sup. y Prof.
Estándares para el aprendizaje de los estudiantes elevados	Planificación	Distinguido 4,45	Documentación Oficial	45,5%	Distinguido 4,38
			Documentación Interna	81,8%
			Otra Documentación	9,1%
			Observación Personal	81,8%
			No hay fuente de evidencia	0,0%
	Implementación	Distinguido 4,45	Documentación Oficial	36,4%	Distinguido 4,34
			Documentación Interna	72,7%
			Otra Documentación	18,2%
			Observación Personal	72,7%
			No hay fuente de evidencia	0,0%
	Apoyo	Distinguido 4,13	Documentación Oficial	18,2%	Distinguido 4,43
			Documentación Interna	54,5%
			Otra Documentación	9,1%
			Observación Personal	72,7%
			No hay fuente de evidencia	18,2%
	Inclusión	Distinguido 4,36	Documentación Oficial	45,5%	Distinguido 4,19
			Documentación Interna	81,8%
			Otra Documentación	0,0%
			Observación Personal	63,6%
			No hay fuente de evidencia	9,1%
	Comunicación	Distinguido 4,40	Documentación Oficial	63,6%	Distinguido 4,43
			Documentación Interna	81,8%
			Otra Documentación	0,0%
			Observación Personal	54,5%
			No hay fuente de evidencia	18,2%
	Supervisión	Distinguido 4,72	Documentación Oficial	54,5%	Distinguido 4,62
			Documentación Interna	100,0%
			Otra Documentación	0,0%
			Observación Personal	45,5%
			No hay fuente de evidencia	0,0%
Plan de Estudios riguroso	Planificación	Competente 3,72	Documentación Oficial	54,4%	Competente 3,92
			Documentación Interna	90,9%
			Otra Documentación	0,0%
			Observación Personal	36,4%
			No hay fuente de evidencia	9,1%
	Implementación	Distinguido 4,40	Documentación Oficial	63,6%	Distinguido 4,03
			Documentación Interna	90,9%
			Otra Documentación	0,0%
			Observación Personal	72,7%
			No hay fuente de evidencia	0,0%
	Apoyo	Distinguido 4,27	Documentación Oficial	45,5%	Distinguido 4,28
			Documentación Interna	90,9%
			Otra Documentación	0,0%
			Observación Personal	72,7%
			No hay fuente de evidencia	9,1%
	Inclusión	Distinguido 4,45	Documentación Oficial	63,6%	Distinguido 4,41
			Documentación Interna	81,8%
			Otra Documentación	9,1%
			Observación Personal	72,7%
			No hay fuente de evidencia	18,2%
	Comunicación	Distinguido 4,31	Documentación Oficial	45,5%	Distinguido 4,35
			Documentación Interna	81,8%
			Otra Documentación	27,3%
			Observación Personal	72,7%
			No hay fuente de evidencia	0,0%
	Supervisión	Distinguido 4,22	Documentación Oficial	45,5%	Distinguido 4,24
			Documentación Interna	100,0%
			Otra Documentación	9,1%
			Observación Personal	54,5%
			No hay fuente de evidencia	18,2%
Enseñanza de Calidad	Planificación	Competente 3,95	Documentación Oficial	36,4%	Distinguido 4,17
			Documentación Interna	81,8%
			Otra Documentación	9,1%
			Observación Personal	54,5%
			No hay fuente de evidencia	18,2%
	Implementación	Distinguido 4,68	Documentación Oficial	36,4%	Distinguido 4,39
			Documentación Interna	90,9%
			Otra Documentación	9,1%
			Observación Personal	45,5%
			No hay fuente de evidencia	0,0%
	Apoyo	Distinguido 4,72	Documentación Oficial	18,2%	Distinguido 4,59
			Documentación Interna	90,9%
			Otra Documentación	9,1%
			Observación Personal	90,9%
			No hay fuente de evidencia	0,0%
	Inclusión	Distinguido 4,36	Documentación Oficial	27,3%	Distinguido 4,33
			Documentación Interna	72,7%
			Otra Documentación	9,1%
			Observación Personal	100,0%
			No hay fuente de evidencia	0,0%
	Comunicación	Distinguido 4,13	Documentación Oficial	9,1%	Distinguido 4,32
			Documentación Interna	63,6%
			Otra Documentación	9,1%
			Observación Personal	100,0%
			No hay fuente de evidencia	0,0%
	Supervisión	Competente 3,81	Documentación Oficial	27,3%	Competente 3,94
			Documentación Interna	81,8%
			Otra Documentación	9,1%
			Observación Personal	81,8%
			No hay fuente de evidencia	0,0%
Cultura de aprendizaje y comportamiento profesional	Planificación	Distinguido 4,50	Documentación Oficial	9,1%	Distinguido 4,41
			Documentación Interna	54,5%
			Otra Documentación	9,1%
			Observación Personal	100,0%
			No hay fuente de evidencia	0,0%
	Implementación	Distinguido 4,40	Documentación Oficial	27,3%	Distinguido 4,43
			Documentación Interna	72,7%
			Otra Documentación	9,1%
			Observación Personal	90,9%
			No hay fuente de evidencia	9,1%
	Apoyo	Distinguido 4,77	Documentación Oficial	18,2%	Distinguido 4,59
			Documentación Interna	72,7%
			Otra Documentación	9,1%
			Observación Personal	100,0%
			No hay fuente de evidencia	0,0%
	Inclusión	Distinguido 4,31	Documentación Oficial	9,1%	Distinguido 4,32
			Documentación Interna	90,9%
			Otra Documentación	0,0%
			Observación Personal	90,9%
			No hay fuente de evidencia	9,1%
	Comunicación	Distinguido 4,45	Documentación Oficial	9,1%	Distinguido 4,46
			Documentación Interna	72,7%
			Otra Documentación	0,0%
			Observación Personal	81,8%
			No hay fuente de evidencia	18,2%
	Supervisión	Competente 3,72	Documentación Oficial	18,2%	Distinguido 4,09
			Documentación Interna	45,5%
			Otra Documentación	9,1%
			Observación Personal	90,9%
			No hay fuente de evidencia	9,1%
Relación con la Comunidad	Planificación	Inferior al Básico 3,27	Documentación Oficial	9,1%	Competente 3,80
			Documentación Interna	45,5%
			Otra Documentación	0,0%
			Observación Personal	54,5%
			No hay fuente de evidencia	18,2%
	Implementación	Inferior al Básico 3,27	Documentación Oficial	18,2%	Competente 3,72
			Documentación Interna	54,5%
			Otra Documentación	9,1%
			Observación Personal	63,6%
			No hay fuente de evidencia	18,2%
	Apoyo	Inferior al Básico 2,81	Documentación Oficial	9,1%	Básico 3,52
			Documentación Interna	45,5%
			Otra Documentación	9,1%
			Observación Personal	63,6%
			No hay fuente de evidencia	18,2%
	Inclusión	Inferior al Básico 3,04	Documentación Oficial	9,1%	Competente 3,61
			Documentación Interna	63,6%
			Otra Documentación	9,1%
			Observación Personal	54,5%
			No hay fuente de evidencia	9,1%
	Comunicación	Competente 3,63	Documentación Oficial	45,5%	Competente 3,89
			Documentación Interna	72,7%
			Otra Documentación	0,0%
			Observación Personal	63,6%
			No hay fuente de evidencia	18,2%
	Supervisión	Inferior al Básico 3,13	Documentación Oficial	18,2%	Competente 3,80
			Documentación Interna	72,7%
			Otra Documentación	0,0%
			Observación Personal	72,7%
			No hay fuente de evidencia	9,1%
Responsabilidad por el desempeño	Planificación	Distinguido 4,18	Documentación Oficial	27,3%	Distinguido 4,20
			Documentación Interna	81,8%
			Otra Documentación	0,0%
			Observación Personal	72,7%
			No hay fuente de evidencia	0,0%
	Implementación	Distinguido 4,13	Documentación Oficial	9,1%	Distinguido 4,25
			Documentación Interna	81,8%
			Otra Documentación	0,0%
			Observación Personal	81,8%
			No hay fuente de evidencia	0,0%
	Apoyo	Distinguido 4,18	Documentación Oficial	27,3%	Distinguido 4,36
			Documentación Interna	81,8%
			Otra Documentación	9,1%
			Observación Personal	54,5%
			No hay fuente de evidencia	9,1%
	Inclusión	Distinguido 4,04	Documentación Oficial	9,1%	Distinguido 4,42
			Documentación Interna	45,5%
			Otra Documentación	0,0%
			Observación Personal	72,7%
			No hay fuente de evidencia	9,1%
	Comunicación	Distinguido 4,45	Documentación Oficial	18,2%	Distinguido 4,58
			Documentación Interna	100,0%
			Otra Documentación	9,1%
			Observación Personal	72,7%
			No hay fuente de evidencia	0,0%
	Supervisión	Distinguido 4,09	Documentación Oficial	36,4%	Distinguido 4,30
			Documentación Interna	63,6%
			Otra Documentación	0,0%
			Observación Personal	63,6%
			No hay fuente de evidencia	18,2%
Puntuación Media Total					Distinguido
					4,21

Fuente:

Tabla 3.
Resultados VAL-ED 360 de los profesores de la intersección de cada Componente Principal y los Procesos Clave.

CP*	PC*	Puntuaciones Directivos y desempeño	Fuentes de evidencia	% de uso	Desempeño Media Direct. Sup. y Prof.
Estándares para el aprendizaje de los estudiantes elevados	Planificación	Distinguido 4,26	Documentación Oficial	43,8%	Distinguido 4,38
			Documentación Interna	48,3%
			Otra Documentación	1,8%
			Observación Personal	88,7%
			No hay fuente de evidencia	0,0%
	Implementación	Distinguido 4,08	Documentación Oficial	35,9%	Distinguido 4,34
			Documentación Interna	40,4%
			Otra Documentación	4,4%
			Observación Personal	82,0%
			No hay fuente de evidencia	4,4%
	Apoyo	Distinguido 4,62	Documentación Oficial	48,3%	Distinguido 4,43
			Documentación Interna	64,0%
			Otra Documentación	12,3%
			Observación Personal	84,2%
			No hay fuente de evidencia	0,0%
	Inclusión	Distinguido 4,04	Documentación Oficial	40,4%	Distinguido 4,19
			Documentación Interna	40,4%
			Otra Documentación	12,3%
			Observación Personal	79,7%
			No hay fuente de evidencia	7,8%
	Comunicación	Distinguido 4,18	Documentación Oficial	43,8%	Distinguido 4,43
			Documentación Interna	43,8%
			Otra Documentación	7,8%
			Observación Personal	79,7%
			No hay fuente de evidencia	7,8%
	Supervisión	Distinguido 4,28	Documentación Oficial	40,4%	Distinguido 4,62
			Documentación Interna	48,3%
			Otra Documentación	12,3%
			Observación Personal	82,0%
			No hay fuente de evidencia	0,0%
Plan de Estudios riguroso	Planificación	Competente 3,90	Documentación Oficial	48,3%	Competente 3,92
			Documentación Interna	48,3%
			Otra Documentación	7,8%
			Observación Personal	71,9%
			No hay fuente de evidencia	7,8%
	Implementación	Distinguido 4,10	Documentación Oficial	48,3%	Distinguido 4,03
			Documentación Interna	51,6%
			Otra Documentación	12,3%
			Observación Personal	88,7%
			No hay fuente de evidencia	4,4%
	Apoyo	Distinguido 4,14	Documentación Oficial	40,4%	Distinguido 4,28
			Documentación Interna	40,4%
			Otra Documentación	4,4%
			Observación Personal	79,7%
			No hay fuente de evidencia	4,4%
	Inclusión	Distinguido 4,02	Documentación Oficial	43,8%	Distinguido 4,41
			Documentación Interna	48,3%
			Otra Documentación	15,7%
			Observación Personal	88,7%
			No hay fuente de evidencia	0,0%
	Comunicación	Distinguido 4,34	Documentación Oficial	40,4%	Distinguido 4,35
			Documentación Interna	48,3%
			Otra Documentación	15,7%
			Observación Personal	88,7%
			No hay fuente de evidencia	0,0%
	Supervisión	Distinguido 4,16	Documentación Oficial	40,4%	Distinguido 4,24
			Documentación Interna	28,0%
			Otra Documentación	7,8%
			Observación Personal	92,1%
			No hay fuente de evidencia	0,0%
Enseñanza de Calidad	Planificación	Distinguido 4,22	Documentación Oficial	35,9%	Distinguido 4,17
			Documentación Interna	28,0%
			Otra Documentación	12,3%
			Observación Personal	82,0%
			No hay fuente de evidencia	4,4%
	Implementación	Distinguido 4,08	Documentación Oficial	28,0%	Distinguido 4,39
			Documentación Interna	23,6%
			Otra Documentación	7,8%
			Observación Personal	82,0%
			No hay fuente de evidencia	7,8%
	Apoyo	Distinguido 4,32	Documentación Oficial	23,6%	Distinguido 4,59
			Documentación Interna	31,4%
			Otra Documentación	12,3%
			Observación Personal	88,7%
			No hay fuente de evidencia	0,0%
	Inclusión	Competente 3,96	Documentación Oficial	28,0%	Distinguido 4,33
			Documentación Interna	28,0%
			Otra Documentación	15,7%
			Observación Personal	76,4%
			No hay fuente de evidencia	7,8%
	Comunicación	Distinguido 4,24	Documentación Oficial	40,4%	Distinguido 4,32
			Documentación Interna	40,4%
			Otra Documentación	12,3%
			Observación Personal	92,1%
			No hay fuente de evidencia	0,0%
	Supervisión	Competente 3,80	Documentación Oficial	31,4%	Competente 3,94
			Documentación Interna	20,2%
			Otra Documentación	15,7%
			Observación Personal	76,4%
			No hay fuente de evidencia	7,8%
Cultura de aprendizaje y comportamiento profesional	Planificación	Distinguido 4,06	Documentación Oficial	23,6%	Distinguido 4,41
			Documentación Interna	35,9%
			Otra Documentación	7,8%
			Observación Personal	82,0%
			No hay fuente de evidencia	7,8%
	Implementación	Distinguido 4,02	Documentación Oficial	23,6%	Distinguido 4,43
			Documentación Interna	31,4%
			Otra Documentación	12,3%
			Observación Personal	82,0%
			No hay fuente de evidencia	4,4%
	Apoyo	Distinguido 4,34	Documentación Oficial	28,0%	Distinguido 4,59
			Documentación Interna	23,6%
			Otra Documentación	12,3%
			Observación Personal	88,7%
			No hay fuente de evidencia	0,0%
	Inclusión	Distinguido 4,12	Documentación Oficial	23,6%	Distinguido 4,32
			Documentación Interna	31,4%
			Otra Documentación	7,8%
			Observación Personal	92,1%
			No hay fuente de evidencia	0,0%
	Comunicación	Distinguido 4,48	Documentación Oficial	23,6%	Distinguido 4,46
			Documentación Interna	31,4%
			Otra Documentación	7,8%
			Observación Personal	92,1%
			No hay fuente de evidencia	0,0%
	Supervisión	Distinguido 4,10	Documentación Oficial	23,6%	Distinguido 4,09
			Documentación Interna	35,9%
			Otra Documentación	12,3%
			Observación Personal	92,1%
			No hay fuente de evidencia	0,0%
Relación con la Comunidad	Planificación	Distinguido 4,00	Documentación Oficial	20,2%	Competente 3,80
			Documentación Interna	23,6%
			Otra Documentación	7,8%
			Observación Personal	82,0%
			No hay fuente de evidencia	4,4%
	Implementación	Competente 3,62	Documentación Oficial	23,6%	Competente 3,72
			Documentación Interna	31,4%
			Otra Documentación	7,8%
			Observación Personal	68,5%
			No hay fuente de evidencia	15,7%
	Apoyo	Competente 3,84	Documentación Oficial	23,6%	Básico 3,52
			Documentación Interna	31,4%
			Otra Documentación	15,7%
			Observación Personal	71,9%
			No hay fuente de evidencia	7,8%
	Inclusión	Distinguido 4,08	Documentación Oficial	15,7%	Competente 3,61
			Documentación Interna	23,6%
			Otra Documentación	12,3%
			Observación Personal	79,7%
			No hay fuente de evidencia	7,8%
	Comunicación	Competente 3,82	Documentación Oficial	20,2%	Competente 3,89
			Documentación Interna	31,4%
			Otra Documentación	12,3%
			Observación Personal	82,0%
			No hay fuente de evidencia	0,0%
	Supervisión	Competente 3,94	Documentación Oficial	20,2%	Competente 3,80
			Documentación Interna	35,9%
			Otra Documentación	12,3%
			Observación Personal	68,5%
			No hay fuente de evidencia	12,3%
Responsabilidad por el desempeño	Planificación	Distinguido 4,08	Documentación Oficial	28,0%	Distinguido 4,20
			Documentación Interna	43,8%
			Otra Documentación	15,7%
			Observación Personal	82,0%
			No hay fuente de evidencia	0,0%
	Implementación	Distinguido 4,28	Documentación Oficial	23,6%	Distinguido 4,25
			Documentación Interna	31,4%
			Otra Documentación	20,2%
			Observación Personal	79,7%
			No hay fuente de evidencia	0,0%
	Apoyo	Distinguido 4,14	Documentación Oficial	28,0%	Distinguido 4,36
			Documentación Interna	40,4%
			Otra Documentación	15,7%
			Observación Personal	76,4%
			No hay fuente de evidencia	7,8%
	Inclusión	Distinguido 4,10	Documentación Oficial	23,6%	Distinguido 4,42
			Documentación Interna	40,4%
			Otra Documentación	20,2%
			Observación Personal	88,7%
			No hay fuente de evidencia	4,4%
	Comunicación	Distinguido 4,38	Documentación Oficial	31,4%	Distinguido 4,58
			Documentación Interna	51,6%
			Otra Documentación	15,7%
			Observación Personal	82,0%
			No hay fuente de evidencia	0,0%
	Supervisión	Distinguido 4,06	Documentación Oficial	23,6%	Distinguido 4,30
			Documentación Interna	35,9%
			Otra Documentación	20,2%
			Observación Personal	82,0%
			No hay fuente de evidencia	4,4%
Puntuación Media Total					Distinguido
					4,21

Fuente:

Dado que a la hora de realizar la evaluación, ésta se basa en las percepciones que cada grupo de interés tiene del liderazgo ejercido por parte de los directores de titulación, hemos de tener en cuenta que cada una de las opiniones sobre la gestión del liderazgo no van a ser sino el producto de las relaciones e interacciones de trabajo entre éstos y los directivos.

Efectivamente, tal y como plantean Jepsen y Rousseau (2022), las percepciones que las personas que interactúan con los líderes tienen de ellos, reflejan las interpretaciones o atribuciones de esos individuos sobre el comportamiento del directivo y su efectividad. Es por ello por lo que, debemos interpretar las diferentes atribuciones percibidas como una explicación causal relacionada con un efecto o resultado observado, habiéndose prestado atención al comportamiento y efectividad del directivo en diferentes situaciones. Esto nos lleva a resaltar que evaluar el papel del uso de la evidencia en las percepciones sobre el liderazgo, va a ser también esencial a la hora de evaluarlo.

9 Conclusiones

La evolución de los entornos de aprendizaje virtuales destaca la importancia del rol de los líderes para la mejora tanto del desarrollo de las instituciones como el logro de las metas y objetivos que estas se marcan. En este sentido, el hecho de que los líderes entiendan estas necesidades va a ser un aspecto esencial. Es por ello que van a ser clave a la hora de desarrollar programas efectivos centrados tanto en el alumno, como en la misión y cultura académica de la institución.

Así pues, en esta investigación, el principal objetivo que se planteaba era estudiar las principales evidencias que se utilizan para evaluar el e-liderazgo pedagógico en la Educación Superior on-line en España mediante la aplicación del VAL-ED en la Universidad Internacional de la Rioja. Para ello, en primer lugar, hemos identificado las principales evidencias que han utilizado los tres grupos de encuestados a la hora de evaluar la efectividad del comportamiento en el liderazgo del directivo, tomando como referencia los estándares de competencia de VAL-ED.

Los datos obtenidos permiten afirmar cómo tanto los directivos como los supervisores, así como los profesores, han podido evaluar el comportamiento de liderazgo de los directivos, en comparación con los estándares de competencia de VAL-ED, basándose en evidencias sólidas, de modo que las puntuaciones dadas a la efectividad de los directivos en los diferentes elementos estarían suficientemente justificadas.

Este punto nos ha permitido tal y como nos planteábamos en el segundo objetivo específico, determinar en qué medida los agentes educativos de la UNIR coinciden en la selección de evidencias a la hora de evaluar el desempeño efectivo del liderazgo pedagógico de los directivos, resaltando que las diferencias encontradas en las respuestas obtenidas tanto de los directivos, como de los supervisores y profesores: Los profesores se basan sobre todo en la observación personal, los supervisores también lo hacen en muchos elementos, si bien, también lo combinan con la documentación interna, mientras que los directores han recurrido, sobre todo a ésta última. Esto se debe, en gran medida, a la accesibilidad de dichas fuentes de evidencia por parte de cada uno de los grupos de encuestados. Por tanto, podemos tanto justificar como dar como válidas las diferencias que hemos encontrado en los tres grupos a la hora de seleccionar las evidencias en las que se han basado en el momento de evaluar el desempeño efectivo del liderazgo pedagógico de los directores.

Por último y tal y como encontramos en Palomino, Cáceres, Lucena et al. (2022), dada la escasa cantidad de trabajos en esta línea, y a la vista de los resultados obtenidos, cabe destacar la necesidad de profundizar más este ámbito de investigación, que revertirá en la eficacia y efectividad del desarrollo organizacional, así como en la mejora de todas las dimensiones de las instituciones educativas de Educación Superior.

Dentro de las limitaciones que encontramos en este estudio, la primera que debiéramos destacar es el tamaño de la muestra del grupo de profesores, ya que aunque una tasa de respuesta del 75% o más se considera alta y, por lo tanto, deseable al aumentar la probabilidad de que los datos de evaluación resultantes sean representativos de los encuestados que interactúan con el directivo, lo ideal hubiera sido contar con una tasa de respuesta del 100% tal y como ha sucedido con el resto de grupos (profesores y supervisores).

De igual modo, hubiese sido deseable que todas y cada una de las respuestas que se han obtenido se hubiesen basado en alguna de las fuentes de evidencia que se han facilitado, no habiéndose obtenido ninguna respuesta de “no hay fuente de evidencia”. Esta es sin duda una de las principales propuestas de mejora que se desprenden de este estudio para incidir en una verificación más exhaustiva de la efectividad del liderazgo directivo y las evidencias seleccionadas para su evaluación. Sabiendo las limitaciones que han encontrado algunos encuestados a la hora de justificar las puntuaciones que otorgaban, y resaltándose cómo los directores podrían, para evaluaciones futuras, trabajar para garantizar que las evidencias estén disponibles o sean más obvias para todos los grupos de encuestados.

Sin embargo, y tal y como hemos destacado anteriormente, la frecuencia y el porcentaje de respuestas en las que los tres grupos de encuestados no tenían ninguna evidencia a la hora de justificar la calificación de los diferentes elementos no ha sido muy elevado.

Asimismo, merece la pena resaltar que a la hora de determinar el nivel de efectividad y desempeño de los directivos hemos trabajado con puntuaciones medias. Estas, como cualquier puntuación de prueba, son puntuaciones observadas y es probable que tengan algún error asociado, si bien, cabe añadir que el posible error en el VAL-ED es muy bajo.

Igualmente, sabemos que una de las características que tiene el VAL-ED cuando se aplica en contextos de Educación Obligatoria (Primaria y Secundaria), es que este se evalúa en comparación con una muestra nacional de directores. En este sentido, al ser este estudio el primero en el que se aplica el cuestionario en un contexto de Educación Superior, añadido al hecho de que tal y como se apuntaba anteriormente, no contamos con una muestra de resultados a nivel nacional lo suficientemente significativa, no hemos podido realizar dicha comparación.

Referencias

• AURANGZEB, Wajeeha y MAZHAR, U. Analysis of e-leadership practices in ameliorating learning environment of higher education institutions. Pakistan Journal Of Distance And Online Learning, v. 5, n. 2, p. 1-16, 2020.
• CAMPOS, Fabian; VALDÉS, René y ASCORRA, Paula. ¿Líder pedagógico o gerente de escuela? Evolución del rol del director de escuela en Chile. Calidad en la Educación, n. 51, p. 53-84, 2019. ISSN 0718-4565, 0717-4004. DOI: 10.31619/caledu.n51.685.
  » https://doi.org/10.31619/caledu.n51.685
• CORDIE, Leslie y LIN, Xi. The E-Revolution in Higher Education: E-Learning and E-Leaders. Journal of Leadership Studies, v. 12, n. 3, p. 76-78, 2018.
• EHLERS, Ulf-Daniel. Digital leadership in higher education. Journal of Higher Education Policy and Leadership Studies, v. 1, n. 3, p. 6-14, 2020.
• ESGUERRA, Gustavo A. y CONTRERAS, Francoise. Liderazgo electrónico, un reto ineludible para las organizaciones de hoy. Estudios Gerenciales, v. 32, n. 140, p. 262-268, 2016. ISSN 01235923. DOI: 10.1016/j.estger.2016.08.003.
  » https://doi.org/10.1016/j.estger.2016.08.003
• GONZÁLEZ-FERNÁNDEZ, Raúl et al. La evidencia del liderazgo pedagógico de directores, jefes de estudios y profesorado desde la perspectiva de las partes interesadas. Estudios Sobre Educación, v. 39, p. 207-228, 2020.
• HARRIS, Alma; JONES, Michelle e ISMAIL, Nashwa. Distributed leadership: taking a retrospective and contemporary view of the evidence base. School Leadership & Management, v. 42, n. 5, p. 438-456, 2022.
• IBARRA-SÁIZ, María Soledad et al. Medios e instrumentos para evaluar los resultados de aprendizaje en másteres universitarios. Análisis de la percepción del profesorado sobre su práctica evaluativa. Educación XX1, v. 26, n. 1, p. 21-45, 2023.
• JEPSEN, Denise M. y ROUSSEAU, Denise M. Perceived evidence use: Measurement and construct validation of managerial evidence use as perceived by subordinates. Edición: Jin Yan. PLoS ONE, v. 17, n. 4, p. 1-24, 2022. ISSN 1932-6203. DOI: 10.1371/journal.pone.0266894.
  » https://doi.org/10.1371/journal.pone.0266894
• JONES, M.; MASSIAH, P. y SOUDERRAJ, M. Operationalising an empirical research agenda for future theoretical generation and assessment. In: EUROPEAN Conference on Management Leadership and Governance (ECMLG), 13th. [S.l.: s.n.], 2017. Pág. 201.
• LEIVA-GUERRERO, María Verónica y VÁSQUEZ, Camila. Liderazgo pedagógico: de la supervisión al acompañamiento docente. Calidad en la Educación, n. 51, p. 225-251, 2019. ISSN 0718-4565, 0717-4004. DOI: 10.31619/caledu.n51.635.
  » https://doi.org/10.31619/caledu.n51.635
• LÓPEZ BELMONTE, Jesús et al. Análisis del Liderazgo Electrónico y la Competencia Digital del Profesorado de Cooperativas Educativas de Andalucía (España). Multidisciplinary Journal of Educational Research, v. 9, n. 2, p. 194-223, 2019. ISSN 2014-2862. DOI: 10.17583/remie.2019.4149.
  » https://doi.org/10.17583/remie.2019.4149
• MARICHAL-GUEVERA, O.C.; RODRÍGUEZ-GARCÍA, A.M. y CÁCERES-RECHE, Mª.P. Impacto del grupo de discusión en el liderazgo directivo y su ”praxis” inclusiva en el contexto educativo cubano. In: LIBRO de Actas Del XV Congresso Internacional y XXXV Investigación y Prácticas Inclusivas. Liderando Investigación y Prácticas Inclusivas. Granada: EUG, 2017. P. 177-186.
• MILLER, G.E. e IVES, K.S. Leading the eLearning transformation of higher education: Leadership strategies for the next generation. Herndon: Stylus Publishing, 2020.
• MIRAS TERUEL, Jorge y LONGÁS MAYAYO, Jorge. Liderazgo pedagógico y liderazgo ético: perspectivas complementarias de la nueva dirección escolar. Revista de Estudios y Experiencias en Educación, v. 19, n. 41, p. 287-305, 2020. ISSN 07176945, 07185162. DOI: 10.21703/rexe.20201941miras16.
  » https://doi.org/10.21703/rexe.20201941miras16
• MORENO-SOCORRO, Elia-Caridad y URQUIZA, Roberto-de-Armas. Evaluación del liderazgo de los directivos de la educación superior cubana: un procedimiento metodológico. Revista Cubana de Educación Superior, v. 39, n. 1, 2020.
• PALOMINO, José Manuel; CÁCERES, María del Pilar y LARA, F. Evaluation of pedagogical leadership through the VAL-ED. Adaptation to the context of Higher Education in Spain. Cogent Social Sciences, 2023a (En prensa).
• PALOMINO, José Manuel; CÁCERES, María del Pilar; LUCENA, Francisco Javier Hinojo et al. Hacia un liderazgo pedagógico en la Educación Superior. In: APORTES de investigación derivados de la Red Iberoamericana de Investigación en Liderazgo y Prácticas Educativas (RILPE). España: Dykinson, 2022. P. 65-78.
• PALOMINO, José Manuel; CÁCERES, María Pilar y NAVAS-PAREJO, Magdalena Ramos. E-liderazgo y enseñanza a distancia en Educación Superior: principales claves. In: MARIN-MARIN, J. A et al. (Ed.). Investigación e innovación educativa frente a los retos para el desarrollo sostenible. España: Dykinson, 2021. P. 67-77.
• PALOMINO, José Manuel; CÁCERES, María Pilar; PÉREZ, Lucía Pérez et al. Incidence of Pedagogical Leadership in Students’ Performance in Higher Education. The International Journal of Educational Organization and Leadership, v. 29, n. 2, pág. 103, 2023b (En prensa).
• PORTER, Andrew C et al. Vanderbilt assessment of leadership in education. APA PsycTests, 2008.
• RICKINSON, Mark et al. A framework for understanding the quality of evidence use in education. Educational Research, v. 64, n. 2, p. 133-158, 2022. DOI: 10.1080/00131881.2022.2054452.
  » https://doi.org/10.1080/00131881.2022.2054452
• VANDERBILT UNIVERSITY. VAL-ED Framework. [S.l.]: Vanderbilt assessment of Leadership in Education. Discovery Education Assessment, 2011b.
• VANDERBILT UNIVERSITY. VAL-ED Handbook. [S.l.]: Vanderbilt assessment of Leadership in Education. Discovery Education Assessment, 2011a.
• VANDERBILT UNIVERSITY. VAL-ED Performance Rubric. [S.l.]: Vanderbilt assessment of Leadership in Education. Discovery Education Assessment, 2011c.

Editado por

Editor de sección: Hugo Heredia Ponce

Editor de maquetación: Thaís Coutinho

Fechas de Publicación

• Publicación en esta colección
  28 Ago 2023
• Fecha del número
  2023

Histórico

• Recibido
  1 Dic 2022
• Acepto
  31 Mar 2023