Principales rankings académicos internacionales: el caso de ChileResumen
Los rankings académicos (RACs), a pesar de recibir muchos cuestionamientos, se vienen destacando como un instrumento de evaluación externa de apoyo para la toma de decisiones de las universidades y de diferentes grupos de interés. Este artículo tiene como objetivo analizar y mapear – en términos de metodologías adoptadas, formas de selección de universidades y fuentes de información – los RACs chilenos, en una óptica comparativa con los más destacados rankings internacionales. Se realiza una investigación exploratoria, analítico-descriptiva y comparativa. Para ello, se utilizan fuentes secundarias, por medio de revisión de bases de datos, páginas web y artículos científicos (investigación bibliográfica y documental), clasificándose los RACs estudiados a partir de las especificidades de los datos por ellos utilizados. Se puede concluir que las principales diferencias existentes entre los rankings internacionales y los chilenos no pasan tanto por los criterios a evaluar, sino por la especificidad de los pesos dados a los indicadores adoptados. Cada ranking presenta un concepto propio de calidad, no existiendo un consenso entre ellos.
Educación superior; Gobernanza universitaria; Rankings académicos; Rankings universitarios
Resumo
Os rankings acadêmicos (RACs), apesar de receberem muitos questionamentos, vem se destacando como um instrumento de avaliação externa de apoio para a tomada de decisões das universidades y de diferentes grupos de interesse. Este artigo tem como objetivo analisar e mapear – em termos de metodologias adotadas, formas de seleção de universidades e fontes de informação – os RACs chilenos, em uma ótica comparativa com os mais destacados rankings internacionais. Realiza-se uma pesquisa exploratória, analítico-descritiva e comparativa. Para tanto, se utilizam fontes secundarias de informação, por meio da revisão de bases de dados, páginas web e artigos científicos (pesquisa bibliográfica e documental), classificando-se os RACs estudados a partir das especificidades dos dados por eles utilizados. Pode-se concluir que as principais diferenças existentes entre os rankings internacionais e os chilenos não passam tanto pelos critérios a serem avaliados, mas pela especificidade dos pesos dados aos indicadores adotados. Cada ranking apresenta um conceito próprio de qualidade, no existindo um consenso entre eles.
Educação superior; Governança universitária; Rankings acadêmicos; Rankings universitários
Abstract
Academic rankings (ARs), despite receiving many questionings, have been highlighted as an external evaluation tool to support decision-making by universities and different interest groups. This article aims to analyze and map – in terms of methodologies adopted, forms of university selection and sources of information – the Chilean ARs, in a comparative perspective with the most outstanding international rankings. An exploratory, analytical-descriptive and comparative research is carried out. To do so, secondary sources of information are used, through the revision of databases, web pages and scientific articles (bibliographic and documentary research), classifying the ARs studied from the specificities of the data used by them. It can be concluded that the main differences between the international and Chilean rankings do not go through the criteria to be evaluated, but rather due to the specificity of the weights given to the indicators adopted. Each ranking has its own concept of quality, and there is no consensus among them.
Higher education; University governance; Academic rankings; University rankings
1 Introducción
La expansión de los rankings académicos (RACs) o universitarios internacionales, nacionales y regionales, iniciada en la primera mitad de la década de 2000, ha generado una serie de implicaciones en la gobernanza universitaria de los más diversos países (BERNARDINO; MARQUES, 2010; GARCÍA DE FANELLI; PITA CARRANZA, 2018; HAZELKORN, 2014), contribuyendo para una serie de cambios no solamente en las culturas académicas y científicas, mas también en la forma como los Estados diseñan y monitorean sus políticas de desarrollo científico y tecnológico.
A pesar de las críticas más distintivas hacia los RACs (HAZELKORN, 2014; ORDORIKA, RODRÍGUEZ GÓMEZ, 2010; REYES, 2016), la literatura académica-científica reconoce que esos instrumentos de evaluación externa, internacionales y nacionales, vinieron para quedarse (MARGINSON, 2014) e instalarse dentro de la batalla por la excelencia (HAZELKORN, 2011), instalándose como un mecanismo en continuo perfeccionamiento (CALDERON, 2019a,b), dentro de una sociedad performativa (BALL, 2010).
Estudio realizado por Calderón y França (2018) demuestra que, en Iberoamérica, la curiosidad científica en torno de los RACs posibilitó, paulatinamente, a partir de 2010, la emergencia de un campo de estudios, predominantemente empírico, que revela
una tendencia direccionada para el estudio sobre a performatividad en los rankings, comprendiendo sus limitaciones, pero también sus potencialidades sin dejar de hacer un examen más cuidadoso y desapasionado que procura esclarecer las varias dimensiones existentes en los procesos de ranqueo que, por su naturaleza, son complejos, controvertidos y polisémicos (CALDERÓN; FRANÇA, 2018, p. 462).
Es dentro de ese campo de estudios emergente que el presente artículo debe ser comprendido, el mismo que tiene como objetivo analizar y mapear – en términos de metodologías adoptadas, formas de selección de universidades y fuentes de información – los RACs existentes en Chile, en una óptica comparativa con los más destacados RACs internacionales. En ese sentido, este artículo se suma a las preocupaciones teóricas sobre la educación superior chilena (SCHMAL; CABRALES, 2018; DONOSO-DIAZ et al., 2015) pero abordadas desde otro punto de vista, el de la expansión de los rankings académicos como instrumentos de evaluación e inductores de calidad por medio de la competición, dentro de una cultura de ranqueamiento, transparencia de informaciones y accountability (CALDERÓN; POLTRONIERI; BORGES, 2011).
Este documento básicamente envuelve una investigación de naturaleza exploratoria en la medida en que el fenómeno de los RACs, sus indicadores, efectos y dinámicas de funcionamiento se constituye en un campo de estudios que, por lo menos en América Latina, recién comienza a ser empíricamente abordado. En ese sentido, este artículo asume una dimensión esencialmente analítico-descriptiva, que se utiliza en el campo de la educación comparada para encontrar semejanzas y diferencias, bien como para inferir tendencias de los RACs chilenos e internacionales estudiados.
Para definir los rankings internacionales, se tomó como referencia una encuesta realizada por Hazelkorn, Loukkola e Zhang (2014) que destaca las tres tablas clasificatorias consideradas como las más influyentes: a) el pionero Academic Ranking of World Universities (ARWU, 2017), producido en 2003, inicialmente por la Universidad Shanghai Jiao Tong, que será denominado en este artículo como ARWU; b) el The World University Rankings producido por la revista Times Higher Education (THE, 2018), que pasará a ser llamado como RTHE; y c) el QS World University Rankings (QS, 2018), producido por la empresa Quacquarelli Symonds, que será denominado como RQS.
En el caso de Chile, se mapeó la totalidad de RACs vigentes. De la misma forma como sucede en países del espacio iberoamericano como España, México y Brasil (CALDERÓN; FRANÇA; GONÇALVES, 2017), en Chile existe un conjunto de rankings que, con diversos criterios, ponderaciones y medidas, intenta descifrar la complejidad de las universidades nacionales. En ese sentido, serán analizadas cuatro tablas clasificatorias: a) el ranking de “Las Mejores Universidades de Chile”, producido desde el año 1999, bajo la responsabilidad de la revista Qué Pasa (LA TERCERA, 2017), denominado en este estudio como RQP; b) el ranking del Grupo de Estudios Avanzados (GEA) Universitas, junto al periódico chileno el Mercurio (EL MERCURIO, 2017a), que será denominado como RU&EM; c) el ranking producido por la revista América Economía (AMÉRICA ECONOMÍA, 2017a), que será llamado RAE; y d) el ranking de las mejores y peores universidades, un subproducto del Barómetro de la educación superior (MORI, 2017), producido por la organización Market Opinion Research International (MORI), que será identificado como RMORI.
Cada uno de los RACs abordados en este artículo toma como referencia principal los datos del año 2017 y 2018. Para realizar el proceso comparativo entre todos los RACs analizados se consideraron tres indicadores referenciales: a) metodología adoptada, b) forma de selección de universidades y, c) fuentes de información.
Sumado a ese contenido, también fue tomada como referencia una tipología de rankings recreada por Calderón, França e Gonçalves (2017) a partir del estudio producido por Andrade (2011), que inicialmente generó una tipología de cuatro tipos diferentes, los cuales pueden ser observados en el Cuadro. A esa tipología elaborada con base en la combinación de dos matrices de variables (insumo-producto y subjetivo-objetivo), Calderón, França y Gonçalves (2017) incorporaron la existencia de otro tipo de tabla clasificatoria, denominado rankings híbridos (Figura 1), los cuales presentan como característica la presencia combinada y variable de indicadores construidos simultáneamente a partir de productos y/o insumos, colectados por medio de informaciones simultáneamente objetivas y/o subjetivas.
La Figura 1 muestra una tipología de las composiciones generales que los rankings pueden presentar; pero revela además la multiplicidad de configuraciones de RACs híbridos muy diversificados, que pueden existir con varias combinaciones o escalas de variaciones entre indicadores objetivos y subjetivos, con foco en los insumos y en los productos.
Este trabajo representa un punto de partida, entre los investigadores preocupados con el estudio empírico-inductivo sobre performatividad de las universidades en rankings, índices y tablas clasificatorias, que posibilitará avanzar en nuevos caminos investigativos, que impliquen revisiones exhaustivas de los basamentos teóricos e empíricos-inductivos en los cuales pueden sustentarse estas mediciones.
2 Contextualización preliminar
Las universidades cumplen un rol cardinal en el progreso de los países, y en ellas está el espacio para reflexionar y desarrollar fórmulas que le permitan a nuestra región enfrentar creativamente los retos que le impone esta nueva sociedad global. Estas instituciones deben operar con excelencia y estar debidamente equipadas en todas sus dimensiones, siendo uno de los factores claves, su gobierno o gobernanza, ámbito donde claramente hay mucho que aprender en América Latina (BRUNNER; GANGA-CONTRERAS, 2016; GARCÍA DE FANELLI; PITA CARRANZA, 2018). En este escenario surge el énfasis en los instrumentos de evaluación, calidad, gobernanza y acreditación, bien como la preocupación de la administración universitaria con el logro de altos estándares de eficiencia y el reconocimiento nacional e internacional, tarea a la que se han abocado los RACs, los cuales han alcanzado gran notoriedad como fuentes de información y herramientas ordenadoras de universidades, de acuerdo a sus propios criterios de calidad (GANGA-CONTRERAS et al., 2018).
Usher y Savino (2006) definen a los rankings como una lista de agrupaciones de instituciones clasificadas en forma comparativa según un conjunto común de indicadores en orden descendente, las que habitualmente se presentan en tablas de posiciones. La simplificación de la información que entregan los RACs, sumado al valor informativo que suministran para la toma de decisiones (GANGA-CONTRERAS; SÁEZ-SAN MARTÍN; VIANCOS, 2019; ORDORIKA; RODRÍGUEZ GÓMEZ, 2010), hacen que diversas autoridades gubernamentales e institucionales los establezcan para determinar políticas o planes para el corto, mediano o largo plazo, sirviendo también como un instrumento de auxilio para los futuros alumnos y sus familias al momento de escoger donde estudiar, que es el objetivo principal de las tablas clasificatorias promovidas por la prensa en diversos países de Iberoamérica (CALDERÓN; FRANÇA; GONÇALVES, 2017).
Es claro que la reputación que obtienen las universidades ubicadas en las mejores posiciones de estas mediciones tiene como efecto el interés de estudiantes nacionales e internacionales, los cuales están dispuestos a desembolsar grandes cantidades de dinero para acceder a ellas; sin más, está el caso de Australia, país en el que 37 de sus 43 universidades aparecen en las mejores mil en la edición del 2019 de QS World University Rankings. En ese Estado, la educación superior está en la tercera posición como sector generador de ingresos nacionales – por sobre el turismo –, y en gran parte es gracias a la internacionalización de los estudiantes (UNESCO, 2013).
3 Rankings internacionales
3.1 Academic Ranking of World Universities – ARWU
El ARWU es una medición publicada de forma anual por el Shanghai Ranking Consultancy, con la primera versión realizada en el año 2003 (LIU, 2009), cuando se convirtió en pionero en la elaboración de listados de universidades a nivel global.
3.1.1 Metodología
El ARWU, versión 2017, usa seis indicadores distribuidos en cuatro dimensiones: Calidad de la educación; Calidad del personal académico; Productos de investigación y Rendimiento per cápita (ARWU, 2017). El detalle de los indicadores y sus pesos porcentuales se puede revisar en la Tabla 1.
3.1.2 Selección de Universidades
El ARWU considera a cada universidad que tenga Premios Nobel, Medallas Fields, investigadores altamente citados o artículos publicados en Nature y Science (HIGHLY CITED RESEARCHERS, 2018). Además, incluye a universidades con un volumen significativo de artículos indexados en el Science Citation Index-Expanded (SCIE) y en el Social Science Citation Index (SSCI) de la base de datos Web of Science (WEB OF SCIENCE). En total, más de 1.300 universidades se encuentran clasificadas, aunque solo publica a las 500 mejores. A pesar de ello, en su versión de 2017, las universidades clasificadas entre los puestos 501 y 800 fueron publicadas en un anexo junto al Top 500.
3.1.3 Fuentes de información
El ARWU recoge datos cuantitativos de diversas fuentes secundarias, principalmente de páginas web. Así ocurre con la información referente a los Premios Nobel, Medallas Fields, investigadores altamente citados, y los artículos publicados en Nature y Science junto a la que se encuentran indexados en SCIE y SSCI. Tomando como referencia la Tipología de rankings académicos, puros e híbridos, adoptada en este estudio, la Tabla 1 revela que el ARWU es esencialmente puro, producido a partir de informaciones objetivas con foco en los productos, o sea, elaborado con datos esencialmente cuantitativos, en sus cuatro dimensiones, enfocando productos concretos del trabajo universitario.
3.2 QS World University Rankings - RQS
Quacquarelli Symonds, empresa británica multinacional especializada en educación y estudios en el extranjero, desde el año 2004 elabora el listado con las mejores universidades del mundo junto con la revista inglesa Times Higher Education. A partir del 2010, continúa de forma independiente con la elaboración del ranking universitario, siendo la versión del 2018 su medición más actual (QS, 2018).
3.2.1 Metodología
El RQS (QS, 2018), utiliza seis indicadores que servirán para evaluar a las universidades: las encuestas de reputación (una a académicos y otra a empleadores); la relación existente entre la cantidad de estudiantes y la cantidad de académicos; el número de citas por la cantidad de académicos, y el nivel de internacionalización de la institución (expresada en proporciones de académicos y estudiantes extranjeros). El peso de cada uno de los indicadores se expresa en la Tabla 2.
3.2.2 Selección de Universidades
Son consideradas aquellas universidades que presentan los mejores índices en sus indicadores, incluidos los de reputación. En la versión del 2018, más de 4.300 instituciones fueron consideradas, pero solo 959 clasificaron para ingresar a la tabla general, 43 más que en 2017. El RQS clasifica individualmente a las primeras 500 instituciones, entre los puestos 501-800 están agrupadas en bandas, mientras que más allá del puesto 800, las universidades se enumeran alfabéticamente porque los datos disponibles no producen clasificaciones confiables (QS, 2018).
3.2.3 Fuentes de información
El indicador referente a reputación académica recopila opiniones de más de 70.000 personas expertas en el ámbito de la educación superior (hecho que la hace la encuesta de opinión académica más grande del mundo), en donde se consideran principalmente la calidad de la enseñanza y la investigación de las instituciones. Esta misma herramienta es utilizada para percibir la opinión de los distintos empleadores a nivel mundial, a quienes se les pide identificar a las instituciones de las cuales se obtienen a los graduados más competentes, innovadores y efectivos. Para la medición del indicador “Citas por facultad” se utiliza la información proporcionada por la base de datos Scopus de Elsevier.
La Tabla 2 revela que el RQS, a diferencia del ARWU y del RTHE, es una tabla clasificatoria híbrida caracterizada por presentar equilibrio entre indicadores objetivos y subjetivos, una vez que 50% del peso final es resultante de datos subjetivos obtenidos por medio de encuestas, para evaluar sea la reputación de la universidad según académicos, o la reputación de la universidad según empleadores. Su carácter hibrido se reafirma cuando se comprueba que el RQS presenta relativo equilibrio entre insumos y productos, tendiendo para productos, una vez que aproximadamente el 30% del peso final es resultante de la medición de insumos.
3.3 THE World University Rankings - RTHE
El THE World University Rankings es publicado por la revista inglesa Times Higher Education (THE) desde el año 2004, boletín que principalmente se dedica a difundir trabajos y noticias relacionadas a la educación superior. La creación del RTHE resulta, en cierta forma, como una respuesta desde Europa al ARWU, publicado en el año 2003.
El RTHE difiere metodológicamente del ARWU, puesto que no solo se limita a los resultados de investigación, sino que declara que es capaz de juzgar a las universidades de acuerdo a sus dimensiones centrales (THE, 2018). Desde la primera versión y hasta el 2009, el RTHE se diseñó en conjunto a la consultoría Quacquarelli Symonds (siendo llamado en ese periodo como THE–QS World University Rankings), hasta que, en octubre de ese año, Baty (2009), director editorial de Global Rankings, anunció que para sus próximas publicaciones se asociaría con la compañía canadiense Thomson Reuters, especializada en diversos análisis de datos para empresas y profesionales en el ámbito académico.
3.3.1 Metodología
En su edición de 2018 (THE, 2018), el RTHE presenta 13 indicadores de rendimiento que se agrupan en cinco áreas: enseñanza, investigación, citas, ingreso de la industria y perspectiva internacional (ver Tabla 3). Para generar el cálculo de cada indicador, estos se someten a una primera normalización, que luego, en una segunda instancia, se ordenan sobre la base de los pesos porcentuales definidos en la metodología. Para la normalización de todos los conjuntos de datos se usó la puntuación Z, con excepción de los resultados de la encuesta de reputación académica. Este cálculo estandariza los diferentes tipos de datos en una escala común y permite comparaciones más justas. (THE, 2018).
3.3.2 Selección de Universidades
La edición 2018 del RTHE la componen 1.103 universidades del mundo. Este listado se realizó excluyendo a las instituciones que no cuentan con programas de licenciatura, si sus resultados de investigación ascienden a menos de 1.000 artículos (con un mínimo de 150 publicaciones anuales) entre los años 2012-2016, y si el 80% o más de su actividad académica es exclusivamente en una de las 11 áreas temáticas que contempla el THE (2018).
3.3.3 Fuentes de información
Entre enero y marzo de cada año se realiza una encuesta online a diversos académicos del mundo, de la cual se desprenden más de 10.000 respuestas, que sumadas a los datos obtenidos en el mismo ítem durante el año anterior, contemplan más de 20.000 réplicas para los indicadores de la reputación académica y del prestigio en investigación de la universidad. Referente al número de publicaciones y citas que posee una institución, se recurre a información proveniente de la base de datos Scopus (THE, 2018).
La Tabla 3 revela que el RTHE, a diferencia del ARWU, es un ranking híbrido caracterizado por presentar un relativo equilibrio entre indicadores objetivos y subjetivos, aunque tiende mayormente al uso de indicadores objetivos; prueba de lo anterior es que más del 30% de la evaluación total está referida a información subjetiva, obtenida a través de la aplicación de encuestas para medir la reputación académica de la Universidad (dimensión enseñanza), o el prestigio en investigación de la Universidad (dimensión investigación). Su carácter híbrido se reafirma cuando se verifica que el RTHE presenta predominancia de productos, una vez que el 82,25% del peso final es resultante de mensuración de productos y solamente el 17,75% resulta de la medición de insumos, como, por ejemplo: proporción de estudiantes entre número de académicos y presupuesto para docencia entre número de académicos (dimensión enseñanza).
4 Rankings Nacionales Chilenos
4.1 Ranking de Universidades de la Revista Qué Pasa – RQP
A partir de la primera publicación del ranking “Las Mejores Universidades de Chile”, en 1999, la revista Qué Pasa (perteneciente al grupo Copesa S.A.), comenzó a publicarlo anualmente. A lo largo de los años ha presentado varios cambios en la forma de medir a las instituciones, agregando y quitando diversas dimensiones e indicadores, pero manteniendo su característica encuesta al mercado laboral, la cual recibe la opinión de los altos ejecutivos del país sobre la calidad de los planteles universitarios. De esta manera, RQP presenta en su diseño una mezcla de datos cualitativos y cuantitativos. La publicación de esta tabla clasificatoria se ha realizado a través de la citada revista, aunque en los últimos dos años se ha distribuido por el periódico chileno La Tercera, que también forma parte del grupo Copesa S.A.
4.1.1 Metodología
El RQP (QUÉ PASA, 2017) evalúa a las universidades chilenas con base a un mix de metodología cualitativa y cuantitativa, distribuida en 11 indicadores ordenados en cinco dimensiones: percepción de calidad, calidad de la gestión, calidad de los académicos, calidad de alumnos y calidad de investigación.
Con respecto al año de 2017, cabe destacar la ausencia del indicador relativo a la dimensión de calidad de los alumnos, “aporte fiscal indirecto” (conocido también como AFI), que durante el 2016 poseía un peso porcentual del 6% del total, y que en 2017 se asignó la totalidad a “promedio PSU” (LA TERCERA, 2017). El detalle de los indicadores y los pesos porcentuales se puede observar en la Tabla 4.
4.1.2 Selección de universidades
Para la medición del 2017, son incluidas en el RQP solo a las universidades que cuentan con toda su información en el portal del Ministerio de Educación de Chile (MINEDU) “Mifuturo” (CHILE, 2017), que estén acreditadas por la Comisión Nacional de Acreditación (CNA), y que además tengan más de 50 publicaciones indexadas a la base de datos Scopus, entre los años 2011 y 2015. Como resultado, se obtuvo un listado de 40 instituciones universitarias (QUÉ PASA, 2017).
4.1.3 Fuentes de información
Gran peso porcentual en esa tabla clasificatoria se lo lleva la Percepción de Calidad que el mercado laboral le otorga a las casas de estudio, cuyo levantamiento de datos lo realizó la empresa de estudio e investigación de mercados “Feedback” de manera online. Los entrevistados evaluaron cada una de las universidades en una escala de 1 a 7, donde 1 significa “muy mala calidad” y 7 “muy buena calidad”. Referente a los datos sobre gestión, académicos y alumnos, estos son extraídos de portal específico del MINEDU (CHILE, 2017). La información correspondiente a la variable investigación es proporcionada por SCImago Research Group, quien, a su vez, utiliza la base de datos de Scopus para la presentación de sus informes (QUÉ PASA, 2017).
La Tabla 4 revela que el RQP (un tanto similar al ranking RTHE) es híbrido, caracterizado por presentar relativo equilibrio entre indicadores objetivos y subjetivos, tendiendo a primar los indicadores objetivos, dado que utiliza un 60% de la información recabada en esta condición. Su carácter híbrido se reafirma cuando se verifica que el RQS presenta relativo equilibrio entre insumos y productos, tendiendo para productos, una vez que aproximadamente el 62,5% del peso final es resultante de la medición de productos finales y solamente el 37,5% resulta de la mensuración de insumos.
4.2 Ranking general de la calidad de la docencia de pregrado de Universitas y el Mercurio – RU&EM
Desde el año 2012, el GEA “Universitas” junto al periódico chileno “El Mercurio”, publican anualmente esta clasificación de universidades. En su versión del 2017 y bajo el título “Ranking de Calidad de las Universidades Chilenas”, se plantean tres tipos de mediciones: el ranking general de la calidad de la docencia de pregrado, el ranking de calidad según perfil académico de la universidad (ordenado en 4 grupos: a) Universidades docentes, b) Docentes con proyección en investigación, c) de Investigación y Doctorados en áreas selectivas, y d) de Investigación y Doctorados) y, por último, el ranking sobre indicadores de investigación, válido para universidades pertenecientes a los grupos c y d (EL MERCURIO, 2017a).
Recogiendo las principales críticas a las tablas clasificatorias (y en función a sus bases metodológicas), el RU&EM enmarca su medición en las recomendaciones que el IREG ha promovido para el perfeccionamiento de este tipo de ordenamientos, que considera como aspectos primordiales: la calidad académica, la utilización exclusiva de indicadores objetivos y numéricos, los que deben ser emanados de fuentes oficiales, públicas y verificables.
4.2.1 Metodología
El RU&EM utiliza once indicadores que sirven para listar a las universidades chilenas, los cuales se encuentran ordenados bajo cuatro dimensiones: calidad de los estudiantes, calidad de los académicos, calidad de los procesos formativos y calidad de la gestión institucional. La versión 2017 cuenta con varias modificaciones metodológicas con respecto a su símil del 2016. Entre los cambios mencionados, destaca la eliminación del indicador “estudiantes con AFI”, el cual fue reemplazado por “Promedio puntaje PSU” y “Promedio de notas de enseñanza media”; a su vez, el indicador “gasto por alumno” es substituido por “ingresos por estudiante”; y por último, son realizadas correcciones metodológicas a los indicadores “porcentaje de carreras acreditadas” y “promedio de años de acreditación por carrera” (EL MERCURIO, 2017b). En la Tabla 5 es posible advertir los indicadores que finalmente fueron usados para este ranking.
Dimensiones e indicadores de Ranking general de la calidad de la docencia de pregado 2017 (Universitas y El Mercurio).
4.2.2 Selección de universidades
Para la medición del 2017, fueron consideradas solo aquellas universidades acreditadas por la CNA y que han reportado sus datos de manera oficial ante el MINEDU a través del Servicio de Información de Educación Superior (SIES). En total, 46 universidades cumplen con los requisitos para entrar al listado, una más que el año 2016 (EL MERCURIO, 2017b).
4.2.3 Fuentes de información
El RU&EM utiliza información numérica disponible de diversas bases de datos de acceso público del Departamento de Evaluación, Medición y Registro Educacional (DEMRE), desde el SIES y la CNA (EL MERCURIO, 2017b). La Tabla 5 revela que ese ranking presenta semejanza con el ARWU en la medida en que también es un ranking esencialmente puro producido a partir de informaciones objetivas. La diferencia radica en que el RU&EM no mensura solamente indicadores de productos como es el caso del ARWU, revelándose un ranking híbrido que presenta equilibrio entre insumos y productos, una vez que aproximadamente el 50% del peso final de los indicadores medidos es de insumos, como por ejemplo, todos los indicadores de las dimensiones calidad de los estudiantes y calidad de los académicos, siendo el porcentaje restante de indicadores de productos.
4.3 Ranking de las Mejores Universidades de Chile de la Revista América Economía - RAE
El año 2009 es el punto de partida en la elaboración del “Ranking de las mejores Universidades de Chile”, que cuenta en la actualidad con nueve ediciones. Se debe destacar que la revista América Economía no solo produce rankings de universidades chilenas, también realiza rankings de universidades mexicanas y peruanas (AMERICA ECONOMIA, 2017a).
4.3.1 Metodología
Como queda en evidencia en la Tabla 6, el RAE en su versión 2017 se construye bajo nueve dimensiones: calidad de los alumnos, calidad de los docentes, investigación, acreditación, infraestructura, internacionalización, inclusión y diversidad, vinculación con la comunidad y vida universitaria (AMERICA ECONOMIA, 2017b).
Dimensiones e indicadores de Ranking mejores universidades de Chile 2017 (América Economía).
4.3.2 Selección de universidades
Las universidades que se incorporan a la medición son todas aquellas consignadas como tales en el Consejo Nacional de Educación (CNED) de Chile, y que además hayan respondido a un cuestionario suministrado por el equipo de investigador del RAE. En la versión del 2017, la cantidad de universidades participantes asciende a 36, mismo número del año anterior (AMÉRICA ECONOMÍA, 2017b).
4.3.3 Fuentes de información
Los datos provienen principalmente de páginas web de entidades públicas, tales como: CNED, DEMRE, Comisión Nacional de Investigación Científica y Tecnológica (CONICYT), SIES, Mi Futuro y CNA. Para informaciones que no se encuentran disponibles de manera pública, las universidades participantes responden una encuesta específica (AMÉRICA ECONOMÍA, 2017b).
La Tabla 6 revela que el RAE presenta peculiaridades que lo distinguen de los otros rankings analizados. Evidentemente se trata de una tabla clasificatoria híbrida que presenta como principal característica el hecho de mostrar predominancia de medición de insumos, con el 75% del peso total de los indicadores medidos. Solamente el 25% corresponde a indicadores de productos (indicadores de las dimensiones investigación y acreditación). Otra característica del RAE es el hecho de ser híbrido y presentar relativo equilibrio entre indicadores objetivos y subjetivos, tendiendo para objetivos. El margen de subjetividad existente radica en el hecho de que muchas de las informaciones colectadas son resultado de datos ofrecidos por las propias instituciones, existiendo indicadores originales que los distingue de los otros rankings chilenos, de difícil mensuración, como ejemplo, algunos indicadores de las dimensiones: inclusión y diversidad y vinculación con la comunidad.
4.4 Rankings de las mejores y las peores universidades de Market Opinion Research International (MORI) – RMORI
En el año 2017, el Barómetro de la educación Superior publicó su décimo segunda edición, por medio de la cual la empresa MORI (2017) monitorea la evolución de la imagen que los estudiantes de secundaria del tercero y cuarto año de estudios tienen del sistema de educación superior chileno. Son divulgadas dos tablas clasificatorias: el Ranking de las mejores universidades, subdividido en tres: Top 10 Universidades, Top 10 Universidades por regiones, Top 10 Universidades privadas, y el Ranking de las Peores Universidades, siendo mencionadas siete instituciones para el 2017.
4.4.1 Metodología
Las tablas clasificatorias del RMORI son producidas sobre la base de preguntas abiertas a los informantes. Los resultados son ponderados para representar al universo estudiado en la proporción que existe en el país (MORI, 2017). En la edición del año 2017, fueron entrevistados 1.200 estudiantes del 3º a 4º año de la educación secundaria, residentes en zonas urbanas. Para las mejores universidades, los informantes responden apenas una única pregunta abierta con respuesta múltiple, muy semejante para cada una de las tres tablas clasificatorias; por ejemplo, para el Ranking de las Peores Universidades, la pregunta que los informantes responden es la siguiente: Por lo que tú sabes o has oído ¿Cuáles son las cinco peores Universidades? (MORI, 2017).
4.4.2 Selección de universidades
No existe selección previa de universidades. En las tablas clasificatorias del RMORI son mencionadas las universidades que aparecen de forma espontánea durante las entrevistas.
4.4.3 Fuentes de información
Básicamente la fuente de información es resultado de las entrevistas realizadas con los estudiantes que componen la muestra. Siguiendo la tipología que estamos adoptando, las tablas clasificatorias del RMORI son instrumentos esencialmente puros, con foco en los resultados y totalmente subjetivos.
5 Conclusiones
Por medio del presente estudio se logró determinar que los rankings chilenos analizados presentan varias particularidades: 1) la revista Qué Pasa es la única en utilizar un criterio de percepción de calidad de las instituciones a través de encuestas a profesionales y ejecutivos ligados fuertemente a la contratación en el mundo laboral, que tiene un peso del 40% de la ponderación total de la medición; 2) el RU&EM centra su atención en la docencia de las instituciones; la investigación como área de análisis se estudia en un ranking complementario; 3) el RAE añade varios criterios a la ponderación total, tales como los niveles de inclusión de la casa de estudio, la vinculación que esta tiene con la comunidad y lo relacionado a la vida universitaria que experimentan los estudiantes. Estos últimos datos se obtienen desde la misma universidad, la cual cumple con llenar un cuestionario entregado por el equipo de investigación del RAE; así, es el único ranking que recibe información directa de las propias instituciones.
Dentro de tantas particularidades, llaman la atención los rankings promovidos por el Barómetro de la Educación Superior, los cuales son totalmente subjetivos, basados en la percepción muestral de estudiantes de secundaria. A parte de eso, es el único que no solo publica el ranking de las mejores universidades, sino que también el ranking con las peores universidades, adoptando cuestionables y frágiles criterios e indicadores de calidad. En ese sentido, en la tentativa de clasificarlos, puede afirmarse que juntamente a las tablas clasificatorias basadas en “prestigio académico” que exaltan el mérito coexisten clasificaciones que colocan el acento en el demérito. Sin embargo, conviene esclarecer que ese último tipo de tabla clasificatoria es una excepcionalidad en la realidad chilena que se distancia de cuidados técnicos destacados en los Principios de Berlín para Rankings de Educación Superior (IREG, 2006), adoptados por los principales operadores de rankings e investigadores del mundo para garantizar la credibilidad de la producción y de los usos de estos instrumentos.
Adicionalmente, se pudo detectar que las principales diferencias existentes entre los rankings globales y los de carácter nacional no pasan tanto por los criterios a evaluar, sino por la especificidad de los indicadores y de los pesos porcentuales en los que se basará la medición. Cada ranking plantea implícitamente a través de su forma de evaluar un concepto de calidad institucional, a pesar de que teóricamente no exista un consenso sobre ello. Cada tabla de posición responde a información mayormente objetiva de las universidades; sin embargo, se evidencian esfuerzos para evaluar áreas poco exploradas en el ámbito de los rankings académicos, como se verifica en el RAE que añade los criterios de inclusión y diversidad, vinculación con la comunidad y vida universitaria a su metodología.
La ausencia de un único criterio de calidad de la universidad se puede constatar en la Figura 2, al verificar que los rankings analizados se muestran diferentes uno de los otros.
Grid de Tipología de rankings académicos puros e híbridos y los respectivos encuadramientos de los rankings académicos chilenos e internacionales.
En definitiva, pueden existir aproximaciones, pero en su esencia, en la medida en que cada uno adopta diferentes indicadores de calidad, significa que cada cual trabaja con un concepto distinto. De ese hecho, se derivan varios elementos de análisis, pudiéndose citar al menos dos:
-
El primero de ellos tiene que ver con la importancia de entender qué es lo que cada uno de los rankings mide, antes de propagar que tal universidad es la mejor o la peor. O sea, si una universidad está ocupando los primeros lugares en una determinada medición, es importante saber que tiene resultados destacados en ciertas dimensiones e indicadores.
-
El segundo se asocia a la necesidad de tener claridad respecto a quiénes son los que definen esos conceptos de calidad, los cuales de una u otra forma acaban norteando la actuación de las universidades. Dentro de este cuestionamiento, cabe destacar la necesidad de que los rankings tengan consejos de asesoría compuestos por especialistas del ámbito universitario, para reducir el margen de equivocaciones en la definición de pesos (porcentajes de importancia) e indicadores que serán determinados.
Podría afirmarse entonces, que el ARWU y el RU&EM tienen en común el hecho de que ambos se constituyen en rankings puros por trabajar solamente con indicadores objetivos, diferenciándose en la medida en que el ARWU actúa con foco en los productos, mientras el RU&EM revela equilibrio entre indicadores de insumo y de producto. Las tablas clasificatorias promovidas por el Barómetro de la Educación Superior son únicas, sin comparación entre los rankings estudiados, sean globales o nacionales, pues son rankings esencialmente puros, con foco en los resultados y totalmente subjetivos.
Por su parte, los rankings RTHE, RQP y RAE tiene en común el hecho de que son híbridos, revelando relativo equilibrio entre indicadores objetivos y subjetivos, con tendencia para indicadores objetivos. Sin embargo, surgen grandes diferencias cuando se abordan y se priorizan indicadores de insumo o producto. El RAE se caracteriza por la predominancia de insumos; en el lado opuesto, en el RTHE lo que predomina es la variable productos, siendo el RQP el que se aproxima a un relativo equilibrio entre insumos y productos, tendiendo para productos. Muy diferente a todos los rankings mencionados, que de una u otra forma tienden a trabajar más con indicadores objetivos, está el RQS, que es un híbrido que revela equilibrio entre indicadores objetivos y subjetivos, con relativo equilibrio entre insumos y productos.
Agradecimiento
Los autores agradecen el patrocinio recibido por parte de CONICYT-Chile, a partir del proyecto FONDECYT-REGULAR N° 1161353, y el apoyo por parte del CNPq -Brasil, por medio del proyecto N° 311333/2017-6.
Referencias
-
ACADEMIC RANKING OF WORLD UNIVERSITIES – ARWU. Sistema de indicadores del ranking del 2017 2017. Disponible en: <https://goo.gl/ZEsrE9> Accesado en: 10 jan. 2018.
» https://goo.gl/ZEsrE9> -
AMÉRICA ECONOMIA. Official Web Site, 2017a Disponible en: <https://www.americaeconomia.com/> Accesado en: 10 jan. 2018.
» https://www.americaeconomia.com/> - AMÉRICA ECONOMÍA. Ranking Universidades de Chile: variables, ponderadores y validaciones. Santiago de Chile: América Economía Intelligence, 2017b (Documento de trabajo, Vol. 2).
-
ANDRADE, E. C. Rankings em educação: tipos, problemas, informações e mudanças. Estudos Econômicos, São Paulo, v. 41, n. 2, p. 323-43, apr.-jun. 2011. https://doi.org/10.1590/S0101-41612011000200005
» https://doi.org/10.1590/S0101-41612011000200005 - BALL, S. J. Performatividades e fabricações na economia educacional: rumo a uma sociedade performativa. Educação & Realidade, Porto Alegre, v. 35, n. 2, p. 37-55, maio.-ago., 2010.
-
BATY, P. New data partner for World University Rankings Times Higher Education signs deal with Thomson Reuters, 2009. Disponible en: <https://www.timeshighereducation.com/news/new-data-partner-for-world-university-rankings/408881.article> Accesado en: 10 jan. 2018.
» https://www.timeshighereducation.com/news/new-data-partner-for-world-university-rankings/408881.article> -
BERNARDINO, P.; MARQUES, R. C. Academic rankings: an approach to rank portuguese universities. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 18, n. 66, p. 29-48, Mar. 2010. https://doi.org/10.1590/S0104-40362010000100003
» https://doi.org/10.1590/S0104-40362010000100003 - BRUNNER, J.; GANGA-CONTRERAS, F. Dinámicas de transformación en la educación superior latinoamericana: desafíos para la gobernanza. Opción, Maracaibo, v. 32, n. 80, p. 12-35, ago. 2016.
-
CALDERON, A. ARWU university ranking expands, delivers further volatility. University World News, 24 aug. 2019a. Disponible en: <https://www.universityworldnews.com/post.php?story=20190823090723586> Acesso en: 24 aug. 2019.
» https://www.universityworldnews.com/post.php?story=20190823090723586> -
CALDERON, A. Measuring university impact: a rankings innovation. University World News, n. 548, 16 abr. 2019b. Disponible en: <https://www.universityworldnews.com/post.php?story=20190416124607357> Acesso en: 24 aug. 2019.
» https://www.universityworldnews.com/post.php?story=20190416124607357> -
CALDERÓN, A. I.; FRANÇA, C. M. Rankings acadêmicos na educação superior: tendências da literatura ibero-americana. Avaliação: Revista da Avaliação da Educação Superior, Campinas, v. 23, p. 448-66, jul./out. 2018. http://dx.doi.org/10.1590/s1414-40772018000200010
» http://dx.doi.org/10.1590/s1414-40772018000200010 -
CALDERÓN, A.; FRANÇA, C. M; GONÇALVES, A. Tendências dos rankings acadêmicos de abrangência nacional de países do espaço ibero-americano: os rankings dos jornais El Mundo (Espanha), El Mercurio (Chile), Folha de São Paulo (Brasil), Reforma (México) e El Universal (México). EccoS Revista Científica, São Paulo, n. 44, 117-142, set./dez. 2017. https://doi.org/10.5585/eccos.n44.7943
» https://doi.org/10.5585/eccos.n44.7943 -
CALDERON, A. I.; POLTRONIERI, H.; BORGES, R. M. Os rankings na educação superior brasileira: políticas de governo ou de estado? Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 19, n. 73, p. 813-26, out./dez. 2011. http://dx.doi.org/10.1590/S0104-40362011000500005
» http://dx.doi.org/10.1590/S0104-40362011000500005 -
CHILE. Ministerio de la Educación. Official Web Site, 2017. Disponible en: <http://www.mifuturo.cl/> Accesado en: 10 jan. 2018.
» http://www.mifuturo.cl/> -
DONOSO-DIAZ, S. et al. Nudos críticos del sistema escolar chileno, hipótesis explicativas y propuestas para una nueva arquitectura del sector público. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 86, p. 37-71, jan.-fev. 2015. https://doi.org/10.1590/S0104-40362015000100002
» https://doi.org/10.1590/S0104-40362015000100002 -
El MERCURIO. Ranking de calidad de las Universidades Chilenas, 2017a. Disponible en: <https://goo.gl/1d3eNv> Accesado en: enero 2018.
» https://goo.gl/1d3eNv> -
EL MERCURIO. Ranking general de calidad de la docencia de Pregrado 2017 2017b. Disponible en: <http://infografias.elmercurio.com/ESPECIALuniversidades2017/pdf1/Ranking_Docencia.pdf> Accesado en: oct 2019
» http://infografias.elmercurio.com/ESPECIALuniversidades2017/pdf1/Ranking_Docencia.pdf> -
GANGA-CONTRERAS, F et al. Universidades públicas de Chile y su desempeño en los rankings académicos nacionales. Fronteiras, Lisboa, v. 7, n. 3, p. 316-41, set.-dez. 2019. https://doi.org/10.21664/2238-8869.2018v7i3.p316-341
» https://doi.org/10.21664/2238-8869.2018v7i3.p316-341 - GANGA-CONTRERAS, F.; SÁEZ-SAN MARTÍN, W.; VIANCOS, P. Rankings de universidades como herramientas de evaluación institucional: Un análisis a las metodologías utilizadas por tres instrumentos internacionales. Inclusiones, Santiago de Chile, v. 6, n. 4, p. 367-82, oct.-dez. 2019.
- GARCÍA DE FANELLI, A.; PITA CARRANZA, M. Los rankings y sus usos en la gobernanza universitaria. Revista Iberoamericana de Ciencia, Tecnología y Sociedad – CTS, Buenos Aires, v. 13, n. 37, p. 95-112, feb. 2018.
- HAZELKORN, E. Globalization and the reputation race in rankings and the reshaping of higher education: the battle for world class excellence. London: Palgrave MacMillan, 2011.
-
HAZELKORN, E. University rankings schizophrenia? Europe impact study. University World News, n. 343, 14 nov. 2014. Disponible en: <https://www.universityworldnews.com/post.php?story=20141113071956625> Acessado en: 24 aug. 2019.
» https://www.universityworldnews.com/post.php?story=20141113071956625> - HAZELKORN, E.; LOUKKOLA, T.; ZHANG, T. Rankings in institutional strategies and processes: impact or illusion. Bruselas: European University Association, 2014.
-
HIGHLY CITED RESEARCHERS. Official Web Site 2018. Disponible en: <http://www.highlycited.com/> Accesado en: enero 2018.
» http://www.highlycited.com/> - LA TERCERA. Suplemento: Ranking de Universidades 2017: Especial de Educación Superior. Santiago de Chile, 10 dic. 2017.
-
LIU, N. C. The story of academic ranking of world universities. International Higher Education, Chestnut Hill, n. 54, 2009. https://doi.org/10.6017/ihe.2009.54.8409
» https://doi.org/10.6017/ihe.2009.54.8409 -
MARGINSON, S. University rankings and social science. European Journal of Education, v.49, n. 1, p. 45-59, 2014. https://doi.org/10.1111/ejed.12061
» https://doi.org/10.1111/ejed.12061 -
MARKET & OPINION RESEARCH INTERNATIONAL – MORI. Official Web Site, 2017. Disponible en: <http://morichile.cl/sobre-mori/nosotros/> Accesado en: ene 2018.
» http://morichile.cl/sobre-mori/nosotros/> -
OBSERVATORY ON ACADEMIC RANKING AND EXCELLENCE – IREG. Berlin principles on ranking of higher education institutions 2006. Disponible en: <http://ireg-observatory.org/en/index.php/berlin-principles-english> Accesado en: 10 Jan. 2018.
» http://ireg-observatory.org/en/index.php/berlin-principles-english> -
ORDORIKA, I.; RODRÍGUEZ GÓMEZ, R. El ranking Times en el mercado del prestigio universitario. Perfiles Educativos, v. 32, n. 129, p. 8-29, Jan. 2010. https://doi.org/10.22201/iisue.24486167e.2010.129.18918
» https://doi.org/10.22201/iisue.24486167e.2010.129.18918 -
QS WORLD UNIVERSITY RANKINGS. Official Web Site, 2018. Disponible en: <https://www.topuniversities.com/qs-world-university-rankings/methodology> Accesado en: ene 2018.
» https://www.topuniversities.com/qs-world-university-rankings/methodology> -
QUÉ PASA. Metodología del ranking universidades 2017. Disponible en: <https://goo.gl/DWDeix> Accesado: ene 2018.
» https://goo.gl/DWDeix> -
REYES, C. Medición de la calidad universitaria en Chile: la influencia de los rankings. Revista Calidad en la Educación, Santiago, n.44, p. 158-96, jul. 2016. https://doi.org/10.4067/S0718-45652016000100007
» https://doi.org/10.4067/S0718-45652016000100007 -
SCHMAL, R.; CABRALES, F. El desafío de la gobernanza universitaria: el caso chileno. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 26, n. 100, p. 822-48, jul. 2018. https://doi.org/10.1590/s0104-40362018002601309
» https://doi.org/10.1590/s0104-40362018002601309 -
TIMES HIGHER EDUCATION – THE. World university rankings 2018 methodology 2018. Disponible en: <http://https://www.timeshighereducation.com/world-university-rankings/methodology-world-university-rankings-2018 />. Accesado en: ene. 2018.
» http://https://www.timeshighereducation.com/world-university-rankings/methodology-world-university-rankings-2018 -
UNITED NATIONS EDUCATIONAL, SCIENTIFIC AND CULTURAL ORGANIZATION – Unesco. The International mobility of students in Asia and the Pacific Paris: UNESCO Bangkok, 2013. Disponible en: https://goo.gl/bncYCx Accesado en: enero 2018.
» https://goo.gl/bncYCx -
USHER, A.; SAVINO, M. Estudio global de los rankings universitarios. Calidad en la Educación, n. 25, p. 33-53, 2006. https://doi.org/10.31619/caledu.n25.252
» https://doi.org/10.31619/caledu.n25.252
Fechas de Publicación
-
Publicación en esta colección
02 Dic 2019 -
Fecha del número
Apr-Jun 2020
Histórico
-
Recibido
25 Set 2018 -
Acepto
08 Jul 2019
Fuente: Calderón, França y Gonçalves (2017).
Fuente: Los autores a partir de Caldéron, França e Gonçalves (2017).