Eficiência no ensino superior. Estudo empírico em universidades públicas da Colômbia e Espanha

rap Revista de Administração Pública Rev. Adm. Pública 0034-7612 1982-3134 Fundação Getulio Vargas Resumo Nas últimas décadas, as universidades iberoamericanas introduziram novos esquemas de avaliação e prestação de contas, inspirados no modelo da Nova Gestão Pública (NGP). Nesse contexto, a eficiência na distribuição de recursos públicos e a obtenção do máximo retorno possível são uma prioridade. Assim, medir a eficiência no setor público, e especificamente no ensino superior, tornou-se um desafio para a ciência contábil. O objetivo deste trabalho é uma proposta para o cálculo de índices de eficiência com os modelos DEA (Data Envelopment Analysis), introduzindo uma etapa anterior da Análise de Correlação Canônica (ACC). O objetivo dessa técnica é melhorar a capacidade de discriminação e superar a monodimensionalidade e a falta de confiabilidade no quão representativas são as variáveis de entrada e saída escolhidas. O estudo é aplicado nas universidades públicas da Colômbia e Espanha durante os anos de 2015 e 2016. Os resultados obtidos demonstram a conveniência de aplicar esta etapa preliminar na análise multivariada. Isso reforça a necessidade de explorar metodologias mais rigorosas nas etapas antes e depois do cálculo dos índices de eficiência, os quais gerarão confiança, para serem utilizados na formulação de políticas e gestão de recursos para o setor. 1. INTRODUCCIÓN En las últimas décadas, la sociedad ha ido exigiendo cada vez más un aumento de la transparencia y rendición de cuentas de las organizaciones públicas. En respuesta a ello, y con el objetivo de mejorar la calidad y asegurar una utilización eficiente de los recursos públicos (C. R. M. Silva & Crisóstomo, 2019), los Estados de la mayoría de los países han introducido, en sus instituciones, nuevos modelos de gestión, inspirados en los principios de la Nueva Gestión Púbica (NGP) (Andrews, Beynon, & McDermott, 2019; Broucker, De Wit, & Verhoeven, 2018; Lane, 2002), importando técnicas gerenciales desde el ámbito privado. Dentro de este nuevo paradigma, las instituciones públicas de educación superior se han visto presionadas a mejorar su desempeño. Así, numerosos gobiernos han puesto en marcha nuevas regulaciones que tratan de profesionalizar las universidades en busca de la excelencia. Este enfoque de mercado ha fomentado el interés por analizar y comparar los resultados entre las diferentes instituciones universitarias, con especial intensidad en el ámbito de la investigación (Mateos-González & Boliver, 2019). Sin embargo, el incremento de la calidad en las instituciones universitarias no debería vincularse únicamente a su eficacia, es decir, al logro de sus objetivos en volumen de publicaciones, número de citas o número de egresados (De-Juanas Oliva & Beltrán Llera, 2013; Giménez-Toledo & Tejada-Artigas, 2015), independientemente del coste o esfuerzo necesario para ello. Es importante considerar también la eficiencia, es decir, la relación entre los recursos que se aplican y el producto que se obtiene, algo que resulta indiscutible en un contexto de restricción extrema de recursos (Gómez-Sancho & Mancebón-Torrubia, 2005; Mateos-González & Boliver, 2019). En el sector público, los conceptos de calidad y eficiencia deberían ser indisociables. Tal y como expresan Gómez-Sancho & Mancebón-Torrubia (2005), resulta difícil pensar que una universidad de calidad sea ineficiente. La calidad debería asociarse también con la optimización en el consumo de recursos, mejorando así los servicios prestados a la población y contribuyendo al desarrollo socioeconómico (Debnath & Shankar, 2014; Tiana Ferrer, 2018). En este contexto, este trabajo pretende calcular los índices de eficiencia con modelos de Análisis Envolvente de Datos (DEA) aplicando un cálculo preliminar a través del Análisis de Correlación Canónica (ACC). El interés principal se centra en las cuestiones metodológicas multivariantes, conducentes a superar la monodimensionalidad y falta de confiabilidad en la representatividad de las variables input y output elegidas, a fin de mejorar la capacidad de discriminación en el análisis de eficiencia. El estudio se aplica en las universidades públicas de Colombia y España, durante los años 2015 y 2016. La aportación fundamental, no es tanto los resultados numéricos obtenidos (índices de eficiencia) de cada una de las universidades evaluadas, sino la discusión de diversos aspectos metodológicos surgidos en el proceso de evaluación: formulación, delimitación, significancia y representatividad de los outputs e inputs propios de las universidades públicas, la selección de la técnica, el modelo de evaluación y la elección de las unidades de análisis. Los resultados obtenidos demuestran que es conveniente utilizar el ACC, como etapa preliminar en el análisis multivariante, para dar confiabilidad y representatividad a las variables utilizadas en los cálculos de eficiencia en el sector de educación superior público. Las universidades colombianas obtienen índices medios de eficiencia altos (0.7107 y 0.7911) en 2015 y 2016, así como mayores índices de ineficiencia (0.2280 y 0.3792), mostrando una alta dispersión en los datos de entrada y salida utilizados en el cálculo. Las universidades españolas muestran un índice de eficiencia media (0.6537 y 0.5865) y de dispersión más bajos. En Colombia se muestran 11 de 32 universidades totalmente eficientes y en España 6 de 48, demostrando que el proceso de refinamiento de los datos y la elección de métodos apropiados favorece la confiabilidad en los resultados finales, y por tanto la utilidad que se desprende de ellos. Este trabajo se subdivide en 4 apartados: en el primero, se realiza una revisión de la literatura en el tema de gestión pública y eficiencia en educación superior; en el segundo, se describe la metodología aplicada ACC y DEA y, las variables y unidades de análisis involucradas en el estudio; en el tercero, se describen y analizan los resultados empíricos obtenidos y; finalmente, en el cuarto, se plantea la discusión y conclusiones. 2. NUEVA GESTIÓN PUBLICA Y EFICIENCIA EN EDUCACIÓN SUPERIOR La NGP surgió a finales del siglo XX ante la necesidad de usar los recursos públicos con la máxima eficiencia, lograr satisfacer las demandas de los ciudadanos, aprovechar las oportunidades de un mundo globalizado y competitivo y, para alcanzar sociedades más acordes con los deseos colectivos (Frey & Jegen, 2001; Agasisti & Haelermans, 2016). Así, la NGP apunta a crear una administración más eficiente y efectiva, que ejecute sus actividades en áreas donde no se halle un proveedor mejor, eliminando burocracia, adoptando procesos más racionales y con mayor autonomía administrativa (García Sánchez, 2007). En este contexto, medir la eficiencia en el sector público, y en concreto en el de educación superior, se convierte en un desafío para la ciencia contable (A. F. Silva, J. D. G. Silva, M. C. Silva & 2017). Pero, medir la eficiencia de las universidades no es algo trivial, de hecho, uno de los principales problemas es medirla de manera fácil y realista (Moreno-Enguix, Lorente-Bayona, & Gras-Gil, 2019). La eficiencia ha sido un tema ampliamente abordado en el contexto de organizaciones privadas y con fines de lucro, y generalmente implica hacer las cosas bien, es decir, garantizar la distribución adecuada de los medios empleados en relación con los fines obtenidos (Álvarez, 2001). En el sector público, la eficiencia consiste en optimizar el uso de los recursos, obteniendo el máximo de bienes y servicios tanto en términos cuantitativos como cualitativos (Hauner & Kyobe, 2010; Mukokoma & Dijk, 2013; Peña, 2008; A. F. Silva et al., 2017; Soto Mejía & Arenas Valencia, 2010). Para evaluar la eficiencia de una organización es necesario establecer una función de producción que refleje el proceso productivo mediante el cual las entidades objeto de valoración realizan la transformación de unos inputs en unos outputs (Johnes, 2006; Kuah & Wong, 2013; A. F. Silva et al., 2017). Para construir una función de producción de las universidades hay que tener en cuenta las actividades que habitualmente se les atribuyen (Moncayo-Martínez, Ramírez-Nafarrate, & Hernández-Balderrama, 2020). La realidad productiva de las universidades conlleva la realización simultánea de varias actividades de distinta naturaleza (actividades vinculadas a la creación del conocimiento - actividades de investigación - y su difusión - mediante actividades docentes, de transferencia y de extensión - así como, otras actividades que desarrollan como agentes sociales), las cuales comparten la mayoría de los recursos (profesorado, personal de administración y servicios, instalaciones, equipos, suministros, etc.). Como cualquier otra organización pública, a las universidades les es difícil asignar valores monetarios a las entradas (inputs) y salidas (outputs) de su proceso productivo; ya que además de producir múltiples salidas (por ejemplo, los graduados y las publicaciones) utilizan múltiples entradas (por ejemplo, conferenciantes e instalaciones) (Kuah & Wong, 2013). Numerosos estudios han tratado de facilitar el cálculo de la eficiencia, en el sector de la educación superior, desde varias perspectivas (Abbott & Doucouliagos, 2003; Avkiran, 2001; Bougnol & Dulá, 2006; Cloete & Moja, 2005; Fandel, 2007; Johnes, 2006; Johnes & Li, 2008; Moncayo-Martínez et al., 2020; Shi & Wang, 2004). En el contexto iberoamericano, y en concreto en Colombia y en España, en el que también se ha experimentado transformaciones importantes en la gestión pública de sus universidades (Brunner & Miranda, 2016), aparecen estudios donde se aborda la medición de la eficiencia en el sector de la educación superior (García & González, 2011; González, Ramoni, & Orlandoni, 2017; Maza Ávila, Quesada-Ibargüen, & Vergara-Schmalbach, 2013; Maza Ávila, Vergara Schmalbach, & Román Romero, 2017; Melo-Becerra, Ramos-Forero, & Hernández-Santamarí, 2014), en un intento de calificar y clasificar a las instituciones, ya sea como una forma de informar a los ciudadanos, al gobierno, o de divulgar la capacidad de gestión, impacto, cobertura o misión social de estas. Es de destacar que, en muchos de estos trabajos se presta más atención a la relación entre las entradas y salidas de las instituciones, que, a su rendimiento general, ya que se compara a las universidades con las unidades que presentan mejores prácticas, sobre la base de su capacidad para maximizar las salidas dadas unas entradas disponibles (Johnes, 2006). Este trabajo pretende tener una mirada integral, tanto de los inputs y outputs utilizados, que deben ser relevantes y significativos, como del proceso mediante métodos y/o metodologías adecuadas, y de los resultados que al final califican y clasifican a las instituciones, para proponer alternativas de mejoramiento y plantear políticas de gestión individual y del sector. 4. METODOLOGÍA Y DATOS 4.1 Análisis de Correlación Canónico (ACC) Una etapa previa a la aplicación de modelos DEA en el análisis de eficiencia, consiste en seleccionar las variables que sean más representativas. Este paso es muy importante ya que las variables que se utilicen tienen un impacto directo en la puntuación final obtenida. La elección de estas variables busca obtener una buena discriminación entre unidades eficientes e ineficientes, y una frontera que se ajuste lo mejor posible a los datos observados. A pesar de su trascendencia, son pocos los estudios que proponen métodos preliminares para construir las variables que mejor representen al conjunto de inputs y outputs utilizados en el análisis de eficiencia (Azor Hernandez, Sánchez Garcia, & DelaCerda Gastélum, 2018; Friedman & Sinuany-Stern, 1997; Moreno Sáez & Trillo del Pozo, 2001; Sabando Vélez, & Cruz Arteaga, 2019). Con el fin de optimizar este proceso, y como etapa previa a la aplicación del DEA, en este trabajo se propone aplicar la técnica del ACC para analizar la significancia y representatividad de las variables elegidas (inputs-outputs) para el cálculo de los índices de eficiencia. El ACC es un tipo de análisis estadístico lineal de múltiples variables (Hotelling, 1935) utilizado para identificar, medir y analizar las asociaciones entre dos conjuntos de variables. Mientras que la regresión múltiple predice una única variable dependiente a partir de un conjunto de variables independientes, el ACC facilita el estudio de las interrelaciones entre múltiples variables criterio (dependientes) y múltiples variables predictoras (independientes) (Badii & Castillo, 2007; Soto Mejía, Vásquez Artunduaga, & Villegas Flórez, 2009; Soto Mejía & Arenas Valencia, 2010). La expresión matemática del ACC es: y 1 + y 2 + y 3 + ⋯ + y n = x 1 + x 2 + x 3 + ⋯ + x n (1) El ACC es una herramienta valiosa en las investigaciones de factores humanos que tienen: Una clara distinción entre variables independientes y dependientes, múltiples variables dependientes y, el potencial para relaciones multidimensionales entre estos dos grupos de variables. 4.2 Datos y Variables Según Gómez-Sancho y Mancebón-Torrubia (2005) hasta la fecha, la especificación de una función de producción generalmente aceptada en el sector de la educación superior no ha sido posible. Los insumos (inputs) suelen ser proxys de los factores trabajo y capital. Y mientras que, en el factor trabajo parece existir un acuerdo en utilizar el número de profesores a tiempo completo equivalente (Chang, Chung, & Hsu, 2012; Johnes, 2006; Laureti, Secondi, & Biggeri, 2014; Rhodes & Southwick, 1993; Sarafoglou & Haynes, 1996; Sav, 2012), en el caso del capital las aproximaciones son lo suficientemente distintas (infraestructura, tecnología, gastos de funcionamiento, entre otros) para continuar siendo un tema abierto a discusión. Las salidas (outputs) en todos los casos se relacionan con los resultados de las dos actividades principales de las universidades: la docencia y la investigación (Pérez-Esparrels & Gómez-Sancho, 2011), medidas, por ejemplo, por el volumen de graduados (Athanassopoulos & Shale, 1997; Avrikan, 2001; Laureti et al., 2014; Rhodes & Southwick, 1993) y la cantidad de publicaciones (Chang et al., 2012; García-Aracil, 2013; Kao & Hung, 2008; Munoz, 2016; Kuah & Wong, 2013) respectivamente. La conclusión es que no existe un estándar definitivo para guiar la selección de entradas y salidas en la evaluación de la eficiencia universitaria (Kuah & Wong, 2013). Según Buitrago-Suescún et al. (2017), en la literatura se han utilizado alrededor de 254 entradas y 230 salidas para medir la eficiencia de la educación a nivel mundial. En este trabajo, y a partir del análisis bibliométrico y sistémico en Ramírez-Gutiérrez, Barrachina-Palanca y Ripoll-Feliu (2019) de la literatura existente dentro del área de la eficiencia en la Educación Superior, se han seleccionado aquellas variables (ver Tabla 1) que más incidencia tuvieron en los estudios previos y que además estuvieran disponibles en las bases de datos (SNIES - Sistema Nacional de Información para la Educación Superior de Colombia y SIIU - Sistema Integrado de información universitaria de España) de los países seleccionados para el análisis. Los períodos de estudio son los años 2015 y 2016. Para la formulación de las funciones canónicas se tiene en cuenta el menor número de variables, es decir 5 para Colombia y 3 para España (ver Tabla 1), ya que el número de posibles variantes aleatorias canónicas (dimensiones canónicas) es igual al número de variables en el conjunto más pequeño (Badii & Castillo, 2007). TABLA 1 VARIABLES DE ENTRADA Y DE SALIDA PARA MEDICIÓN DE EFICIENCIA EN LAS UNIVERSIDADES PÚBLICAS DE COLOMBIA Y ESPAÑA COLOMBIA ESPAÑA VARIABLES DE ENTRADA VARIABLES DE SALIDA VARIABLES DE ENTRADA VARIABLES DE SALIDA (Independientes) (Dependientes) (Independientes) (Dependientes) (Predictoras) (Criterio) (Predictoras) (Criterio) (Explicativas) (Explicadas) (Explicativas) (Explicadas) PROF_TCE: Profesores Tiempo Completo Equivalente. GRAD_PREG Graduados de pregrado PROF_TCE Personal docente e investigador, de Tiempo Completo Equivalente. GRAD_PREG Graduados de grado ICAL_PDI Índice de calidad del personal docente e investigador GRAD_POST Graduados de postgrado ICAL_PDI Porcentaje de pdi doctor GRAD_POST Graduados de Máster NUM_ADM Administrativos en tiempo completo equivalente GRUP_INV Grupos de Investigación NUM_ADM Personal de administración y servicios PAS PUB_WOS Publicaciones en Scopus y Web of Science M2_USO_MISIONAL Espacio de uso misional en m2 REV_INDEX Revistas Indexadas TRANSF_EST Total transferencias del Estado TRANSFER_NACION Recursos transferidos por el Estado en COP TOTAL_PUB_SCOPUS Número total acumulado de Publicaciones en Scopus TOTAL: 10 Variables (5 inputs - 5 outputs) TOTAL: 7 Variables (4 inputs - 3 outputs) VARIABLES DE ENTRADA (INPUTS) VARIABLES DE SALIDA (OUTPUTS) Nombre de la variable Descripción Nombre de la variable Descripción Profesores Tiempo Completo Equivalente PROF_TCE Se realiza la conversión de tiempos de dedicación de los profesores a las universidades. Hora cátedra equivalente a 0,25 TCE, medio tiempo equivalente a 0,5 TCE y los de tiempo completo 1TCE. Graduados de pregrado GRAD_PREG Total estudiantes egresados de los programas de grado universitario durante cada año académico. VARIABLES DE ENTRADA (INPUTS) VARIABLES DE SALIDA (OUTPUTS) Nombre de la variable Descripción Nombre de la variable Descripción Índice de calidad del personal docente e investigador ICAL_PDI Se realiza este indicador teniendo en cuenta el nivel de formación de los profesores. Se calcula una tasa = (graduados*5 + especialistas*6 + magister*8 +doctores*10)/TotalTCE. En el sistema de información universitario español ya se encuentra establecido dicho porcentaje o tasa, pero únicamente profesores con formación doctoral. Graduados de postgrado GRAD_POST Total estudiantes egresados de los programas de postgrado (especializaciones, maestrías y doctorados) durante cada año académico. Personal administrativo en TCE NUM_ADM La información está contenida en los sistemas de información, y es reportada por las Oficinas de Planeación. Es el número de personas dedicadas a las funciones administrativas de las universidades. Grupos de Investigación GRUP_INV Total Grupos de Investigación categorizados por Colciencias en Colombia, por universidad. Se encuentra una relación directa entre la productividad en términos investigativos y el número de grupos de investigación categorizados. Esta variable no se utiliza para las universidades españolas, ya que no opera el mismo sentido descrito anteriormente. Espacio de uso misional en m2 M2_USO_ MISIONAL Se considera un recurso importante, y una proxy de capital (capacidad instalada) para las universidades. Se debe reportar desde las oficinas de Planeación al Ministerio de Educación Nacional. Muchos estudios en Colombia lo utilizan como insumo o input (Garcia & Gonzalez, 2011; Maza Avila, Vergara Schmalbach, & Roman Romero, 2017; Melo, Ramos, & Hernandez, 2014; Ramos, Morero, Almanza, Picon & Rodriguez, 2015; Rodriguez Murillo, 2014) Esta variable sólo es posible obtenerla en la base de datos SNIES del Ministerio de Educación de Colombia. Para las universidades españolas no se cuenta con esta variable. Revistas Indexadas REV_INDEX Total Revistas Indexadas por universidad en Colombia. Se encuentra una relación directa entre la productividad en términos investigativos y el número de revistas indexadas, ya que en Colombia las revistas se encuentran adscritas a las instituciones universitarias. Para las universidades españolas esta variable no se utiliza, ya que en su mayoría las revistas se encuentran adscritas a entidades de otra naturaleza. Recursos transferidos por el Estado en COP TRANSFER_ NACION Es el valor monetario de las transferencias de la nación a cada una de las universidades públicas. También conocidos como transferencias corrientes o transferencias de las comunidades autónomas. Número total de publicaciones acumuladas en Scopus NUM_PUB_SCOPUS Total publicaciones en la base de datos Scopus. Sólo opera para las universidades colombianas, ya que es la base de datos que consolida para su gran mayoría la producción en términos de artículos investigativos. Fuente: Elaborada por los autores. 4.3 Análisis envolvente de datos (Data Envelopment Analysis DEA) Este modelo desarrollado por Charnes, Cooper y Rhodes (1978), es un procedimiento no paramétrico y determinístico de evaluación de la eficiencia relativa de un conjunto de unidades productivas homogéneas. Utilizando las cantidades de inputs consumidas y outputs producidas por cada unidad, y mediante técnicas de programación lineal, el DEA construye, a partir de la mejor práctica observada, la frontera eficiente de producción con respecto a la cual se evalúa la eficiencia de cada unidad (Salinas-Jiménez & Smith, 1996). Las bases conceptuales del DEA fueron sentadas por Farrel (1957) quien definió la eficiencia técnica (relativa) como la capacidad de alcanzar ciertas metas mediante la combinación deseable de ciertos insumos y productos (Ramos Ruiz, Moreno Cuello, Almanza Ramírez, Picón Viana, & Rodríguez Albor, 2015) El DEA siguiendo a Farrel (1957) calcula la eficiencia a partir de la siguiente ecuación: h j 0 = ∑ r s = 1 u r y r j 0 ∑ i m = 1 v i x i j 0 (2) Donde: r = 1…s Subíndice que identifica un producto (output) j = 1…n Subíndice que identifica las diferentes unidades de decisión DMU’s i = 1…m Subíndice que identifica el insumo (input) jo Subíndice que indica la unidad de decisión DMU a la que se le está calculando la eficiencia. hj0Eficiencia de la unidad de decisión DMU que se está calculando urPeso ponderado que tiene el producto yr, para la DMU j0, que se está calculando. viPeso ponderado que tiene el insumo xi, en la DMU j0, que está siendo calculada. Las ponderaciones obtenidas (Ur y Vi), representan los valores atribuidos a cada insumo (input) y producto (output) que proporcionan el mayor índice de eficiencia posible a cada unidad de decisión DMU (Decision Making Units). Además, se debe cumplir con la restricción de que esta combinación de ponderaciones al aplicarlas al resto de DMU’s arroje un indicador de eficiencia comprendido entre cero (0) y uno (1). Así, el objetivo es encontrar las DMU que producen los niveles más altos de outputs mediante el uso de los niveles más bajos de inputs. Para lo cual, maximiza la relación de los outputs ponderados y los inputs ponderados para cada DMU en consideración (Ray, 1991). Desde 1978, según Soto Mejía y Arenas Valencia (2010) se han desarrollado muchos modelos multivariados diferentes. Los dos modelos básicos son el CCR (Charnes, Cooper, & Rhodes, 1981) y el BCC (Banker, Charnes, & Cooper, 1984). los cuales pueden diferir en su orientación (inputs, outputs o ninguna), diversificación y rendimientos a escala (CRS - constant retorn to scale, NIRS- nonincreasing retorn to scale, NDRS- nondecresing return to scale, y VRS - variable returns to scale), tipo de medida (radial, no radial, aditiva, multiplicativa, hiperbólica…), etc. Las ecuaciones (3), (4), (5) y (6), contenidas en lo Cuadro 1 muestran los modelos de programación lineal para el modelo CCR (retornos constantes) y BCC (retornos a escala variable), con orientación input y orientación output. CUADRO 1 MODELOS CCR (CHARNES, COOPER Y RHODES) Y BCC (BANKER, CHARNES Y COOPER) PARA ANÁLISIS ENVOLVENTE DE DATOS Fuente: Elaborada por los autores. Nota: El modelo BCC-O pretende determinar cuánto podría obtenerse de productos (outputs) con el mismo nivel de insumos (inputs), si todas las DMU’s fueran eficientes, una vez eliminados los efectos de escala El modelo BCC está concebido como una medida de eficiencia con retornos variables. En este procedimiento las unidades a evaluar (DMU’s) ineficientes se comparan únicamente con las unidades eficientes que operan en una escala semejante (Soto Mejía & Arenas Valencia, 2010). El modelo BCC con orientación outputs es el que mejor se ajusta a la evaluación de la eficiencia en universidades públicas (Ramos Ruiz et al., 2015; Visbal-Cadavid, Mendoza Mendoza, & Causado Rodríguez, 2016), ya que estas pueden tener tamaños diferentes en cuanto a número de estudiantes, profesores y/o recursos financieros asignados y no controlan sus entradas, al depender de modelos de financiación y asignación presupuestal estatal. Así el modelo BCC-O pretende determinar cuánto podría obtenerse de productos (outputs) con el mismo nivel de insumos (inputs), si todas las DMU’s fueran eficientes, una vez eliminados los efectos de escala. 4.4 Unidades de análisis o Unidades decisoras DMU´s Una DMU es la unidad objeto de medición de la eficiencia en comparación con otras de su clase o tipología. La DMU tiene el control sobre el proceso de transformación de recursos (insumos) en productos. Para su identificación, debe cumplir con una característica esencial de homogeneidad, que se contrasta cuando se verifica que todas las DMU utilizan el mismo tipo de recursos (inputs) para obtener el mismo tipo de productos (outputs), aunque en cantidades diferentes (Soto Mejía & Arenas Valencia, 2010). Así, las universidades estatales de Colombia y España pueden ser vistas como unidades productivas que transforman recursos en productos. Cada institución - tratada como una DMU - puede tomarse como una organización multiproducto (Ray, 1991). En este estudio, se trabaja con un total de 32 DMU’s (universidades públicas colombianas), y 48 DMU´s (universidades públicas españolas), pertenecientes al sistema universitario estatal (SUE) de cada país (ver Tabla 2). TABLA 2 DMU’S. UNIVERSIDADES DEL SISTEMA UNIVERSITARIO ESTATAL COLOMBIANO Y ESPAÑOL SUE - COLOMBIA SUE - ESPAÑA No. Nombre Universidad (DMU) Sigla No. Nombre Universidad (DMU) Sigla 1 Universidad de Antioquia udea 1 A Coruña UDC 2 Universidad de Caldas unicaldas 2 Alcalá UAH 3 Universidad de Cartagena unicart 3 Alicante UA 4 Universidad de Córdoba unicord 4 Almería UAL 5 Universidad de Cundinamarca udecun 5 Autónoma de Barcelona UAB 6 Universidad de la Amazonía uniamaz 6 Autónoma de Madrid UAM 7 Universidad de la Guajira uniguajira 7 Barcelona UB 8 Universidad de los Llanos unillanos 8 Burgos UBU 9 Universidad de Nariño unariño 9 Cádiz UCA 10 Universidad de Pamplona unipamp 10 Cantabria UNICAN 11 Universidad de Sucre unisucre 11 Carlos III de Madrid UC3M 12 Universidad del Atlántico uniatlantico 12 Castilla-La Mancha UCLM 13 Universidad del Cauca unicauca 13 Complutense de Madrid UCM 14 Universidad del Magdalena unimag 14 Córdoba UCO 15 Universidad del Pacífico unipac 15 Extremadura UNEX 16 Universidad del Quindio uniquindio 16 Girona UDG 17 Universidad del Tolima udetol 17 Granada UGR 18 Universidad del Valle univalle 18 Huelva UHU 19 Universidad Distrital - Francisco José de Caldas udist 19 Illes Balears (Les) UIB 20 Universidad Francisco de Paula Santander - Cúcuta ufpsc 20 Jaén UJAEN 21 Universidad Francisco de Paula Santander - Ocaña ufpso 21 Jaume I de Castellón UJI 22 Universidad Industrial de Santander uis 22 La Laguna ULL 23 Universidad Militar - Nueva Granada militar 23 La Rioja UNIRIOJA 24 Universidad Nacional Abierta y a Distancia UNAD unad 24 Las Palmas de Gran Canaria ULPGC 25 Universidad Nacional de Colombia unal 25 León UNILEON 26 Universidad Pedagogica Nacional de Colombia upnal 26 Lleida UDL 27 Universidad Pedagogica y Tecnologica de Colombia - UPTC uptc 27 Málaga UMA 28 Universidad Popular del Cesar upoc 28 Miguel Hernández de Elche UMH 29 Universidad Surcolombiana unisur 29 Murcia UM 30 Universidad Tecnológica de Pereira utp 30 Nacional de Educación a Distancia UNED 31 Universidad Tecnológica del Chocó utch 31 Oviedo UNIOVI 32 Universidad - Colegio Mayor de Cundinamarca ucolm 32 Pablo de Olavide UPO 33 País Vasco/Euskal Herriko Unibertsitatea EHU 34 Politécnica de Cartagena UPCT 35 Politécnica de Catalunya UPC 36 Politécnica de Madrid UPM 37 Politécnica de Valencia UPV 38 Pompeu Fabra UPF 39 Pública de Navarra UPNA 40 Rey Juan Carlos URJC 41 Rovira i Virgili URV 42 Salamanca USAL 43 Santiago de Compostela USC 44 Sevilla US 45 València (Estudi General) UV 46 Valladolid UVA 47 Vigo UVIGO 48 Zaragoza UNIZAR Fuente: Elaborada por los autores. 5. RESULTADOS 5.1 Análisis de significancia a través del ACC En la Tabla 3 se muestran los índices de correlación canónico, y las pruebas generales de dimensionalidad multivarianble, para las 5 variables independientes y 5 dependientes que se seleccionaron para el caso del SUE Colombia, así como para las 4 independientes y 3 dependientes procesadas para el SUE España. Se observa que el índice de correlación canónico más importante en cada país es el de la función 1 (0.9078 para Colombia y 0.8779 para España). Con una relación significativa entre los dos conjuntos de variables, a un nivel del 1%, y representa la mayor correlación posible entre cualquier combinación lineal de las variables independientes (profesores, calidad profesoral, administrativos y transferencias del Estado) y cualquier combinación lineal de las variables dependientes (egresados de grado, postgrado y publicaciones). TABLA 3 MEDIDAS DE AJUSTE GLOBAL DEL MODELO PARA EL ACC (SUE COLOMBIA - SUE ESPAÑA) Colombia España Función Canónica Correl. Canónica R2 canónico Estadístico F Prob. Función Canónica Correl. Canónica R2 canónico Estadístico F Prob. 1 0,908 0,824 37,032 0.000* 1 0,878 0,771 55,299 0.000* 2 0,522 0,273 10,910 0 2 0,236 0,056 3,905 0,001 3 0,398 0,159 7,659 0 3 0,124 0,015 2,472 0,086 4 0,217 0,047 3,747 0,05 5 0,038 0,001 0,425 0,515 Constraste multivalente de significancia Constraste multivalente de significancia Estadístico Valor Estadístico F aprox Probabilidad Estadístico Valor Estadístico F aprox Prob. Lambda de Wilks 0,102 37,032 0 Lambda de Wilks 0,213 55,299 0 Traza de Pillai 1,304 21,023 0 Traza de Pillai 0,842 30,999 0 Traza de Hotelling 5,299 61,972 0 Traza de Hotelling 3,436 90,105 0 Mrc de Roy 4,685 279,204 0 Mrc de Roy 3,362 267,267 0 Fuente: Cálculo de los autores (Stata Software) con base en datos del Ministerio de Educación Nacional de Colombia (2015-2016) y el Sistema de Información Universitario de España SIIU (2015-2016). Nota: El test estadístico utilizado para evaluar la significancia de los respectivos índices de correlación es Lambda de Wilks, contrastado con la prueba F Nótese que el mayor coeficiente de determinación (R2 canónico) corresponde al primer par de variables canónicas U1, V1 (R2 can = 0.8241 para Colombia y 0.7707 para España), valores que son altos e indican una alta significancia práctica (Badii & Castillo, 2007). La interpretación a estos resultados es que el 82,41% de la variabilidad de U1 (combinación lineal de las variables dependientes) está siendo explicada por V1 (combinación lineal de las variables independientes). Este abordaje preliminar, demuestra para cada sistema universitario estatal la importancia y representatividad de las variables elegidas y la capacidad explicativa del conjunto de variables independientes con respecto al conjunto de variables dependientes. Ambos conjuntos de variables (inputs vs. outputs), elegidos específicamente para cada uno de los sistemas universitarios, tienen interdependencias entre sí y un alto valor explicativo, lo que corrobora su elección como medidas proxy para adelantar cálculos de eficiencia con modelos DEA. 5.2 Análisis de Redundancia ACC Cantidad de varianza compartida. En la Tabla 4 se muestran las correlaciones entre la primera variable canónica dependiente y cada una de las variables originales dependientes. Se interpretan como una carga factorial, que identifica el valor de la contribución relativa de cada ítem a su ítem canónico. TABLA 4 CORRELACIONES LINEALES SIMPLES (CARGAS CANÓNICAS), ENTRE LAS VARIABLES DEPENDIENTES Y LA PRIMERA VARIABLE CANÓNICA (U1) SUE - Colombia SUE - España Variable Función Canónica 1 Variable Función Canónica 1 GRAD_PREG 0,84 GRAD_PREG 0,738 GRAD_POST 0,712 GRAD_POST 0,833 GRUP_INV 0,79 PUB_WOS 0,977 REV_INDEX 0,637 TOTAL_PUB_SCOPUS 0,915 Fuente: Cálculo de los autores (Stata Software) con base en datos del Ministerio de Educación Nacional de Colombia (2015-2016) y el Sistema de Información Universitario de España SIIU (2015-2016). Nota: Para ambos países la variable con mayor contribución relativa es publicaciones Scopus (Colombia) y publicaciones WOS (España), seguida de las variables graduados, indicando las dos variables output más representativas de dos actividades universitarias (investigación y docencia). Índices de redundancia. En la Tabla 5 la función canónica 1 para Colombia, muestra un porcentaje de 50.78%, un índice alto, que indica la proporción de explicación de las variables de entrada (independientes) en las varianzas de las variables de salida (dependientes) originales. Para España ese porcentaje asciende a 57.06%, mostrando que las variables asociadas a las universidades españolas tienen una alta proporción explicativa de la variabilidad de sus outputs originales (Soto Mejía et al., 2009; Badii & Castillo, 2007) TABLA 5 ANÁLISIS DE REDUNDANCIA DE LOS VALORES TEÓRICOS DEPENDIENTE E INDEPENDIENTE DE LAS FUNCIONES CANÓNICAS (SUE COLOMBIA - SUE ESPAÑA) Colombia España Varianza estandarizada variables dependientes explicada por: Varianza estandarizada variables dependientes explicada por: Valor Teórico Propio (Varianza Compartida) Valor Teórico Opuesto (Redundancia) Valor Teórico Propio (Varianza Compartida) Valor Teórico Opuesto (Redundancia) Función Canónica % % Acum. R2 canónica % % Acum. Función Canónica % % Acum. R2 canónica % % Acum. 1 61,62 61,62 82,41 50,78 50,78 1 74,04 74,04 77,07 57,06 57,06 2 11,40 73,02 27,26 3,11 53,89 2 9,78 83,82 5,56 0,54 57,61 3 8,06 81,08 15,85 1,28 55,16 3 7,26 91,08 1,53 0,11 57,72 4 13,09 94,17 4,73 0,62 55,78 5 5,83 100,00 0,14 0,01 55,79 Varianza estandarizada variables independientes explicada por: Varianza estandarizada variables independientes explicada por: Valor Teórico Propio (Varianza Compartida) Valor Teórico Opuesto (Redundancia) Valor Teórico Próprio (Varianza Compartida) Valor Teórico Opuesto (Redundancia) Función Canónica % % Acum. R2 canónica % % Acum. Función Canónica % % Acum. R2 canónica % % Acum. 1 73,20 73,20 82,41 60,32 60,32 1 74,12 74,04 77,07 57,12 57,12 2 6,87 80,07 27,26 1,88 62,19 2 9,49 83,53 5,56 0,53 57,65 3 7,25 87,32 15,85 1,15 63,34 3 16,47 100,00 1,53 0,25 57,90 4 8,18 95,50 4,73 0,38 63,72 5 3,95 99,45 0,14 0,00 63,73 Fuente: Cálculo de los autores (Stata Software) con base en datos del Ministerio de Educación Nacional de Colombia (2015-2016) y el Sistema de Información Universitario de España SIIU (2015-2016). Así, para la primera correlación canónica (función 1), las variables canónicas independientes explican el 82.41% para Colombia, y el 77.07% para España, de la varianza de las variables canónicas dependientes, mientras que las primeras variables predicen el 50.78% y el 57.06% de las varianzas en las variables dependientes originales. También se observa que, las variables canónicas dependientes predicen el 61.62% y el 74.04% de la varianza en las variables dependientes originales; y las variables canónicas independientes predicen el 73.20% y el 74.12% de la varianza en las variables independientes originales. Lo anterior muestra de manera porcentual todas las relaciones e interdependencias entre los dos conjuntos de variables y sus respectivas combinaciones lineales, brindando confiabilidad (Azor Hernandez et al., 2018; Friedman & Sinuany-Stern, 1997; Moreno Sáez & Trillo del Pozo, 2001; Sabando Vélez & Cruz Arteaga, 2019) y alentando a los investigadores a continuar con la utilización de los conjuntos de variables propuestos, para realizar los cálculos posteriores de eficiencia con modelos DEA. En lo que respecta a los valores teóricos independientes (cargas canónicas), como se puede observar en la Tabla 6, los tres ítems que contribuyen significativamente en las actividades de docencia e investigación de las universidades colombianas son: el número de profesores de tiempo completo (prof_tce), el espacio disponible para uso misional (m2_uso_misional) y los recursos transferidos del Estado (transfer_nacion). Dichas variables denotan una alta representatividad y significancia como inputs, e igualmente como variables explicativas de los outputs (salidas) en cada país. Resaltar además que, las variables dependientes más significativas son: los egresados de grado (grad_preg) y el total de publicaciones scopus (total_pub_scopus) para Colombia; y los egresados de postgrado (grad_post) y el total de publicaciones (pub_wos) para España; corroborando en línea con estudios previos (Kao & Hung, 2008; Kuah & Wong, 2013; Chang et al., 2012; García-Aracil, 2013; Munoz, 2016) que son variables representativas de las actividades de docencia e investigación en las universidades. TABLA 6 COEFICIENTES CANÓNICOS ESTANDARIZADOS, CARGAS CANÓNICAS Y CARGAS CANÓNICAS CRUZADAS PARA LA PRIMERA FUNCIÓN CANÓNICA (SUE COLOMBIA - SUE ESPAÑA) Colombia España Variables Coef. Canón. Estandar. Función 1 Cargas Canónicas Función 1 Cargas canónicas Cruzadas Función 1 Variables Coef. Canón. Estandar. Función 1 Cargas Canónicas Función 1 Cargas canónicas Cruzadas Función 1 Dependientes Dependientes GRAD_PREG 0,391 0,840 0,763 GRAD_PREG 0,220 0,738 0,647 GRAD_POST 0,099 0,712 0,646 GRAD_POST 0,167 0,833 0,731 GRUP_INV 0,105 0,791 0,718 PUB_WOS 0,715 0,977 0,858 REV_INDEX 0,031 0,637 0,578 TOTAL_PUB_SCOPUS 0,545 0,915 0,830 Independientes Independientes PROF_TCE 0,507 0,926 0,841 PROF_TCE 0,149 0,975 0,856 ICAL_PDI 0,269 0,758 0,688 ICAL_PDI 0,093 0,363 0,319 NUM_ADM -0,056 0,790 0,717 NUM_ADM 0,210 0,949 0,833 M2_USO_MISIONAL 0,307 0,897 0,814 TRANSF_EST 0,629 0,990 0,869 TRANSFER_NACION 0,113 0,851 0,773 Fuente: Cálculo de los autores (Stata Software) con base en datos del Ministerio de Educación Nacional de Colombia (2015-2016) y el Sistema de Información Universitario de España SIIU (2015-2016). 5.3 Resultados para el DEA - BCCO En concordancia con los resultados arrojados preliminarmente con el ACC, se proponen dos modelos (grupos de variables) para el cálculo de eficiencia con métodos DEA en el sector de la educación superior. Modelo 1. Se propone realizar cálculos de eficiencia con DEA, a partir de las variables de entrada y salida representativas y/o significativas que fueron explicadas con el resultado de las cargas canónicas de la Tabla 6. El detalle descriptivo se muestra en la Tabla 7. Las inferencias realizadas se hacen para cada conjunto de universidades, Colombia y España, de manera independiente y para caracterizar sus propios componentes, variables, datos, y resultados de eficiencia, teniendo en cuenta que el objetivo no es realizar una comparación entre ellos, sino demostrar que la metodología propuesta es aplicable al sector universitario de cualquier país. TABLA 7 DESCRIPCIÓN DE LAS VARIABLES DE ENTRADA Y SALIDA MODELO 1. SUE COLOMBIA - SUE ESPAÑA Colombia Variables Input Media Mín Máx 2015 2016 2015 2016 2015 2016 PROF_TCE 591 648 59 91 2.426 2.501 M2_USO_MISIONAL 117.732 117.732 20.278 20.278 491.956 491.956 TRANSFER_NACION* 78.800 84.400 16.000 17.000 610.000 650.000 Variables Output GRAD_PREG 2.199 1.593 218 124 6.793 5.705 TOTAL_PUB_SCOPUS 1.115 1.445 - - 13.704 17.419 España Variables Input Media Mín Máx 2015 2016 2015 2016 2015 2016 PROF_TCE 1.462 1.460 329 332 4.124 4.099 TRANSF_EST** 141.000 147.417 36.100 36.000 363.000 400.000 Variables Output GRAD_POST 1.054 1.260 122 131 3.306 4.622 PUB_WOS 1.108 1.308 142 218 4.722 5.273 Fuente: Cálculo de los autores (Stata Software) con base en datos del Ministerio de Educación Nacional de Colombia (2015-2016) y el Sistema de Información Universitario de España SIIU (2015-2016). Nota descriptiva: en Colombia se incrementó el número de profesores de tiempo completo equivalente de 2015 a 2016, mientas que la infraestructura permaneció igual y los graduados disminuyeron. Para el sistema español se denota poca variabilidad en la variable profesores, mientas que los graduados y las publicaciones aumentaron. Para ambos países las trasferencias aumentaron de un período a otro: en Colombia un aumento del 2.1% y en España un incremento del 4.6%. *Medida en millones COP. ** Medida en miles EUR. Modelo 2. Se realiza la predicción de las variables U1 y V1, que son las correspondientes a la Función Canónica 1, con un coeficiente de determinación del 82.4% para SUE Colombia y 77.07% para SUE España. Aquí se propone un proceso de transformación de las variables de entrada y de salida en variables ficticias, producto de la función canónica 1, explicada en el apartado de metodología y datos a través del ACC. La variable U1 será denominada Uinput, y la variable V1 será Voutput. El modelo que predice cada una de ellas se muestra en la Tabla 8. A partir de los coeficientes canónicos brutos y las correlaciones canónicas, y con base en las variables más representativas (modelo 1) y variables transformadas (modelo 2), se calculan los índices de eficiencia a través de modelos DEA para facilitar el análisis. TABLA 8 PREDICCIÓN DE VARIABLES DE ENTRADA Y SALIDA MODELO 2. SUE COLOMBIA - SUE ESPAÑA Colombia España Variable Input (Uinput) Variable Output (Voutput) Variable Input (Uinput) Variable Output (Voutput) U_input = 0.6941prof_tce + 0.4802ical_pdi- 0.0735num_adm + 0.3520m2_uso_misional + 0.1169transfer_nacion V_output = 0.5050grad_preg + 0.0435grad_post + 0.0824grup_inv + 0.0206rev_index + 0.2840total_pub_scopus U_input = 0.2541prof_tce + 0.0097ical_pdi + 0.3524num_adm + 1.06transfer_nacion V_output = 0.2539grad_preg + 0.2286grad_post + 0.9576pub_wos Fuente: Cálculo de los autores (Stata Software) con base en datos del Ministerio de Educación Nacional de Colombia (2015-2016) y el Sistema de Información Universitario de España SIIU 2015-2016. Los coeficientes indicados para cada variable, tanto del grupo de insumos (input) como de resultados (output) son obtenidos como coeficientes no rotados o canónicos brutos, para cada uno de los conjuntos de variables (dependientes e independientes), y serán las ponderaciones a priori para cada una de las entradas y salidas, dejando una única variable como insumo y una única variable como producto. El procesamiento de datos se realiza en el software Stata y DEA-solver. Los resultados consolidados de universidades eficientes y no eficientes se muestran en la figura1. Los índices de eficiencia desagregados para cada uno de los modelos, métodos, períodos y universidades se muestran en las Tablas 10 y 11. FIGURA 1 CONSOLIDADO DE UNIVERSIDADES EFICIENTES E INEFICIENTES SUE COLOMBIA - SUE ESPAÑA (MODELOS 1 Y 2 CON DEA BCC-O) Fuente: Elaborada por los autores, basada en los índices de eficiencia. La figura 1 muestra que en Colombia en los años 2015 y 2016 un 34% de universidades son totalmente eficientes (11/32) y en España el 14.5% (7/48) y 12.5% (6/48) de sus universidades estatales, son consideradas totalmente eficientes. En el modelo 1 se tiene un mayor número de universidades eficientes con respecto al modelo 2. Cuando se tiene un mayor número de entradas y salidas, se restringe el poder de discriminación del modelo, siendo posible que algunas variables consideradas críticas, sean ponderadas con cero para no afectar los cálculos relativos (Pedraja Chaparro, Salinas Jimenez, & Smith, 1994). La importancia de los resultados mostrados por el modelo 2 radica en que, utilizando una sola variable de entrada y una sola variable de salida (variables transformadas), cada una de ellas agrupa los ítems con su coeficiente de ponderación, a partir de la función canónica descrita en el apartado metodológico anterior. La eficiencia media para las universidades colombianas es 0.7107 y 0.7911 (modelo 1 BCC-O, 2015-2016), ver Tabla 15. Para las universidades españolas la eficiencia media en ese mismo modelo y periodos es 0.6537 y 0.5865. En la Tabla 9 se listan las universidades colombianas y españolas con eficiencia relativa recurrente, siendo universidades con afectaciones a escala. Para Colombia, son la Universidad Francisco de Paula Santander- Ocaña- y la Universidad de los Llanos; esta última no se muestra como eficiente en ninguno de los estudios recientes de eficiencia en universidades públicas colombianas (García & González, 2011; Ramos Ruiz et al., 2015; Rodríguez-Varela & Gómez-Sancho, 2015; Visbal-Cadavid et al., 2016). Para España, resaltan los resultados consistentes de la Universidad de la Rioja, universidad que también se muestra eficiente en Parellada y Duch (2006), para los años 2003 y 2004. TABLA 9 UNIVERSIDADES CON EFICIENCIA RELATIVA, AFECTADAS POR EL TAMAÑO (RETORNOS VARIABLES) UNIVERSIDADES SUE - COLOMBIA UNIVERSIDADES SUE - ESPAÑA Año 2015 Año 2016 Año 2015 Año 2016 Modelo 1 Modelo 2 Modelo 1 Modelo 2 Modelo 1 Modelo 2 Modelo 1 Modelo 2 Militar Udetol Upoc Udist UB UAB UB UAL Udecun Uniquindío Udecun Unillanos UCM UIB UCM UMH Ufpso Ufpso Ufpso Unirioja Unirioja Unirioja Utch Unillanos UV UPF Unillanos Fuente: Elaborada por los autores. TABLA 10 ÍNDICES DE EFICIENCIA UNIVERSIDADES PÚBLICAS COLOMBIANAS (2015-2016) DMU MODELO 1 MODELO 2 Efficiency Score CCRO Efficiency Score BBCO Efficiency Score CCRO Efficiency Score BBCO 2015 2016 2015 2016 2015 2016 2015 2016 udea 1,000 1,000 1,000 1,000 0,979 0,964 0,979 0,968 unicaldas 0,562 0,773 0,653 0,793 0,926 0,901 0,928 0,917 unicart 0,536 0,628 0,564 0,636 0,921 0,896 0,923 0,912 unicord 0,396 0,380 0,409 0,410 0,866 0,798 0,868 0,815 udecun 0,546 0,862 1,000 1,000 0,756 0,775 0,791 0,806 uniamaz 0,198 0,561 0,273 0,632 0,774 0,813 0,841 0,895 uniguajira 0,293 0,356 0,437 0,379 0,784 0,754 0,822 0,771 unillanos 0,381 0,776 1,000 1,000 0,829 0,850 0,980 1,000 unariño 0,326 0,561 0,348 0,573 0,848 0,853 0,850 0,869 unipamp 0,502 0,423 0,539 0,457 0,881 0,826 0,883 0,839 unisucre 0,305 0,774 0,679 0,952 0,760 0,838 0,881 0,961 niatlantico 0,345 0,476 0,384 0,770 0,842 0,832 0,844 0,844 unicauca 0,386 0,439 0,400 0,458 0,880 0,871 0,881 0,884 unimag 1,000 0,710 1,000 0,710 0,968 0,876 0,979 0,895 unipac 0,125 0,157 1,000 1,000 0,631 0,585 0,933 0,909 uniquindio 0,797 0,383 0,871 0,450 0,939 0,781 1,000 0,797 udetol 1,000 0,731 1,000 0,777 0,998 0,872 1,000 0,891 univalle 0,877 0,948 0,885 0,949 0,967 0,954 0,968 0,962 udist 1,000 1,000 1,000 1,000 0,966 0,978 0,969 1,000 ufpsc 0,702 1,000 0,735 1,000 0,900 0,883 0,944 0,948 ufpso 0,552 0,765 1,000 1,000 0,618 0,612 1,000 1,000 uis 1,000 1,000 1,000 1,000 0,974 0,945 0,977 0,957 militar 0,955 0,867 1,000 0,908 0,897 0,897 0,899 0,913 unad 0,700 1,000 0,762 1,000 0,810 0,818 0,812 0,832 unal 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 upnal 0,217 0,584 0,228 0,624 0,827 0,825 0,833 0,841 uptc 0,245 0,401 0,323 0,496 0,894 0,890 0,895 0,903 upoc 0,411 0,903 0,519 1,000 0,858 0,856 0,907 0,913 unisur 0,351 0,588 0,380 0,593 0,850 0,837 0,874 0,860 utp 0,561 0,796 0,623 0,853 0,930 0,911 0,932 0,927 utch 0,542 1,000 1,000 1,000 0,848 0,838 0,955 0,942 ucolm 0,340 0,708 0,729 0,897 0,821 0,799 0,909 0,881 Fuente: Cálculo de los autores (Stata Software) con base en datos del Sistema Nacional de Información para la Educación Superior de Colombia SNIES (2016-2016). TABLA 11 ÍNDICES DE EFICIENCIA UNIVERSIDADES PÚBLICAS ESPAÑOLAS (2015-2016) DMU MODELO 1 MODELO 2 Efficiency Score CCRO Efficiency Score BCCO Efficiency Score CCRO Efficiency Score BCCO 2015 2016 2015 2016 2015 2016 2015 2016 EHU 0,386 0,335 0,553 0,528 0,927 0,921 0,937 0,995 UA 0,477 0,397 0,552 0,417 0,871 0,865 0,907 0,999 UAB 1,000 1,000 1,000 1,000 0,992 0,904 1,000 0,911 UAH 0,634 0,502 0,638 0,506 0,873 0,850 0,932 0,919 UAL 0,517 0,483 0,593 0,560 0,814 0,869 0,904 1,000 UAM 0,842 0,791 0,853 0,799 0,966 0,908 0,983 0,914 UB 0,976 0,882 1,000 1,000 1,000 0,910 1,000 0,986 UBU 0,367 0,341 0,664 0,720 0,764 0,903 0,964 0,968 UC3M 0,540 0,525 0,615 0,574 0,868 0,896 0,922 0,922 UCA 0,347 0,304 0,378 0,306 0,826 0,932 0,878 0,947 UCLM 0,382 0,329 0,392 0,334 0,867 0,894 0,898 0,917 UCM 0,593 0,542 1,000 1,000 0,950 0,917 0,977 0,930 UCO 0,551 0,420 0,595 0,426 0,878 0,919 0,937 0,930 UDC 0,460 0,369 0,490 0,384 0,852 0,861 0,910 0,934 UDG 0,579 0,561 0,811 0,751 0,874 0,860 0,992 0,978 UDL 0,510 0,463 0,782 0,704 0,834 0,921 0,996 0,927 UGR 0,568 0,445 0,852 0,733 0,941 0,961 0,953 0,979 UHU 0,385 0,363 0,476 0,450 0,790 0,959 0,901 0,980 UIB 0,670 0,600 0,883 0,786 0,880 0,783 1,000 1,000 UJAEN 0,473 0,452 0,533 0,471 0,838 0,784 0,920 0,974 UJI 0,520 0,375 0,561 0,436 0,849 0,927 0,931 0,929 ULL 0,399 0,357 0,442 0,382 0,863 0,942 0,905 0,949 ULPGC 0,297 0,247 0,308 0,250 0,813 0,922 0,864 0,925 UM 0,587 0,464 0,666 0,506 0,898 0,843 0,928 0,950 UMA 0,358 0,372 0,436 0,509 0,872 0,951 0,885 0,990 UMH 0,884 0,668 0,915 0,675 0,878 0,960 0,985 1,000 UNED 1,000 1,000 1,000 1,000 0,864 0,841 0,918 0,942 UNEX 0,454 0,396 0,463 0,409 0,849 0,855 0,902 0,973 UNICAN 0,510 0,453 0,640 0,567 0,860 0,928 0,943 0,942 UNILEON 0,426 0,371 0,546 0,488 0,830 0,931 0,933 0,931 UNIOVI 0,459 0,408 0,471 0,411 0,885 0,905 0,908 0,941 UNIRIOJA 0,348 0,349 1,000 1,000 0,759 0,917 1,000 0,918 UNIZAR 0,416 0,415 0,421 0,435 0,907 0,940 0,913 0,943 UPC 0,409 0,411 0,414 0,469 0,894 0,928 0,898 0,944 UPCT 0,296 0,288 0,583 0,505 0,755 0,924 0,948 0,991 UPF 1,000 1,000 1,000 1,000 0,917 0,925 1,000 0,931 UPM 0,332 0,333 0,351 0,395 0,884 0,922 0,886 0,936 UPNA 0,443 0,372 0,641 0,526 0,813 0,948 0,947 0,967 UPO 0,753 0,632 0,968 0,794 0,825 0,910 0,970 0,946 UPV 0,401 0,361 0,504 0,469 0,897 0,930 0,901 0,936 URJC 0,877 0,784 0,898 0,842 0,873 0,946 0,949 0,968 URV 0,597 0,547 0,734 0,650 0,888 1,000 0,995 1,000 US 0,409 0,350 0,592 0,524 0,914 0,879 0,926 0,893 USAL 0,536 0,427 0,552 0,428 0,895 0,983 0,927 0,998 USC 0,491 0,417 0,566 0,438 0,897 0,889 0,907 0,904 UV 0,698 0,529 1,000 0,807 0,964 0,911 0,968 0,932 UVA 0,350 0,276 0,350 0,280 0,857 0,911 0,887 0,933 UVIGO 0,594 0,479 0,701 0,515 0,878 0,940 0,922 0,943 Fuente: Cálculo de los autores (Stata Software) con base en datos del Sistema de Información Universitario de España SIIU (2016-2016). 6. ANÁLISIS DE LOS RESULTADOS Como complemento al análisis de los resultados de eficiencia de las Tablas 11 y 12, se realiza una distribución por cuartiles (ver Tabla 13) para cada uno de los sistemas de educación superior analizados. En el modelo 1, los índices de eficiencia son menores en comparación con el modelo 2, debido a la sensibilidad mostrada en el número de entradas y salidas, y a la transformación de las variables a través de la ponderación previa con el ACC. En cuanto al sistema universitario colombiano, la Tabla 13 muestra que el 37.5% de las universidades colombianas, pasó de tener índices superiores de 0.88854 en 2015 a índices superiores de 0.9517 (modelo 1), lo que denota un mejoramiento en términos de eficiencia, analizado con las últimas 12 universidades. Mientras tanto, las universidades con índices bajos de eficiencia, ubicadas en el primer cuartil (8 instituciones) mostraron índices inferiores a 0.4093 en 2015 e inferiores a 0.5925 en 2016. Para las universidades españolas, como se muestra en la Tabla 13, el 25% pasó de tener índices superiores de 0.852 en 2015 a índices superiores de 0.733 (modelo 1), lo que denota un empeoramiento de un período a otro para ese último cuartil de universidades. Las instituciones con índices bajos de eficiencia, correspondientes al primer 25%, mostraron índices inferiores a 0.4755 en 2015 e inferiores a 0.4275 en 2016, reafirmando la tendencia a la baja en índices de eficiencia en 2016. TABLA 12 ANÁLISIS DE ÍNDICES DE EFICIENCIA, DISTRIBUIDOS POR CUARTILES. SUE - COLOMBIA SUE - ESPAÑA CUARTIL % ACUM DMU INDICES DE EFICIENCIA CUARTIL % ACUM DMU INDICES DE EFICIENCIA BCC-O 2015 BCC-O 2016 BCC-O 2015 BCC-O 2016 MODELO 1 MODELO 2 MODELO 1 MODELO 2 MODELO 1 MODELO 2 MODELO 1 MODELO 2 25% 0,409 0,868 0,593 0,844 25% 0,476 0,905 0,428 0,930 50% 0,729 0,909 0,853 0,903 50% 0,593 0,928 0,509 0,943 62,50% 0,885 0,944 0,952 0,925 75% 0,852 0,968 0,733 0,978 Fuente: Cálculo de los autores (Stata Software) con base en datos del Ministerio de Educación Nacional de Colombia (2015-2016) y el Sistema de Información Universitario de España SIIU (2015-2016). Se realiza además una categorización de los resultados de los índices de eficiencia en la Tabla 14, con el fin de clasificar cada una de las universidades públicas, tanto de Colombia como de España, en cada uno de los modelos y períodos (2015-2016), en las siguientes categorías: totalmente eficientes (índice = 1), eficiencia alta (1>índice>media) y eficiencia baja o no eficientes (índice < media). TABLA 13 UNIVERSIDADES CLASIFICADAS POR CATEGORÍAS DE EFICIENCIA SUE- COLOMBIA SUE- ESPAÑA SUE - COLOMBIA BCC-O 2015 BCC-O 2016 MODELO 1 MODELO 2 MODELO 1 MODELO 2 INDICE DE EFICIENCIA MEDIA 0,711 0,914 0,791 0,902 TOTALMENTE EFICIENTES (EF= 1) udetol udetol udea unal udecun ufpso udecun unillanos unal unal udist udist unillanos uniquindio ufpso udist uis ufpso unal unimag unillanos udea utch uis unad utch ufpsc militar upoc EFICIENCIA ALTA (EF > MEDIA) unipac unillanos unipac ufpso univalle udea unisucre udea uniquindio unimag univalle univalle unad uis militar unisucre ufpsc udist ucolm uis ucolm univalle utp ufpsc utch unicaldas utch ufpsc utp unipac unicaldas utp militar unicaldas upoc unicart unicart unipac uptc NO EFICIENTES (EF < MEDIA) unisucre ucolm udetol udetol unicaldas upoc uniquindio ucolm utp militar unimag uniquindio unicart uptc unicart unimag unipamp unipamp uptc unipamp upoc unisucre unipamp unicauca uniguajira unicauca unicauca unisur unicord unisur unisur unicord unicauca unicord unicord unariño uniatlantico unariño unariño uniatlantico unisur uniatlantico uniatlantico uniamaz unariño uniamaz uniamaz upnal uptc upnal upnal uniguajira uniamaz uniguajira uniguajira unad upnal unad udecun udecun SUE - ESPAÑA BCC-O 2015 BCC-O 2016 MODELO 1 MODELO 2 MODELO 1 MODELO 2 INDICE DE EFICIENCIA MEDIA 0,654 0,937 0,587 0,951 TOTALMENTE EFICIENTES (EF= 1) UAB UAB UAB UMH UB UB UB URV UNED UNIRIOJA UNIRIOJA UAL UNIRIOJA UPF UPF UPF UIB UNED UCM UCM UV EFICIENCIA ALTA (EF > MEDIA) UPO UDL URJC UIB UMH URV UV UA URJC UDG UAM USAL UIB UMH UPO EHU UAM UAM UIB UPCT UGR UCM UDG UMA UDG UPO UGR UB UDL UV UBU UHU URV UBU UDL UGR UVIGO UGR UMH UDG UM URJC URV UJAEN UBU UPCT UNEX UPNA URJC UNICAN UBU UCO UPNA EHU NO EFICIENTES (EF < MEDIA) UPNA UNILEON UC3M UM UNICAN UAH UNICAN ULL UAH UJI UAL UCA UC3M UM EHU UPO UCO USAL UPNA UPC UAL US US UVIGO US UC3M UVIGO UNIZAR UPCT UVIGO UMA UNED USC UJAEN UAH UNICAN UJI UNED UM UNIOVI EHU UNIZAR UPCT UPV UA UDC UNILEON UPM USAL UNIOVI UJAEN UDC UNILEON USC UPV UVA UJAEN UA UPC UV UPV ULL UHU UNILEON UDC UAL USC UPF UHU UNEX UJI UCO UNIOVI UHU UNIZAR UCM UNEX UPV USAL UJI ULL UCLM UCO UDL UMA UPC UA ULPGC UNIZAR UVA UNIOVI UC3M UPC UPM UNEX UAH UCLM UMA UPM UNIRIOJA UCA UCA UDC UCLM UPM ULPGC ULL UAM UVA UCLM UAB ULPGC UCA USC UVA US ULPGC Fuente: Elaborada por los autores. Nota: Para el sistema universitario colombiano se tienen 11 universidades totalmente eficientes, 6 con eficiencia alta y 15 con baja eficiencia, para ambos períodos (2015-2016), bajo el modelo 1, y con todas las variables input-output representativas. Las universidades colombianas con la más baja calificación en 2015 y 2016 son la upnal y uniguajira (0.2280 y 0.3792). En el sistema español, se destacan 3 universidades eficientes en los años 2015 y 2016, tanto en retornos constantes como variables: la UB, la UNED y la UPF. La ULPGC es la institución con la calificación más baja en ambos períodos (0.3083 y 0.2503). Para el SUE Colombiano, Ramos Ruiz et al. (2015) calculan índices de eficiencia bajo modelos DEA BCC-O obteniendo 13 y 15 instituciones la categoría de eficientes en los períodos 2007 y 2013, con índices de eficiencia media de 0.836 y 0.827 respectivamente. Algunas de estas universidades se mantienen en esa categoría en 2015 y 2016 en el presente estudio (unal, udea, udetol, ufpso y ufpsc). Visbal-Cadavid et al. (2016) categorizaron un total de 20 universidades colombianas como totalmente eficientes en el año 2011, también con el modelo BCC-O, manteniéndose en esa categoría de totalmente eficiente 5 universidades (unal, udea, uis, ufpso y udist). García y González (2011) clasifican 17 universidades colombianas como eficientes en el período 2003-2009, con un índice promedio de 89% de eficiencia, manteniéndose en las 10 primeras 3 de las clasificadas en este trabajo como totalmente eficientes (uis, udetol y udist). Rodríguez-Varela Y Gómez-Sancho (2015) en la aplicación de retornos variables calculan índices de eficiencia para el 2015 y determinan como totalmente eficientes sólo 3 universidades colombianas (unicord, uniatlantico y udetol), de las cuales sólo aparece udetol en la clasificación para el 2015 realizada en este estudio, mientras que las otras dos universidades se consideran con una baja eficiencia (inferior a la media). Con relación al sistema universitario español, en la Tabla 12 se detallan los índices de eficiencia calculados para cada una de las instituciones universitarias. Para el año 2016, aplicando el método BCC-O sólo hay 3 universidades eficientes (UAL, URV y UMH), las cuales también son consideradas por Gómez-Sancho Y Mancebón-Torrubia (2012) como eficientes en su investigación; y aunque son diferentes a las que se presentan en el modelo 1, seguramente se debe a la transformación de las variables a través del ACC. Aunque no existen muchos estudios en los últimos 5 años, a nivel de instituciones en el sistema de educación superior público español (Parellada & Duch, 2006; Vásquez Rojas, 2010; Gómez-Sancho & Mancebón-Torrubia, 2012; Martí Selva, Puertas-Medina, & Calafat-Marzal, 2014), ya que la mayoría se han realizado a nivel de departamentos al interior de las universidades, destaca el trabajo más reciente (Martí Selva et.al, 2014) en el que se encuentran 18 universidades españolas eficientes para el año 2006, dentro de las cuales permanecen en este estudio la URV y UMH en los años 2015 y 2016. Vásquez Rojas (2010) revela índices de eficiencia promedio para las universidades españolas, muy cercanos en 2005 y 2007, a razón de 0.9608 y 0.9378 respectivamente; mientras que los resultados aquí mostrados difieren sustancialmente, obteniendo índices promedio de eficiencia en 2015 y 2016 de 0.6537 y 0.5865 respectivamente. La Tabla 14 muestra un consolidado de los índices de eficiencia calculados, para cada uno de los sistemas universitarios estatales (España y Colombia) con el fin de evaluar las metodologías y modelos utilizados en ambos períodos (2015-2016). Las universidades públicas colombianas tienen alta variabilidad en los resultados, al igual que altos índices promedio de eficiencia e ineficiencia, lo que indica una alta desigualdad en su sistema de educación superior pública. El índice promedio de eficiencia con el modelo 1 BCC-O asciende a 0.7107 y 0.7911 en 2015 y 2016 respectivamente. Y la eficiencia mínima está en 0.1250 y 0.1568 para los mismos años. Las universidades estatales españolas tienen baja variabilidad en los resultados, mostrando bajos índices promedio de eficiencia e ineficiencia, lo que indica una homogeneidad en la agrupación de los datos. El índice promedio de eficiencia con el modelo 1 BCC-O asciende a 0.6537 y 0.5865 en 2015 y 2016 respectivamente. Y la eficiencia mínima está en 0.3083 y 0.2503 para los mismos años. TABLA 14 COMPARATIVO DE LOS NIVELES DE EFICIENCIA MÉTODOS CCRO-BCCO ENTRE LAS UNIVERSIDADES PÚBLICAS DE COLOMBIA Y ESPAÑA (2015-2016) MÈTODO CCR-O (Charnes, Cooper and Rhodes. Retornos constantes - Orientación Output) MODELO 1 MODELO 2 ESPAÑA COLOMBIA ESPAÑA COLOMBIA 2015 2016 2015 2016 2015 2016 2015 2016 Promedio de Eficiencia 0,544 0,483 0,567 0,705 0,873 0,909 0,867 0,848 Desviación Estándar 0,196 0,189 0,284 0,240 0,054 0,044 0,094 0,089 Mínimo 0,296 0,247 0,125 0,157 0,755 0,783 0,618 0,585 Máximo 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 MÈTODO BCCO-O (Banker, Charnes and Cooper. Retornos variables - Orientación Output) MODELO 1 MODELO 2 ESPAÑA COLOMBIA ESPAÑA COLOMBIA 2015 2016 2015 2016 2015 2016 2015 2016 Promedio de Eficiencia 0,654 0,587 0,711 0,791 0,937 0,951 0,914 0,902 Desviación Estándar 0,214 0,214 0,275 0,221 0,039 0,030 0,062 0,063 Mínimo 0,308 0,250 0,228 0,379 0,864 0,893 0,791 0,771 Máximo 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 Fuente: Elaborada por los autores, con base en los resultados procesados en DEA-solver. 7. DISCUSIÓN Y CONCLUSIONES La educación superior viene enfrentando desafíos, no sólo en términos de su contribución en la generación y transmisión de conocimiento hacia la sociedad, sino en la utilización de sus limitados recursos para cumplir con ellos. Retos para la nueva década 2020 y siguientes, como los de la internacionalización y movilidad, empoderamiento de la identidad iberoamericana y responsabilidad social universitaria, solo son posibles si se conjugan con un reforzamiento de la autonomía universitaria, la gobernanza y la financiación a través de la rendición de cuentas, la eficiencia y la eficacia en la utilización de los recursos. Así, ser eficientes y mostrarse en términos de calidad y excelencia a los ciudadanos y a los gobiernos, constituye un reto que imprime la nueva gestión pública a las instituciones universitarias de todo orden y categoría. Este estudio ha pretendido incursionar en el ámbito de la medición de la eficiencia en las instituciones de educación superior públicas de Colombia y España, irrumpiendo en un campo de investigación con todas sus complejidades relativas a la propia naturaleza de este tipo de organizaciones, que desarrollan múltiples actividades, con múltiples recursos compartidos, para entregar múltiples resultados. Así, la aportación relevante ha sido enfrentar los aspectos metodológicos propios de la especificación de una función de producción que pretende ser evaluada en el ámbito de la educación superior, ahondando en la tipología y cuantificación de los insumos(inputs) y productos (outputs) relevantes y en la descripción matemática de su relación. Para ello se utilizó el análisis de correlación canónica (ACC), como metodología de análisis multivariante, poco utilizada en este ámbito, pero muy útil para dar significancia y representatividad a las variables que son tenidas en cuenta para hacer los cálculos de la eficiencia relativa con modelos DEA. Se confirma la utilidad en su abordaje metodológico en sistemas de educación superior de uno o varios países (Wolszczak-Derlacz & Parteka, 2011; Rodríguez-Varela & Gómez-Sancho, 2018; Agasisti & Wolszczak-Derlacz, 2015). Los resultados obtenidos, permiten contrastar algunas hipótesis planteadas previamente alrededor del número de universidades eficientes con cada uno de los métodos y modelos. Con el método BCC siempre el número de DMU`s eficientes superan a las obtenidas con el método CCR (Ramos Ruiz et al., 2015; Visbal-Cadavid et al., 2016). En cuanto a los sistemas de educación superior para cada país, hay una relación estrecha con el contexto y las políticas públicas. En Colombia, destaca la desigualdad en términos de recursos vs. productos, mostrándose un mayor volumen de universidades eficientes que en España, pero una mayor distancia entre universidades eficientes e ineficientes. En España, al contrario, hay una mayor homogeneidad en los datos con índices de eficiencia más pequeños y agrupados y, una menor distancia entre universidades eficientes e ineficientes. Otros estudios que abordan la medición de eficiencia en las instituciones de educación superior de Colombia y España difieren significativamente con los resultados obtenidos en este trabajo, debido principalmente a aspectos metodológicos y muestrales (delimitación de los outputs e inputs de la actividad universitaria, la selección de la técnica y el modelo de evaluación y, la elección de la muestra y períodos de tiempo adecuados). Esto corrobora la dificultad comparativa (Gómez Sancho & Mancebón Torrubia, 2012), y refuerza las grandes críticas realizadas a las clasificaciones homogeneizadoras que desde inicios de siglo imperan. La contribución del trabajo radica en demostrar que, aun teniendo sistemas de educación superior pública en el espacio iberoamericano, independientes y no necesariamente relacionados, se puede realizar una etapa previa de análisis con el ACC que brinde representatividad a las variables de entrada y salida necesarias para los cálculos de eficiencia con modelos DEA. Además, en esta etapa preliminar, con la metodología ACC se puede realizar una transformación de variables para reducirlas y generar una ponderación a priori que mejore su capacidad de discriminación, otorgando índices más ajustados, confiables y significativos. La conclusión más importante es que, al abordar mediciones de eficiencia en educación superior se debe ser muy riguroso en la elección de variables, metodologías, períodos de tiempo, y unidades a evaluar. Se debe ser consonante con el objetivo planteado, y permitir la comparabilidad, a efectos de gestión de recursos, planes de mejoramiento, estrategias de seguimiento. Por ello, este estudio deja planteados caminos alternativos de investigación, para la medición de la eficiencia en educación superior, como una prioridad de gestión pública. REFERENCIAS Abbott, M., & Doucouliagos, C. (2003). The efficiency of Australian universities: A data envelopment analysis. Economics of Education Review, 22(1), 89-97. Recuperado de https://doi.org/10.1016/S0272-7757(01)00068-1 Abbott M. Doucouliagos C 2003 The efficiency of Australian universities: A data envelopment analysis Economics of Education Review 22 1 89 97 Recuperado de 10.1016/S0272-7757(01)00068-1 Agasisti, T., & Haelermans, C. (2016). Comparing Efficiency of Public Universities among E uropean Countries: Different Incentives Lead to Different Performances.Higher Education Quarterly,70(1), 81-104. Agasisti T. Haelermans C 2016 Comparing Efficiency of Public Universities among E uropean Countries: Different Incentives Lead to Different Performances Higher Education Quarterly 70 1 81 104 Agasisti, T., & Wolszczak-Derlacz, J. (2015). Exploring efficiency differentials between Italian and Polish universities, 2001-11. Science and Public Policy, 43(1), 128-142. Agasisti T. Wolszczak-Derlacz J 2015 Exploring efficiency differentials between Italian and Polish universities, 2001-11 Science and Public Policy 43 1 128 142 Álvarez, A (2001) La Medición de la Eficiencia y la Productividad. Madrid, ES: Editorial Pirámide. Álvarez A 2001 La Medición de la Eficiencia y la Productividad Madrid, ES Editorial Pirámide Andrews, R., Beynon, M. J., & McDermott, A. (2019). Configurations of New Public Management reforms and the efficiency, effectiveness and equity of public healthcare systems: a fuzzy-set Qualitative Comparative Analysis. Public management review, 21(8), 1236-1260. Andrews R. Beynon M. J. McDermott A 2019 Configurations of New Public Management reforms and the efficiency, effectiveness and equity of public healthcare systems: a fuzzy-set Qualitative Comparative Analysis Public management review 21 8 1236 1260 Athanassopoulos, A. D., & Shale, E. (1997). Assessing the comparative efficiency of higher education institutions in the UK by the means of data envelopment analysis.Education economics, 5(2), 117-134. Athanassopoulos A. D. Shale E 1997 Assessing the comparative efficiency of higher education institutions in the UK by the means of data envelopment analysis Education economics 5 2 117 134 Avkiran, N. K. (2001). Investigating technical and scale efficiencies of Australian universities through data envelopment analysis. Socio-economic planning sciences, 35(1), 57-80. Avkiran N. K 2001 Investigating technical and scale efficiencies of Australian universities through data envelopment analysis Socio-economic planning sciences 35 1 57 80 Azor Hernandez, J. L., Sánchez García, J. E., & DelaCerda Gastélum, J. (2018). Generalization of the canonical correlation method applied to an economy problem Generalización del método de correlaciones canónicas aplicado a un problema de economía. Revista Internacional de Gestión Del Conocimiento y La Tecnología, 6(1), 1-14. Azor Hernandez J. L. Sánchez García J. E. DelaCerda Gastélum J 2018 Generalization of the canonical correlation method applied to an economy problem Generalización del método de correlaciones canónicas aplicado a un problema de economía Revista Internacional de Gestión Del Conocimiento y La Tecnología 6 1 1 14 Badii, M. H., & Castillo, J. (2007). Análisis de correlación canónica (ACC) e investigación científica. Innovaciones De Negocios, 4(2), 405-422. Badii M. H. Castillo J 2007 Análisis de correlación canónica (ACC) e investigación científica Innovaciones De Negocios 4 2 405 422 Banker, R. D., Charnes, A., & Cooper, W. W. (1984). Some models for estimating technical and scale inefficiencies in data envelopment analysis. Management science, 30(9), 1078-1092. Banker R. D. Charnes A. Cooper W. W 1984 Some models for estimating technical and scale inefficiencies in data envelopment analysis Management science 30 9 1078 1092 Bougnol, M. L., & Dulá, J. H. (2006). Validating DEA as a ranking tool: An application of DEA to assess performance in higher education. Annals of Operations Research, 145(1), 339-365. Bougnol M. L. Dulá J. H 2006 Validating DEA as a ranking tool: An application of DEA to assess performance in higher education Annals of Operations Research 145 1 339 365 Broucker, B., De Wit, K., & Verhoeven, J. C. (2018). Higher education for public value: taking the debate beyond New Public Management. Higher Education Research & Development, 37(2), 227-240. Broucker B. De Wit K. Verhoeven J. C 2018 Higher education for public value: taking the debate beyond New Public Management Higher Education Research & Development 37 2 227 240 Brunner, J. J., & Miranda, D. (2016). Educación Superior en Iberoamérica(Reporte 2016). Santiago, Chile: Cinda. Brunner J. J. Miranda D 2016 Educación Superior en Iberoamérica Reporte 2016 Santiago, Chile Cinda Buitrago-Suescún, O. Y., Espitia-Cubillos, A. A., & Molano-García, L. (2017). Análisis envolvente de datos para la medición de la eficiencia en instituciones de educación superior: una revisión del estado del arte. Revista Científica General José María Córdova, 15(19), 147-173. Recuperado dehttp://dx.doi.org/10.21830/19006586.84 Buitrago-Suescún O. Y. Espitia-Cubillos A. A. Molano-García L 2017 Análisis envolvente de datos para la medición de la eficiencia en instituciones de educación superior: una revisión del estado del arte Revista Científica General José María Córdova 15 19 147 173 Recuperado de 10.21830/19006586.84 Chang, T. Y., Chung, P. H., & Hsu, S. S. (2012). Two-stage performance model for evaluating the managerial efficiency of higher education: Application by the Taiwanese tourism and leisure department.Journal of Hospitality, Leisure, Sport & Tourism Education,11(2), 168-177. Chang T. Y. Chung P. H. Hsu S. S 2012 Two-stage performance model for evaluating the managerial efficiency of higher education: Application by the Taiwanese tourism and leisure department Journal of Hospitality, Leisure, Sport & Tourism Education 11 2 168 177 Charnes, A., Cooper, W. W., & Rhodes, E. (1978). Measuring the efficiency of decision making units. European Journal of Operational Research, 2(6), 429-444. Charnes A. Cooper W. W. Rhodes E 1978 Measuring the efficiency of decision making units European Journal of Operational Research 2 6 429 444 Charnes, A., Cooper, W. W., & Rhodes, E. (1981). Evaluating program and managerial efficiency: an application of data envelopment analysis to program follow through.Management science,27(6), 668-697. Charnes A. Cooper W. W. Rhodes E 1981 Evaluating program and managerial efficiency: an application of data envelopment analysis to program follow through Management science 27 6 668 697 Cloete, N., & Moja, T. (2005). Transformation tensions in higher education: Equity, efficiency, and development. Social Research, 72(3), 693-722. Cloete N. Moja T 2005 Transformation tensions in higher education: Equity, efficiency, and development Social Research 72 3 693 722 Debnath, R. M., & Shankar, R. (2014). Does good governance enhance happiness: a cross nation study. Social indicators research, 116(1), 235-253. Debnath R. M. Shankar R 2014 Does good governance enhance happiness: a cross nation study Social indicators research 116 1 235 253 De-Juanas Oliva, Á, & Beltrán Llera, J. A. (2013). Valoraciones de los estudiantes de ciencias de la educación sobre la calidad de la docencia universitaria. Educación XX1, 17(1), 59-82. De-Juanas Oliva Á Beltrán Llera J. A 2013 Valoraciones de los estudiantes de ciencias de la educación sobre la calidad de la docencia universitaria Educación XX1 17 1 59 82 Fandel, G. (2007). On the performance of universities in North Rhine-Westphalia, Germany: Government’s redistribution of funds judged using DEA efficiency measures. European Journal of Operational Research, 176(1), 521-533. Fandel G 2007 On the performance of universities in North Rhine-Westphalia, Germany: Government’s redistribution of funds judged using DEA efficiency measures European Journal of Operational Research 176 1 521 533 Farrel, M. J. (1957). The measurement of Productive efficiency. Journal of the Royal Statistical Society. Series A (General), 120(3), 253-290. Farrel M. J 1957 The measurement of Productive efficiency Journal of the Royal Statistical Society. Series A (General) 120 3 253 290 Frey, B. S., & Jegen, R. (2001). Motivation crowding theory. Journal of economic surveys, 15(5), 589-611. Frey B. S. Jegen R 2001 Motivation crowding theory Journal of economic surveys 15 5 589 611 Friedman, L., & Sinuany-Stern, Z. (1997). Scaling units via the canonical correlation analysis in the DEA context. European Journal of Operational Research, 100(3), 629-637. Friedman L. Sinuany-Stern Z 1997 Scaling units via the canonical correlation analysis in the DEA context European Journal of Operational Research 100 3 629 637 García Sánchez, I. M. (2007). La nueva gestión pública: Evolución y tendencias. Presupuesto Y Gasto Público, 47, 37-64. García Sánchez I. M 2007 La nueva gestión pública: Evolución y tendencias Presupuesto Y Gasto Público 47 37 64 García, A., González, M., (2011). La evaluación de la eficiencia de las universidades públicas de Colombia utilizando el Análisis Envolvente De Datos (AED). Bucaramanga, Colombia: Universidad Industrial de Santander. García A. González M 2011 La evaluación de la eficiencia de las universidades públicas de Colombia utilizando el Análisis Envolvente De Datos (AED) Bucaramanga, Colombia Universidad Industrial de Santander García-Aracil, A. (2013). Understanding productivity changes in public universities: Evidence from Spain.Research evaluation,22(5), 351-368. García-Aracil A 2013 Understanding productivity changes in public universities: Evidence from Spain Research evaluation 22 5 351 368 Giménez-Toledo, E., & Tejada-Artigas, C. M. (2015). Proceso de publicación, calidad y prestigio de las editoriales científicas en educación. EducaciónXX1, 18(1), 17-44. Giménez-Toledo E. Tejada-Artigas C. M 2015 Proceso de publicación, calidad y prestigio de las editoriales científicas en educación EducaciónXX1 18 1 17 44 Gómez-Sancho, J. M., & Mancebón-Torrubia, M. J. (2005). Algunas reflexiones metodológicas sobre la evaluación de la eficiencia productiva de las instituciones de educación superior. Ekonomiaz: Revista Vasca De Economía, 60(1), 140-167. Gómez-Sancho J. M. Mancebón-Torrubia M. J 2005 Algunas reflexiones metodológicas sobre la evaluación de la eficiencia productiva de las instituciones de educación superior Ekonomiaz: Revista Vasca De Economía 60 1 140 167 Gómez-Sancho, J. M., & Mancebón-Torrubia, M. J. (2012). La evaluación de la eficiencia de las universidades públicas españolas: En busca de una evaluación neutral entre áreas de conocimiento. Presupuesto y gasto público, 67(2), 43-70. Gómez-Sancho J. M. Mancebón-Torrubia M. J 2012 La evaluación de la eficiencia de las universidades públicas españolas: En busca de una evaluación neutral entre áreas de conocimiento Presupuesto y gasto público 67 2 43 70 González, A., Ramoni, J., & Orlandoni, G. (2017). Evaluación de la eficiencia de las Universidades Estatales Colombianas. Comunicaciones en Estadística,10(1), 83-100. González A. Ramoni J. Orlandoni G 2017 Evaluación de la eficiencia de las Universidades Estatales Colombianas Comunicaciones en Estadística 10 1 83 100 Hauner, D., & Kyobe, A. (2010). Determinants of government efficiency. World Development, 38(11), 1527-1542. Hauner D. Kyobe A 2010 Determinants of government efficiency World Development 38 11 1527 1542 Hotelling, H. (1935). Demand functions with limited budgets. Econometrica: Journal of the Econometric Society, 3(1), 66-78. Hotelling H 1935 Demand functions with limited budgets Econometrica: Journal of the Econometric Society 3 1 66 78 Johnes, J. (2006). Data envelopment analysis and its application to the measurement of efficiency in higher education. Economics of education review, 25(3), 273-288. Johnes J 2006 Data envelopment analysis and its application to the measurement of efficiency in higher education Economics of education review 25 3 273 288 Johnes, J., & Li, Y. U. (2008). Measuring the research performance of Chinese higher education institutions using data envelopment analysis. China economic review, 19(4), 679-696. Johnes J. Li Y. U 2008 Measuring the research performance of Chinese higher education institutions using data envelopment analysis China economic review 19 4 679 696 Kao, C., & Hung, H. T. (2008). Efficiency analysis of university departments: An empirical study.Omega,36(4), 653-664. Kao C. Hung H. T 2008 Efficiency analysis of university departments: An empirical study Omega, 36 4 653 664 Kuah, C. T., & Wong, K. Y. (2013). Data Envelopment Analysis modeling for measuring knowledge management performance in Malaysian higher educational institutions.Information Development,29(3), 200-216. Kuah C. T. Wong K. Y 2013 Data Envelopment Analysis modeling for measuring knowledge management performance in Malaysian higher educational institutions Information Development 29 3 200 216 Lane, J. E. (2002). New public management: an introduction. London, UK: Routledge. Lane J. E 2002 New public management: an introduction London, UK Routledge Laureti, T., Secondi, L., & Biggeri, L. (2014). Measuring the efficiency of teaching activities in Italian universities: An information theoretic approach.Economics of Education Review,42, 147-164. Laureti T. Secondi L. Biggeri L 2014 Measuring the efficiency of teaching activities in Italian universities: An information theoretic approach Economics of Education Review 42 147 164 Martí-Selva, M. L., Puertas-Medina, R., & Calafat-Marzal, C. (2014). Calidad y eficiencia de las Universidades Públicas Españolas.Revista de Estudios Regionales,99, 135. Martí-Selva M. L. Puertas-Medina R. Calafat-Marzal C 2014 Calidad y eficiencia de las Universidades Públicas Españolas Revista de Estudios Regionales 99 135 135 Mateos-González, J. L., & Boliver, V. (2019). Performance-based university funding and the drive towards ‘institutional meritocracy’in Italy. British Journal of Sociology of Education, 40(2), 145-158. Mateos-González J. L. Boliver V 2019 Performance-based university funding and the drive towards ‘institutional meritocracy’in Italy British Journal of Sociology of Education 40 2 145 158 Maza-Ávila, F. J., Quesada-Ibargüen, V. M., & Vergara-Schmalbach, J. C. (2013). Efficiency and productivity of the quality of education in municipalities in the State of Bolivar, Colombia.Entramado, 9(2), 28-39. Maza-Ávila F. J. Quesada-Ibargüen V. M. Vergara-Schmalbach J. C 2013 Efficiency and productivity of the quality of education in municipalities in the State of Bolivar, Colombia Entramado 9 2 28 39 Maza Ávila, F. J., Vergara Schmalbach, J. C., & Román Romero, R. (2017). Eficiencia y productividad en la cobertura de las Universidades públicas colombianas. Efficiency and productivity in access to Colombian public universities. Investigación y Desarrollo, 25(2), 6-33. Maza Ávila F. J. Vergara Schmalbach J. C. Román Romero R 2017 Eficiencia y productividad en la cobertura de las Universidades públicas colombianas. Efficiency and productivity in access to Colombian public universities Investigación y Desarrollo 25 2 6 33 Melo-Becerra, L. A., Ramos-Forero, J. E., & Hernández-Santamarí, P. O. (2017). La educación superior en Colombia: situación actual y análisis de eficiencia. Revista Desarrollo y Sociedad, 78, 59-111. Melo-Becerra L. A. Ramos-Forero J. E. Hernández-Santamarí P. O 2017 La educación superior en Colombia: situación actual y análisis de eficiencia Revista Desarrollo y Sociedad 78 59 111 Moncayo-Martínez, L. A., Ramírez-Nafarrate, A., & Hernández-Balderrama, M. G. (2020). Evaluation of public HEI on teaching, research, and knowledge dissemination by Data Envelopment Analysis. Socio-Economic Planning Sciences, 69(100718), 1-15. Moncayo-Martínez L. A. Ramírez-Nafarrate A. Hernández-Balderrama M. G 2020 Evaluation of public HEI on teaching, research, and knowledge dissemination by Data Envelopment Analysis Socio-Economic Planning Sciences 69 100718 1 15 Moreno-Enguix, M. D. R., Lorente-Bayona, L. V., & Gras-Gil, E. (2019). Social and Political Factors Affect the Index of Public Management Efficiency: A Cross-Country Panel Data Study. Social Indicators Research: An International and Interdisciplinary Journal for Quality-of-Life Measurement, 144(1), 299-313. Moreno-Enguix M. D. R. Lorente-Bayona L. V. Gras-Gil E 2019 Social and Political Factors Affect the Index of Public Management Efficiency: A Cross-Country Panel Data Study Social Indicators Research: An International and Interdisciplinary Journal for Quality-of-Life Measurement 144 1 299 313 Mukokoma, M. M. N., & van Dijk, M. P. (2013). New public management reforms and efficiency in urban water service delivery in developing countries: blessing or fad? Public Works Management & Policy, 18(1), 23-40. Mukokoma M. M. N. van Dijk M. P 2013 New public management reforms and efficiency in urban water service delivery in developing countries: blessing or fad? Public Works Management & Policy 18 1 23 40 Munoz, D. A. (2016), Assessing the research efficiency of higher education institutions in Chile: A data envelopment analysis approach.International Journal of Educational Management, 30(6), 809-825. Munoz D. A. 2016 Assessing the research efficiency of higher education institutions in Chile: A data envelopment analysis approach International Journal of Educational Management 30 6 809 825 Parellada, M., & Duch, N. (2006). Descentralización autonómica y sistema universitario. Mediterráneo Económico: Un balance del estado de las Autonomías, 10, 405-426. Parellada M. Duch N 2006 Descentralización autonómica y sistema universitario Mediterráneo Económico: Un balance del estado de las Autonomías 10 405 426 Pedraja Chaparro, F., Salinas Jimenez, J., & Smith, P. (1994). La restricción de las ponderaciones en el análisis envolvente de datos: Una fórmula para mejorar la evaluación de la eficiencia. Investigaciones Económicas, 18(2), 365-380. Pedraja Chaparro F. Salinas Jimenez J. Smith P 1994 La restricción de las ponderaciones en el análisis envolvente de datos: Una fórmula para mejorar la evaluación de la eficiencia Investigaciones Económicas 18 2 365 380 Peña, C. R. (2008). Um modelo de avaliação da eficiência da administração pública através do método análise envoltória de dados (DEA). Revista de Administração Contemporânea, 12(1), 83-106. Peña C. R 2008 Um modelo de avaliação da eficiência da administração pública através do método análise envoltória de dados (DEA) Revista de Administração Contemporânea 12 1 83 106 Pérez-Esparrels, C., & Gómez-Sancho, J. M. (2011). Los rankings internacionales de las instituciones de educación superior y las clasificaciones universitarias en España: visión panorámica y prospectiva de futuro. In Anales do 18º Encuentro de Economía Pública, Málaga, España. Pérez-Esparrels C. Gómez-Sancho J. M 2011 Los rankings internacionales de las instituciones de educación superior y las clasificaciones universitarias en España: visión panorámica y prospectiva de futuro Anales do 18ºEncuentro de Economía Pública Málaga, España Ramírez-Gutiérrez, Z., Barrachina-Palanca, M., & Ripoll-Feliu, V. (2019). University Rankings disclosure and efficiency in higher education: A bibliometric analysis and systematic review. Revista de educación, 384, 247-286. Ramírez-Gutiérrez Z. Barrachina-Palanca M. Ripoll-Feliu V 2019 University Rankings disclosure and efficiency in higher education: A bibliometric analysis and systematic review Revista de educación 384 247 286 Ramos Ruiz, J. L., Moreno Cuello, J., Almanza Ramírez, C., Picón Viana, C. J., & Rodríguez Albor, G.(2015). Universidades públicas en Colombia: Una perspectiva de la eficiencia productiva y la capacidad científica y tecnológica. Barranquilla, Colombia: Universidad del Norte. Ramos Ruiz J. L. Moreno Cuello J. Almanza Ramírez C. Picón Viana C. J. Rodríguez Albor G. 2015 Universidades públicas en Colombia: Una perspectiva de la eficiencia productiva y la capacidad científica y tecnológica Barranquilla, Colombia Universidad del Norte Ray, S. C. (1991). Resource-use efficiency in public schools: A study of Connecticut data. Management science,37(12), 1620-1628. Ray S. C 1991 Resource-use efficiency in public schools: A study of Connecticut data Management science 37 12 1620 1628 Rhodes, E. L. y Southwick, L. (1993). “Variations in public and private university efficiency”. Public Policy Applications of Management Science, 7, 145-170. Rhodes E. L. Southwick L 1993 “Variations in public and private university efficiency” Public Policy Applications of Management Science 7 145 170 Rodríguez-Varela, D., & Gómez-Sancho, J. M. (2018). La evaluación de la eficiencia en universidades públicas de Colombia y Chile. In Anales do 28º Jornadas de la asociación de economía de la educación, Barcelona, España. Rodríguez-Varela D. Gómez-Sancho J. M 2018 La evaluación de la eficiencia en universidades públicas de Colombia y Chile Anales do 28ºJornadas de la asociación de economía de la educación Barcelona, España Sabando Vélez, Yonaida Ismenia, & Cruz Arteaga, Kerly Cecilia (2019). La Metodología no Paramétrica Data Envelopment Analysis en la medición de la eficiencia de los programas de vinculación universitaria. Revista Electrónica Cooperación Universidad Sociedad, 4(2), 15-23. Vélez Sabando Ismenia Yonaida Arteaga Cruz Cecilia Kerly 2019 La Metodología no Paramétrica Data Envelopment Analysis en la medición de la eficiencia de los programas de vinculación universitaria Revista Electrónica Cooperación Universidad Sociedad 4 2 15 23 Salinas-Jiménez, J., & Smith, P. (1996). Data envelopment analysis applied to quality in primary health care.Annals of Operations Research,67(1), 141-161. Salinas-Jiménez J. Smith P 1996 Data envelopment analysis applied to quality in primary health care Annals of Operations Research 67 1 141 161 Sarafoglou, N., & Haynes, K. E. (1996). University productivity in Sweden: a demonstration and explanatory analysis for economics and business programs.The Annals of Regional Science,30(3), 285-304. Sarafoglou N. Haynes K. E 1996 University productivity in Sweden: a demonstration and explanatory analysis for economics and business programs The Annals of Regional Science 30 3 285 304 Sav, G. T. (2012). Productivity, efficiency, and managerial performance regress and gains in United States universities: a Data Envelopment Analysis.Advances in Management and Applied Economics, 2(3), 13. Sav G. T 2012 Productivity, efficiency, and managerial performance regress and gains in United States universities: a Data Envelopment Analysis. Advances in Management and Applied Economics 2 3 13 13 Shi, Q., & Wang, D. (2004). A new perspective for solving the contradiction between equity and efficiency in higher education. Chinese Education & Society, 37(1), 72-88. Shi Q. Wang D 2004 A new perspective for solving the contradiction between equity and efficiency in higher education Chinese Education & Society 37 1 72 88 Silva, A. F., Neto, Silva, J. D. G., & Silva, M. C. (2017). Análise da eficiência da gestão pública das capitais brasileiras. Revista de Administração, Contabilidade e Sustentabilidade, 7(2), 85-100. Silva A. F Silva J. D. G Neto Silva M. C 2017 Análise da eficiência da gestão pública das capitais brasileiras Revista de Administração, Contabilidade e Sustentabilidade 7 2 85 100 Silva, C. R. M., & Crisóstomo, V. L. (2019). Gestão fiscal, eficiência da gestão pública e desenvolvimento socioeconômico dos municípios cearenses. Revista de Administração Pública, 53(4), 791-801. Silva C. R. M. Crisóstomo V. L 2019 Gestão fiscal, eficiência da gestão pública e desenvolvimento socioeconômico dos municípios cearenses Revista de Administração Pública 53 4 791 801 Soto Mejía, J. A., & Arenas Valencia, W. (2010). Análisis envolvente de datos de la teoria a la práctica: Fundamentos teóricos y prácticos. Pereira, Risaralda: Universidad Tecnológica de Pereira, Facultad de Ingeniería Industrial. Soto Mejía J. A. Arenas Valencia W 2010 Análisis envolvente de datos de la teoria a la práctica: Fundamentos teóricos y prácticos. Pereira, Risaralda Universidad Tecnológica de Pereira, Facultad de Ingeniería Industrial Soto Mejía, J. A., Vásquez Artunduaga, S., & Villegas Flórez, J. A. (2009). Medición de la eficiencia en las instituciones educativas oficiales del municipio de dosquebradas (risaralda) 2007. Scientia Et Technica, 3(43), 95-99. Soto Mejía J. A. Vásquez Artunduaga S. Villegas Flórez J. A 2009 Medición de la eficiencia en las instituciones educativas oficiales del municipio de dosquebradas (risaralda) 2007 Scientia Et Technica 3 43 95 99 Tiana Ferrer, A. (2018). Treinta años de evaluación de centros educativos en españa. Educación XX1, 21(2), 17-36. Tiana Ferrer A 2018 Treinta años de evaluación de centros educativos en españa Educación XX1 21 2 17 36 Vásquez Rojas, A. M. (2010). Estudio sobre la eficiencia técnica de las universidades públicas presenciales españolas. In M. J. Mancebón-Torrubia, D. P. Ximénez-de-Embún, J. M. Gómez-Sancho, & G. Gim (Eds.), Investigaciones de Economía de la Educación 5, (1 ed., vol. 5, cap. 35, pp. 689-702). Zaragoza, España: Asociación de Economía de la Educación. Vásquez Rojas A. M 2010 Estudio sobre la eficiencia técnica de las universidades públicas presenciales españolas Mancebón-Torrubia M. J. Ximénez-de-Embún D. P. Gómez-Sancho J. M. Gim G. Investigaciones de Economía de la Educación 5 1 ed. 5 35 689 702 Zaragoza, España Asociación de Economía de la Educación Visbal-Cadavid, D., Mendoza Mendoza, A., & Causado Rodríguez, E. (2016). Eficiencia en las instituciones de educación superior públicas colombianas: Una aplicación del análisis envolvente de datos. Civilizar.Ciencias Sociales Y Humanas, 16(30), 105-118. Visbal-Cadavid D. Mendoza Mendoza A. Causado Rodríguez E 2016 Eficiencia en las instituciones de educación superior públicas colombianas: Una aplicación del análisis envolvente de datos Civilizar.Ciencias Sociales Y Humanas 16 30 105 118 Wolszczak-Derlacz, J., & Parteka, A. (2011). Efficiency of European public higher education institutions: a two-stage multicountry approach. Scientometrics, 89(3), 887. Wolszczak-Derlacz J. Parteka A 2011 Efficiency of European public higher education institutions: a two-stage multicountry approach Scientometrics 89 3 887 887 10.1590/0034-761220190232x ARTICLE Efficiency in higher education. Empirical study in public universities of Colombia and Spain 0000-0001-7772-7302 Ramírez-Gutiérrez Zoraida 1 0000-0001-6270-0553 Barrachina-Palanca Mercedes 2 0000-0003-2436-1559 Ripoll-Feliu Vicente 2 1 Universidad del Cauca / Facultad de Ciencias Contables Económicas y Administrativas, Cauca - Colombia. 2 Universidad de Valencia / Facultad de Economía, Valencia - Spain. Zoraida Ramírez-Gutiérrez - Master in Economic and Financial Management; Full professor in the Department of Accounting, School of Accounting, Economics, and Management, Universidad del Cauca. E-mail: [e-mail] Mercedes Barrachina-Palanca - PhD in Economics and Business; Full professor in the Department of Accounting, School of Economics, Universidad de Valencia. E-mail: [e-mail] Vicente Ripoll-Feliu - PhD in Economic and Business; Full professor in the Department of Accounting, School of Economics, Universidad de Valencia. E-mail: [e-mail] Abstract In recent decades, Iberoamerican universities have introduced new quality assessment and accountability schemes, inspired by the New Public Management (NGP) model. In this context, efficiency in the distribution of public funds and obtaining the maximum possible return are a priority. Thus, measuring efficiency in the public sector, and specifically in higher education, has become a challenge for accounting science. The objective of this work is a proposal to calculate efficiency indices with Data Envelopment Analysis (DEA) models, introducing a previous step through the Analysis of Canonical Correlation (ACC). Using this technique, the aim is to improve discrimination capacity and overcome monodimensionality and lack of reliability in the representativeness of the chosen input and output variables. The study is applied in the public universities of Colombia and Spain during the years 2015 and 2016. The results obtained demonstrate the convenience of applying this preliminary step in the multivariate analysis. This reinforces the need to explore more rigorous methodologies in stages before and after the calculation of the efficiency indices. This practice increases confidence when using the indices to formulate policies and manage resources for the sector. Keywords: higher education canonical correlation analysis data envelopment analysis DEA efficiency university rankings 1. INTRODUCTION In recent decades, society has increasingly demanded an increase in transparency and accountability from public organizations. In response to this, and aiming to improve quality and ensure efficient use of public resources (C. R. M. Silva & Crisóstomo, 2019), most countries have introduced new management models in their institutions, inspired by the principles of new public management (NPM) (Andrews, Beynon, & McDermott, 2019; Broucker, De Wit, & Verhoeven, 2018; Lane, 2002), introducing management techniques from the private sector. Within this new paradigm, public higher education institutions have been pressured to improve their performance. Thus, many governments have implemented new regulations to professionalize universities in search of excellence. This market approach has fostered an interest in analyzing and comparing results between different universities, with particular emphasis on research (Mateos-González & Boliver, 2019). However, the increase in university quality should not be linked only to the university’s effectiveness, that is, achieving its objectives in terms of the number of publications, citations, or graduates (De-Juanas Oliva & Beltrán Llera, 2013; Giménez-Toledo & Tejada-Artigas, 2015), regardless of the cost or effort required. It is also important to consider efficiency, that is, the relationship between resources used and output produced, something indisputable given extreme resource constraints (Gómez-Sancho & Mancebón-Torrubia, 2005; Mateos-Gonzalez & Boliver, 2019). In the public sector, the concepts of quality and efficiency should be inseparable. As stated by Gómez-Sancho & Mancebón-Torrubia (2005), it is hard to imagine that a high-quality university could be inefficient. Quality should also be associated with optimizing resource use, thus improving the services provided to the population and contributing to socioeconomic development (Debnath & Shankar, 2014; Tiana Ferrer, 2018). On this background, this study aims to calculate efficiency scores using data envelopment analysis (DEA) by applying a preliminary calculation with canonical correlation analysis (CCA). Our main interest lies in multivariate methodological questions that are conducive to overcoming the unidimensionality and unreliable representativeness of the selected input and output variables, to improve the discriminatory power of efficiency analysis. The study considers Colombian and Spanish public universities in 2015 and 2016. Its key contribution is not so much the numerical results obtained (efficiency scores) for each university evaluated but the discussion of various methodological aspects arising from the evaluation process: formulation, delimitation, significance, and representativeness of inputs and outputs specific to public universities; technique selection; model evaluation; and selection of the units of analysis. The results obtained show the convenience of using CCA in a preliminary step in multivariate analysis to provide reliability and representativeness to the variables used for efficiency calculations in the public higher education sector. Colombian universities obtain high average efficiency scores (0.7107 and 0.7911) in 2015 and 2016 along with high inefficiency scores (0.2280 and 0.3792), with a high dispersion of the input and output data used in the calculation. Spanish universities show lower average efficiency (0.6537 and 0.5865) and dispersion levels. Eleven out of 32 Colombian universities and six out of 48 Spanish universities are fully efficient, showing that data refinement and the selection of appropriate methods increase the reliability of the final results and therefore their usefulness. This study is subdivided into four sections: the first reviews the literature on the subject of public management and efficiency in higher education; the second describes the CCA and DEA models applied in the study and the variables and units of analysis involved; the third describes and analyzes the empirical results obtained; finally, the fourth proceeds to the discussion and conclusions. 2. NEW PUBLIC MANAGEMENT AND EFFICIENCY IN HIGHER EDUCATION NPM emerged at the end of the 20th century from the need to use public resources with maximum efficiency, meet citizens’ demands, take advantage of the opportunities of a globalized and competitive world, and make societies more aligned with the collective will (Frey & Jegen, 2001; Agasisti & Haelermans, 2016). Thus, NPM aims to create a more efficient and effective administration in areas where a better supplier is not found, eliminating bureaucracy, adopting more rational processes, and having greater administrative autonomy (García Sánchez, 2007). In this context, measuring public sector efficiency, specifically in higher education, becomes a challenge for accounting (A. F. Silva, J. D. G. Silva, M. C. Silva & 2017). However, measuring university efficiency is not trivial; in fact, obtaining an easy and objective measurement is one of the main problems (Moreno-Enguix, Lorente-Bayona, & Gras-Gil, 2019). Efficiency has been a widely addressed topic in the context of private and for-profit organizations and generally implies doing things well, i.e., ensuring adequate distribution of the means utilized relative to the outcomes achieved (Álvarez, 2001). In the public sector, efficiency consists in optimizing resource use to obtain the maximum of goods and services in both quantitative and qualitative terms (Hauner & Kyobe, 2010; Mukokoma & Dijk, 2013; Peña 2008; A. F. Silva et al., 2017; Soto Mejía & Arenas Valencia, 2010). To assess organizational efficiency, it is necessary to specify a production function reflecting the process by which the entities under evaluation transform inputs into outputs (Johnes, 2006; Kuah & Wong, 2013; A. F. Silva et al., 2017). To construct a production function for universities, their normal activities must be considered (Moncayo-Martínez, Ramírez-Nafarrate, & Hernández-Balderrama, 2020). The productive efforts of universities involve simultaneously performing several activities of different kinds (activities related to the creation of knowledge—research activities—and its dissemination through teaching, transfer, and extension activities, along with other activities that universities perform as social agents) while sharing most resources (faculty, administrative and service staff, facilities, equipment, supplies, etc.). Like any other public organization, universities find it difficult to assign monetary values to the inputs and outputs of their production process given that they both generate multiple outputs (e.g., graduates and publications) and use multiple inputs (e.g., speakers and facilities) (Kuah & Wong, 2013). Many studies have sought to facilitate efficiency calculation in higher education from various perspectives (Abbott & Doucouliagos, 2003; Avkiran, 2001; Bougnol & Dulá, 2006; Cloete & Moja, 2005; Fandel, 2007; Johnes, 2006; Johnes & Li, 2008; Moncayo-Martínez et al., 2020; Shi & Wang, 2004). In the Ibero-American context, Colombia and Spain — which have undergone important transformations in the public management of their universities (Brunner & Miranda, 2016) — have specifically seen the emergence of studies addressing efficiency measurement in higher education (García & González, 2011; González, Ramoni, & Orlandoni, 2017; Maza-Ávila, Quesada-Ibargüen, & Vergara-Schmalbach, 2013; Maza Ávila, Vergara-Schmalbach, & Román Romero, 2017; Melo-Becerra, Ramos-Forero, & Hernández-Santamarí, 2014) that have aimed to assess and classify institutions, either to inform citizens or the government or to disclose their management capacity, impact, coverage, or social mission. It should be noted many of these papers focus more on the relationship between institutional inputs and outputs than on their overall performance since they compare universities by the units with best practices, based on their ability to maximize outputs given some available inputs (Johnes, 2006). The present study aims to provide a comprehensive view of both inputs and outputs — which must be relevant and significant — of the processes they engage in, by using appropriate methods, and of the results that ultimately allow the assessment and classification of the institutions. We finally aim to propose options for improvement and put forward individual and sector management policies. 4. METHODS AND DATA 4.1 CCA A previous step before using DEA in efficiency analysis is to select the most representative variables. This step is very important since the variables used directly affect the final score. The selection of these variables seeks to obtain good discrimination between efficient and inefficient units and set a boundary that best fits the observed data. Despite their significance, few studies propose preliminary methods to construct the variables that best represent the set of inputs and outputs used for efficiency analysis (Azor Hernández, Sánchez García, & DelaCerda Gastélum, 2018; Friedman & Sinuany-Stern, 1997; Moreno Sáez & Trillo del Pozo, 2001; Sabando Vélez, & Cruz Arteaga, 2019). To optimize this process, as a previous step before using DEA, the present study applies CCA to analyze the significance and representativeness of the selected variables (inputs, outputs) to calculate efficiency scores. CCA is a linear, multivariate statistical analysis method (Hotelling, 1935) used to identify, measure, and analyze associations between two sets of variables. While multiple regression predicts a single dependent variable from a set of independent variables, CCA facilitates the study of the interrelationships between multiple criterion variables (dependent) and multiple predictor variables (independent) (Badii & Castillo, 2007; Soto Mejía, Vásquez Artunduaga, & Villegas Flórez, 2009; Soto Mejía & Arenas Valencia, 2010). The mathematical expression of CCA is: y 1 + y 2 + y 3 + ⋯ + y n = x 1 + x 2 + x 3 + ⋯ + x n (1) CCA is a valuable tool in human factor research, as it involves a clear distinction between independent and dependent variables, multiple dependent variables, and the potential for multidimensional relationships between these two sets of variables. 4.2 Data and Variables According to Gómez-Sancho and Mancebón-Torrubia (2005), it has not been possible to specify a generally accepted production function of higher education. Inputs are usually proxies of capital and labor factors. While for the labor factor there seems to be agreement on using the number of full-time equivalent faculty (Chang, Chung, & Hsu, 2012; Johnes, 2006; Laureti, Secondi, & Biggeri, 2014; Rhodes & Southwick, 1993; Sarafoglou & Haynes, 1996; Sav, 2012), in the case of capital, the approaches are sufficiently different (infrastructure, technology, operating expenses, among others) that it continues to be an open topic for discussion. Outputs in all cases are related to the results of the two main activities in universities: teaching and research (Pérez-Esparrels & Gómez-Sancho, 2011), measured, for example, by the number of graduates (Athanassopoulos & Shale, 1997; Avrikan, 2001; Laureti et al., 2014; Rhodes & Southwick, 1993) and the number of publications (Chang et al., 2012; García-Aracil, 2013; Kao & Hung, 2008; Munoz, 2016; Kuah & Wong, 2013), respectively. The conclusion is there is no definitive standard to guide the selection of inputs and outputs in assessing university efficiency (Kuah & Wong, 2013). According to Buitrago-Suescún et al. (2017), the literature reports approximately 254 inputs and 230 outputs to measure education efficiency worldwide. In the present study, starting from the bibliometric and systemic analysis in Ramírez-Gutiérrez, Barrachina-Palanca, and Ripoll-Feliu (2019) of the existing literature within the area of efficiency in higher education, we have selected those variables (see Table 1) that have had the most impact in previous studies and were available in the databases (National System of Higher Education Institutions of Colombia - SNIES, for its initials in Spanish, and Integrated University Information System of Spain - SIIU, for its initials in Spanish) of Colombia and Spain. The study periods are 2015 and 2016. To formulate canonical functions, the smallest number of variables is considered, i.e., five for Colombia and three for Spain (see Table 1), since the number of possible canonical random variables (canonical dimensions) is equal to the number of variables in the smallest set (Badii & Castillo, 2007). TABLE 1 INPUT AND OUTPUT VARIABLES FOR MEASURING THE EFFICIENCY OF COLOMBIAN AND SPANISH PUBLIC UNIVERSITIES COLOMBIA SPAIN INPUT VARIABLES (Independent) (Prdedictive) (Explicative) OUTPUT VARIABLES (Dependent) (Criterion) (Explained) INPUT VARIABLES (Independent) (Predictive) (Explicative) OUTPUT VARIABLES (Dependent) (Criterion) (Explained) PROF_TCE: Full-Time Equivalent (FTE) Faculty GRAD_PREG Degree graduates PROF_TCE Full-Time Equivalent research and teaching staff GRAD_PREG Degree graduates ICAL_PDI Quality index of teaching and research staff GRAD_POST Postgraduate graduates ICAL_PDI Percentage of pdi doctor GRAD_POST Masters graduates NUM_ADM Full-Time Equivalent Administrative Staff GRUP_INV Research Groups NUM_ADM Administrative and service staff PAS PUB_WOS Publications in Scopus and Web of Science M2_USO_MISIONAL Missionary space in m2 REV_INDEX Indexed Journals TRANSF_EST Total public transfers TRANSFER_NACION Resources transferred by the State in COP TOTAL_PUB_SCOPUS Cumulative total number of Publications in Scopus TOTAL: 10 Variables (5 inputs - 5 outputs) TOTAL: 7 Variables (4 inputs - 3 outputs) INPUT VARIABLES OUTPUT VARIABLES Variable name Description Variable name Description Full-Time Equivalent Faculty PROF_TCE The conversion of time dedicated by professors to the universities is carried out. Per hour of teaching equivalent to 0.25 FTE, part-time equivalent to 0.5 FTE, and full-time to 1 FTE. Degree graduates GRAD_PREG Total students graduated from university undergraduate programs during each academic year. Quality index of the teaching and research staff ICAL_PDI This indicator is made taking into account the level of professor training. A rate is calculated = (graduates*5 + specialists*6 + masters*8 + doctors*10)/TotalFTE. This percentage or rate is already established in the Spanish university information system, but only for professors with doctoral training. Postgraduate graduates GRAD_POST Total students graduated from postgraduate programs (specializations, Masters, and Doctorates) during each academic year. FTE administrative staff NUM_ADM The information is contained in the information systems, and is reported by the Planning Offices. It is the number of people dedicated to the administrative functions of the universities. Research Groups GRUP_INV Total Research Groups categorized by Colciencias in Colombia, by university. A direct relationship is found between productivity in research terms and the number of categorized research groups. This variable is not used for the Spanish universities, since it does not operate in the same sense as previously described. Missionary space in m2 M2_USO_ MISIONAL It is considered an important resource, and a proxy of capital (installed capacity) for the universities. It must be reported from the Planning offices to the Ministry of National Education. Many studies in Colombia use it as an input (Garcia & Gonzalez, 2011; Maza Avila, Vergara Schmalbach, & Roman Romero, 2017; Melo, Ramos, & Hernandez, 2014; Ramos, Morero, Almanza, Picon, & Rodriguez, 2015; Rodriguez Murillo, 2014). This variable can only be obtained in the SNIES database of the Colombian Ministry of Education. For the Spanish universities, this variable is not available. Indexed Journals REV_INDEX Total Indexed Journals by university in Colombia. A direct relationships is found between productivity in research terms and the number of indexed journals, since in Colombia the journals are attached to university institutions. For the Spanish universities this variable is not used, since most of the journals are attached to entities of a different nature. Resources transferred by the State in COP TRANSFER_ NACION It is the monetary value of the public transfers to each of the public universities. Also known as current transfers or transfers of the autonomous communities. Total number of publications accumulated in Scopus NUM_PUB_ SCOPUS Total number of publications in the Scopus database. It only works for Colombian universities, since it is the database that consolidates production for most of them in terms of research articles. Source: Elaborated by the authors. 4.3 DEA This model, developed by Charnes, Cooper, and Rhodes (1978), is a nonparametric and deterministic procedure to assess the relative efficiency of a set of homogeneous production units. Using the number of inputs consumed and outputs produced by each unit, and by linear programming techniques, DEA constructs, from the current best practice, the efficient production frontier against which the efficiency of each unit is evaluated (Salinas-Jiménez & Smith, 1996). The conceptual foundations of DEA were laid by Farrel (1957), who defined technical (relative) efficiency as the ability to achieve certain objectives through the desirable combination of certain inputs and products (Ramos Ruiz, Moreno Cuello, Almanza Ramírez, Picón Viana, & Rodríguez Albor, 2015). Following Farrel (1957), DEA calculates efficiency from the following equation: h j 0 = ∑ r s = 1 u r y r j 0 ∑ i m = 1 v i x i j 0 (2) Where: r = 1…s Subscript identifying an output j = 1…n Subscript identifying the different decision-making units (DMUs) i = 1…m Subscript identifying the input jo Subscript identifying the decision-making unit (DMU) for which the efficiency is being calculated. hj0Efficiency of the decision-making unit (DMU) that is being calculated urRelative weight of the output yr for the DMU j0 that is being calculated. viRelative weight of input xi in the DMU j0 that is being calculated. The weights obtained (Ur and Vi) represent the values attributed to each input and output that provide the highest possible efficiency index to each decision-making unit (DMU). This weight combination, when applied to the rest of the DMUs must yield an efficiency indicator between 0 and 1. Thus, the objective is to find the DMUs producing the highest output levels from the lowest input levels. To do this, it maximizes the ratio of weighted outputs and weighted inputs for each DMU under consideration (Ray, 1991). Since 1978, according to Soto Mejía and Arenas Valencia (2010), many multivariate models have been developed. The two basic models, named after the initials of their innovators, are CCR (Charnes, Cooper, & Rhodes, 1981) and BCC (Banker, Charnes, & Cooper, 1984), which may differ in their orientation (inputs, outputs, or none), diversification, returns to scale (CRS: constant returns to scale; NIRS: nonincreasing returns to scale; NDRS: nondecreasing returns to scale; and VRS: variable returns to scale), measurement type (radial, nonradial, additive, multiplicative, hyperbolic, etc.), and other features. Equations (3), (4), (5), and (6) in Box 1 show the linear programming models for CCR (constant returns) and BCC (variable returns to scale), with input orientation and output orientation. BOX 1 CCR (CHARNES, COOPER AND RHODES) AND BCC (BANKER, CHARNES, AND COOPER) MODELS FOR DATA ENVELOPMENT ANALYSIS Source: Elaborated by the authors. Note: The BCC-O model aims to determine how much output could be obtained from the same level of inputs if all the DMUs were efficient, once the scale effects are removed. The BCC model is designed to measure efficiency under variable returns. In this procedure, the inefficient DMUs are compared only with efficient units operating on a similar scale (Soto Mejía & Arenas Valencia, 2010). The output-oriented BCC model is the best suited to evaluate the efficiency of public universities (Ramos Ruiz et al., 2015; Visbal-Cadavid, Mendoza Mendoza, & Causado Rodríguez, 2016), as these may have different sizes in terms of the number of students, faculty, and/or financial resources allocated, may not control their inputs, and may rely on models of state funding and budget allocation. Thus, the BCC-O model aims to determine how much output could be obtained from the same level of inputs if all DMUs were efficient, once scale effects were eliminated. 4.4 Units of Analysis or DMUs A DMU is the unit subject to efficiency measurement compared to others of its kind or typology. The DMU controls the process of transforming resources (inputs) into products. To identify the DMU, it must comply with an essential homogeneity characteristic, which is evident when it is verified that all DMUs use the same type of resource (inputs) to obtain the same type of output, albeit in different amounts (Soto Mejía & Arenas Valencia, 2010). Thus, Colombian and Spanish public universities can be seen as production units transforming resources into products. Each institution—treated as a DMU—can be considered a multiproduct organization (Ray, 1991). This study focuses on 32 DMUs (Colombian public universities) and 48 DMUs (Spanish public universities) belonging to the public university system (SUE, for its initials in Spanish) of each country (see Table 2). TABLE 2 DMUS. UNIVERSITIES OF THE COLOMBIAN AND SPANISH PUBLIC UNIVERSITY SYSTEMS COLOMBIA - SUE SPAIN - SUE No. University Name (DMU) Acronym No. University Name (DMU) Acronym 1 University of Antioquia udea 1 A Coruña UDC 2 University of Caldas unicaldas 2 Alcalá UAH 3 University of Cartagena unicart 3 Alicante UA 4 University of Córdoba unicord 4 Almería UAL 5 University of Cundinamarca udecun 5 Autonomous U. of Barcelona UAB 6 University of the Amazon uniamaz 6 Autonomous U. of Madrid UAM 7 University of the Guajira uniguajira 7 Barcelona UB 8 University of the Llanos unillanos 8 Burgos UBU 9 University of Nariño unariño 9 Cádiz UCA 10 University of Pamplona unipamp 10 Cantabria UNICAN 11 University of Sucre unisucre 11 Carlos III de Madrid UC3M 12 University of the Atlantic uniatlantico 12 Castilla-La Mancha UCLM 13 University of Cauca unicauca 13 Complutense U. of Madrid UCM 14 University of Magdalena unimag 14 Córdoba UCO 15 University of the Pacific unipac 15 Extremadura UNEX 16 University of Quindio uniquindio 16 Girona UDG 17 University of Tolima udetol 17 Granada UGR 18 University of Valle univalle 18 Huelva UHU 19 Francisco José de Caldas University udist 19 Illes Balears (Les) UIB 20 Francisco de Paula Santander University - Cúcuta ufpsc 20 Jaén UJAEN 21 Francisco de Paula Santander University - Ocaña ufpso 21 Jaume I de Castellón UJI 22 Industrial University of Santander uis 22 La Laguna ULL 23 Military University - Nueva Granada militar 23 La Rioja UNIRIOJA 24 National Open and Distance University UNAD unad 24 Las Palmas de Gran Canaria ULPGC 25 National university of Colombia unal 25 León UNILEON 26 National Pedagogical University of Colombia upnal 26 Lleida UDL 27 Pedagogical and Technological University of Colombia - UPTC uptc 27 Málaga UMA 28 Popular University of Cesar upoc 28 Miguel Hernández de Elche UMH 29 Surcolombiana University unisur 29 Murcia UM 30 Technological University of Pereira utp 30 National University of Distance Education UNED 31 Technological University of Chocó utch 31 Oviedo UNIOVI 32 University - College of Cundinamarca ucolm 32 Pablo de Olavide UPO 33 Basque Country/Euskal Herriko Unibertsitatea EHU 34 Polytechnic U. of Cartagena UPCT 35 Polytechnic U. of Catalonia UPC 36 Polytechnic U. of Madrid UPM 37 Polytechnic U. of Valencia UPV 38 Pompeu Fabra UPF 39 Public U. of Navarra UPNA 40 Rey Juan Carlos University URJC 41 Rovira i Virgili URV 42 Salamanca USAL 43 Santiago de Compostela USC 44 Sevilla US 45 València (Estudi General) UV 46 Valladolid UVA 47 Vigo UVIGO 48 Zaragoza UNIZAR Source: Elaborated by the authors. 5. RESULTS 5.1 Significance Analysis by CCA Table 3 shows the canonical correlation scores and the multivariate dimensional analysis for five independent and five dependent variables selected for the Colombian SUE and four independent and three dependent variables processed for the Spanish SUE. The most important canonical correlation index for each country is that of Function 1 (0.9078 for Colombia and 0.8779 for Spain). A significant relationship between the two sets of variables is established at the 1% level, representing the greatest possible correlation between any linear combination of independent variables (faculty, teaching quality, administrative staff, and public transfers) and any linear combination of dependent variables (graduates, postgraduates, and publications). TABLE 3 OVERALL MODEL FIT MEASURES FOR CCA (COLOMBIAN SUE, SPANISH SUE) Colombia Spain Canonical Function Canonical Correl. Canonical R2 F-Statistic Prob. Canonical Function Canonical Correl. Canonical R2 F-Statistic Prob. 1 0,908 0,824 37,032 0.000* 1 0,878 0,771 55,299 0.000* 2 0,522 0,273 10,910 0 2 0,236 0,056 3,905 0,001 3 0,398 0,159 7,659 0 3 0,124 0,015 2,472 0,086 4 0,217 0,047 3,747 0,05 5 0,038 0,001 0,425 0,515 Multivalent contrast of significance Multivalent contrast of significance Statistical Value Approx F-Statistic Probability Statistical Value Approx F-Statistic Prob. Wilks’ Lambda 0,102 37,032 0 Wilks’ Lambda 0,213 55,299 0 Pillai’s Trace 1,304 21,023 0 Pillai’s Trace 0,842 30,999 0 Hotelling’s Trace 5,299 61,972 0 Hotelling’s Trace 3,436 90,105 0 Roy’s Largest Root 4,685 279,204 0 Roy’s Largest Root 3,362 267,267 0 Source: Authors’ calculation (Stata Software) based on data from the Colombian Ministry of National Education (2015-2016) and the University Information System of Spain SIIU (2015-2016). Note: The statistical test used to evaluate the significance of the respective correlation indices is Wilks’ Lambda, contrasted with the F-test. Note that the highest coefficient of determination (canonical R2) corresponds to the first pair of canonical variables (U1, V1) (R2 can = 0.8241 for Colombia and 0.7707 for Spain), which are high values indicating high practical significance (Badii & Castillo, 2007). These results mean 82.41% of the variability of U1 (linear combination of dependent variables) is explained by V1 (linear combination of independent variables). This preliminary approach demonstrates for each public university system the importance and representativeness of the selected variables and the explanatory power of the set of independent variables with respect to the set of dependent variables. Both sets of variables (inputs, outputs), specifically selected for each university system, have interdependencies with each other and a high explanatory value, which corroborates their selection as proxies to perform efficiency calculations using DEA models. 5.2 CCA Redundancy Analysis Amount of shared variance. Table 4 shows the correlation between the first dependent canonical variable and each original dependent variable. Each correlation is interpreted as a factor loading, which identifies the value of each item’s relative contribution to its canonical item. TABLE 4 SIMPLELINEAR CORRELATIONS (CANONICAL LOADINGS), BETWEEN DEPENDENT VARIABLES AND THE FIRST CANONICAL VARIABLE (U1) Colombia - SUE Spain - SUE Variable Canonical Function 1 Variable Canonical Function 1 GRAD_PREG 0,84 GRAD_PREG 0,738 GRAD_POST 0,712 GRAD_POST 0,833 GRUP_INV 0,79 PUB_WOS 0,977 REV_INDEX 0,637 TOTAL_PUB_SCOPUS 0,915 Source: Authors’ calculation (Stata Software) based on data from the Colombian Ministry of National Education (2015-2016) and the University Information System of Spain SIIU (2015-2016). Note: For both countries the variable with the greatest relative contribution is Scopus publications (Colombia) and WOS publications (Spain), followed by the graduates variables, indicating the two output variables most representative of two university activities (research and teaching). Redundancy rates. In Table 5, the canonical Function 1 for Colombia shows a percentage of 50.78%, which is high, indicating the explanatory power of the input variables (independent) in the variances of the original (dependent) output variables. For Spain, this percentage is 57.06%, showing the variables associated with Spanish universities have a high explanatory power for the variability of their original outputs (Soto Mejía et al., 2009; Badii & Castillo, 2007) TABLE 5 REDUNDANCY ANALYSIS OF THEORETICAL VALUES DEPENDENT AND INDEPENDENT OF CANONICAL FUNCTIONS (COLOMBIAN SUE, SPANISH SUE) Colombia Spain Standardized variance of dependent variables explained by: Standardized variance of dependent variables explained by: Own Theoretical Value (Shared Variance) Opposite Theoretical Value (Redundancy) Own Theoretical Value (Shared Variance) Opposite Theoretical Value (Redundancy) Canonical Function % % Accum. Canonical R2 % % Accum. Canonical Function % % Accum. Canonical R2 % % Accum. 1 61,62 61,62 82,41 50,78 50,78 1 74,04 74,04 77,07 57,06 57,06 2 11,40 73,02 27,26 3,11 53,89 2 9,78 83,82 5,56 0,54 57,61 3 8,06 81,08 15,85 1,28 55,16 3 7,26 91,08 1,53 0,11 57,72 4 13,09 94,17 4,73 0,62 55,78 5 5,83 100,00 0,14 0,01 55,79 Standardized variance of independent variables explained by: Standardized variance of independent variables explained by: Own Theoretical Value (Shared Variance) Opposite Theoretical Value (Redundancy) Own Theoretical Value (Shared Variance) Opposite Theoretical Value (Redundancy) Canonical Function % % Accum. Canonical R2 % % Accum. Canonical Function % % Accum. Canonical R2 % % Accum. 1 73,20 73,20 82,41 60,32 60,32 1 74,12 74,04 77,07 57,12 57,12 2 6,87 80,07 27,26 1,88 62,19 2 9,49 83,53 5,56 0,53 57,65 3 7,25 87,32 15,85 1,15 63,34 3 16,47 100,00 1,53 0,25 57,90 4 8,18 95,50 4,73 0,38 63,72 5 3,95 99,45 0,14 0,00 63,73 Source: Authors’ calculation (Stata Software) based on data from the Colombian Ministry of National Education (2015-2016) and the University Information System of Spain SIIU (2015-2016). Thus, for the first canonical correlation (Function 1), the independent canonical variables explain 82.41% (Colombia) and 77.07% (Spain) of the variance of the dependent canonical variables, while the first variables predict 50.78% and 57.06% of the variance in the original dependent variables, respectively. Dependent canonical variables predict 61.62% and 74.04% of the variance in the original dependent variables, and independent canonical variables predict 73.20% and 74.12% of the variance in the original independent variables. The above shows, in percentages, all the relationships and interdependencies between the two sets of variables and their respective linear combinations, providing reliability (Azor Hernández et al., 2018; Friedman & Sinuany-Stern, 1997; Moreno Sáez & Trillo del Pozo, 2001; Sabando Vélez & Cruz Arteaga, 2019) and encouraging researchers to continue using the proposed sets of variables to perform further efficiency calculations using DEA models. Regarding independent theoretical values (canonical loadings), as seen in Table 6, the three items that significantly contribute to teaching and research activities in Colombian universities are the number of full-time faculty (prof_tce), the space available for missionary use (m2_uso_misional), and the resources transferred from the state (transfer_nacion). These variables imply high representativeness and significance as inputs and as explanatory variables for the outputs in each country. The most significant dependent variables are degree graduates (grad_preg) and total Scopus publications (total_pub_scopus) for Colombia and postgraduates (grad_post) and total Web of Science publications (pub_wos) for Spain, consistent with previous studies (Kao & Hung, 2008; Kuah & Wong, 2013; Chang et al., 2012; García-Aracil, 2013; Munoz, 2016), as they are representative variables for teaching and research activities in universities. TABLE 6 STANDARDIZED CANONICAL COEFFICIENTS, CANONICAL LOADINGS, AND CANONICAL CROSS-LOADINGS FOR THE FIRST CANONICAL FUNCTION (COLOMBIAN SUE, SPANISH SUE) Colombia Spain Variables Standar. Canon. Coeff. Function1 Canonical Loadings Function 1 Canonical cross Loadings Function 1 Variables Standar. Canon. Coeff. Function 1 Canonical Loadings Function 1 Canonical cross Loadings Function 1 Dependent Dependent GRAD_PREG 0,391 0,840 0,763 GRAD_PREG 0,220 0,738 0,647 GRAD_POST 0,099 0,712 0,646 GRAD_POST 0,167 0,833 0,731 GRUP_INV 0,105 0,791 0,718 PUB_WOS 0,715 0,977 0,858 REV_INDEX 0,031 0,637 0,578 TOTAL_PUB_SCOPUS 0,545 0,915 0,830 Independent Independent PROF_TCE 0,507 0,926 0,841 PROF_TCE 0,149 0,975 0,856 ICAL_PDI 0,269 0,758 0,688 ICAL_PDI 0,093 0,363 0,319 NUM_ADM -0,056 0,790 0,717 NUM_ADM 0,210 0,949 0,833 M2_USO_MISIONAL 0,307 0,897 0,814 TRANSF_EST 0,629 0,990 0,869 TRANSFER_NACION 0,113 0,851 0,773 Source: Authors’ calculation (Stata Software) based on data from the Colombian Ministry of National Education (2015-2016) and the University Information System of Spain SIIU (2015-2016). 5.3 DEA: BCC-O results Following the preliminary results obtained with CCA, two models (sets of variables) are proposed to calculate efficiency in higher education using DEA. Model 1. This method aims to perform efficiency calculations using DEA based on the representative and/or significant input and output variables explained by the results obtained from the canonical loadings shown in Table 6. Table 7 shows the descriptive details. The inferences are made for each set of universities (Colombian and Spanish) independently and to characterize their specific components, variables, data, and efficiency results, considering the aim is not to compare them but to demonstrate that the proposed method applies to the university sector of any country. TABLE 7 DESCRIPTION OF THE INPUT AND OUTPUT VARIABLES MODEL 1. COLOMBIAN SUE, SPANISH SUE Colombia Input Variables Average Min Max 2015 2016 2015 2016 2015 2016 PROF_TCE 591 648 59 91 2.426 2.501 M2_USO_MISIONAL 117.732 117.732 20.278 20.278 491.956 491.956 TRANSFER_NACION* 78.800 84.400 16.000 17.000 610.000 650.000 Output Variables GRAD_PREG 2.199 1.593 218 124 6.793 5.705 TOTAL_PUB_SCOPUS 1.115 1.445 - - 13.704 17.419 Spain Input Variables Average Min Max 2015 2016 2015 2016 2015 2016 PROF_TCE 1.462 1.460 329 332 4.124 4.099 TRANSF_EST** 141.000 147.417 36.100 36.000 363.000 400.000 Ouput Variables GRAD_POST 1.054 1.260 122 131 3.306 4.622 PUB_WOS 1.108 1.308 142 218 4.722 5.273 Source: Authors’ calculation (Stata Software) based on data from the Colombian Ministry of National Education (2015-2016) and the University Information System of Spain SIIU (2015-2016). Descriptive note: in Colombia, the number of full-time equivalent professors increased from 2015 to 2016, while infrastructure remained the same and graduates decreased. For the Spanish system, little variation is noted in the professors variable, while the graduates and publications increased. For both countries, transfers increased from one period to another: in Colombia an increase of 2.1% and in Spain an increase of 4.6%. ** Measured in thousands EUR. *Measured in millions COP. Model 2. The prediction of the variables U1 and V1 , corresponding to the canonical Function 1, is made with a coefficient of determination of 82.4% for the Colombian SUE and 77.07% for the Spanish SUE. This study proposes transforming the input and output variables into fictitious variables, a product of the canonical Function 1, as explained in the methods and data section using CCA. The variable U1 will be named Uinput, and V1 will be Voutput. The prediction model for each variable is shown in Table 8. From raw canonical coefficients and canonical correlations, and based on the most representative variables (Model 1) and transformed variables (Model 2), efficiency scores are calculated using DEA models to facilitate the analysis. TABLE 8 PREDICTION OF INPUTS AND OUTPUTS, MODEL 2 (COLOMBIAN SUE, SPANISH SUE) Colombia Spain Input Variable (Uinput) Output Variable (Voutput) Input Variable (Uinput) Output Variable (Voutput) U_input = 0.6941prof_tce + 0.4802ical_pdi- 0.0735num_adm + 0.3520m2_uso_misional + 0.1169transfer_nacion V_output = 0.5050grad_preg + 0.0435grad_post + 0.0824grup_inv + 0.0206rev_index + 0.2840total_pub_scopus U_input = 0.2541prof_tce + 0.0097ical_pdi + 0.3524num_adm + 1.06transfer_nacion V_output = 0.2539grad_preg + 0.2286grad_post + 0.9576pub_wos Source: authors’ calculation (Stata Software) based on data from the Colombian Ministry of National Education (2015-2016) and the University Information System of Spain (SIIU) 2015-2016. The coefficients shown for each variable, both input and output, are obtained as unrotated or raw canonical coefficients, for each set of variables (dependent and independent), and they will be thea priori weights for each input and output, leaving a single variable as the input and another as the output. Data are processed in Stata and DEA-solver software. Figure 1 shows the aggregate results from efficient and inefficient universities. Tables 10 and 11 show the disaggregated efficiency scores for each model, method, period, and university. FIGURE 1 AGGREGATE OF EFFICIENT AND INEFFICIENT UNIVERSITIES (COLOMBIAN SUE, SPANISH SUE) (MODELS 1 AND 2 USING DEA BCC-O) Figure 1 shows that, in Colombia, in 2015 and 2016, 34% of universities are fully efficient (11/32). In Spain, 14.5% (7/48) and 12.5% (6/48) of the public universities are considered fully efficient for 2015 and 2016, respectively. Model 1 shows more efficient universities than Model 2. Its higher number of inputs and outputs limits the discriminatory power of the model, where some variables considered critical might be zero-weighted so that they do not affect relative calculations (Pedraja Chaparro, Salinas Jimenez, & Smith, 1994). The importance of the results shown by Model 2 is that, using a single input variable and a single output variable (transformed variables), it groups items with their respective weight coefficients, using the canonical function described in the method section above. Table 15 shows that the average efficiency of Colombian universities is 0.7107 in 2015 and 0.7911 in 2016 (Model 1 BCC-O, 2015-2016; see Table 15). The average efficiency of Spanish universities, using the same model and periods, is 0.6537 and 0.5865. Table 9 lists Colombian and Spanish universities with recurring relative efficiency, these being universities with scale effects. For Colombia, they are the Francisco de Paula Santander University-Ocaña and University of the Llanos; the latter is not considered efficient by any of the recent efficiency studies conducted on Colombian public universities (García & González, 2011; Ramos Ruiz et al., 2015; Rodríguez-Varela & Gómez-Sancho, 2015; Visbal-Cadavid et al., 2016). For Spain, the consistent results of the University of La Rioja stand out, a university also deemed efficient by Parellada and Duch (2006) for the years 2003 and 2004. TABLE 9 UNIVERSITIES WITH RELATIVE EFFICIENCY, ORDERED BY SIZE (VARIABLE RETURNS) COLOMBIA - SUE UNIVERSITIES SPAIN - SUE UNIVERSITIES Year 2015 Year 2016 Year 2015 Year 2016 Model 1 Model 2 Model 1 Model 2 Model 1 Model 2 Model 1 Model 2 Militar Udetol Upoc Udist UB UAB UB UAL Udecun Uniquindío Udecun Unillanos UCM UIB UCM UMH Ufpso Ufpso Ufpso Unirioja Unirioja Unirioja Utch Unillanos UV UPF Unillanos Source: Elaborated by the authors. TABLE 10 COLOMBIAN PUBLIC UNIVERSITIES’ EFFICIENCY SCORES (2015-2016) DMU MODEL 1 MODEL 2 Efficiency Score CCRO Efficiency Score BCCO Efficiency Score CCRO Efficiency Score BCCO 2015 2016 2015 2016 2015 2016 2015 2016 udea 1,000 1,000 1,000 1,000 0,979 0,964 0,979 0,968 unicaldas 0,562 0,773 0,653 0,793 0,926 0,901 0,928 0,917 unicart 0,536 0,628 0,564 0,636 0,921 0,896 0,923 0,912 unicord 0,396 0,380 0,409 0,410 0,866 0,798 0,868 0,815 udecun 0,546 0,862 1,000 1,000 0,756 0,775 0,791 0,806 uniamaz 0,198 0,561 0,273 0,632 0,774 0,813 0,841 0,895 uniguajira 0,293 0,356 0,437 0,379 0,784 0,754 0,822 0,771 unillanos 0,381 0,776 1,000 1,000 0,829 0,850 0,980 1,000 unariño 0,326 0,561 0,348 0,573 0,848 0,853 0,850 0,869 unipamp 0,502 0,423 0,539 0,457 0,881 0,826 0,883 0,839 unisucre 0,305 0,774 0,679 0,952 0,760 0,838 0,881 0,961 uniatlantico 0,345 0,476 0,384 0,770 0,842 0,832 0,844 0,844 unicauca 0,386 0,439 0,400 0,458 0,880 0,871 0,881 0,884 unimag 1,000 0,710 1,000 0,710 0,968 0,876 0,979 0,895 unipac 0,125 0,157 1,000 1,000 0,631 0,585 0,933 0,909 uniquindio 0,797 0,383 0,871 0,450 0,939 0,781 1,000 0,797 udetol 1,000 0,731 1,000 0,777 0,998 0,872 1,000 0,891 univalle 0,877 0,948 0,885 0,949 0,967 0,954 0,968 0,962 udist 1,000 1,000 1,000 1,000 0,966 0,978 0,969 1,000 ufpsc 0,702 1,000 0,735 1,000 0,900 0,883 0,944 0,948 ufpso 0,552 0,765 1,000 1,000 0,618 0,612 1,000 1,000 uis 1,000 1,000 1,000 1,000 0,974 0,945 0,977 0,957 militar 0,955 0,867 1,000 0,908 0,897 0,897 0,899 0,913 unad 0,700 1,000 0,762 1,000 0,810 0,818 0,812 0,832 unal 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 upnal 0,217 0,584 0,228 0,624 0,827 0,825 0,833 0,841 uptc 0,245 0,401 0,323 0,496 0,894 0,890 0,895 0,903 upoc 0,411 0,903 0,519 1,000 0,858 0,856 0,907 0,913 unisur 0,351 0,588 0,380 0,593 0,850 0,837 0,874 0,860 utp 0,561 0,796 0,623 0,853 0,930 0,911 0,932 0,927 utch 0,542 1,000 1,000 1,000 0,848 0,838 0,955 0,942 ucolm 0,340 0,708 0,729 0,897 0,821 0,799 0,909 0,881 Source: Authors’ calculation (Stata Software) based on data from the Colombian National System of Information for Higher Education SNIES (2016-2016). TABLE 11 SPANISH PUBLIC UNIVERSITIES’ EFFICIENCY SCORES (2015-2016) DMU MODEL 1 MODEL 2 Efficiency Score CCRO Efficiency Score BCCO Efficiency Score CCRO Efficiency Score BCCO 2015 2016 2015 2016 2015 2016 2015 2016 EHU 0,386 0,335 0,553 0,528 0,927 0,921 0,937 0,995 UA 0,477 0,397 0,552 0,417 0,871 0,865 0,907 0,999 UAB 1,000 1,000 1,000 1,000 0,992 0,904 1,000 0,911 UAH 0,634 0,502 0,638 0,506 0,873 0,850 0,932 0,919 UAL 0,517 0,483 0,593 0,560 0,814 0,869 0,904 1,000 UAM 0,842 0,791 0,853 0,799 0,966 0,908 0,983 0,914 UB 0,976 0,882 1,000 1,000 1,000 0,910 1,000 0,986 UBU 0,367 0,341 0,664 0,720 0,764 0,903 0,964 0,968 UC3M 0,540 0,525 0,615 0,574 0,868 0,896 0,922 0,922 UCA 0,347 0,304 0,378 0,306 0,826 0,932 0,878 0,947 UCLM 0,382 0,329 0,392 0,334 0,867 0,894 0,898 0,917 UCM 0,593 0,542 1,000 1,000 0,950 0,917 0,977 0,930 UCO 0,551 0,420 0,595 0,426 0,878 0,919 0,937 0,930 UDC 0,460 0,369 0,490 0,384 0,852 0,861 0,910 0,934 UDG 0,579 0,561 0,811 0,751 0,874 0,860 0,992 0,978 UDL 0,510 0,463 0,782 0,704 0,834 0,921 0,996 0,927 UGR 0,568 0,445 0,852 0,733 0,941 0,961 0,953 0,979 UHU 0,385 0,363 0,476 0,450 0,790 0,959 0,901 0,980 UIB 0,670 0,600 0,883 0,786 0,880 0,783 1,000 1,000 UJAEN 0,473 0,452 0,533 0,471 0,838 0,784 0,920 0,974 UJI 0,520 0,375 0,561 0,436 0,849 0,927 0,931 0,929 ULL 0,399 0,357 0,442 0,382 0,863 0,942 0,905 0,949 ULPGC 0,297 0,247 0,308 0,250 0,813 0,922 0,864 0,925 UM 0,587 0,464 0,666 0,506 0,898 0,843 0,928 0,950 UMA 0,358 0,372 0,436 0,509 0,872 0,951 0,885 0,990 UMH 0,884 0,668 0,915 0,675 0,878 0,960 0,985 1,000 UNED 1,000 1,000 1,000 1,000 0,864 0,841 0,918 0,942 UNEX 0,454 0,396 0,463 0,409 0,849 0,855 0,902 0,973 UNICAN 0,510 0,453 0,640 0,567 0,860 0,928 0,943 0,942 UNILEON 0,426 0,371 0,546 0,488 0,830 0,931 0,933 0,931 UNIOVI 0,459 0,408 0,471 0,411 0,885 0,905 0,908 0,941 UNIRIOJA 0,348 0,349 1,000 1,000 0,759 0,917 1,000 0,918 UNIZAR 0,416 0,415 0,421 0,435 0,907 0,940 0,913 0,943 UPC 0,409 0,411 0,414 0,469 0,894 0,928 0,898 0,944 UPCT 0,296 0,288 0,583 0,505 0,755 0,924 0,948 0,991 UPF 1,000 1,000 1,000 1,000 0,917 0,925 1,000 0,931 UPM 0,332 0,333 0,351 0,395 0,884 0,922 0,886 0,936 UPNA 0,443 0,372 0,641 0,526 0,813 0,948 0,947 0,967 UPO 0,753 0,632 0,968 0,794 0,825 0,910 0,970 0,946 UPV 0,401 0,361 0,504 0,469 0,897 0,930 0,901 0,936 URJC 0,877 0,784 0,898 0,842 0,873 0,946 0,949 0,968 URV 0,597 0,547 0,734 0,650 0,888 1,000 0,995 1,000 US 0,409 0,350 0,592 0,524 0,914 0,879 0,926 0,893 USAL 0,536 0,427 0,552 0,428 0,895 0,983 0,927 0,998 USC 0,491 0,417 0,566 0,438 0,897 0,889 0,907 0,904 UV 0,698 0,529 1,000 0,807 0,964 0,911 0,968 0,932 UVA 0,350 0,276 0,350 0,280 0,857 0,911 0,887 0,933 UVIGO 0,594 0,479 0,701 0,515 0,878 0,940 0,922 0,943 Source: Authors’ calculation (Stata Software) based on data from the University Information System of Spain SIIU (2016-2016). 6. ANALYSIS OF RESULTS To complement the analysis of the efficiency scores shown in Tables 11 and 12, these are distributed in quartiles (see Table 13) for each higher education system analyzed. In Model 1, efficiency scores are lower than in Model 2, due to the sensitivity shown in the number of inputs and outputs, and variable transformation by previous CCA weighting. As for the Colombian university system, Table 13 shows that 37.5% of the Colombian universities went from having scores above 0.88854 in 2015 to above 0.9517 in 2016 (Model 1), which shows improved efficiency, analyzed among the last 12 universities. Universities with low efficiency scores, located in the first quartile (8 institutions) showed scores below 0.4093 in 2015 and less than 0.5925 in 2016. Of the Spanish universities, as shown in Table 13, 25% went from having scores above 0.852 in 2015 to higher than 0.733 in 2016 (Model 1), which implies a worsening from one period to the next for universities in the last quartile. Institutions with low efficiency scores, corresponding to the first 25%, showed scores below 0.4755 in 2015 and less than 0.4275 in 2016, confirming the downward trend in efficiency scores in 2016. TABLE 12 ANALYSIS OF EFFICIENCY SCORES DISTRIBUTED BY QUARTILES. COLOMBIA - SUE SPAIN - SUE QUARTILE EFFICIENCY SCORES QUARTILE EFFICIENCY SCORES % ACCUM BCC-O 2015 BCC-O 2016 % ACCUM BCC-O 2015 BCC-O 2016 DMU MODEL 1 MODEL 2 MODEL 1 MODEL 2 DMU MODEL 1 MODEL 2 MODEL 1 MODEL 2 25% 0,409 0,868 0,593 0,844 25% 0,476 0,905 0,428 0,930 50% 0,729 0,909 0,853 0,903 50% 0,593 0,928 0,509 0,943 62,50% 0,885 0,944 0,952 0,925 75% 0,852 0,968 0,733 0,978 Source: Authors’ calculation (Stata Software) based on data from the Colombian Ministry of National Education (2015-2016) and the University Information System of Spain SIIU (2015-2016). The efficiency scores are categorized in Table 14 to classify each public university, both in Colombia and Spain, for each model and period (2015-2016), into the following groups: fully efficient (index = 1), highly efficient (1 > index > average), and low-efficiency or inefficient (index < average). TABLE 13 UNIVERSITIES CLASSIFIED BY EFFICIENCY CATEGORIES (COLOMBIAN SUE, SPANISH SUE) COLOMBIA - SUE BCC-O 2015 BCC-O 2016 MODEL 1 MODEL 2 MODEL 1 MODEL 2 AVERAGE EFFICIENCY INDEX 0,711 0,914 0,791 0,902 FULLY EFFICIENT (EF= 1) udetol udetol udea unal udecun ufpso udecun unillanos unal unal udist udist unillanos uniquindio ufpso udist uis ufpso unal unimag unillanos udea utch uis unad utch ufpsc militar upoc HIGH EFFICIENCY (EF > AVERAGE) unipac unillanos unipac ufpso univalle udea unisucre udea uniquindio unimag univalle univalle unad uis militar unisucre ufpsc udist ucolm uis ucolm univalle utp ufpsc utch unicaldas utch ufpsc utp unipac unicaldas utp militar unicaldas upoc unicart unicart unipac uptc NOT EFFICIENT (EF < AVERAGE) unisucre ucolm udetol udetol unicaldas upoc uniquindio ucolm utp militar unimag uniquindio unicart uptc unicart unimag unipamp unipamp uptc unipamp upoc unisucre unipamp unicauca uniguajira unicauca unicauca unisur unicord unisur unisur unicord unicauca unicord unicord unariño uniatlantico unariño unariño uniatlantico unisur uniatlantico uniatlantico uniamaz unariño uniamaz uniamaz upnal uptc upnal upnal uniguajira uniamaz uniguajira uniguajira unad upnal unad udecun udecun SPAIN - SUE BCC-O 2015 BCC-O 2016 MODEL 1 MODEL 2 MODEL 1 MODEL 2 AVERAGE EFFICIENCY INDEX 0,654 0,937 0,587 0,951 FULLY EFFICIENT (EF= 1) UAB UAB UAB UMH UB UB UB URV UNED UNIRIOJA UNIRIOJA UAL UNIRIOJA UPF UPF UPF UIB UNED UCM UCM UV HIGH EFFICIENCY (EF > AVERAGE) UPO UDL URJC UIB UMH URV UV UA URJC UDG UAM USAL UIB UMH UPO EHU UAM UAM UIB UPCT UGR UCM UDG UMA UDG UPO UGR UB UDL UV UBU UHU URV UBU UDL UGR UVIGO UGR UMH UDG UM URJC URV UJAEN UBU UPCT UNEX UPNA URJC UNICAN UBU UCO UPNA EHU NOT EFFICIENT (EF < AVERAGE) UPNA UNILEON UC3M UM UNICAN UAH UNICAN ULL UAH UJI UAL UCA UC3M UM EHU UPO UCO USAL UPNA UPC UAL US US UVIGO US UC3M UVIGO UNIZAR UPCT UVIGO UMA UNED USC UJAEN UAH UNICAN UJI UNED UM UNIOVI EHU UNIZAR UPCT UPV UA UDC UNILEON UPM USAL UNIOVI UJAEN UDC UNILEON USC UPV UVA UJAEN UA UPC UV UPV ULL UHU UNILEON UDC UAL USC UPF UHU UNEX UJI UCO UNIOVI UHU UNIZAR UCM UNEX UPV USAL UJI ULL UCLM UCO UDL UMA UPC UA ULPGC UNIZAR UVA UNIOVI UC3M UPC UPM UNEX UAH UCLM UMA UPM UNIRIOJA UCA UCA UDC UCLM UPM ULPGC ULL UAM UVA UCLM UAB ULPGC UCA USC UVA US ULPGC Source: Elaborated by the authors. Note: For the Colombian university system there are 11 fully efficient universities, 6 with high efficiency and 15 with low efficiency, for both periods (2015-2016), under model 1, and with all the representative input-output variables. The Colombian universities with the lowest score in 2015 and 2016 are upnal and uniguajira (0.2280 and 0.3792). In the Spanish system, 3 efficient universities in the years 2015 and 2016 stand out, both in constant and variable returns: the UB, the UNED and the UPF. The ULPGC is the institution with the lowest score in both periods (0.3083 and 0.2503). For the Colombian SUE, Ramos Ruiz et al. (2015) calculate efficiency scores under DEA BCC-O models, classifying 13 and 15 institutions in the efficient category for the years 2007 and 2013, with average efficiency scores of 0.836 and 0.827, respectively. Some of these universities are still in that category in 2015 and 2016 in the present study (unal, udea, udetol, ufpso, and ufpsc). Visbal-Cadavid et al. (2016) classified 20 Colombian universities as fully efficient in 2011, also with the BCC-O model, and five universities (unal, udea, uis, ufpso, and udist) are still in that category. García and González (2011) classified 17 Colombian universities as efficient in the period 2003-2009, with an average efficiency index of 89%, and three of those classified in the present study as fully efficient (uis, udetol, and udist) are still in the top 10. Rodríguez-Varela and Gómez-Sancho (2015), by applying variable returns, calculated efficiency scores for 2015 and found only three Colombian universities (unicord, uniatlantic, and udetol) to be fully efficient, of which only udetol appears in the classification for 2015 made in the present study, while the other two universities are considered to have low efficiency (below average). Regarding the Spanish university system, Table 12 details the efficiency scores calculated for each university. For the year 2016, under the BCC-O method, there are only three efficient universities (UAL, URV, and UMH), which are also considered by Gómez-Sancho and Mancebón-Torrubia (2012) as efficient in research, and although they differ from those present in Model 1, this is surely due to the transformation of variables by CCA. Although few studies have been published in the last 5 years at the level of Spanish public higher education institutions (Parellada & Duch, 2006; Vásquez Rojas, 2010; Gómez-Sancho & Mancebón-Torrubia, 2012; Martí-Selva, Puertas-Medina, & Calafat-Marzal, 2014), since most have been conducted at the departmental level within universities, the most recent study (Martí-Selva et al., 2014) stands out because it classified 18 Spanish universities as efficient for the year 2006, of which URV and UMH are still efficient in the present study in both 2015 and 2016. Vásquez Rojas (2010) reports average efficiency scores for Spanish universities for 2005 and 2007 that are very close to each other, 0.9608 and 0.9378, respectively, while the two values in the present study differ substantially, with average efficiency scores in 2015 and 2016 of 0.6537 and 0.5865, respectively. Table 14 shows the aggregate of the calculated efficiency scores, for each public university system (Spain and Colombia), to evaluate the methods and models used in both periods (2015, 2016). Colombian public universities show highly variable results, with high average efficiency and inefficiency scores, indicating high inequality in the public higher education system. The average efficiency score with Model 1 BCC-O was 0.7107 and 0.7911 in 2015 and 2016, respectively. The minimum efficiency was 0.1250 and 0.1568 for the same years. Spanish public universities show low variability in the results and low average efficiency and inefficiency scores, indicating homogeneity in grouping data. The average efficiency index with Model 1 BCC-O was 0.6537 and 0.5865 in 2015 and 2016, respectively, and the minimum efficiency was 0.3083 and 0.2503. TABLE 14 COMPARATIVE EFFICIENCY LEVELS OF THE CCRO-BCC-O METHODS BETWEEN COLOMBIAN AND SPANISH PUBLIC UNIVERSITIES (2015-2016) CCR-O METHOD (Charnes, Cooper, and Rhodes. Constant returns - output-oriented) MODEL 1 MODEL 2 SPAIN COLOMBIA SPAIN COLOMBIA 2015 2016 2015 2016 2015 2016 2015 2016 Average Efficiency 0,544 0,483 0,567 0,705 0,873 0,909 0,867 0,848 Standard Deviation 0,196 0,189 0,284 0,240 0,054 0,044 0,094 0,089 Minimum 0,296 0,247 0,125 0,157 0,755 0,783 0,618 0,585 Maximum 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 BCC-O METHOD (Banker, Charnes, and Cooper. Variable returns - output-oriented) MODEL 1 MODEL 2 SPAIN COLOMBIA SPAIN COLOMBIA 2015 2016 2015 2016 2015 2016 2015 2016 Average Efficiency 0,654 0,587 0,711 0,791 0,937 0,951 0,914 0,902 Standard Deviation 0,214 0,214 0,275 0,221 0,039 0,030 0,062 0,063 Minimum 0,308 0,250 0,228 0,379 0,864 0,893 0,791 0,771 Maximum 1,000 1,000 1,000 1,000 1,000 1,000 1,000 1,000 Source: Elaborated by the authors, based on the results processed in DEA-solver. 7. DISCUSSION AND CONCLUSIONS Higher education has been facing challenges, not only in terms of its contribution to the generation and dissemination of knowledge to society but also in its use of limited resources to generate and disseminate knowledge. Challenges for this and the coming decades, such as internationalization and mobility, the empowerment of Ibero-American identity, and university social responsibility, are only possible if combined with a strengthening of university autonomy, governance, and funding through accountability, along with efficiency and effectiveness in resource use. Thus, to be efficient and to appear as such — in terms of quality and excellence — to citizens and governments, is a challenge that has been raised by applying NPM methods to all kinds and categories of universities. This study has sought to apply efficiency measurement to the Colombian and Spanish public higher education institutions, entering a field of research with all its complexities related to the very nature of this type of organization, which performs multiple activities, with multiple shared resources, to deliver multiple results. Thus, the relevant contribution of the present study has been to put forth a specific method to specify a production function that can be applied in higher education, delving into the typology and quantification of relevant inputs and outputs and the mathematical description of their relationship. For this purpose, CCA was used as a multivariate analysis method. CCA has been little used in this field but is useful to give significance and representativeness to the variables considered in order to calculate relative efficiency using DEA models. This study confirms the usefulness of this method in higher education systems in one or more countries (Wolszczak-Derlacz & Parteka, 2011; Rodríguez-Varela & Gómez-Sancho, 2018; Agasisti & Wolszczak-Derlacz, 2015). The results obtained allow us to contrast some hypotheses previously put forth about the number of universities classified as efficient with each method and model. With the BCC method, efficient DMUs always exceed those obtained with CCR (Ramos Ruiz et al., 2015; Visbal-Cadavid et al., 2016). As for higher education systems for each country, there is a close relationship with context and public policy. In Colombia, inequality stands out in terms of resources vs. products, as it has a higher number of efficient universities than Spain but a greater difference between efficient and inefficient universities. In Spain, there is greater data homogeneity, with lower and more clustered efficiency scores and a smaller difference between efficient and inefficient universities. Other results on the efficiency of Colombian and Spanish higher education institutions differ significantly from the results obtained in this study, mainly due to methodological and sample aspects (delimitation of inputs and outputs of university activity, selection of the technique and evaluation model, and selection of the sample and periods). This corroborates the difficulty in making such comparisons (Gómez-Sancho & Mancebón-Torrubia, 2012) and reinforces the great criticisms made of the homogenizing classifications that have prevailed since the beginning of the century. Another contribution of this study lies in demonstrating that, even with independent and not necessarily related systems of public higher education in Ibero-America, a preliminary step of analysis can be performed with CCA to provide representativeness to the input and output variables necessary to calculate efficiency using DEA models. At this preliminary step, CCA can transform variables to reduce their number and generate a priori weightings, thereby improving their ability to discriminate and providing more accurate, reliable, and meaningful scores. The most important conclusion is that, when addressing efficiency measurement in higher education, special care should be taken when selecting variables, methods, periods, and units to be evaluated. The stated objective should always be kept in mind, allowing comparability of resource management, improvement plans, and monitoring strategies. Therefore, this study highlights alternative research paths for efficiency measurement in higher education, as a public management priority. [Translated version] Note: All quotes in English translated by this article’s translator.