Cuadro de mando integral para el diseño y validación de instrumentos para valorar el desempeño académico de docentes

The balance score card for the construction and validation of instruments to measure professors'academic performance

Cuadro de mando integral para el diseño y validación de instrumentos para valorar el desempeño académico de docentes

The balance score card for the construction and validation of instruments to measure professors'academic performance

Alexis Tejedor de León^I; José Manuel Huerta^II

^ISu-Director Académico Departamento de Materiales y Metalurgia Centro Regional de Veraguas Universidad Tecnológica de Panamá. E-mail: [e-mail]

^IICatedrático en Evaluación Departamento de Educación Agrícola Universidad de Puerto Rico Recitno Universitario de Mayagüez. E-mail: [e-mail]

RESUMEN

La valoración de la labor docente es un pilar de la acreditación universitaria. En un momento, particularmente sensible relacionado a esta tendencia global y a la imagen que emerge de las diferentes unidades académicas y adminsitrativas, se torna importante, no solamente, recolocar el asunto de conocer si éstas ponen en práctica aquello que realmente enseñan, sino también conocer el grado de satisfacción de los" stakeholders" sobre los procesos de enseñanza-aprendizaje a nivel universitario. En este contexto, esta investigación tiene como objetivo diseñar y validar instrumentos dirigidos a explorar el entorno de la labor académica del docente universitario del Centro Regional de Veraguas de la Universidad Tecnológica de Panamá, considerando como ejes dimensionales la planificación, el desarrollo y las actividades psicopedagógicas propias de la labor académica. Para la realización de la investigación se utilizó la metodología del Cuadro de Mando Integral en las etapas de planificación estratégica del programa de evaluación académico y se utilizó la técnica Delphi para la validación de contenido y de constructo de los instrumentos. En la validación de la confiabilidad se determinó el valor Alpha de Cronbach utilizándose el programa para la PC de SPSS^® para la toma de decisones.

Descriptores: Cuadro de mando integral. Confiabilidad. Validación. Técnica de Delphi. Alpha de Cronbach. SPSS.

ABSTRACT

The evaluation of faculty work is a pillar in university accreditation. Moreover, particularly in a period sensitive to this tendency of faculty work evaluation and the image that emerges from the different academic and administrative units, it is important not only to restate the subject of whether what is taught is also put into practice, but also to know the degree of satisfaction expressed by the stakeholders in the teaching and learning process at the higher education level. In this context, the research aim is to develop and validate the instruments directed to explore the internal academic environment of the faculty at the Veraguas Regional Center Technological University of Panama; considering as dimensional axes the organization, development, and the psycho-pedagogic properties of academic work. For the research execution, the Balance Score Card methodology was used in the stages of strategic planning and program evaluation; the Delphi technique was used to validate the content and for the construction of the instruments. The validation of the reliability value was established through Cronbach's alpha value by using the SPSS^® for decision making.

Key words: Balanced Score Card. Delphi technique. Reliability. Validation. Cronbach´s Alpha. SPSS.

1 INTRODUCCIÓN

En sus lineamientos más generales, la universidad puede ser definida como aquella estructura integrada por unidades de enseñanza, de investigación y de difusión, capacitada para la formación de los recursos humanos en la cantidad y con las cualidades necesarias para la vida y el progreso de la sociedad.

Siendo así, la actividad del docente universitario debe ejercerse como una oferta libre de la cual cada estudiante sacará el provecho de que es capaz, pero debe ser impartida con la preocupación simultánea de descubrir y cultivar talentos y de aprovechar al máximo la capacidad real de cada estudiante.

Desde el punto de vista de la percepción de la comunidad y de la sociedad civil, la educación universitaria aparece no solamente como uno de los bienes sociales más preciados, si no también como el medio más potente para alcanzar el bienestar individual y colectivo. Planteado de esa forma, las universidades y sus docentes están abiertos a la innovación, al pensamiento crítico, al progreso y a la búsqueda de rigor y de verdad, pero a la vez son conservadores, cuidan la tradición y no se arriesgan en sus estilos de hacer y de ejercer la docencia. (MARTÍNEZ et al., 2002)

Es por ello que actualmente, la actividad docente ya no sólo consiste en la adopción y manejo de herramientas analíticas por parte del alumnado, como tradicionalmente se requería para el conocimiento e investigación de los hechos, sino que exige una nueva concepción del proceso formativo centrado en el aprendizaje del alumnado. (PEREYRA et al., 2006)

No cabe duda de que las aceleradas transformaciones por las cuales el mundo está pasando, están presionando a las universidades para que ajusten sus estructuras y procesos en la realización de sus actividades, igual como está ocurriendo con otras organizaciones de servicios. (CHAUI, 2003)

A pesar de que uno de los aspectos más investigados en los procesos educativos tiene que ver con la evaluación, hasta hace relativamente poco, se le ha atribuido a la evaluación del docente como uno de los tópicos definitorios dentro de la efectividad de la enseñanza universitaria (PÁRAMO, 2008). En este sentido, las unidades de educación superior requieren contar con un sistema de gestión que les permita valorar y conocer de forma eficaz y eficiente los resultados de sus acciones académicas.

A nivel de administración universitaria, en la medida que ha avanzado el reconocimiento de la importancia y la necesidad de incorporar un sistema de evaluación sistemático como elemento que permita el mejoramiento continuo y medición del desempeño de la gestión organizacional -al otorgarle elementos de información para el proceso de reflexión, toma de decisiones y el aseguramiento del logro de los objetivos - diversos modelos y metodologías se han propuesto para responder a tales desafíos.

La temática del diseño y validación de instrumentos de valoración ha sido objeto de estudios científicos y de aplicaciones prácticas de diverso grado de profundidad y alcance; sin embargo uno de los grandes dilemas actuales que enfrentan las universidades latinoamericanas es el de poder valorar sus funciones por medio de instrumentos que reflejen aquello que realmente se necesita conocer para garantizar la toma de decisiones en base a la precisión de los datos recolectados.

Si bien es cierto que la aplicación de métodos estructurados de apoyo estratégico y táctico a nivel empresarial se encuentra ampliamente difundida, como el BSC - The Balance Scorecard - (KALPAN; NORTON, 1992) con todas sus características como herramienta de dirección y gestión administrativa (MARTINSONS et al., 1999; LAWRIE; COBBOLD, 2002); su uso en ambientes académicos es escaso y discordante con los diagnósticos de gestión educativa que dan cuenta de la imperiosa necesidad de mejora en los procesos de gestión universitaria. (BUSTOS et al., 2008)

A diferencia de los enfoques anteriores Dooris (2002) plantea sobre un desarrollo progresivo y cada vez más maduro del sentido de la planeación estratégica, en el marco de la educación superior; pero basado en el aprendizaje organizacional de la gestión y de la toma de decisiones en el entorno educativo superior. (BASTIDAS; MORENO, 2006)

Debido al gran uso que se hace hoy de las escalas y siguiendo las directrices del Cuadro de Mando Integral - CMI -, el objetivo del presente artículo es aplicar y revisar, de una manera sencilla, el concepto de consistencia interna y la interpretación del coeficiente Alfa de Cronbach por medio del diseño y la validación de instrumentos dirigidos a explorar el entorno de la actividad académica del docente del Centro Regional de Veraguas de la Universidad Tecnológica de Panamá, considerando como ejes dimensionales la planificación, el desarrollo y las actividades psicopedagógicas propias de la labor académica

2 MATERIALES Y MÉTODOS

La presente investigación consta de tres (3) apartados: elaboración del Cuadro de Mando Integral - CMI - de PIEDAD acrónimo del Programa Inicial de Evaluación del Desempeño Académico del Docente; el diseño de los instrumentos de valoración y los procedimientos de validación.

2.1 Elaboración del CMI

Como modelo de gestión en el proceso de implementar PIEDAD en el Centro Regional de Veraguas de la Universidad Tecnológica de Panamá, se siguió la metodología de planificación estratégica para la elaboración del CMI (NEGRE; URIETA2003) en el sector público, sugerida e implementada a nivel Centroamericano, por el ICAP - Instituto Centroamericano de Administración Pública. (HENDERSON GARCÍA, 2006)

En esta fase de la investigación se definieron un conjunto de indicadores estratégicos y de gestión (sistema de información) para analizar la ligazón entre la misión - visión, a medio y largo plazo, y los objetivos operativos a corto plazo de PIEDAD. Los mismos autores apuntan como características básicas de la metodología la definición de tres (3) matrices: la estratégica; la de evaluación de los factores externos- MEFE- y la de evaluación de los factores internos -MEFI.

2.2 Diseño de los instrumentos

La fase de diseño se desarrolló para satisfacer la necesidad de contar con instrumentos relativamente sencillos, autoadministrables, generalizables, estandarizados y que contemplen de manera integral el entorno académico del docente dentro del salón de clases, considerando los tres ejes directrices del proceso de evaluación: Evaluación, Auto-evaluación y Co-evaluación.

El inventario para el diseño de los instrumentos, se basó en documentos existentes en la Universidad Tecnológica de Panamá y en otras universidades estatales panameñas. En esta fase también se tomaron en cuenta documentos on-line o en línea de otras universidades latinoamericanas (Argentina, Perú), de los cuales se seleccionaron aquellos aspectos contemplados en las dimensiones académicas objetos a valorar.

Las dimensiones consideradas para la construcción de los instrumentos de valoración, las cuales se identificaron en diversas fuentes bibliográficas; fueron tres (3).

A partir del inventariado de instrumentos, se realizó un listado de aseveraciones y oraciones las cuales se fueron agrupando conforme a la dimensión que lo describía. Asimismo se le solicitó a los grupos de interés, convocadas para tal fin, que formularan un listado de situaciones relacionadas con la labor académica del docente.

De ambas situaciones se derivaron cuestionarios redactados en pasado en primera o tercera persona del singular, conforme el instrumento (evaluación, auto-evaluación y co-evaluación) y se utilizaron terminologías propias de la academia. El listado de aseveraciones se agrupó en tres esferas dimensionales, a saber:

· Dimensión Planificación: incluye aquellas situaciones vinculadas a la planificación de la academia (elaboración del plan de la asignatura y su discusión con el alumnado).

· Dimensión Desarrollo: incluye situaciones de desenvolvimiento de la asignatura a lo largo del período académico y que se derivan desde la organización y preparación de las clases, hasta la comunicación con los estudiantes.

· Dimensión Actividades Pedagógicas: incluye situaciones de aspectos metodológicos y de estrategias pedagógicas utilizadas por el docente para el logro de las metas académicas trazadas; derivadas de la utilización de bibliografía; del método de evaluación propuesto y ejecutado; y sobre la utilización de recursos didácticos complementarios.

2.3 Procedimientos de validación

Esta etapa consistió en dos fases. (a) la valoración conceptual y de constructo y (b) la valoración de consistencia o confiabilidad.

La metodología cualitativa para la valoración conceptual y de constructo se basó en las técnicas de consenso (PÉREZ ANDRÉS, 2000; DOBBIE et al., 2004; POTTER et al., 2004) o Técnica de Delphi (COULTER; GIOVINAZZO, 2000; CHIA-CHIEN;BRIAN, 2007) en donde se consultó a especialistas, por medio de un cuestionario, que fue repasado continuas veces hasta obtenerse la convergencia de las respuestas, un consenso, que representó la consolidación del juzgamiento intuitivo del grupo. (MOURIÑO; VINEGRA, 1991)

En el Cuadro 1, se asocian cada una de las fases de validación con las diferentes etapas realizadas en el diseño de los instrumentos a utilizarse como herramientas para valorar el desempeño académico de docentes.

Para la valoración de la consistencia o la confiabilidad, que es la "exactitud o precisión de un instrumento" (CABRERA-ARANAet al., 2008; PIÑA-LÓPEZ, 2003; DE LA PEÑA et al., 1998), se utilizó el modelo de consistencia interna, Alpha de Cronbach, basado en el promedio de las correlaciones entre los ítems de los instrumentos. (CORTINA, 1993; SCHMITT, 1996)

Al respecto, cuanto más cercano esté el valor del Alpha de Cronbach a 1, mayor será la consistencia interna de los ítems que componen el instrumento de valoración analizado. (NUVIALA et al., 2008)

Para realizar la validación de consistencia de los diferentes instrumentos se utilizó la técnica de campo.

Se les entregó a la muestra de los grupos de interés ("skateholders"), seleccionados al azar y randomizados por conglomerados, cuestionarios autoadministrados que fueron llenados por éstos sin la presencia del encuestador.

A los participantes se les solicitó calificar las preguntas en función de su entendibilidad (BROCKMANN et al., 2007) utilizando la siguiente escala: el ítem no se entiende en lo absoluto (= 1); no se entiende (=2); se entiende más o menos (=3); se entiende (=4) y se entiende perfectamente (=5) con la finalidad de establecer la escala de trabajo (CEA, 2004 apud MARTÍN MORENO, 2007). No se tomó en consideración el factor tiempo como variable en la contestación del instrumento. No obstante, se puede recopilar el tiempo promedio que tomó contestarlo.

La metodología seguida en el presente estudio se esquematiza en la figura a continuación.

3 RESULTADOS Y DISCUSIÓN

3.1 Desarrollo del CMI

La primera fase en la construcción del Cuadro de Mando Integral fue la revisión o construcción del Marco Estratégico, que lo constituyó la definición y el análisis de la Misión y de la Visión de PIEDAD.

Posteriormente se definieron los Grupos de Interés o "stakeholders" involucrados, quedando constituidos de la siguiente manera: departamentos académicos, docentes y estudiantes; responsables por la implementación de la Co-evaluación, laAuto-evaluación y la Evaluación respectivamente, de la labor académica desarrollada por los docentes universitarios del Centro Regional de Veraguas de la Universidad Tecnológica de Panamá.

A partir de la información recabada en el diagnóstico del FODA (Fortalezas, Oportunidades, Debilidades y Amenazas) y tomando en consideración los aspectos externos, se procedió a la elaboración de la Matriz MEFE - Matriz de Evaluación de los Factores Externos - la cual permitió determinar el grado de proclividad del ambiente externo para permitir el logro de la misión y la sobrevivencia del programa de evaluación a implementar. (HENDERSON GARCÍA, 2006)

La metodología del CMI recomienda comparar el valor obtenido en la MEFE con un valor promedio (2.5) y analizar los resultados. En esta investigación el valor obtenido en la matriz MEFE fue de 1.37, por debajo del valor promedio lo cual es indicativo de que el programa contaba con un ambiente externo de poca proclividad para su implementación.

Lo anterior, permitió determinar las necesidades mínimas esenciales para dar inicio a PIEDAD; como por ejemplo contar con los recursos necesarios -físicos, humanos y económicos - para su implementación, al igual que disponer de los instrumentos de Evaluación, Auto-evaluación y Co-evaluación diseñados y validados científicamente.

Posterior al análisis de la MEFE, se procedió a la elaboración de la Matriz de Evaluación del Factor Interno - MEFI -, la cual permitió evaluar la capacidad organizacional interna del programa para hacerle frente al ambiente externo y permitir el logro de la misión y la sobrevivencia del mismo.

Al igual que la matriz anterior, la metodología del CMI recomienda determinar el valor de la Matriz MEFI y compararlo con uno promedio (2.5). Al respecto, se determinó un valor de 2.65 indicando con ello, que a lo interno del programa, los "stakeholders" poseen cierta proclividad ambiental interna positiva y suficiente, como para que PIEDAD sea abordado con alta probabilidad de éxito y que sus fortalezas contrarresten sus debilidades.

3.2 Validación de contenido y de constructo

La Universidad Tecnológica de Panamá - UTP - ha venido aplicando la evaluación del desempeño docente, utilizando una sola estructura de medición: la evaluación realizada únicamente por la parte estudiantil, hoy en día implementada "on-line" desde el portal del estudiante.

El análisis del inventario de instrumentos existentes a lo interno de la UTP, bien como los utilizados por otras universidades estatales panameñas y de otros países latinoamericanos, sirvieron de background para el diseño de los instrumentos.

No obstante, solo se consideraron de aquellos instrumentos, los aspectos relacionados única y exclusivamente con la labor académica del docente, descartándose aspectos de extensión, administración y/o de investigación universitaria inmersos en los instrumentos analizados.

En la validación por paneles de docentes por facultad, se realizó el procedimiento de la técnica de consenso en seis (6) sesiones; en donde se revisaron, corrigieron y consensuaron las aseveraciones de los instrumentos propuestos.

En cada sesión se efectuaron las modificaciones recomendadas por los docentes presentes en las sesiones de trabajo, tanto de redacción como de inclusión de nuevas oraciones, bien como de la ubicación de las aseveraciones en los respectivos ejes dimensionales de la academia.

De las 110 aseveraciones u oraciones que se sometieron inicialmente a la validación, se aprobaron por consenso 78 proposiciones.

De allí, que el producto de los pasos seguidos en la metodología de validación de contenido y de constructo, es un programa de valoración de la labor académica del docente con tres componentes estructurales constituido de la siguiente forma: 33 aseveraciones para el instrumento de Evaluación; 33 para el instrumento de Auto-evaluación y finalmente 12 aseveraciones para el instrumento de Co-evaluación.

3.3 Validación de confiabilidad

En la validación de la confiabilidad de los instrumentos, participaron un total de 218 individuos; de los cuales 165 (75.7%) respondieron por completo el cuestionario auto-administrado y fueron los que se incluyeron en el análisis.

Una vez sometido a las fases de validación, es posible afirmar que la consistencia interna global de los tres instrumentos, resultó ser satisfactoria (el valor del coeficiente Alha de Cronbach alcanza un valor de 0.926 y 0.917 para el total de la escala, para los instrumentos de Evaluación y Auto-evaluación respectivamente. De igual manera, el instrumento de Co-evaluación obtuvo un Alha de Cronbach de 0.804.)

En la Tabla l se sintetizan los coeficientes de fiabilidad en función de los cuestionarios autoadministrados y sus respectivas dimensiones y el tipo de instrumento validado.

Si se toma en consideración las aseveraciones dadas por George; Maller (1995 apud NUVIALA et al., 2008) quienes indican que si el Alha de Cronbach es mayor que 0.9 el instrumento de medición es excelente; en el intervalo de 0.9 - 0.8 el instrumento es bueno; entre 0.8 - 0.7 es instrumento es aceptable; en el intervalo entre 0.7 - 0.6 el instrumento es débil; entre 0.6 - 0.5 el instrumento es pobre; y si es menor que 0.5 no es aceptable; se concluye que los instrumentos de PIEDAD para valorar el rendimiento académico de los docentes del Centro Regional de Veraguas de la Universidad Tecnológica de Panamá ponen de manifiesto sus excelentes propiedades métricas para los cuales fueron diseñados.

Tal y como se puede observar en la tabla anterior, los resultados de los análisis por conglomerados evidencian su nivel de confiabilidad satisfactoria. No obstante es necesario tomar en consideración que la dimensión Planificación del instrumento de Evaluación obtuvo un Alha de Cronbach de 0.512 (pobre) y prácticamente se obtuvo el mismo valor para la respectiva dimensión en el instrumento de Auto-evaluación (0.566). Asimismo, la dimensión Actividades Pedagógicas del instrumento de Co-evaluación obtuvo Alha de Cronbach de 0.068 (no aceptable).

Lo anterior permitió la depuración de ítems al observar cuál o cuáles son de ellos presentaban mayor variabilidad y poder realizar los ajustes pertinentes con la finalidad de mejorar su nivel de entendibilidad.

En este sentido, al desglosar el resultado global, considerándose por separado las validaciones por ejes dimensionales de los instrumentos y por ítems en términos de las desviaciones y los errores permitieron identificar los "ítems problemas". El desglose aún más detallado por ítems, se presenta en la Tabla 2 para los instrumentos de Evaluación y Auto evaluación.

De esta tabla anterior se observa que para la dimensión Planificación, el ítem 3, coincidentemente, es el que presenta una mayor desviación en las respuestas dadas por los encuestados para ambos instrumentos de valoración: Evaluación y Auto-evaluación. De hecho, algunos encuestados manifestaron en notas a pie de página referente, a este ítem, "[...] la pregunta no significa, necesariamente, que no se entienda. Puede significar que la pregunta no sea aplicable a todas las asignaturas o que la respuesta que se le pueda dar, sería muy ambigua."

El ítem en cuestión, hacía referencia a que si el "profesor indicaba sobre la utilización de diferentes estrategias metodológicas para el desarrollo del curso"; razón por la cual se recomienda su revisión gramatical y mejora conceptual para los instrumentos, en la edición final de los mismos.

Asimismo, la dimensión Actividades Pedagógicas del instrumento de Coevaluación obtuvo Alha de Cronbach de 0.068 (no aceptable). Dado el hecho de que este instrumento posee cantidades de ítems disímiles a los otros dos instrumentos, no se incluyó en la tabla anterior y en su lugar se construyó un gráfico que tomó en consideración los valores máximos, mínimos, medios y desvíos en términos del conjunto de respuestas dadas por los encuestados y así poder identificar los "ítems problemas" de esta parte del instrumento

Como la dimensión analizada del instrumento de Co-evaluación son las Actividades Pedagógicas, los ítems correspondientes a la misma son cuatro: Agrado, Respeto, Equipo y Actividades, que aparecen en la lado extremo derecho de la figura anterior.

En esta figura se observa que de los ítems correspondientes a esta dimensión, aquél referente al atributo de "Agrado" se aleja del comportamiento de los demás, evidenciando con eso una mayor variabilidad en las respuestas dadas e indicando que el mismo deberá ser re-planteado con la intención de mejorar su "entendibilidad" y esta recomendación deberá ser contemplada en la edición final de este instrumento. El ítem original del instrumento hacía referencia a que si "el docente evidencia que le agrada impartir la asignatura", al respecto algunos encuestados manifestaron en anotaciones a pie de página que "[...] esta pregunta es muy intrínseca, interna, abstracta".

En resumen, los nuevos instrumentos validados para la valoración del desempeño académico como parte de PIEDAD, a la luz de los datos referidos a sus propiedades métricas, posibilitan recoger de forma relativamente válida y fiable la información pertinente en torno a los aspectos académicos desarrollados dentro de los salones de clases por parte de los docentes del Centro Regional de Veraguas de la Universidad Tecnológica de Panamá; lo cual es relevante cuando se verifica la escasez de estos tipos de instrumentos de evaluación que contemplen los tres ejes directrices del proceso.

Al respecto, al contar con instrumentos científicamente validados, será posible detectar los puntos débiles y fuertes de la enseñanza universitaria impartida en los salones de clases, y con ello, inferir las vías para realizar las mejoras pertinentes; pues los hallazgos detectados por los instrumentos, durante su ejecución, permitirán discutir con mayor evidencia las limitaciones y fortalezas tanto de la planificación, el desarrollo y las estrategias metodológicas utilizadas por los docentes.

4 CONCLUSIONES

Los resultados obtenidos en el presente estudio, permiten hacer las siguientes contribuciones:

· El SPSS es una excelente herramienta, particularmente útil para el análisis estadístico de variables cuantitativas.

· Durante todo el proceso de diseño y de validación de los instrumentos, se manejó la rigurosidad metodológica de las técnicas empleadas (CMI, Delphi y determinación del valor Alfa de Cronbach) a lo largo de las distintas fases y situaciones que se presentaron durante el desarrollo de la investigación; las cuales permitieron definir, depurar y detectar ítems problemas en los instrumentos analizados.

· Se diseñaron y validaron tres instrumentos y los mismos permitirán recoger de forma relativamente válida y fiable la información pertinente en torno a los aspectos académicos desarrollado en los salones de clases, por los docentes del Centro Regional de Veraguas de la Universidad Tecnológicade Panamá; lo cual es relevante cuando se verifica la escasez de estos tipos de instrumentos de evaluación que contemplen los tres ejes directrices de todo proceso de evaluación: Evaluación, Auto-evaluación y Co-evaluación.

· Al realizarse las validaciones, se concluye que la consistencia interna global de los tres instrumentos, resultó ser satisfactoria y ponen de manifiesto sus excelentes propiedades métricas para los cuales fueron diseñados.

· Uno de los fines últimos de esta investigación es que, gracias a la forma en que se desarrollaron los instrumentos diseñados y validados por ésta, se conviertan en punto de referencia para la valoración de la labor académica de los docentes de la Universidad Tecnológica de Panamá.

· Adicionalmente, una de las mayores contribuciones de la presente investigación es que fue posible demostrar que se puede, perfectamente, implementar y conjugar diferentes metodologías (CMI, Técnica de Delphi y Alfa de Cronbach) en la toma de decisiones a nivel educativo superior, en este caso para el diseño y la validación científica de instrumentos de valoración, la cual podrá ser útil y relevante para procesos similares en la gestión educativa de instituciones de enseñanza universitaria a nivel internacional.

Recebido em: 04 de dezembro de 2009

Aprovado em: 22 de dezembro de 2009

• BASTIDAS, E. L.; MORENO, Z. El Cuadro de Mando Integral en la gestión de las organizaciones del sector público: el caso Universidad Centroccidental Lisandro Alvarado. Revista Universo Contábil, Blumenau, v. 2, n. 3, p. 104 - 118, set./dez. 2006.
• BROCKMANN, R. et al. Actividad física y obesidad en niños con asma. Revista Chilena de Pediatría, Santiago - Chile, v. 78, n. 5, p. 482 - 488, oct. 2007.
• BUSTOS, J.; ZAPATA, M.; RAMÍREZ-VALDIVIA, M.T. Más allá de la gestión estratégica en educación superior: aplicación del Cuadro de Mando Integral. Revista OIKOS, Santiago - Chile, v. 12, n. 26, p. 98 - 114, dic. 2008.
• CABRERA-ARANA, G.A.; LONDOÑO-PIMIENTA, J.L.; BELLOPARÍAS, L.D. Validación de un instrumento para medir calidad percibida por usuarios de hospitales de Colombia. Revista de Salud Pública, Bogotá, v.10, n. 3, p. 443 - 451, sep./oct. 2008.
• CHAUI, M. A universidade pública sob nova perspective. Revista Brasileira de Educação, Rio de Janeiro, n. 24, p. 5 -15, set./dez.2003.
• CHIA-CHINE, H.; BRIAN, A. The Delphi Technique: making sense of consensus. Practical Assessment, Research & Evaluation Maryland, v. 12, n. 10, p. 1 - 8, Ago. 2007.
• CORTINA, J.M. What is coefficient aplha? An examination of theory and applications. Journal of Applied Psychology, Washington, v. 78, n, 1, p. 98 - 104, Feb. 1993.
• COULTER, J.T.; GIOVINAZZO, R.A. Delphi: uma ferramenta de apoio ao planejamento prospectivo. Caderno de Pesquisas em Administração, São Paulo, v. 1, n, 12, p. 54 - 65, abr./jun. 2000.
• DE LA PEÑA, F. et al. La entrevista semiestructurada para adolescentes (ESA): características del instrumento y estudio de confiabilidad interevaluador y temporal. Salud Mental, México-DF, v. 21, n. 6, p. 11 -18, dic. 1998.
• DOBBIE, A.; RHODES, M.; TYSINGER, J.W.; FREEMAN, J. Using a modified nominal group technique as a curriculum evaluation tool. Family Medicine, Leawood, v. 36, n. 6, p. 402 - 406, June. 2004.
• DOORIS, M. J. Two decades of strategic planning. Is strategic planning a useful tool or a counterproductive management fad? Planning for Higher Education, Missouri, v. 31, n. 2, p. 26 -32, dic.2002.
• HENDERSON GARCÍA, A. Programa y antología del curso sobre Cuadro de Mando Integral en el Sector Público para las Instituciones Públicas de Centroamérica San José - Costa Rica: Instituto Centroamericano de Administración Pública. Área de Gerencia Social, 2006.
• KAPLAN, R.; NORTON, D. The Balanced Scorecard: measures that drive performance. Harvard Business Review, Boston, v. 69, n. 1, p. 71 - 79, Jan./Feb. 1992.
• LAWRIE, G.; COBBOLD, I. Development of the 3rd generation balanced scorecard: evolution of the balanced scorecard into an effective strategic performance management tool. Active Management, Berkshire, v. 1, n. 1, p. 1 - 15, May. 2002.
• MARTÍN MORENO, C. Metodología de investigación en estudios de usuarios. Revista General de Información y Documentación, Madrid, v. 17, n. 2, p. 129 - 149, jul. 2007.
• MARTÍNEZ, M.; BUXARRAIS, M.R. & BARRA, F.E. La universidad como espacio de aprendizaje ético. Revista Iberoamericana de Educación, Madrid, n. 29, p. 17 - 42, mayo/agosto, 2002.
• MARTINSONS, M.; DAVISON, R.; SE, D. The balanced scorecard: a foundation for the strategic management of information systems. Decision Support Systems, North-Holland, v.25, p. 71 - 88, Feb.1999.
• MOURIÑO, R. 6 VINEGRA, L. Diseño y validación de un instrumento para valorar el entorno psicosocial. Salud Pública de México, Cuernavaca, v. 33, n. 1, p. 38 - 48, enero/feb.1991.
• NEGRE, J. T.; URIETA, C. V. El cuadro de mando integral en la administración pública: el caso del Ayuntamiento de Sant Cugat del Vallès. In: CONGRESO INTERNACIONAL DEL CLAD, 8, 2003, Panamá. La Reforma del Estado y de la Administración Pública Panamá, 2003. p. 1 - 13.
• NUVIALA, A. et al. Creación, diseño, validación y puesta en práctica de un instrumento de medición de la satisfacción de usuarios de organizaciones que prestan servicios deportivos. Revista Nuevas Tendencias en Educación Física, Deporte y Recreación, Almería, n, 14, p. 10 - 16, jul. 2008.
• PÁRAMO, P. Factores psicosociales asociados a la evaluación del docente. Educación y Educadores, Bogotá, v. 11, n. 1, p. 11 - 30, marzo 2008.
• PEREYRA , M. A.; TRUJILLO, A. L; MERINO, D. S. Las universidades europeas y el proceso de construcción del espacio europeo de educación superior: limitaciones y perspectivas de cambio. Revista Española de Educación Comparada, Madrid, v. 12, p. 113 - 143, enero 2006.
• PÉREZ ANDRÉS, C. ¿Deben estar las técnicas de consenso incluidas entre las técnicas de investigación cualitativa? Revista Española de Salud Pública, Madrid, v. 74, n. 4, p. 319 - 321, jul./agosto 2000.
• PIÑA-LÓPEZ, J.A. Validación de un instrumento para medir competencias conductuales en personas VIH positivas. Salud Pública de México, Cuernavaca, v. 45, n. 4, p. 293 - 297, jul./agosto 2003.
• POTTER, M.; GORDON, S.; HAMER, P. The nominal group technique: a useful consensus methodology in physiotherapy research. NZ Journal of Physiotherapy, Wellington, v. 32, n. 3, p. 126 - 130, Nov. 2004.
• SCHMITT, N. Uses and abuses of coefficient alpha. Psychological Assessment, Washington, v. 8, n. 4, p. 350 - 353, Jul. 1996.

Fechas de Publicación

• Publicación en esta colección
  09 Abr 2010
• Fecha del número
  2010

Histórico

• Acepto
  22 Dic 2009
• Recibido
  04 Dic 2009