Metodología

La aproximación metodológica que se describe más abajo permite construir un ranking de calidad de las universidades chilenas de tipo multidimensional, que considera todos los aspectos clave para una universidad, desde la calidad de sus estudiantes y académicos hasta la gestión institucional. Algunos de los indicadores considerados corresponden a inputs, como la calidad de los estudiantes o de los profesores; otros son indicadores de calidad de los procesos, como los años de acreditación de la institución o de las carreras; otros son indicadores de output, vale decir, elementos reveladores de resultados de algunos procesos, como la cantidad y calidad de publicaciones, las publicaciones por académico, la tasa de retención de estudiantes o la brecha entre duración formal y real de las carreras. Los datos utilizados para elaborar esta clasificación se recolectaron hasta el 31 de agosto de 2013.

La calidad de las universidades chilenas se midió en cada uno de los grupos de universidades identificados por la clasificación Universitas.

Indicadores
Se definieron indicadores para las siguientes dimensiones: estudiantes, académicos, procesos formativos, investigación, doctorados y gestión institucional.
Cada uno de estos factores incluye uno o más indicadores, y su valor genera un puntaje determinado.

Cálculo de los puntajes, normalización y ponderaciones
Para el cálculo del puntaje de cada dimensión se realizó una normalización de los resultados, con el fin de darle a cada uno de ellos un peso equivalente en los cálculos de los puntajes específicos y generales. Esta normalización se realizó contra el máximo valor del parámetro en cada grupo, y de esta forma, para cada parámetro y cada grupo aparece una institución con el máximo puntaje de 100.
En casos específicos, la normalización se efectuó contra un Patrón de Calidad, como es el caso de los años de acreditación (ideal de 7 años para acreditación de institución o carrera y 10 años para acreditación de doctorados). En el caso del porcentaje de carreras acreditadas y porcentaje de retención de estudiantes, se normalizó contra un ideal de 100%.
Por último, al puntaje de cada dimensión se le otorgó una cierta ponderación.

Factores y sus índices según grupo de universidades

1. Estudiantes
Este puntaje fue calculado a partir del porcentaje del AFI (Aporte Fiscal Indirecto) otorgado a la institución en relación con el número de alumnos ingresados en el mismo año. Para ello se consideró solamente la matrícula de primer año de los alumnos ingresados a carreras profesionales.

2. Académicos
El puntaje para el factor Académicos se calculó como el promedio de dos o tres parámetros, dependiendo del grupo de universidades.
Para las Universidades docentes y Docentes con Proyección en Investigación se utilizaron los siguientes indicadores:
a) porcentaje de académicos con más de media jornada;
b) porcentaje de académicos con doctorado.
Para las Universidades de Investigación y Doctorado en Áreas Selectivas y las de Investigación y Doctorados se agregó:
c) número de publicaciones indexadas internacionalmente por académico.

3. Proceso formativo
El puntaje para esta dimensión deriva del promedio ponderado de cuatro parámetros:
a) Cantidad de alumnos por académico con más de media jornada (20%).
b) Años promedio de acreditación de las carreras (60%).
c) Tasa de retención de los estudiantes (10%).
d) Brecha de duración real de las carreras de pregrado (10%).

Para la tasa de “retención universitaria” se consideró el 2º año de estudios para las cohortes ingresadas en 2009. El puntaje asociado refleja el propio porcentaje.

La “brecha de duración de carreras” se basa en la diferencia entre el tiempo de duración real y formal de las carreras según el plan de estudios de las diversas carreras de la institución. El puntaje refleja el valor del inverso de la brecha en el rango del mínimo al máximo.

4. Investigación
Para esta dimensión se consideraron los siguientes indicadores de calidad de las publicaciones:
a) Calidad científica promedio (CCP).
b) Número de publicaciones aparecidas en revistas del primer cuartil de calidad (Q1).
c) Número de publicaciones más citadas (ER o excellence ratio).
Todos estos parámetros se obtuvieron del estudio SIR de SCImago 2012. Para los índices Q1 y ER, el puntaje se estimó considerando un factor proporcional al número de publicaciones indexadas de la institución (promedio anual de publicaciones indexadas internacionalmente durante el quinquenio 2007-2011).

5. Doctorados
El puntaje de esta dimensión se estimó como un promedio de tres indicadores:
a) número de programas de doctorado acreditados.
b) porcentaje de programas de doctorado acreditados.
c) promedio de los años de acreditación de los programas.

6. Gestión Institucional
El cálculo de este puntaje se basó en el valor ponderado de dos o tres indicadores. Para las universidades Docentes, Docentes con Proyección en Investigación y de Investigación y Doctorados en Áreas Selectivas:
a) Años de acreditación institucional (80%).
b) Gasto por alumno (20%).

Para el grupo de Universidades de Investigación y Doctorados se sumó el grado de internacionalización, basado en el porcentaje de profesores y de estudiantes de posgrado extranjeros:
a) Años de acreditación institucional (75%).
b) Gasto por alumno (15%).
c) Grado de internacionalización (10%).

Ponderaciones
Para el cálculo del puntaje institucional final se usaron las siguientes ponderaciones.

Para los dos grupos de Universidades Docentes:
a) Factor Estudiantes: 15%
b) Factor Académicos: 25%
c) Factor Proceso Formativo: 40%
d) Factor Gestión Institucional: 20%.

Para los dos grupos de Universidades con Doctorados, las ponderaciones utilizadas para el cálculo del puntaje final fueron:
a) Estudiantes: 15%
b) Académicos: 15%
c) Proceso Formativo: 30%
d) Gestión Institucional: 10%
e) Investigación: 15 %
f) Doctorados: 15%.

Estas ponderaciones representan una estimación de los autores con respecto a la importancia relativa de cada una de las dimensiones consideradas. Al respecto, es necesario señalar que actualmente no existe consenso, por falta de elementos suficientes tanto teóricos como empíricos, sobre este tipo de ponderaciones.

Comentarios y dudas relativas a la clasificación y ranking de las universidades chilenas de Universitas
Luego de la públicación en 2012 del primer Ranking de Calidad de las Universidades Chilenas y su clasificación en cuatro grupos, surgieron algunas dudas y comentarios de distintas casas de estudio en cuanto a la metodología y resultados de ese trabajo. Universitas aclara aquí algunas de ellas.

1) Distancia en puntajes entre la Pontificia Universidad Católica de Chile y la Universidad de Chile.
Comentario: En el ranking de calidad de la docencia de pregrado, la diferencia de puntaje que separa a la Pontificia Universidad Católica de Chile, ubicada en primer lugar, de la Universidad de Chile, en segundo lugar, parece poco real. En otros rankings esto no se observa.
Respuesta: Los otros rankings de universidades no se limitan al pregrado. También incluyen otros aspectos, generalmente asociados al “tamaño” , como el número de publicaciones, metros cuadrados construidos y número de proyectos de investigación en marcha, entre otros. En ellos la Universidad de Chile exhibe cifras mayores que la Universidad Católica. En el presente ranking de calidad se optó por superar esta condición utilizando indicadores que expresan relaciones y no valores absolutos.

2) Pertinencia de los indicadores utilizados para medir la calidad de los académicos.
Comentario: Esta dimensión consideró exclusivamente el porcentaje de profesores contratados por más de media jornada y el porcentaje de profesores con doctorado, sin valorar el volumen total del profesorado y de los alumnos. Otro elemento que deberóa incluirse en este análisis es el origen de los doctorados.
Respuesta: La medición de la calidad de los académicos es un problema no resuelto. Teóricamente, debería evaluarse por el “valor agregado” que obtienen sus estudiantes. Considerando la carencia de ese tipo de información, los indicadores seleccionados para construir el ranking de Universitas son los más utilizados internacionalmente. Además, el indicador “Número de alumnos por profesor” esta considerado en la dimensión “ Proceso Formativo”.

3) Excesiva ponderación de los años de acreditación de las carreras.
Comentario: En la dimensión “Procesos Formativos”, el indicador “Años Promedio de Acreditación de las Carreras” tiene una ponderación demasiado alta en vista de las críticas que ha recibido la Comisión Nacional de Acreditación (CNA).
Respuesta: Pese a sus problemas y limitaciones, las resoluciones de la CNA constituyen el mejor indicador disponible en cuanto a una apreciación global de la calidad de una institución o de un programa de estudios. Por lo mismo, la comunidad académica considera orientadoras esas resoluciones.

4) El criterio “gasto por alumno” es ambiguo.
Comentario: No se sabe si es bueno o malo gastar más por alumno. Este ranking podría estar premiando a universidades que gastan más por ineficiencia.
Respuesta: El indicador “gasto por alumno” es muy usado internacionalmente para comparar el nivel de “complejidad” de los sistemas universitarios. Sin perjuicio del factor “eficiencia”, que sin duda debe influir, se trata de un indicador relacionado con el dinamismo y solvencia académica de una institución.

5) La dimensión “Estudiantes” tiene una ponderación muy baja.
Comentario: Sorprende la baja ponderación de la dimensión “estudiantes” considerandoo la importancia que tiene este aspecto.
Respuesta: Se trata de un indicador estrictamente de input. Buenos estudiantes (asumiendo por buenos estudiantes aquellos que ingresan al sistema con un alto puntaje PSU) no aseguran la calidad de los procesos de aprendizaje. Para ello se requiere, además, buenos profesores, infraestructura adecuada y una buena gestión de los programas de estudio. Prueba de lo anterior son los buenos resultados que obtienen algunas instituciones con estudiantes de “menor calidad”. Por estas razones, los factores Académicos y Proceso Formativo recibieron una mayor ponderación que el de la calidad estudiantil. Aquí también la “calidad de los alumnos” no es directamente relevante en la evaluación del “valor agregado” al que se trata de acceder.

6) Situaciones paradójicas en la clasificación de universidades.
Comentario: La clasificación de universidades en cuatro grupos determina situaciones paradójicas que generan dudas respecto a la validez de los criterios de clasificación aplicados. Por ejemplo, algunas instituciones clasificadas en el grupo “Docente con Proyección en Investigación” superan en el número anual de publicaciones a las “Universidades de Investigación y Doctorados en áreas Selectivas”.
Respuesta: La clasificación utiliza como criterio primario para la organización de grupos la oferta de programas de doctorado acreditados. Las instituciones consideradas “docentes” no tienen ese tipo de programas. En consecuencia, la asignación al grupo “docente con proyección en investigación” es taxonómicamente correcta.