Metodología

La aproximación metodológica que se describe más abajo permite construir un ranking de calidad de las universidades chilenas de tipo multidimensional, que considera todos los aspectos clave para una universidad, desde la calidad de sus estudiantes y académicos hasta la gestión institucional. Algunos de los indicadores considerados corresponden a inputs, como la calidad de los estudiantes o de los profesores; otros son indicadores de calidad de los procesos, como los años de acreditación de la institución o el número de sus carreras acreditadas; otros son indicadores de output, vale decir, elementos reveladores de resultados de algunos procesos, como la cantidad y calidad de publicaciones, las publicaciones por académico, la tasa de retención de estudiantes o la brecha entre duración formal y real de las carreras. Los datos utilizados para elaborar esta clasificación se recolectaron hasta el 31 de agosto de 2014.

La calidad de las universidades chilenas se midió en cada uno de los grupos de universidades identificados por la clasificación Universitas.

Indicadores
Se definieron indicadores para las siguientes dimensiones: estudiantes, académicos, procesos formativos, investigación, doctorados y gestión institucional.
Cada uno de estos factores incluye uno o más indicadores, y su valor genera un puntaje determinado.

Cálculo de los puntajes, normalización y ponderaciones
Para el cálculo del puntaje de cada dimensión se realizó una normalización de los resultados, con el fin de darle a cada uno de ellos un peso equivalente en los cálculos de los puntajes específicos y generales. Esta normalización se realizó contra el máximo valor del parámetro en cada grupo, y de esta forma, para cada parámetro y cada grupo aparece una institución con el máximo puntaje de 100.
En casos específicos, la normalización se efectuó contra un Patrón de Calidad, como es el caso de los años de acreditación (ideal de 7 años para acreditación de institución o carrera y 10 años para acreditación de doctorados). En el caso del porcentaje de carreras acreditadas y porcentaje de retención de estudiantes, se normalizó contra un ideal de 100%.
Por último, al puntaje de cada dimensión se le otorgó una cierta ponderación.

Factores y sus índices según grupo de universidades

1. Estudiantes
Este puntaje fue calculado a partir del porcentaje del AFI (Aporte Fiscal Indirecto) otorgado a la institución en relación con el número de alumnos ingresados en el mismo año. Para ello se consideró solamente la matrícula de primer año de los alumnos ingresados a carreras profesionales.

2. Académicos
El puntaje para el factor Académicos se calculó como el promedio de dos o tres parámetros, dependiendo del grupo de universidades.
Para las Universidades docentes y Docentes con Proyección en Investigación se utilizaron los siguientes indicadores:
a) porcentaje de académicos con más de media jornada;
b) porcentaje de académicos con doctorado.
Para las Universidades de Investigación y Doctorado en Áreas Selectivas y las de Investigación y Doctorados se agregó:
c) número de publicaciones indexadas internacionalmente por académico.

3. Proceso formativo
El puntaje para esta dimensión deriva del promedio ponderado de cuatro parámetros:
a) Cantidad de alumnos por académico con más de media jornada (20%).
b) Años promedio de acreditación de las carreras (60%).
c) Tasa de retención de los estudiantes (10%).
d) Brecha de duración real de las carreras de pregrado (10%).

Ajuste de metodología en el indicador “Años promedio de acreditación de las carreras”

El parámetro “Años promedio de acreditación de las carreras” es sin duda un indicador de calidad, pero pierde objetividad cuando las instituciones tienen pocas carreras acreditadas, haciéndolo estadísticamente muy vulnerable a pequeños cambios en el número de carreras acreditadas.

Por lo tanto, buscando perfeccionar la metodología del ranking con respecto a la “cultura de la calidad” de las instituciones, este año 2014 se consideró, en el indicador antes nombrado, el porcentaje de carreras acreditadas de cada universidad. De esta manera se corrige el sesgo que generaba el indicador utilizado en 2012 y 2013, que favorecía a las instituciones que tenían un bajo número de carreras de pregrado acreditadas, posiblemente las de mayor calidad, además de aquellas de acreditación obligatoria. Para ello se desarrolló un método ad hoc basado en un factor lineal que crece desde “0” para una universidad sin carrera acreditada hasta “1” para las instituciones con un porcentaje de carreras acreditadas igual o superior a la mitad del promedio de este parámetro, calculado sobre todas las instituciones acreditadas.

-Para la tasa de “retención de estudiantes” se consideró el segundo año de estudios para las cohortes ingresadas en 2010. El puntaje asociado refleja el propio porcentaje.

-La “brecha de duración de carreras” se basa en la diferencia entre el tiempo de duración real y formal de las carreras según plan de estudios de las diversas carreras de la institución. El puntaje refleja el valor del inverso de la brecha en el rango del mínimo al máximo.

4. Investigación
Para esta dimensión se consideraron los siguientes indicadores de calidad de las publicaciones:
a) Calidad científica promedio (CCP).
b) Número de publicaciones aparecidas en revistas del primer cuartil de calidad (Q1).
c) Número de publicaciones más citadas (ER o excellence ratio).
Todos estos parámetros se obtuvieron del estudio SIR de SCImago 2014. Para los índices Q1 y ER, el puntaje se estimó considerando un factor proporcional al número de publicaciones indexadas de la institución (promedio anual de publicaciones indexadas internacionalmente durante el quinquenio 2008-2012).

5. Doctorados
El puntaje de esta dimensión se estimó como un promedio de tres indicadores:
a) número de programas de doctorado acreditados.
b) porcentaje de programas de doctorado acreditados.
c) promedio de los años de acreditación de los programas.

6. Gestión Institucional
El cálculo de este puntaje se basó en el valor ponderado de dos o tres indicadores. Para las universidades Docentes, Docentes con Proyección en Investigación y de Investigación y Doctorados en Áreas Selectivas:
a) Años de acreditación institucional (80%).
b) Gasto por alumno (20%).

Para el grupo de Universidades de Investigación y Doctorados se sumó el grado de internacionalización, basado en el porcentaje de profesores y de estudiantes de posgrado extranjeros:
a) Años de acreditación institucional (75%).
b) Gasto por alumno (15%).
c) Grado de internacionalización (10%).

Ponderaciones
Para el cálculo del puntaje institucional final se usaron las siguientes ponderaciones.

Para los dos grupos de Universidades Docentes:
a) Factor Estudiantes: 15%
b) Factor Académicos: 25%
c) Factor Proceso Formativo: 40%
d) Factor Gestión Institucional: 20%.

Para los dos grupos de Universidades con Doctorados, las ponderaciones utilizadas para el cálculo del puntaje final fueron:
a) Estudiantes: 15%
b) Académicos: 15%
c) Proceso Formativo: 30%
d) Gestión Institucional: 10%
e) Investigación: 15%
f) Doctorados: 15%.

Estas ponderaciones representan una estimación de los autores con respecto a la importancia relativa de cada una de las dimensiones consideradas. Al respecto, es necesario señalar que actualmente no existe consenso, por falta de elementos suficientes tanto teóricos como empíricos, sobre este tipo de ponderaciones.