Metodología

Partiendo de la premisa, aceptada internacionalmente, de que un buen proyecto universitario se sustenta en la calidad de sus estudiantes y profesores, en la buena gestión de los programas de estudio y de la institución misma, las universidades chilenas acreditadas por la Comisión Nacional de Acreditación (CNA) fueron comparadas en todas estas dimensiones. Para ello se utilizó información numérica disponible en diversas bases de datos de acceso público, particularmente en el Servicio de Información de Estudios Superiores (SIES), del Ministerio de Educación. Los datos utilizados para elaborar el ranking 2014 se actualizaron hasta el 31 de agosto pasado.

Indicadores
Se definieron indicadores para las siguientes dimensiones:
1) Estudiantes, 2) Académicos, 3) Proceso Formativo y 4) Gestión Institucional.
Cada una de estas dimensiones incluye uno o más indicadores cuyo valor genera un puntaje determinado.

Cálculo de los puntajes, normalización y ponderaciones
Para el cálculo del puntaje de cada dimensión se hizo necesario realizar una normalización de los resultados, con el fin de darle a cada uno de ellos un peso equivalente en los cálculos de los puntajes específicos y generales. Esta normalización se realizó contra el máximo valor del parámetro, y, de esta forma, para cada parámetro aparece una institución con el máximo puntaje de 100.
En casos específicos, la normalización se efectuó contra un Patrón de Calidad, como es el caso de los años de acreditación (máximo ideal de 7 años para una institución o carrera y de 10 años para un programa de doctorado). En el caso del porcentaje de programas de doctorado acreditados y porcentaje de retención de estudiantes se normalizó contra un ideal del 100%.

Por último, al puntaje de cada dimensión se le otorgó una cierta ponderación.

1) Estudiantes
El puntaje para este indicador fue calculado a partir del porcentaje del Aporte Fiscal Indirecto, AFI, otorgado a la institución en relación al número de alumnos ingresados en el mismo año. Para ello se consideró únicamente la matrícula de primer año de los alumnos ingresados a carreras profesionales.

El AFI es el aporte que el Estado hace a las instituciones por cada alumno matriculado cuyo puntaje PSU sea mayor de 600 puntos. Año a año, el Estado distribuye un monto de este fondo entre las instituciones de acuerdo a esta consideración de puntaje del postulante, el que no siempre es 600 puntos cerrado, pero la mayoría de las veces “bordea” esa cifra. El presente indicador se basa en la premisa de que a mayor porcentaje de AFI que capta la institución, mayor es la matrícula de estudiantes con puntajes superiores a los 600 puntos. A mayor AFI, entonces, mejor es el nivel de los estudiantes que ingresan. A esto se le denomina “calidad de los estudiantes”.

2) Académicos
El puntaje de esta dimensión se calculó como el promedio de dos parámetros:
a) Porcentaje de académicos con más de media jornada.
b) Porcentaje de académicos con doctorado.

3) Procesos Formativos
El puntaje para esta dimensión deriva del promedio ponderado de cuatro parámetros:
a) Cantidad de alumnos por académico con más de media jornada (20%).
b) Años promedio de acreditación de las carreras (60%).
c) Tasa de retención de los estudiantes (10%).
d) Brecha de duración real de las carreras de pregrado (10%).

Ajuste de metodología en el indicador “Años promedio de acreditación de carreras”

El parámetro “Años promedio de acreditación de carreras” es sin duda un indicador de calidad, pero pierde objetividad cuando las instituciones tienen pocas carreras acreditadas, haciéndolo estadísticamente muy vulnerable a pequeños cambios en el número de carreras acreditadas.

Por lo tanto, buscando perfeccionar la metodología del ranking con respecto a la “cultura de la calidad” de las instituciones, este año 2014 se consideró, en el indicador antes nombrado, el porcentaje de carreras acreditadas de cada universidad. De esta manera se corrige el sesgo que generaba el indicador utilizado en 2012 y 2013, que favorecía a las instituciones que tenían un bajo número de carreras de pregrado acreditadas, posiblemente las de mayor calidad, además de aquellas de acreditación obligatoria. Para ello se desarrolló un método ad hoc basado en un factor lineal que crece desde “0” para una universidad sin carrera acreditada hasta “1” para las instituciones con un porcentaje de carreras acreditadas igual o superior a la mitad del promedio de este parámetro, calculado sobre todas las instituciones acreditadas.

-Para la tasa de “retención de estudiantes” se consideró el segundo año de estudios para las cohortes ingresadas en 2010. El puntaje asociado refleja el propio porcentaje.

-La “brecha de duración de carreras” se basa en la diferencia entre el tiempo de duración real y formal de las carreras según plan de estudios de las diversas carreras de la institución. El puntaje refleja el valor del inverso de la brecha en el rango del mínimo al máximo.

4) Gestión Institucional
El cálculo de este puntaje se basó en el valor ponderado de dos indicadores:
a) Años de acreditación de la institución (80%).
b) Gasto por alumno (20%).

Ponderaciones
Para el cálculo del puntaje institucional final se usaron las siguientes ponderaciones:
1) Dimensión Estudiantes: 15%.
2) Dimensión Académicos: 25%.
3) Dimensión Procesos Formativos: 40%.
4) Dimensión Gestión Institucional: 20%.
Estas ponderaciones representan una estimación de los autores con respecto a la importancia relativa de cada una de las dimensiones consideradas. Al respecto, es necesario señalar que actualmente no existe consenso, por falta de elementos suficientes, tanto teóricos como empíricos, sobre este tipo de ponderaciones.

Comentarios y dudas relativas a la clasificación y ranking de las universidades chilenas de Universitas.
Luego de la públicación en 2012 del primer Ranking de Calidad de las Universidades Chilenas y su clasificación en cuatro grupos, surgieron algunas dudas y comentarios de distintas casas de estudio en cuanto a la metodología y resultados de ese trabajo. Universitas aclara aquí algunas de ellas.

1) Distancia en puntajes entre la Pontificia Universidad Católica de Chile y la Universidad de Chile.
Comentario: En el ranking de calidad de la docencia de pregrado, la diferencia de puntaje que separa a la Pontificia Universidad Católica de Chile, ubicada en primer lugar, de la Universidad de Chile, en segundo lugar, parece poco real. En otros rankings esto no se observa.
Respuesta: Los otros rankings de universidades no se limitan al pregrado. También incluyen otros aspectos, generalmente asociados al “tamaño”, como el número de publicaciones, metros cuadrados construidos y número de proyectos de investigación en marcha, entre otros. En ellos la Universidad de Chile exhibe cifras mayores que la Universidad Católica. En el presente ranking de calidad se optó por superar esta condición utilizando indicadores que expresan relaciones, y no valores absolutos.

2) Pertinencia de los indicadores utilizados para medir la calidad de los académicos.
Comentario: Esta dimensión consideró exclusivamente el porcentaje de profesores contratados por más de media jornada y el porcentaje de profesores con doctorado, sin valorar el volumen total del profesorado y de los alumnos. Otro elemento que debería incluirse en este análisis es el origen de los doctorados.
Respuesta: La medición de la calidad de los académicos es un problema no resuelto. Teóricamente, debería evaluarse por el “valor agregado” que obtienen sus estudiantes. Considerando la carencia de ese tipo de información, los indicadores seleccionados para construir el ranking de Universitas son los más utilizados internacionalmente. Además, el indicador “Número de alumnos por profesor” está considerado en la dimensión “ Proceso Formativo”.

3) Excesiva ponderación de los años de acreditación de las carreras.
Comentario: En la dimensión “Procesos Formativos”, el indicador “Años Promedio de Acreditación de las Carreras” tiene una ponderación demasiado alta en vista de las críticas que ha recibido la Comisión Nacional de Acreditación (CNA).
Respuesta: Pese a sus problemas y limitaciones, las resoluciones de la CNA constituyen el mejor indicador disponible en cuanto a una apreciación global de la calidad de una institución o de un programa de estudios. Por lo mismo, la comunidad académica considera orientadoras esas resoluciones.

4) El criterio “gasto por alumno” es ambiguo.
Comentario: No se sabe si es bueno o malo gastar más por alumno. Este ranking podría estar premiando a universidades que gastan más por ineficiencia.
Respuesta: El indicador “gasto por alumno” es muy usado internacionalmente para comparar el nivel de “complejidad” de los sistemas universitarios. Sin perjuicio del factor “eficiencia”, que sin duda debe influir, se trata de un indicador relacionado con el dinamismo y solvencia académica de una institución.

5) La dimensión “Estudiantes” tiene una ponderación muy baja.
Comentario: Sorprende la baja ponderación de la dimensión “estudiantes”, considerando la importancia que tiene este aspecto.
Respuesta: Se trata de un indicador estrictamente de input. Buenos estudiantes (asumiendo por buenos estudiantes aquellos que ingresan al sistema con un alto puntaje PSU) no aseguran la calidad de los procesos de aprendizaje. Para ello se requiere además, buenos profesores, infraestructura adecuada y una buena gestión de los programas de estudio. Prueba de lo anterior son los buenos resultados que obtienen algunas instituciones con estudiantes de “menor calidad”. Por estas razones, los factores Académicos y Proceso Formativo recibieron una mayor ponderación que el de la calidad estudiantil. Aquí también la “calidad de los alumnos” no es directamente relevante en la evaluación del “valor agregado” al que se trata de acceder.

6) Situaciones paradójicas en la clasificación de universidades.
Comentario: La clasificación de universidades en cuatro grupos determina situaciones paradójicas que generan dudas respecto a la validez de los criterios de clasificación aplicados. Por ejemplo, algunas instituciones clasificadas en el grupo “Docente con Proyección en Investigación” superan en el número anual de publicaciones a las “Universidades de Investigación y Doctorados en áreas Selectivas”.
Respuesta: La clasificación utiliza como criterio primario para la organización de grupos la oferta de programas de doctorado acreditados. Las instituciones consideradas “docentes” no tienen ese tipo de programas. En consecuencia, la asignación al grupo “docente con proyección en investigación” es taxonómicamente correcta.