Ranking de universidades de pregrado peruanas de la revista América Economía.

De http://uaeuwatch.blogspot.com/2011/07/is-there-meaning-to-university-rankings.html

Se acaba de publicar en la web el Ranking de universidades de pregrado peruanas 2012 de la revista América Economía (AE); la versión impresa es de Octubre. Los ranking universitarios son uno de los fenómenos contemporáneos de la educación superior. Más frecuentemente, sin embargo, la actitud frente a ellos es mágica. Consumimos la información sobre la jerarquía en el orden de posiciones y nos dejamos llevar por ella sin evaluarla antes de usarla.

Al respecto, el Ranking de la revista AE tiene las virtudes de aparecer regularmente desde hace tres años y de hacer accesible en la web los datos de sus distintas versiones (ver en Materiales, al final, los enlaces) de modo que se puede seguir el modo en que el ranking va evolucionando y, como veremos, evoluciona.

Por otro lado, sobre este ranking conviene señalar que es elaborado por una revista latinoamericana dirigida a empresarios que produce rankings sobre varios tipos de organización. Conviene, por ello, tener presente su público objetivo ya que podría explicar alguna de sus virtudes (énfasis en empleabilidad y competitividad en la empresa privada) y o debilidades (menor énfasis en temas de ciencias básicas y humanidades). Adicionalmente, la metodología de cálculo del ranking aconseja atender este énfasis: dos de los cinco índices están basados en encuestas a personas del público objetivo de la revista y explican el 50% del valor del índice final: Empleabilidad 25% y Prestigio 25%. Los otros tres índices, basados en información, son: Tamaño 10%, Internacionalización 15% e Investigación 25%.

Gracias al hecho de que la revista publica datos en la web hemos construido una base en excel que contiene la información de los tres años (ver enlace más abajo). Con esta información podemos ampliar los comentarios que formulamos en un post anterior sobre la edición 2011.

La principal idea que habría que establecer es que se trata de un ranking en construcción. Han venido cambiando el número de universidades reportadas, la composición público/privada y Lima/provincias, el número de indicadores, las especialidades reportadas y da la impresión que también algunos de los criterios metodológicos. A pesar de ello pueden identificarse como veremos algunas regularidades.

Los cambios:
– Número, ubicación y tipo de universidad: como se puede observar de la tabla el cambio de tamaño es sostenido y desde la edición 2011 se procura balancear las cifras pública/privada y Lima/provincia. La edición 2012 tiene un ligero sesgo a provincia, y en la composición pública/privada el sesgo es a privado en Lima y a público en provincia.

– Los indicadores del ranking se ampliaron de 3 a 5 entre 2010 y 2011. Este es un cambio en la metodología que no es declarado dada la naturaleza periodística pero que se puede rastrear gracias a que la revista publicó en la web la información detallada. En el proceso, como se puede observar en la tabla siguiente, varios datos componentes de los índices de 2010 adquieren carácter de índice en 2011. Es el caso de internacionalización e investigación del desaparecido índice de fortaleza institucional (Ind.FortInst.), y de empleabilidad que en 2010 era componente del índice de prestigio que se conserva pero ahora como índice directo, ya no como índice compuesto. Entre 2010 y 2011 desaparecen como componentes la selectividad (selectividad), la recomendabilidad (recomendab.), la sensibilidad de la marca en el mercado (marca) y el posicionamiento en el mercado (posicionam.). Las ediciones 2011 y 2012 comparten los mismos criterios, con las ponderaciones ya mencionadas. En el índice de tamaño, sin embargo, en 2012 incorporan como componente el número de facultades.

– Aunque no se declara los procedimientos de cálculo de los índices, todo indica que hubo cambios metodológicos y de la muestra de las encuestas. En 2011 y 2012, Tamaño, Internacionalización e Investigaciones son índices basados en datos mientras Empleabilidad y Prestigio son basados en encuestas. Como veremos en sección aparte, bajo esta regularidad el comportamiento de los índices sugiere cambios metodológicos -que el informe no explicita- en los procedimientos de cálculo y en las muestras. Por otro lado, la metodología de cálculo sólo es clara y replicable para el índice de Investigación. Es muy probable que a medida que el ranking sea tomado en cuenta y sometido a escrutinio, la revista mejore la comunicación sobre sus procedimientos.

– En los rankings por especialidades han cambiado las especialidades reportadas y el número de universidades por especialidad. Entre 2010 y 2012 la revista ha reportado, además de rankings generales, los primeros puestos de un grupo de especialidades. También en este tema hubo cambios. Los más importantes sucedieron entre 2010 y 1011. Dos especialidades reportadas en 2010 (Contabilidad e Ingeniería Civil) dejaron de reportarse y fueron sustituidas por otras dos (Comunicación e Ingeniería de Sistemas). El número de universidades reportadas era heterogéneo en 2010 y se estandarizó a 5 en 2011. No está claro por qué no se continúa el seguimiento a Ingeniería Civil y Contabilidad.

– En el ranking de especialidades hubo además cambios en la metodología de cálculo (y las poblaciones encuestadas) entre todas las versiones. En 2010 se calculó en base a una encuesta a lectores de AE, a Headhunters y reclutadores, y se tomó en cuenta también un índice de prestigio “construido en base a votos directos en primera y segunda opción en ambas encuestas” (las dos mencionadas previamente). En 2011 se calculó en base resultados de encuestas a Ejecutivos, Headhunters y reclutadores, y Empresas. En 2012 solo se reportó valores para las poblaciones de Headhunters y reclutadores, y Empresas (gerentes de RRHH). Se puede anotar al margen, que los valores de Empresas 2012 se parecen más a Ejecutivos 2011 que a Empresas 2011.

– Estos cambios podrían explicar el cambio en el perfil del valor del índice final en el ranking de universidades que muestra el gráfico siguiente:

– Se ha representado en el gráfico los valores obtenidos según puesto, con independencia de la universidad que lo ocupa. Resulta claro si se observa hacia abajo y hacia la derecha que cada año se añaden más universidades que obtienen valores más bajos. Pero si luego se mira hacia el centro se descubre que cada año los valores de las universidades reportadas previamente suben; algunas suben mucho y otras poco. Existe una excepción a esta regla: el valor obtenido por la universidad número uno baja cada año; aunque levemente.

– Por otro lado, el análisis del índice final logrado por especialidad muestra que los valores 2010 tienen una distribución muy diferente que los del 2011 y 2012. Las curvas 2010 tienen una mayor dispersión con mayor distancia entre los primeros y los demás, pero también con valores menores en los primeros puestos. Entre 2011 y 2012, por otro lado, los perfiles y la dispersión de valores es bastante semejante salvo en los casos de la economía y la ingeniería Industrial.

Detalle de los cambios en los Índices 2011 – 2012

– Tamaño. La incorporación en 2012 de universidades muy grandes ha determinado una caída en los índices de tamaño de 29 de las 30 universidades de la edición 2011. La excepción es la Universidad San Martín de Porres que era la mayor el año anterior y hoy es la menor del extremo alto y sigue recibiendo la puntuación máxima de 100, lo que indica que hay un umbral para obtener el puntaje máximo y que ha cambiado. En 2012 se ha incorporado a 3 de las mayores universidades del Perú (Alas Peruanas, César Vallejo y Garcilaso) y el índice 2012 da una dispersión mucho más amplia. No queda claro cómo se construye este índice. Aunque los valores para las cifras mayores (alumnos y profesores) son las mismas en ambos años, en la edición 2011 se asignaba el máximo valor (100) a 4 universidades cuyos valores en alumnado oscilaban entre 31 y 23 mil, y los profesores entre 3.7 y 1.2 mil. En la versión 2012 la menor de estas 4 (23 mil alumnos y 1.9 mil profesores) recibe 75 puntos en lugar de 100. La PUCP pierde 30 puntos y es la que más pierde. Los valores de las 3 que reciben el máximo de puntos (100), en 2012, oscilan entre 57.6 y 31 mil en alumnos y entre 4.8 y 3.7 mil profesores.

– Internacionalización. La mayoría (25 de las 30) de universidades de la edición 2012 ganan puntos; dos no varían (PUCP y USMP) y 3 pierden (UL, UPC, USIL). No resulta claro cómo de un año para otro algunas universidades logran incrementos tan sustantivos como 56 puntos (UNFV). Once universidades ganan más de 10 puntos, la mayoría universidades nacionales. Podría ser el resultado de la incorporación de universidades con mucho menor internacionalización, de un mejor registro de relaciones internacionales o de un incremento sustantivo en estos vínculos, pero como no se presentan los datos no es posible evaluar la hipótesis.

– Investigación. En este índice las variaciones son pequeñas y están distribuidas bastante equilibradamente. 12 universidades ganan, 4 no varían y 14 pierden; pero salvo la PUCP que gana 6 puntos y la UNMSM que gana 4, las variaciones son en su mayoría menores a 1. En este índice el valor mayor es igual a 100 y todos los demás se obtienen como porcentajes de ese valor. Es el único índice de cálculo absolutamente transparente.

– Empleabilidad. Como en Internacionalización, la mayoría (23 de las 30) gana puntos. La PUCP que repite el máximo puntaje no varía, y 6 universidades (4 privadas y 2 públicas) pierden puntos. Las universidades que ganan mayor puntaje son públicas (UNSSAC 55, UNSAA 44, UNTrujillo 41, UNFV 32, UNALM 23). Este resultado podría ser efecto de un cambio en la muestra, pero como no hay ficha técnica de las encuestas no se puede validar la hipótesis.

– Prestigio. Todas las universidades 2011 ganan, menos la PUCP que era líder en 2011 y pasa a 2do lugar en 2012 perdiendo 5 puntos. Once ganan 20 puntos o más; las que ganan más puntos son la UNMSM (43) y la UPCH (40), siguen UNALM (34), UNSAAC (27). Como en Empleabilidad, el resultado podría ser efecto de un cambio en la muestra, pero como no hay ficha técnica de las encuestas no se puede validar la hipótesis.

– Final. El efecto agregado de todos estos cambios es que la mayoría (27 de 30) ganan puntos; pierden la UNPRG (-2.4), la PUCP (-0.9), y la UNCP (-0.3). Las universidades que más ganan son la UNSAAC (23), la UNFV (19), y UPCH, UNALM, UNTrujillo, UNSAA (entre 18 y 17).

Las regularidades

– La tabla anterior muestra la más importante regularidad. En general se conservan los agrupamientos resultantes de la secuencia de incorporación; es decir el grupo 2010 se mantiene entre los 15 primeros, los 15 añadidos del 2011 se conservan entre la posición 16 a 30, y los 25 incorporados en 2012 se colocan del 31 en adelante. Las excepciones son: SUBIENDO, las universidades públicas San Antonio Abad del Cusco y Nacional de Trujillo que pasan del segundo al primero; y las de la Amazonía Peruana, de Piura y Agraria de la Selva que pasan del tercero al segundo. Y BAJANDO, las universidades privadas Ricardo Palma y San Ignacio de Loyola que en 2010 pasan el primer al segundo pelotón; y las universidades públicas del Centro del Perú y Pedro Ruiz Gallo que con la universidad privada Católica Santo Toribio de Mogrovejo que pasan del segundo al tercer pelotón.

– Conviene tener presente, sin embargo, que la incorporación tuvo una estructura disímil en 2010 (predominio privadas) y 2011 (predomino público) que fue calculado para construir un equilibrio entre universidades públicas y privadas… El arreglo 2012 mantiene la paridad con una ligera ventaja para las públicas, pero los cambios descritos entre pelotones los reequilibra en términos de distribución público privada. Sigue habiendo un ligero predominio privado en el pelotón top, un predominio público en los pelotones intermedios, y un predominio privado en el pelotón más bajo.

– Respecto de las especialidades, la mayoría de los primeros puestos no ha cambiado desde su creación y varias han estabilizado el número de universidades y el orden de puestos en los últimos dos (de tres) años. Economía e Ingeniería de sistemas son las que más cambian; y Economía no solo cambia en las posiciones sino en cuáles son las primeras cinco universidades.

A modo de conclusión

1. La mayoría de veces uno lee los rankings sin caer en la cuenta de que los cambios en las posiciones pueden deberse a cambios en los métodos. Desgraciadamente no existe la cultura de documentar los procedimientos con una ficha técnica ni declarar cuáles fueron los cambios relevantes entre una edición y la siguiente.

2. La lectura de rankings debería incluir una preocupación por entenderlos y no solo usar el orden de las posiciones. Este ejercicio no nos llevó hasta las recetas pero si nos indicó que hay cambios subyacentes a las modificaciones en las posiciones y que no conocemos.

3. Los rankings tienen historia y hacerla evidente ayuda a pensar cómo mejorar la experiencia de producir, interpretar y usar los rankings.

4. Una pregunta que habría que formular a cualquier ranking es qué nos dice respecto de lo que habría que hacer para mejorar. A falta de respuesta clara a este respecto el consumo de ranking correrá el riesgo de ser únicamente publicitario, o peor todavía puede generar la tentación de orientar las decisiones de matrícula, de contratación o de políticas universitarias a partir de datos “mágicos”.

Juan Fernando Vega Ganoza

MATERIALES
• Enlace a la edición 2010
• Enlace a la edición 2011
• Enlace a la edición 2012
• Para bajar la base de datos en excel diseñada para el análisis de cambios y regularidades entre las distintas ediciones clik 20121213-rank_univperu_ae_2010_2011_2012.xls AQUÍ Leer más »