31/03/08: UNA PRIMERA MIRADA A LA PRUEBA DE LOS PROFESORES. EL EFECTO SPEEDEDNESS
La nueva evaluacion de los profesores peruanos para el nombramiento es un acontecimiento bastante interesante acerca de los resultados del sistema educativo peruano. Las pruebas empleadas, publicadas en http://www.minedu.gob.pe/DeInteres/Campanas/proceso_nombramiento_2008.php ofrecen la oportunidad de que los académicos podamos expresar algunas observaciones al respecto.
Las pruebas
Las pruebas publicadas son cuatro documentos o cuadernillos de: 1) inicial-primaria-educación básica alternativa inicial e intermedia, 2) secundaria-educación básica alternativa avanzada, 3) educación técnica-productiva, 4) educación básica especial inicial-primaria con 60, 148, 92 y 56 páginas cada uno. Contienen una primera parte común en todos los cuadernillos dirigido a todos los profesores del país, que consta de 60 preguntas. 30 de las cuales son de Comunicación, 20 de Razonamiento Lógico, 10 de conocimientos pedagógicos generales.
También presenta una segunda parte, diferente en cada cuadernillo, que consta de: a) preguntas de Conocimiento del Nivel-CURRICULO y preguntas de Conocimiento de Especialidad-CONTENIDOS (10 y 30 preguntas respectivamente para los cuadernillos 1, 2 y 4; 20 y 20 preguntas respectivamente para el cuadernillo 3). Finalmente se presenta una tercera parte común en todos los cuadernillos que corresponden a una prueba psicológica de 133 preguntas.
Las dos primeras partes de la prueba, de la pregunta 1 a la 100, deben ser respondidas en 180 minutos. La tercera parte de la prueba debe ser respondida en 60 minutos.
La prueba de primaria
Nosotros vamos a realizar un análisis mas detallado para el cuadernillo 1, y en dicho cuadernillo nos vamos a detener especialmente en la prueba para profesores de educación primaria de la dos primera partes. Tomamos esa decisión por cuanto todo los niños peruanos tienen la oportunidad de acceso a una escuela primara pública que no es el caso de una escuela inicial o alternativa inicial e intermedia.
Una primera cosa que nos llama la atención de la prueba es que se dispone de 180 minutos para contestar 100 preguntas. Algo así como un promedio de 1 minuto 48 segundos para leer, analizar, seleccionar una alternativa correcta y marcar en la hoja de respuestas con lápiz la respuesta correcta.
Observaciones
Sin embargo observamos que
a) la longitud de los enunciados de las preguntas no es homogénea. Las primeras 20 preguntas de la prueba, que corresponde a Comunicación, se basan en la comprensión de lectura de 8 textos de aproximadamente 10 líneas pero otras preguntas son más simples de leer.
b) Si separamos las preguntas en tres niveles, de manejo de información, de manejo de estrategias y de aplicación o resolución de situaciones podemos decir que la prueba está recargada en el tercer nivel. La amplia mayoría de preguntas corresponde al tercer nivel.
c) Si analizamos las preguntas que tienen que ver con habilidades verbales o numéricas podemos decir que las habilidades numéricas solo están en las preguntas 31 a 41 y de la 88 a la 97 (21 de 100 preguntas). En el resto de preguntas es importante la habilidad de lectura y el buen uso del idioma.
d) De las 10 preguntas de Matemática, 6 de ellas se basan en el componente de Estadística y probabilidad, un tópico lamentablemente poco conocido entre los profesores peruanos, como hemos expresado en este blog.
Efecto speededness
Sin embargo la principal observación que podemos indicar es la de disponer realmente de poco tiempo para contestar la prueba debido a la cantidad de información a ser leída antes de dar una respuesta. Si a esto sumamos el tiempo que se debe usar para marcar las preguntas en la hoja de respuesta, podemos estar hablando entre 1/4 y 1/3 del tiempo de la prueba completar antes de poder contestar.
Pero la estrategia cuando se tiene una prueba así, de poco tiempo, no necesariamente consiste en leer primero toda la prueba y contestar después, si no en ir respondiendo conforme se lee la prueba. Lectura que se realiza en el orden en que las preguntas se presentan si es que todas las preguntas valen lo mismo.
En este tipo de pruebas, algunos, que tienen mejor velocidad de lectura y/o dan la respuesta por discernimiento o por conocimiento previo, pueden avanzar más rápido que otras personas con menos velocidad de lectura y menor discernimiento o menor conocimiento. Este es el caso de las pruebas de velocidad o Speed Tests..
Los Speed Tests son pruebas que se basan en el número de preguntas leídas en un tiempo determinado. Cuando menor el tiempo disponible, mayor el efecto de speededness. Estos efectos son a menudo perjudiciales en el funcionamiento intencional de la prueba, en el sentido de que la prueba supone que la velocidad con cuál examinado responde normalmente no es un parte importante de la estructura de interés que se desea medir. Aún más, examinados que son afectado por este efecto responden a prisa y al azar con el fin de seguir adelante, o incluso no completan normalmente las preguntas que están al final de la prueba, por lo que reciben estimaciones de su habilidad que es muy inferior de la que realmente les corresponde. Es más los parámetros de dificultad de las preguntas administradas al final son sobre-estimados.
Una evidencia muy simple de este comportamiento es que las preguntas que aparecen al final de la prueba son menos contestadas que las preguntas que aparecen al inicio de la prueba. En este caso los examinados no tienen tiempo suficiente para contestar todas las preguntas y por tanto tenemos el efecto de speededness.
En esta situación, en presencia de speededness, consideramos que el tratamiento que se le ha dado a la prueba que los profesores dieron no es el adecuado. El tratamiento de sumar el número de aciertos de la prueba y exigir un número de aciertos superior al 70 % del total de preguntas (Nota superior a 14 o a 70 preguntas de las 100 que respondieron) para una prueba que es una prueba de velocidad no es lo apropiado.
El propósito sin duda de la prueba no fue medir la velocidad de lectura de los profesores, o que esta sea un componente importante en la estimación de su habilidad. Si esto fuera el caso, existen otros métodos de análisis más apropiados para reportar las habilidades correctas de los profesores y no la suma de acciones como puede verse en la referencias abajo.
Por otro lado, está claro que los profesores respondieron con mucha prisa y en ese caso, el número de preguntas mal contestadas puede aumentar dramáticamente conforme el tiempo avanza. No se ha reportado si se tiene una penalización por las preguntas mal contestadas pero si esto fue aplicado, todavía aún más, las notas obtenidas no reflejan la verdadera capacidad que se intentó medir.
Toda indica que hay que revisar la prueba de rendimiento aplicada a lo estudiantes peruanos para descartar el efecto speededness y modificar apropiadamente la manera de reportar estos resultados.
Referencias
Jansen, M.G.H. (1997a). Rasch model for speed tests and some extensions with applications to incomplete designs. Journal of Educational and Behavioral Statistics, 22, 125–140.
Jansen, M.G.H. (1997b). Rasch’s model for reading speed with manifest exploratory variables. Psychometrika, 62, 393–409.
Goegebeur, Y., De Boeck, P., Molenberghs, G., & del Pino, G. (2006). A local-influence-based diagnostic approach to a speeded item response theory model. Journal of the Royal Statistical Society, Series C (Applied Statistics), 55, 5, 647-676
Las pruebas
Las pruebas publicadas son cuatro documentos o cuadernillos de: 1) inicial-primaria-educación básica alternativa inicial e intermedia, 2) secundaria-educación básica alternativa avanzada, 3) educación técnica-productiva, 4) educación básica especial inicial-primaria con 60, 148, 92 y 56 páginas cada uno. Contienen una primera parte común en todos los cuadernillos dirigido a todos los profesores del país, que consta de 60 preguntas. 30 de las cuales son de Comunicación, 20 de Razonamiento Lógico, 10 de conocimientos pedagógicos generales.
También presenta una segunda parte, diferente en cada cuadernillo, que consta de: a) preguntas de Conocimiento del Nivel-CURRICULO y preguntas de Conocimiento de Especialidad-CONTENIDOS (10 y 30 preguntas respectivamente para los cuadernillos 1, 2 y 4; 20 y 20 preguntas respectivamente para el cuadernillo 3). Finalmente se presenta una tercera parte común en todos los cuadernillos que corresponden a una prueba psicológica de 133 preguntas.
Las dos primeras partes de la prueba, de la pregunta 1 a la 100, deben ser respondidas en 180 minutos. La tercera parte de la prueba debe ser respondida en 60 minutos.
La prueba de primaria
Nosotros vamos a realizar un análisis mas detallado para el cuadernillo 1, y en dicho cuadernillo nos vamos a detener especialmente en la prueba para profesores de educación primaria de la dos primera partes. Tomamos esa decisión por cuanto todo los niños peruanos tienen la oportunidad de acceso a una escuela primara pública que no es el caso de una escuela inicial o alternativa inicial e intermedia.
Una primera cosa que nos llama la atención de la prueba es que se dispone de 180 minutos para contestar 100 preguntas. Algo así como un promedio de 1 minuto 48 segundos para leer, analizar, seleccionar una alternativa correcta y marcar en la hoja de respuestas con lápiz la respuesta correcta.
Observaciones
Sin embargo observamos que
a) la longitud de los enunciados de las preguntas no es homogénea. Las primeras 20 preguntas de la prueba, que corresponde a Comunicación, se basan en la comprensión de lectura de 8 textos de aproximadamente 10 líneas pero otras preguntas son más simples de leer.
b) Si separamos las preguntas en tres niveles, de manejo de información, de manejo de estrategias y de aplicación o resolución de situaciones podemos decir que la prueba está recargada en el tercer nivel. La amplia mayoría de preguntas corresponde al tercer nivel.
c) Si analizamos las preguntas que tienen que ver con habilidades verbales o numéricas podemos decir que las habilidades numéricas solo están en las preguntas 31 a 41 y de la 88 a la 97 (21 de 100 preguntas). En el resto de preguntas es importante la habilidad de lectura y el buen uso del idioma.
d) De las 10 preguntas de Matemática, 6 de ellas se basan en el componente de Estadística y probabilidad, un tópico lamentablemente poco conocido entre los profesores peruanos, como hemos expresado en este blog.
Efecto speededness
Sin embargo la principal observación que podemos indicar es la de disponer realmente de poco tiempo para contestar la prueba debido a la cantidad de información a ser leída antes de dar una respuesta. Si a esto sumamos el tiempo que se debe usar para marcar las preguntas en la hoja de respuesta, podemos estar hablando entre 1/4 y 1/3 del tiempo de la prueba completar antes de poder contestar.
Pero la estrategia cuando se tiene una prueba así, de poco tiempo, no necesariamente consiste en leer primero toda la prueba y contestar después, si no en ir respondiendo conforme se lee la prueba. Lectura que se realiza en el orden en que las preguntas se presentan si es que todas las preguntas valen lo mismo.
En este tipo de pruebas, algunos, que tienen mejor velocidad de lectura y/o dan la respuesta por discernimiento o por conocimiento previo, pueden avanzar más rápido que otras personas con menos velocidad de lectura y menor discernimiento o menor conocimiento. Este es el caso de las pruebas de velocidad o Speed Tests..
Los Speed Tests son pruebas que se basan en el número de preguntas leídas en un tiempo determinado. Cuando menor el tiempo disponible, mayor el efecto de speededness. Estos efectos son a menudo perjudiciales en el funcionamiento intencional de la prueba, en el sentido de que la prueba supone que la velocidad con cuál examinado responde normalmente no es un parte importante de la estructura de interés que se desea medir. Aún más, examinados que son afectado por este efecto responden a prisa y al azar con el fin de seguir adelante, o incluso no completan normalmente las preguntas que están al final de la prueba, por lo que reciben estimaciones de su habilidad que es muy inferior de la que realmente les corresponde. Es más los parámetros de dificultad de las preguntas administradas al final son sobre-estimados.
Una evidencia muy simple de este comportamiento es que las preguntas que aparecen al final de la prueba son menos contestadas que las preguntas que aparecen al inicio de la prueba. En este caso los examinados no tienen tiempo suficiente para contestar todas las preguntas y por tanto tenemos el efecto de speededness.
En esta situación, en presencia de speededness, consideramos que el tratamiento que se le ha dado a la prueba que los profesores dieron no es el adecuado. El tratamiento de sumar el número de aciertos de la prueba y exigir un número de aciertos superior al 70 % del total de preguntas (Nota superior a 14 o a 70 preguntas de las 100 que respondieron) para una prueba que es una prueba de velocidad no es lo apropiado.
El propósito sin duda de la prueba no fue medir la velocidad de lectura de los profesores, o que esta sea un componente importante en la estimación de su habilidad. Si esto fuera el caso, existen otros métodos de análisis más apropiados para reportar las habilidades correctas de los profesores y no la suma de acciones como puede verse en la referencias abajo.
Por otro lado, está claro que los profesores respondieron con mucha prisa y en ese caso, el número de preguntas mal contestadas puede aumentar dramáticamente conforme el tiempo avanza. No se ha reportado si se tiene una penalización por las preguntas mal contestadas pero si esto fue aplicado, todavía aún más, las notas obtenidas no reflejan la verdadera capacidad que se intentó medir.
Toda indica que hay que revisar la prueba de rendimiento aplicada a lo estudiantes peruanos para descartar el efecto speededness y modificar apropiadamente la manera de reportar estos resultados.
Referencias
Jansen, M.G.H. (1997a). Rasch model for speed tests and some extensions with applications to incomplete designs. Journal of Educational and Behavioral Statistics, 22, 125–140.
Jansen, M.G.H. (1997b). Rasch’s model for reading speed with manifest exploratory variables. Psychometrika, 62, 393–409.
Goegebeur, Y., De Boeck, P., Molenberghs, G., & del Pino, G. (2006). A local-influence-based diagnostic approach to a speeded item response theory model. Journal of the Royal Statistical Society, Series C (Applied Statistics), 55, 5, 647-676
Etiquetas :
Total de Votos: 4 - Rating: 4.75
Ingrese su correo electrónico para suscribirse a los comentarios de este artículo:
