Archivo de la categoría: Medición y evaluación

instrumentos de medición

Evaluación psicológica para los docentes

Este año no han considerado ninguna evaluación psicológica para los docentes. La Ministra ha dicho que “el Perú no tendría capacidad operativa práctica para aplicar pruebas psicológicas a todos los docentes, tampoco tenemos los instrumentos creados. Este es un tema por investigar, por elaborar” (ver noticia completa, aquí).

La verdad es que estoy de acuerdo con ella, pues las evaluaciones psicológicas masivas son complicadísimas y difíciles de implementar. Nosotros en el Departamento de Psicología de la PUCP tenemos algo experiencia en esto, pues estamos evaluando a candidatos a notarios de todo el país desde hace algunos años y es un trabajo engorroso y complejo por la magnitud del mismo, que no puede hacerse de manera improvisada y sin el cuidado ético que una tarea tan delicada demanda. Además, ¿son las pruebas psicológicas realmente necesarias para los docentes? O en todo caso, si la respuesta fuera sí, ¿qué es lo que debería evaluarse? Esto es lo que se tiene que discutir antes de pensar en los instrumentos específicos.

La Ministra también ha dicho que “está pendiente imaginar qué tipo de instrumento sería útil para este tipo de casos“. Ojalá no la asesoren mal en esto y se termine contratando a psicoanalistas de diván que apliquen pruebas proyectivas a los docentes… Lo digo asi, directamente, porque en el Perú aun se suelen usar proyectivas para todo, desde la evaluación para sacar el permiso de conducir (vayan al touring y vena como aun les hacen dibujar una persona para sacar el brevete!) hasta la selección de competencias laborales para hoteles, universidades, fuerzas de venta o ejecutvos de empresas metal-mecánicas… todo es con proyectivas, aunque estas sean completamente impertinentes y poco útiles para el caso.

Un tema para pensar. Que bueno que el Ministerio de Educación no lo haya abordado a la ligera.

» Leer más

Cosas que el Colegio de Psicólogos no debería avalar

A sugerencia de Kike Delgado, que encontró en la página web del Colegio de Psicólogos del Perú publicidad sobre maestrías cuestionables, quiero llamar la atención, una vez más, acerca del peligro de permitir que otros profesionales tengan acceso a instrumentos psicológicos.

Entiendo perfectamente que la tendencia mundial es abrirse a la interdisciplinariedad y que en esa línea, muchas maestrías que antes solo se ofrecían para psicólogos se ofrecen ahora a profesionales afines (educadores, médicos, sociólogos etc.) e incluso no tan afines (yo he tenido a ingenieros, abogados y físicos como alumnos de maestría alguna vez). Nosotras mismas en el Departamento de Psicología tenemos maestrías que se abren no solamente para psicólogos sino también para otros profesionales vinculados con la temática (médicos y enfermeras en el caso de la de psicología de la salud, y educadores, comunicadores, antropólogos y sociólogos en la de cognición, aprendizaje y desarrollo). No tengo problema con eso.

Lo que si cuestiono, y mucho, es que en estas maestrías no se haga la diferencia entre conocimiento general y conocimiento específico, y que por lo tanto se permita a estos profesionales el acceso a tipos de conocimiento y a técnicas que solamente deberían ser patrimonio de los psicólogos. El caso del uso de instrumentos psicológcos de medición es emblemático de esto que denuncio. Dada la complejidad de los procesos involucrados en cualquier evaluación psicológica y en el uso que se haga con la información que de ella se derive, resulta sumamente preocupante que se entrene a personas que no tienen formación psicológica en el uso de estos tests, y que sea el propio Colegio de Psicólogos el que avale estas prácticas anunciando en su página diplomados y maestrías que cometen esta falta.

Y la llamo así, falta, porque el Colegio parece haberse olvidado que existe una normativa que explicitamente indica que los materiales e instrumentos de evaluación e intervención psicológicos son de uso exclusivo del psicólogo (artículo 14° del Reglamento de la Ley de Trabajo del Psicólogo, DS N° 007-2007-SA, y artículo 55° del Código de Ética del Psicólogo Peruano).

Muchos de mis estudiantes no entienden el por qué de esta preocupación y siempre les hago un paralelo con la medicina. A mi me gusta la medicina, y veo programas médicos por TV siempre que puedo. Estoy al tanto de muchos avances médicos, leo al respecto en revistas de divulgación y a veces incluso me atrevo con algún artículo especializado. En el hipotético caso de que yo quisiera hacer un curso o una maestría en alguna especialidad médica, podría recibir sin problema conocimiento general, digamos, sobre cirujía cardiovascular, a fin de que yo esté al tanto de en qué consiste este tipo de intervención, en que casos se recomienda, cuales son las complicaciones asociadas, cuales las nuevas técnicas, en qué está actualmente la investigación en el área, y etc. Lo que yo no podría hacer, porque no soy médico, es aprender en ese curso a poner un catéter o a hacer un transplante de corazón.

Aunque parezca que mi ejemplo es extremo, es muy similar a lo que hacemos cuando abrimos el uso de pruebas a personas que no tienen el entrenamiento suficiente ni la formación psicológica necesaria para aplicarlas. En vez de darles información general para que entiendan en qué consiste una prueba psicológica, que bases tiene o cuando es pertinente usarla y cuando no, se les permite utilizarlas tal cual como si a mi, sin la preparación necesaria, me dieran un bisturí y me permitieran usarlo.

Ahora que hay elecciones en el Colegio de Psicólogos espero de verdad que la nueva directiva no tome estas cosas a la ligera y que se dejen de anunciar, en plena página web institucional, cursos que atentan contra el buen ejercicio de nuestra disciplina. » Leer más

Denuncia: mal uso de pruebas psicológicas

Escribo esta entrada para hacer público un hecho que indigna. No me importa si con esto contribuyo a hacerle publicidad a esta señora, creo que se necesita poner el tema a conocimiento del público y del colegio de psicólogos, y debatirlo con seriedad.

Esta persona, llamada Ana María de la Piedra, quien además dice ser psicóloga educacional (aunque se dedica al área organizacional) no tiene ningún reparo en ofrecer para el público en general, no especializado, un curso taller en pruebas psicológicas. Así, con todo desparpajo: ofrece entrenar a la gente en pruebas de selección. Vean las imágenes:

» Leer más

Reporte de resultados de programas de educación del caracter

Para los interesados en este tipo de informes: El Institute of Education Sciences (IES), National Center for Education Evaluation and Regional Assistance ha publicado Survey of Outcomes Measurement in Research on Character Education Programs, un reporte de resultados de programas de educación del carácter en los Estados Unidos. El reporte puede descargarse aquí
» Leer más

Mi visión de la evaluación del razonamiento moral

Lapiz

Un aspecto importante del estudio del desarrollo moral es el que concierne al modo de evaluación. Obviamente, existen diferentes instrumentos de evaluación para diferentes aspectos del desarrollo moral (por ejemplo, el instrumento original de Kohlberg, el Defining Issues Test -DIT- de James Rest y el equipo original de Minnesota, que ya tiene varias versiones, el Moral Judgment Test -MJT- de Georg LInd, por mencionar solo tres), basados cada uno en una determinada concepción del tema.

En relación al razonamiento moral, gran parte del debate se ha centrado en si existe diferencia en el resultado de una evaluación realizada mediante un test de producción espontánea (como la entrevista que usaba Kohlberg) o uno objetivo o de reconocimiento, como el DIT, o si se obtienen resultados distintos al usar dilemas morales reales, hipotéticos, o generados por los propios sujetos.

Kohlberg conceptualiza el estadio moral como una estructura holística, por lo cual, los resultados de los sujetos no deberían mostrar variación al ser estos evaluados con instrumentos diferentes, o con distintos tipos de dilemas. Para él (y yo concido en esto plenamente), los mejores instrumentos son los de producción espontánea, los que evaluan la evolución cualitativa del razonamiento y el juicio moral. Aun reconociendo que estos test presentan ciertas desventajas que pueden ser minimizadas mediante el uso de instrumentos objetivos (probabilidad de sesgos al entrevistar y al calificar, dificultades de comparación intersujetos, largo tiempo de aplicación y calificación y probable situación ventajosa para aquellas personas que tienen un mejor manejo del lenguaje), las pruebas objetivas o de reconocimiento (para marcar) me siguen pareciendo inadecuadas pues con ellas se pierde de vista el real sentido de la evaluación, ya que las reacciones del sujeto están focalizadas en el contenido de las respuestas, el cual se relaciona luego con la estructura, más no en la estructura misma. Además, y esto es lo más importante desde mi punto de vista, siempre es más fácil reconocer un argumento cuando se lee, que producirlo espontáneamente, y en este sentido para evaluar el razonameinto moral siempre una entrevista bien manejada será un instrumento más fino y realista que una prueba de lápiz y papel que solo pida reconocer y/o secuenciar jerárquicamente argumentaciones ya dadas.

Por supuesto, la elección de uno u otro instrumento se hace en base a un sinnumero de factores. Si se tiene tiempo, acceso al complejísimo manual (son tres tomos, con un sistema de cortes de 13 puntos -antes eran 19- bien complicado de entender!) y personas REALMENTE entrenadas para usarlo, resulta mucho más rico realizar una entrevista. Si no se tiene tanto tiempo, se desean muestras muy grandes, y/o el evaluador no está tan familiarizado con la teoría y no se mueve cómodamente en ella como para generar hipótesis de trabajo y establecer repreguntas, será mejor privilegiar una prueba objetiva. Lo importante es saber por qué se elige una u otra y qué se gana y se pierde con cada una de ellas. » Leer más

Evaluación de la formación ciudadana

Los primos

La UMC ha rediseñado su página y ahora ya se pueden encontrar los documentos de las distintas evaluaciones nacionales así como varios otros boletines y publicaciones. Ojalá no cambien la página y hagan que los enlaces desaparezcan.

Como la experiencia me ha enseñado que muy poca gente está familiarizada con la evaluación de formación ciudadana que se realizó en el 2004 como parte de la Evaluación Nacional, dejo aquí algunos enlaces sobre este tema que pueden ser de interés:

La evaluación de formación ciudadana – Primaria

La evaluación de formación ciudadana – Secundaria

Y el documento que resume la propuesta de evaluación, puede verse aquí

Yo participé de esta evaluación junto con Yolanda Rojo (educadora) y Alessandra Dibós (filósofa), y a pesar de lo difícil que es evaluar esta área y de lo mejorable que por supuesto es la evaluación realizada, me sigue pareciendo una propuesta bastante creativa (créditos a mis dos colegas, no a mi…), especialmente para una evaluación que se hizo en el país por primera vez y para la que no había mayor antecedente. De lo que se trató, ya que tenía que ser una evaluación de lápiz y papel, fué de ampliar las habilidades evaluadas y medir no solamente información (que siempre es lo más sencillo de evaluar) sino también juicio crítico, estereotipos y prejuicios y capacidad de resolver los problemas de manera inclusiva y democrática.

En los dos primeros enlaces están los resultados obtenidos….. fíjense como están los estudiantes en esto, es preocupante y los invito a analizar los reportes con cuidado.

Nota: A los interesados en la evaluación de la formación ciudadana les recomiendo revisar los avances de Colombia (competencias ciudadanas), así como las evaluaciones de Civics de la NAEP » Leer más

Perú en el SERCE 2008

Me cansé de esperar que las noticias dieran cobertura a los resultados del SERCE 2008. La verdad es que, como siempre, nuestros resultados son preocupantes. El informe indica que los países con mayores disparidades urbano-rurales son Perú, Brasil y México. Y lo que ya sabíamos: los niños y niñas de escuelas rurales tienen desempeños más bajos que los de escuelas urbanas. Específicamente, el informe dice literalmente que Perú es el país que presenta mayores diferencias en los resultados de sus escuelas rurales y urbanas, superando los 79 puntos de diferencia. La inequidad, nuevamente. Los resultados solo reafirman lo que ya se sabe.

Por más que el Presidente, los empresarios y un montón de otras personas se llenen la boca hablando de la relevancia de la educación, yo estoy convencida de que a muy poca gente le importa de veras. No estaríamos como estamos si las personas que tienen poder para tomar decisiones realmente se preocuparan por la educación y la valoraran en serio. Las declaraciones de principios y los discursos grandilocuentes, sobran. Lo que hay en un desdén y una inoperancia que realmente asustan e indignan.

Sobre el tema, les dejo unos enlaces:

Aquí, el resumen ejecutivo del informe SERCE 2008

Y aquí, el primer informe

Un breve análisis sobre la importancia del clima del aula, aquí

Un comentario de León Trahtemberg, aquí

Dos posts en el blog de Julio Sancho, que tienen varios enlaces sobre el tema, aquí y aquí » Leer más

Evaluación de la autoestima

Vaca mexicana

La autoestima es un concepto ampliamente difundido, que se usa de manera a veces indiscriminada tanto por psicólogos como por quienes no lo son. Partiendo de los populares “talleres de autoestima”, algunos de los cuales prometen elevar una autoestima decaída en mas o menos un mes (como si mover una cosa tan estructural fuera posible en un taller) y llegando hasta la evaluación del constructo, existen algunos problemas derivados de la excesiva popularización del término que atentan contra la fortaleza y credibilidad del mismo.

Respecto a la evaluación: veo que muchas investigaciones, incluyendo tesis, siguen utilizando el instrumento de Coopersmith de 1967, o alguna versión de él (aunque aquí he visto varias tesis actuales que usan el original de 1967), lo que me parece inadecuado. El instrumento es muy antiguo, lo que en este caso particular debería ser suficiente razón para descartarlo, y es inadecuado no solo por su antiguedad, sino porque parte de una visión global de la autoestima que no está de acuerdo con las concepciones más actuales del tema.

En el cuso del desarrollo, las personas se hacen cada vez más capaces de distinguir diferentes aspectos de su propio self, a la par que pueden también integrar estos aspectos en un concepto global de sí mismos. Los resultados de investigaciones en esta línea (que no se conocían en 1967) han llevado a plantear teorías que hacen diferenciaciones entre distintos dominios del self (lo que se llama en inglés domain-specific theories), y separan las percepciones de dominio específico de aquellas percepciones globales del valor de una persona (la autoestima). Por lo tanto, cuando se evalúa se hace muy importante distinguir entre aquellas percepciones de conjunto acerca del valor de una persona (por ejemplo: “soy una persona que vale“) de aquellas que reflejan la adecuación de las personas en dominios específicos (por ejemplo “soy inteligente“, “soy un muy buen amigo“, o “soy bueno en los deportes“).

Es por eso que los instrumentos psicológicos que suman las evaluaciones de dominio específico en un solo puntaje final global (como la prueba de Cooppersmith) no hacen sino enmascarar distinciones muy significativas en las evaluaciones que las personas hacen de sí mismas en diferentes dominios. Justamente la separación de dominios es lo que ha permitido construir modelos jerárquicos que proponen relaciones entre los distintos constructos del self. Si se desea evaluar la percepción global que la persona tiene acerca de su valor debe explorarse eso directamente (por ejemplo: “siento que soy una persona que vale“); no tiene ningún sentido en esta época sumar evaluaciones de dominio específico en un puntaje global final, porque la autoestima no es una sumatoria de evaluaciones parciales sino una autopercepción abarcadora, que a veces puede tener poco que ver con la percepción particular que la persona tenga de su valor o desempeño en las distintas áreas de la vida. Una prueba que no haga esta diferencia está obsoleta y debería dejar de usarse.

Estos son los peligros de utilizar instrumentos psicológicos sin formación teórica sólida ni criterio alguno… lo más trágico es que a veces esto se ve en las universidades, dentro de los mismos departamentos de psicología o como ya dije, en las tesis de los estudiantes que tienen la mala suerte de caer en manos de un asesor poco competente para el tema.

Nota: Sé que hay actualizaciones del Cooppersmith que se usan todavía y que han sido validadas en otros países. Si alguien quiere explicar algo sobre esto o defender la prueba (o el constructo subyacente), bienvenido! » Leer más

Cómo evaluar el self moral

Juntos - Boceto Henry Rodríguez

Inauguro una nueva sección en la que iré discutiendo algunos temas relacionados a la medición y evaluación del desarrollo moral y otros constructos de interés. Para empezar, dado que varias personas me han preguntado como se puede evaluar el self moral, presento una breve (muy breve!) descripción del MSI (Moral Self Interview) en la versión que yo utilicé en mi tesis doctoral (y que puede no ser la última ya que la autora estaba trabajando ya en ese entonces en una actualización).

Aunque para la evaluación de los procesos de desarrollo moral existen varios instrumentos de características psicométricas, que han intentado cuantificar el proceso y hacerlo un poco más objetivo y estandarizado, personalmente sigo prefiriendo los instrumentos abiertos basados en entrevistas. Es cierto que son mucho más demandantes en tiempo y en conocimientos por parte del evaluador, pero los resultados que se obtienen con ellos no pueden compararse a los que se logran con un instrumento objetivo. A mi juicio estos últimos son cualitativamente inferiores (vale la pena recordar que los clásicos en este tema, Piaget y Kohlberg, fueron reacios a utilizar instrumentos objetivos a los que consideraron inapropiados para evaluar los procesos morales -el razonamiento principalmente- y confiaron siempre en la entrevista abierta y el método clínico crítico piagetano).

Entrevista sobre Moral Self (MSI, por sus siglas en inglés)
La entrevista del Moral Self (Higgins-D’Alessandro, 1996) es una entrevista semiestructurada de preguntas abiertas, que explora la descripción del self moral que hace la persona, así como las reglas personales que ha establecido para la vida cotidiana.

El manual de calificación tiene instrucciones para el análisis de contenido de las siguientes áreas: a) descripción del self real e ideal, b) reglas o estándares por los que las personas se rigen, que usan para resolver problemas y conflictos morales, y para guiar sus acciones y sus vidas c) descripción de los ideales que las personas tienen y que intentan demostrar (o que buscan alcanzar) al resolver conflictos morales o problemas o al guiar sus vidas, y d) incidentes morales reales que las personas han experimentado y la forma en que actuaron en ellos. La entrevista permite la identificación del self moral y tipos de identidad.
En base al contenido de las respuestas de los participantes, se identifica y codifica material en dos niveles: 1) método de expresión (Principio, Estrategia, Acción, y Rasgo/Disposición) y 2) contenido (Principio moral, Prosocial, Social, Rasgo personal y Espiritual). La entrevista asume una escala Guttman, es decir, la categoría más alta usada por el participante determina la categoría asignada. La confiabilidad del puntuador, basada en varios pares de calificadores, va de moderada a alta (.65 – .85) (Higgins-D’Alessandro, 2004. Comunicación personal). » Leer más