Dos observadores para estimar competencias

Esta es sólo una breve reflexión sobre la metodología empleada en la investigación. Como se explica en la nota que pusimos en el blog el 1 de mayo de 2009, uno de los instrumentos que utilizamos para estimar la empleabilidad fue una ficha de observación de competencias que se aplicó en situaciones laborales simuladas.

Ya hemos visto allí que, además de la valoración del observador externo en la situación simulada, entrevistamos a profesores y tutoras de los estudiantes para tener una segunda apreciación sobre sus competencias. También dijimos que la coincidencia entre las apreciaciones de los tutores y de los observadores externos es bastante alta.

Cuando aplicamos este instrumento en España pudimos observar a un grupo de 10 estudiantes, pero en lugar de un solo observador tuvimos dos observadores trabajando simultáneamente en la misma situación. Hicimos esto para controlar la calidad de nuestro instrumento y su fiabilidad, es decir, sus probabilidades de funcionar bien, de darnos medidas consistentes de los niveles de competencia de los jóvenes estudiantes.

Nos preguntábamos, ¿cuánto coincidirán en sus apreciaciones dos observadores diferentes, sobre el desempeño mostrado por un mismo estudiante en la misma situación?

Los niveles de competencia asignados por estos dos observadores para estos alumnos españoles, en las diversas competencias evaluadas, en la misma situación, coincidieron absolutamente, fueron idénticos, en el 58% de las veces (10 estudiantes por 16 competencias nos dan 160 apreciaciones, aunque en realidad sólo 102 veces se hicieron registros por los dos observadores, en el resto de los casos alguno de los observadores dejó en blanco la casilla).

Esta alta coincidencia muestra de alguna forma que los grados o niveles definidos en el instrumento estaban bien delimitados y que la situación laboral planteada favorecía una apreciación clara de las competencias (es muy importante que la situación simulada obligue a los jóvenes a trabajar en equipo, a comunicarse entre sí, a resolver un problema en poco tiempo, bajo cierta presión).

En 37% de las apreciaciones hay una diferencia de sólo un nivel entre lo consignado por un observador y por el otro. Esto significa que un observador podía haber atribuido, por ejemplo, un “desempeño superior” a determinado estudiante en una competencia, mientras que el otro observador lo calificaba como “bueno”, es decir, el grado inmediatamente inferior. Este margen de diferencia nos parece inevitable y precisamente por eso es que, además, recurrimos a las percepciones de los profesores y tutores, para contrastar y matizar las apreciaciones de los observadores externos.

Sólo en menos del 5% de las veces, las observaciones registradas se distanciaron hasta dos niveles, lo que significa una valoración realmente diferente del comportamiento mostrado por un joven. Digamos que este 5% es el margen de error en las observaciones externas al usar nuestro instrumento para estimar competencias.