Objetividad al observar competencias

Para estimar la empleabilidad de los jóvenes hemos utilizado tres instrumentos diferentes. Para medir sus habilidades básicas (comprensión de lectura, redacción, razonamiento verbal y matemático) recurrimos a una prueba de medición de habilidades semejante a la que utilizan las universidades en sus exámenes de admisión. Como en nuestro caso se trataba de jóvenes de institutos superiores no universitarios, evidentemente tuvimos que adaptar la prueba al nivel de estos estudiantes. Sin embargo, conviene precisar que la mayoría de estas pruebas están hechas pensando en jóvenes que han concluido su educación básica (secundaria) y que quieren comenzar sus estudios de educación superior. Esto significa que el grado de desarrollo de las habilidades que evalúan debe ser el de un joven al terminar su educación secundaria, lo que normalmente debiera ser útil para casi cualquier empleo. Dada la gran experiencia de las universidades con este tipo de pruebas podíamos confiar en la objetividad y precisión de su estimación.

Para indagar por los condicionamientos sociales a la empleabilidad y la motivación de los estudiantes por buscar empleo utilizamos un cuestionario que nos proveía de información precisa sobre factores familiares económicos, culturales, de educación, de acceso a TICs., acceso a servicios de apoyo social, redes sociales y salud; así como una serie de indicadores que reflejaban la predisposición a la búsqueda de empleo, búsqueda de información y la actitud de estos jóvenes frente a la formación para el trabajo. Como es fácil imaginar, datos como el ingreso familiar mensual, la tenencia de computadora en casa o el número de parientes que pueden servir de contacto para conseguir empleo son bastante objetivos y fácilmente cuantificables.

Pero para estimar la empleabilidad de los jóvenes hacía falta también “medir” de alguna manera el grado de desarrollo de sus competencias y actitudes. Competencias como trabajo en equipo, liderazgo, comunicación y actitudes como responsabilidad, iniciativa, creatividad.

Aunque existen diversas pruebas y escalas de medición que usan los psicólogos para indagar sobre algunas actitudes específicas, nosotros preferimos construir una ficha para registrar competencias en base a las definiciones de Martha Alles –consultora e investigadora argentina especializada en el tema de recursos humanos- (ver “Gestión por competencias: el diccionario”, Buenos Aires, Granica, 2002) y en base a los grados de desarrollo de competencias que propone Alles en su libro “Diccionario de comportamientos gestión por competencias” (Buenos Aires, Granica, 2004). Así, en nuestra ficha de observación establecimos cuatro grados de desarrollo (insatisfactorio, mínimo necesario, bueno y desempeño superior) para cada una de las 17 competencias y actitudes que queríamos registrar.

Con esta ficha decidimos observar las competencias de cada alumno en una situación laboral simulada. Entrando en grupos de 3 a 5 estudiantes, se les pedía que resuelvan en pocos minutos un problema informático -recuérdese que todos los estudiantes evaluados eran de la especialidad de informática- y se observaba el desempeño de cada joven en esa situación. La situación exigía el trabajo colectivo y la comunicación y tenía un tiempo límite lo que significaba trabajar bajo presión. La situación estaba conducida por un “cliente” ficticio que les daba las pautas y los instaba a terminar a tiempo. Estas experiencias siempre resultaron positivas, es decir, los estudiantes se concentraban en la tarea propuesta y mostraban sus competencias para el trabajo en el transcurso de la actividad.

Pero a diferencia de los dos primeros instrumentos, en los que la objetividad de los datos y las estimaciones eran bastante claras; en el caso de la observación de competencias siempre teníamos la pregunta ¿qué tan objetivas pueden ser estas observaciones? O en todo caso, ¿qué margen de error puede tener un observador externo?

Para tener algún otro parámetro con el cual contrastar, decidimos entrevistar también a la tutora del grupo de estudiantes –en algunos casos era también la profesora de “desarrollo personal” o del curso de “humanidades”- y a algunos profesores de informática para el caso de competencias como “gestión de información” o “capacidad para aprender”. Las entrevistas a estos profesores apuntaba a reconocer la opinión del docente como persona que pasa mucho más tiempo con el estudiante (todo un ciclo o en ciertos casos un año o más tiempo) y que lo ve actuar en diversas tareas propias de su educación. La profesora o profesor debía atribuir un grado o nivel de desarrollo de cada competencia a cada uno de sus alumnos.

Después de aplicar este instrumento pudimos comprobar que las observaciones de los docentes coincidían en gran medida con las observaciones de los evaluadores externos en la situación simulada. Así, por ejemplo, en el grupo de estudiantes de primer ciclo del Instituto Chaminade, las observaciones de los agentes externos y de los profesores coincidieron absolutamente (es decir, fueron las mismas) en el 33% de las veces; y en el 52% de las veces, la diferencia fue de sólo un grado (es decir, el observador externo podía haber atribuido, por ejemplo, un “desempeño superior” a determinado estudiante en X competencia, mientras que la tutora lo calificaba como “bueno”, el grado inmediatamente inferior).

Esto significa que en el 85% de las observaciones realizadas hubo mucha proximidad o coincidencia entre las apreciaciones de los docentes en base a su experiencia y las de los observadores externos en base a una situación simulada. Como ambas observaciones mostraron ser útiles, decidimos utilizar ambas en la construcción del índice de empleabilidad de modo que, en cuanto al grado de desarrollo de sus competencias, los estudiantes pueden tener no sólo los 4 niveles establecidos previamente sino “fracciones decimales” entre estos niveles.

La observación es un método de investigación cualitativo y los datos que ofrezca nunca tendrán el mismo carácter que un dato “duro”, tipo ingresos o número de computadoras, pero al recoger observaciones de diversos actores procuramos disminuir el riesgo de estimaciones subjetivas.