Como para no ser tan dogmático y mantener vivo este blog, les dejo velozmente mi síntesis del un artículo publicado hace dos meses por Rolf Molich amigo y colega de la leyenda de la usabilidad Jakob Nielsen, el cual echa por tierra algunos conceptos acerca de la eficacia de las pruebas de usabilidad.

El expone cinco creencias acerca de las pruebas de usabilidad y discute si son mitos o no.

 “Los resultados presentados se basan en 9 estudios serios y de gran escala llevadas a cabo desde 1998. Se les llama CUE para la Evaluación de Usabilidad Comparada. Los resultados pueden ser difíciles de creer. Es por eso que hemos llevado a cabo estudios repetidos dobles y triples comprobar los resultados. Nuestros resultados y los análisis han sido revisados ​​y publicados en revistas de prestigio como BIT – Comportamiento y Tecnología de la Información y JUS – Revista de Estudios de Usabilidad” (Molich)

¿Todos los que hemos leído a Nielsen podemos dudar en la respuesta de estas preguntas?

 

¿Cinco usuarios son suficientes para conseguir 85% de los problemas de usabilidad para cualquier producto?

Mito. Con los estudios de evaluación de Usabilidad Comparada  se encontraron más de 200 problemas diferentes para el estado del arte de un sitio web.  Haciendo los estudios se probó con 8 usuarios y se informó de 30 problemas que representa una pequeña fracción, luego con 15 usuarios y se llego encontrar un 60% del total.

Molich incluso se atreve a decir que si se hubieran probado con 1000 usuarios fácilmente se hubiera superado los 200 problemas que es el 100% de los encontrados con la evaluación de Usabilidad Comparada.

Concluye que si realizamos una prueba de usabilidad con pocos usuarios solo podemos reportar  la punta del iceberg.

Sin embargo, las pruebas de usabilidad siguen siendo muy útil y valiosas, el autor está de acuerdo con Nielsen de que solo basta con probar con pocos usuarios pero en un ciclo iterativo, es decir, una vez que se han llevado a cabo cinco sesiones de prueba, hacer los ajustes de los problemas encontrados  y luego llevar a cabo sesiones de prueba adicionales con otros pocos usuarios.

 

¿El principal objetivo de un test de usabilidad es encontrar problemas de usabilidad?                             

Mito. La razón principal  de las  pruebas de usabilidad es sensibilizar a los diseñadores y programadores que los problemas graves de usabilidad existen desde la concepción del producto que está diseñando

Claro que las  pruebas de usabilidad son para descubrir problemas de usabilidad y puedan ser corregidos. Sin embargo, es muy costoso, así que encontrar problemas no debe ser el único propósito de llevar a cabo un test de usabilidad.

Molich concluye que debemos utilizar las pruebas de usabilidad para motivar a sus compañeros de trabajo a tomar medidas y evitar problemas de usabilidad.

 

¿Las pruebas de usabilidad proporcionan resultados más fiables que las opiniones de expertos?

Mito . Los estudios evaluación de Usabilidad Comparada contrastaron los resultados de las pruebas de usabilidad de un sitio web con los resultados de las revisiones por expertos de la misma página web. Los estudios mostraron claramente que no hubo diferencias significativas en la calidad del resultado. En realidad, los resultados de las revisiones por expertos eran mejor sustentadas y más baratas de obtener que los resultados de las pruebas de usabilidad.

Hay varias razones por las pruebas de usabilidad no son perfectas. Uno de ellos es que son a menudo realizadas con metodologías deficientes y no sistemáticas. Otra es que las pruebas a menudo no cubren todas las tareas que los usuarios pueden lograr hacer, solo las importantes. Una tercera razón es que los participantes en la prueba con frecuencia no son representativos.

Las, pruebas de usabilidad son mucho mejor que las críticas de expertos para convencer a las partes interesadas (jefes o dueños de empresas), escépticos acerca de los problemas de usabilidad.

Personalmente estoy de acuerdo con Molich hasta cierto punto, hay algo que de todas maneras las pruebas con usuarios finales les puede dar a los expertos que son los comportamientos inesperados en la interacción que para el experto le puede parecer “sentido común” pero al observar se da cuenta que no todos lo tienen.

 

¿Los comentarios positivos en un informe de la prueba de usabilidad son inútiles?                    

Mito .Todos apreciamos elogios por nuestro trabajo. Es por ello que los informes de pruebas de usabilidad debe contener un equilibrio entre hallazgos positivos y problemas.

A menudo las pruebas usabilidad informan verdades incómodas. Los hallazgos positivos importantes tienen dos propósitos, el primero es evitar remover características que para los usuarios son vitales y lo segundo es que sea más fácil aceptar los problemas encontrados.

Molich  nos sugiere que al menos el 25% de los comentarios en un informe de usabilidad debe ser positivo.

                 

¿Las pruebas de usabilidad pueden ser realizadas por cualquier persona?

Precisar. Cualquiera puede sentarse con un usuario y pedirle al usuario llevar a cabo algunas tareas en un producto. Así que, en principio, cualquier persona puede hacer pruebas de usabilidad.

Pero las pruebas de usabilidad de calidad que ofrece resultados fiables son diferentes.

Se  requiere de habilidades como la empatía y la curiosidad, de un profundo conocimiento de lo que se está probando, conocer de buenas prácticas de interacción y directrices de usabilidad, tener experiencia en moderar las sesiones de prueba una buena comunicación de los resultados en el informe final y más.

Pero, ¿Qué es lo que se desea? Bueno, rápido y barato!
Bueno. Un test de usabilidad debe considerarse como un proceso industrial. Así como los procesos industriales son controlados por reglas que están escritas, revisadas y observadas. Estas permitirán evaluar la calidad de nuestro trabajo.

Rápido. Pruebe con cuatro a seis usuarios, con más es una pérdida de tiempo ya que encontrar “todos” los problemas, incluso todos los críticos no es posible. Escribir informes breves, idealmente dentro de 24 horas después de la sesión de prueba final.

Barato. Casi nunca es justificado el costo de tener dos o más especialistas que trabajan en un test de usabilidad, considere cuidadosamente usar un laboratorio de usabilidad caro o un par de salas de reuniones ordinarias con equipos de TV de bajo costo suficiente para observar las pruebas, considere la posibilidad de las pruebas de usabilidad a distancia o incluso sin supervisión para reducir costos. Se ha comprobado con los estudios de Evaluación de Usabilidad Comparada  que estos métodos funcionan casi tan bien como las pruebas de usabilidad tradicional. Y finalmente prevenir es mejor que curar.

 

Muchos de los problemas detectados por un test de usabilidad nunca deberían haber ocurrido, pues deberían haber sido prevenidos por el conocimiento de los diseñadores y programadores y recorridos cognitivos de especialistas en usabilidad

 

Fuente, artículo original