Tests de usuarios: eficacia y eficiencia en tareas web
| Autor | Joaquín López del Ramo |
| Páginas | 95-131 |
Page 98
Siguiendo las pautas metodológicas del proyecto, se procedió a desarrollar una prueba de usuarios para valorar la eficacia y la eficiencia en la realización de dos tareas dentro de cada web, siguiendo un protocolo basado en la Norma ISO 9241-11 (Requerimientos ergonómicos para trabajo de oficina con pantallas de visualización de datos. Parte
11: Directrices de usabilidad). De acuedo con esta norma, las definiciones de eficacia y eficiencia son:
Eficacia: Extensión en la que se realizan las actividades planificadas y se alcanzan los resultados planificados.
Eficiencia: Relación entre el resultado alcanzado y los recursos utilizados.
Por lo tanto, se trataba de evaluar la posibilidad de realizar la tarea (eficacia) y, en nuestro caso, el tiempo empleado para realizarla (recursos utilizados para evualuar la eficiencia).
Es necesario señalar que este test no estaba en ningún caso concebido como una prueba de contraste respecto a al análisis del grupo de expertos, pues aquél es notablemente más exhaustivo, extenso y pormenorizado, y el proyecto carecía de los medios materiales y el tiempo suficiente para realizar una prueba del mismo alcance con un grupo de usuarios. El objetivo era agregar más datos, pero obtenidos a través de otras fuentes, en este caso los usuarios y comprobar, eso sí, si existía concordancia entre el grado de dificultad en la realización de unas tareas concretas, evaluado previamente por los expertos como sencillas, y la percepción de las mismas por parte de los usuarios al realizarlas, en segundo término.
El grupo estuvo compuesto por 25 usuarios con diversos perfiles (edad, sexo, conocimientos informáticos, procedencia, etc.), de los cuales al menos uno estaba empadronado en cada uno de los diecisiete ayuntamientos analizados en la investigación. La intención era contar con una muestra representativa de un usuario medio, que no fuera profesional pero que sí poseyera un conocimiento previo del medio Internet y estuviera familiarizados con el medio.
Se diseñó un protocolo de pruebas que fue aplicado de forma individual, con cada usuario bajo el control de un investigador. La prueba fue articulada de la siguiente manera:
-
- Realización de una encuesta previa, para conocer sus características personales y sus datos como usuario.
-
- Acceso a todos los sitios web que componen el estudio y realización de dos tareas (las mismas para todos los usuarios y todos los portales), partiendo desde la Home del sitio:
-
Buscar la biblioteca del municipio para informarse de la dirección postal y de los horarios de apertura.
b) Efectuar el trámite de empadronamiento on-line en dicho municipio, tarea que finalizaba una vez que se accedía al formulario de inscripción, bien fuera éste en formato texto, pdf o web, sin necesidad de rellenarlo o enviarlo.
La elección de estas dos tareas se llevó a cabo por ser muy convencionales en este tipo de portales, y previa comprobación de que en todos los portales analizados se podían llevar a cabo, pues existía la información y el trámite correspondiente, con independencia de su mayor o menor grado de facilidad o desarrollo en su ejecución. Se partía de la idea de que estas tareas ni mucho menos iban a poner al descubierto las deficiencias de usabilidad del sitio en su conjunto, para lo cual hubiera sido necesario un estudio mucho más profundo, de mayor dimensión temporal y con más medios de los disponibles en el proyecto, como ya quedó señalado.
Page 99
-
-
- Realización de un test para medir el grado de satisfacción del usuario tras finalizar las tareas anteriores.
Los pasos 2 y 3 se repitieron de forma alternativa en cada portal. El orden de acceso a los portales fue diferente para cada usuario, para ello no supusiera un condicionante en los resultados.
Todos los datos relativos a las dos tareas, así como el tiempo requerido, el número de intentos realizados en cada una, el nivel de satisfacción o dificultad, entre muchos más, se reflejaron en un cuestionario. Posteriormente, fue creada una base de datos en Excel para volcar los resultados obtenidos tras las pruebas.
Las pruebas fueron realizadas en el Aula informática de la Biblioteca del Campus de Fuenlabrada los días 13, 20, 17, 23 y 24 de octubre de 2008.
El protocolo de las pruebas figura en el Anexo 8 del presente informe.
Page 102
1.1. Tarea conseguida
[VER PDF ADJUNTO]
En general, las tareas se pudieron realizar por parte de los usuarios, lo cual es un buen dato. Tan sólo dos ayuntamientos en para la tarea 1 y tres para la tarea 2 superan la media de 2 (2=tarea no conseguida).
En la tarea 1 no superaron el test Collado Villalba y Móstoles.
En la tarea 2 no superaron el test Collado Villalba, Leganés y Rivas Vaciamadrid. Destaca la media de Collado Villalba, muy cercana al 3 (2’84); el 3, además de no haberse conseguido la tarea, refleja la renuncia del usuario a agotar el tiempo límite al considerarla imposible.
Page 103
1.2. Número de tentativas
[VER PDF ADJUNTO]
La mayoría de las tareas se realizaron en una media de menos de dos tentativas: once portales en cada tarea tienen un media por debajo de 2 tentativas. Incluso, casi todas las tareas se realizaron en menos de 3 tentativas: tan sólo dos portales en cada tarea superan ese límite. La media general es de 1’99 tentativas para la tarea 1 y 2’06 tentativas para la tarea 2.
En la tarea 1 destaca negativamente Coslada, con una media superior a las 6 tentativas (6’16). Y todavía por encima del límite de 3 tentativas de media está Valdemoro (3’44).
En la tarea 2 destaca negativamente Leganés, con una media superior a las 6 tentativas (6’33). Y todavía por encima del límite de 3 tentativas de media está Rivas Vaciamadrid (3’17).
Page 104
1.3. Tiempo empleado
[VER PDF ADJUNTO]
La media de tiempo empleado para la tarea 1 fue de 78’35 segundos y para la tarea 2 de 86’61 segundos.
Destaca, en el lado positivo, San Sebastián de los Reyes: es el portal con la media de tiempo más baja en las dos tareas (tarea 1: 26’52 segundos; tarea 2: 33’78).
En el lado negativo: en la tarea 1, muy alejado del resto de resultados, destaca Coslada con una media de tiempo de 225’1 segundos; en la tarea 2 destacan Leganés (240’52 segundos) y Rivas Vaciamadrid (175’33 segundos).
Page 105
1.4. Grado de dificultad
[VER PDF ADJUNTO]
En las dos tareas la media está por debajo de 2 (tarea 1: 1’84; tarea 2: 1’99), lo que significa que, en general, la dificultad a sido escasa o nada difícil.
En el lado positivo destacan San Sebastián de los Reyes y Móstoles, entre los 3 primeros puestos en ambas tareas.
En el lado negativo destacan, por lo alejados de la media: en la tarea 1, Coslada (3’88, por encima de “dificultad media” y cercano a “bastante difícil”); en la tarea 2, Rivas Vaciamadrid (3, dificultad media) y Leganés con un 4’46, entre “bastante difícil” y “muy difícil”.
Page 106
1.5. Grado de satisfacción
[VER PDF ADJUNTO]
La media de satisfacción es buena: si 4 es “satisfecho”, la media para la tarea 1 es de 4’04 y para la tarea 2 de 4,14. Casi todos los portales están por encima del 3 “indiferente”: sólo un portal en cada tarea tiene una media inferior.
En el lado positivo destacan: San Sebastián de los Reyes, con la mejor valoración media en las dos tareas (tarea 1: 4’68: tarea 2: 4’81); y Las Rozas, con la segunda y la tercera valoración media según la tarea (tarea 1...
Para continuar leyendo
Solicita tu prueba