Resumen: Uno de los retos educativos que surgieron debido a la pandemia del COVID-19 fue la adaptación a la virtualidad de cursos teórico-prácticos o prácticos. En este contexto, el curso de Interacción Humano Computador (HCI) del Programa de Ingeniería de Sistemas de la Universidad de Cartagena tuvo que abordar el desafío de desarrollar la temática de test con usuarios, que implica la realización de pruebas con usuarios finales en un entorno controlado o laboratorio de usabilidad. Este artículo presenta como contribución el diseño e implementación de un laboratorio académico virtual de usabilidad para llevar a cabo test con usuarios. El laboratorio propuesto fue construido y evaluado a partir de las prácticas realizadas por los estudiantes de la asignatura HCI mencionada. Este laboratorio tiene como objetivo servir de referencia para la realización de pruebas de usabilidad tanto en el ámbito académico como en el corporativo.

Palabras clave: Laboratorio de usabilidad, pruebas de usabilidad, test con usuarios, usabilidad.

Abstract: One of the educational challenges arising from the COVID-19 pandemic was the adaptation of theoretical-practical or practical courses to virtual formats. In this context, the Human-Computer Interaction (HCI) course in the Systems Engineering Program at the University of Cartagena faced the challenge of developing user testing, involving conducting tests with end-users in a controlled environment or usability laboratory. This article contributes by presenting the design and implementation of a virtual academic usability laboratory for conducting user tests. The proposed laboratory was built and evaluated based on practices undertaken by students in the aforementioned HCI course. This laboratory aims to serve as a reference for conducting usability tests in both academic and business settings.

Keywords: Usability laboratory, usability tests, user test, usability.

1. INTRODUCCIÓN

Teniendo en cuenta el crecimiento en el número de aplicaciones en la nube y en las tiendas de aplicaciones, uno de los aspectos claves para propiciar la competitividad en las empresas del contexto del software y la productividad del usuario final es la usabilidad y por ende el diseño centrado en el usuario –. Según Jakob Nielsen, considerado el padre de la usabilidad, esta puede ser definida como un atributo que determina la calidad del software, cuyo objetivo es evaluar la facilidad de uso de las interfaces de los sistemas interactivos y está definida por cinco componentes principales: facilidad de aprendizaje, eficiencia, facilidad de recordación, gestión de errores y satisfacción , .

Del mismo modo, de acuerdo a la norma ISO 9241-11, la usabilidad puede ser definida en términos de la eficacia, la eficiencia y la satisfacción con la que un sistema interactivo, permite alcanzar objetivos específicos a usuarios concretos en un contexto de uso también específico –. De acuerdo con lo anterior, es importante apreciar que la usabilidad es definida por 3 atributos a saber según la ISO 9241-11: eficacia, eficiencia y satisfacción. La eficacia hace referencia al cumplimiento de los objetivos por parte del usuario dentro del sistema interactivo; la eficiencia se refiere a la optimización de los recursos, donde el recurso más importante para el usuario durante la interacción es el tiempo; finalmente, el atributo satisfacción según la norma está asociado a la existencia de actitudes positivas durante en el uso del producto software –.

Una de las formas de evaluar la usabilidad de un producto software es a través del uso de los denominados test con usuarios, en los cuales un conjunto de evaluadores monitoriza y observa el comportamiento de un grupo de usuarios, mientras estos desarrollaran una serie de tareas en un software determinado, en un espacio controlado o laboratorio de usabilidad –. Teniendo en cuenta los atributos considerados por la norma ISO 9241-11, un laboratorio de usabilidad debe posibilitar la determinación de las métricas asociadas a cada uno de estos atributos .

La temática de los métodos de evaluación de software basados en test con usuarios hace parte del contenido de la electiva Interacción Humano Computador (HCI) del Programa de Ingeniería de Sistemas de la Universidad de Cartagena. Esta temática se desarrolla tanto a nivel teórico como a nivel práctico y tiene por objetivo proporcionar a los estudiantes diferentes métodos para evaluar aplicaciones interactivas desde la perspectiva de la usabilidad, con el fin de mejorar la calidad del producto final. A nivel teórico, se abordan las etapas que conforman un test con usuarios, la estructura de los instrumentos empleados en las pruebas y el cálculo de las métricas asociadas a los diferentes atributos de la norma. De otro modo, a nivel práctico se diseñan los instrumentos del test, se ejecutan diferentes pruebas con usuarios reales sobre aplicaciones interactivas de software de diferentes contextos de aplicación, en un entorno controlado o también llamado laboratorio de usabilidad y finalmente se realiza el cálculo de los porcentajes de eficacia y eficiencia, así como el nivel de satisfacción.

La pandemia de COVID-19 obligó a las instituciones educativas a la adaptación de sus procesos académicos, incluyendo reuniones, clases, eventos académicos, entre otros –. En lo referente a las clases durante el periodo de confinamiento, uno de los desafíos de las universidades ha sido el desarrollo de los cursos teóricos o teórico prácticos, siendo necesario en ciertas ocasiones suspender dichos cursos o hacer énfasis en los contenidos teóricos mediante la visualización de videos prácticos desarrollados por el profesor, o poniendo a disposición de los estudiantes diferentes recursos en línea –. En este sentido, para el caso particular del curso de HCI perteneciente al Programa de Ingeniería de Sistemas mencionado, fue necesario adaptar las prácticas correspondientes a la temática de métodos de test con usuarios a las dinámicas de la denominada presencialidad remota, proveyendo una infraestructura basada en herramientas virtuales para el desarrollo de las pruebas de usuario con ventajas similares a las pruebas realizadas de manera presencial.

Así, este artículo propone como principal contribución la construcción de un prototipo de laboratorio virtual de usabilidad, el cual fue construido y configurado en el curso de HCI de la Facultad de Ingeniería de la Universidad de Cartagena, con el fin de propiciar el desarrollo de las prácticas del curso en mención, dentro de la temática específica de test con usuarios. Para la conducción de esta investigación fueron definidas 4 fases metodológicas: F1. Caracterización de la estructura de los test con usuarios, F2. Identificación de las técnicas y tecnologías para la implementación del laboratorio académico virtual, F3. Diseño e implementación del laboratorio virtual a partir de las herramientas seleccionadas y F4. Caso de estudio en el que se realizó una prueba de usabilidad sobre un portal comercial mediante el uso del laboratorio de usabilidad implementado. El laboratorio propuesto pretende ser extrapolado y retroalimentado a nivel académico y empresarial para la conducción de diferentes enfoques de pruebas de usuario, con el fin de enriquecer la calidad del software en las aplicaciones interactivas evaluadas a partir del laboratorio.

El resto del artículo está organizado de la siguiente forma: en la sección 2 se presentan un conjunto de trabajos relacionados, que se tomaron en consideración para el desarrollo de la presente investigación; en la sección 3 se describen las diferentes fases metodológicas consideradas para lograr los objetivos propuestos; en la sección 4 se presentan los resultados obtenidos, lo cual incluye la caracterización de los test con usuarios, el diseño e implementación del prototipo de laboratorio virtual de usabilidad y finalmente un estudio de caso para la verificación de la pertinencia de la investigación; finalmente en la sección 5 son descritas las conclusiones y trabajos futuros que se obtuvieron a partir de la presente investigación.

2. TRABAJOS RELACIONADOS

Diferentes aportes se han realizado con respecto al desarrollo de actividades prácticas tanto a nivel educativo como en otros contextos. Así, en [27] los autores realizan una revisión sobre diferentes herramientas de simulación para la enseñanza aprendizaje de la robótica, con el fin de identificar las posibilidades que mejor se adaptan a las particularidades de las clases en el contexto de la pandemia. En los autores proponen un escenario de experimentación basado en las herramientas LabVIEW y Multisim, para el desarrollo de diferentes laboratorios virtuales dentro del área de la ingeniería. En los autores presentan como resultado el desarrollo de un simulador basado en realidad virtual para capacitar a practicantes y enfermeras involucradas con las pruebas y el tratamiento de pacientes afectados por la pandemia del COVID-19. En los autores presentan una revisión en la cual se muestra cómo para la formación de becarios en el área de cardiología, se hizo uso de plataformas de E-learning, así como sesiones de casos virtuales mediados con expertos y el uso de herramientas de telemedicina para el desarrollo de sesiones prácticas. En los autores muestran cómo para el desarrollo de actividades académicas en diferentes facultades de odontología de varios países asiáticos, se desarrollaron sesiones virtuales mediante herramientas de teleconferencia y se organizaron laboratorios presenciales que contaron con alto grado de deserción, por lo que proponen aprovechar a futuro la construcción de sistemas basados en realidad virtual.

De otra parte, en se muestra cómo para el desarrollo de las actividades prácticas en la Escuela de Veterinaria de Melbourne se hizo uso de diferentes video tutoriales educativos disponibles en internet, dando prioridad a aquellos contenidos que se generaron por medio de la herramienta Loom. Así, en los autores describen como para el desarrollo de las clases prácticas dentro del programa de farmacia perteneciente a la Universidad del Reino Saudí se hizo uso de sesiones virtuales apoyadas en un sistema de gestión de aprendizaje (Blackboard), así como también se generaron contenidos multimedia por parte de los profesores como apoyo al desarrollo de las actividades prácticas. Finalmente, en los autores proponen una estrategia basada en TIC para la adaptación y organización de eventos virtuales en el marco de la pandemia, la cual fue validada mediante el desarrollo de una feria virtual en el programa de Ingeniería Química de la Universidad de Cartagena. Los anteriores trabajos, permiten evidenciar la necesidad de contar con herramientas, escenarios basados en TIC y laboratorios virtuales para apoyar el desarrollo de actividades prácticas en el contexto de la presencialidad remota.

3. METODOLOGÍA

Para el desarrollo del presente trabajo fueron definidas cuatro fases metodológicas: F1. Caracterización de la estructura de los test con usuarios, F2. Identificación de herramientas y tecnologías para la implementación del laboratorio, F3. diseño e implementación del laboratorio virtual de usabilidad y F4. Caso de estudio (ver Figura 1).

Dentro de la fase 1 se identificaron las diferentes etapas que hacen parte de las pruebas de usabilidad o test con usuarios con el fin de identificar los instrumentos requeridos, así como los requerimientos tecnológicos para propiciar la obtención de los atributos de eficacia, eficiencia y satisfacción definidos en la ISO 9241-11. En la fase 2, se exploraron e identificaron tecnologías y herramientas para la construcción del laboratorio académico virtual de usabilidad, así como el cumplimiento de las diferentes etapas de los test. En la fase 3, se construyó un prototipo de laboratorio de usabilidad académico virtual para el desarrollo de pruebas de usuario de acuerdo con la norma ISO 9241-11. Finalmente, dentro de la fase 4 fueron conducidos varios test de usabilidad sobre aplicaciones web comerciales por parte de los estudiantes de la electiva HCI del Programa de Ingeniería de Sistemas, de los cuales fue escogido un estudio de caso el cual se presenta en este artículo.

4. RESULTADOS

En esta sección son descritos los resultados obtenidos a partir de esta investigación, de tal modo que en primera instancia se describe la estructura de los test con usuarios convencionales, posteriormente se ilustra el diseño e implementación del laboratorio y finalmente se muestra un estudio de caso que permite verificar la pertinencia del laboratorio de usabilidad implementado.

4.1. Caracterización de los Test con Usuarios

Uno de los medios más efectivos para evaluar la usabilidad de un producto software es a través del uso de los denominados test con usuarios, los cuales corresponden a pruebas de usabilidad centradas en la observación de las tareas de interacción de un conjunto de usuarios sobre un software determinado, y desarrolladas dentro de laboratorio de usabilidad –, , . Un test con usuarios está compuesto por un total de 5 etapas secuenciales las cuales se presentan en la Figura 2.

En el acuerdo de confidencialidad se les indica a los usuarios que participan en el test el alcance de la prueba, y se les explica que los resultados sólo serán utilizados con propósito académico. Dentro del cuestionario pre-test se busca obtener el perfil del usuario, así como la experiencia del mismo con herramientas similares a la evaluada en la prueba. En el listado de tareas, los usuarios desarrollan un conjunto de tareas dentro del software a evaluar, las cuales han sido definidas por los observadores o coordinadores de la prueba de manera previa. Posteriormente, se procede con el diligenciamiento del cuestionario pos-test, el cual cuenta con preguntas de tipo cuantitativo y cualitativo que buscan indagar. Con el primer tipo de preguntas se busca indagar mediante el uso de la escala Likert algunos aspectos del software evaluado tales como: interfaz gráfica, navegación, facilidad de aprendizaje, facilidad de uso, satisfacción en el uso, entre otros. Mientras que, con el segundo tipo de preguntas cualitativas se busca obtener posibles recomendaciones por parte del usuario de cara a mejorar la usabilidad y la funcionalidad del software evaluado. Finalmente, y de manera opcional, los coordinadores pueden realizar una entrevista con el usuario, con el fin de obtener información detallada sobre algunos aspectos específicos observados durante la prueba. Las anteriores etapas de la prueba son desarrolladas en el contexto de un laboratorio de usabilidad, el cual de manera convencional cuenta con dos habitaciones aisladas (para el usuario y para los coordinadores), de tal modo que desde la habitación de los coordinadores se puede hacer seguimiento a las tareas que desarrolla el usuario en un software específico.

Teniendo en cuenta que dentro de la propuesta presentada en este artículo se pretende proveer la infraestructura virtual para el desarrollo de test con usuarios de acuerdo a la norma ISO 9241-11, se deben tomar en consideración las diferentes métricas asociadas a los atributos de eficacia, eficiencia y satisfacción del estándar . De este modo de acuerdo a las observaciones realizadas por los coordinadores de la prueba sobre las tareas y subtareas del test se calculan el porcentaje de eficacia, de eficiencia, y el nivel de satisfacción, los cuales se utilizan para determinar el grado de usabilidad del software analizado. El porcentaje de eficacia por tarea puede determinarse a partir de la ecuación (1), la cual relaciona el número de subtareas realizadas por el usuario y las subtareas definidas por cada tarea.

\[ \%\ \text{Eficacia} = \frac{{\text{número de subtareas realizadas} \times 100}}{{\text{número de subtareas definidas}}} \hspace{1cm} (1)\] De otra parte, el porcentaje de eficiencia por tarea puede determinarse a partir de lo presentado en la ecuación (2), en la cual se relaciona el tiempo estimado por cada tarea y el tiempo empleado por el usuario en el desarrollo de la tarea específica.

\[ \%\ \text{Eficiencia} = \frac{{\text{Tiempo estimado por tarea} \times 100}}{{\text{Tiempo empleado por tarea}}} \hspace{1cm} (2)\] Finalmente, para el caso de la satisfacción, se promedia la valoración otorgada por los usuarios finales a las preguntas del cuestionario pos-test que involucran lo referente a la percepción o satisfacción del usuario, tal como se presenta en la ecuación (3). Dado que en la ecuación 3, el nivel de satisfacción obtenido está en el rango de 0 a 5, debe ser multiplicado por 20 con el fin de que dicho nivel quede en el rango de 0 a 100.

\[ \text{Nivel de Satisfacción} = \frac{{\text{suma de las valoraciones a las preguntas}}}{{\text{número de preguntas}}} \hspace{1cm} (3)\]

4.2. Diseño e Implementación del Laboratorio de Usabilidad

A partir de la caracterización de los test con usuarios realizada en la sección 4.1, en primera instancia en la Figura 3 se presentan las operaciones que deben desarrollar tanto el usuario, como el coordinador de la prueba durante un test con usuarios convencional a realizarse dentro del laboratorio de usabilidad a implementar. De acuerdo a lo anterior, inicialmente el coordinador de la prueba explica al usuario el alcance del test de, a partir de lo cual el usuario procede a firmar el acuerdo de confidencialidad, a diligenciar el cuestionario pre-test, a ejecutar el listado de tareas definidas de manera previa por el o los coordinadores de la prueba y finalmente a diligenciar el cuestionario pos-test de la prueba. Mientras que el usuario ejecuta el listado de tareas, el coordinador realiza el seguimiento remoto sobre el modo en el que el usuario realiza las diferentes tareas, los gestos y expresiones que hace durante la interacción con la aplicación, lo cual puede servir de indicador de la satisfacción del usuario. Así mismo, una vez la prueba ha terminado el coordinador se encarga de realizar los cálculos de la eficacia, eficiencia y satisfacción a partir de los datos recopilados durante el test con usuarios.

Teniendo en cuenta las operaciones a desarrollar tanto por parte del usuario como por el coordinador de la prueba, se seleccionaron un conjunto de herramientas para la conformación de la infraestructura del laboratorio virtual, las cuales permitan realizar las diferentes operaciones descritas en la Figura 3. Así, en la Figura 4 se ilustran la infraestructura del laboratorio virtual propuesto, teniendo en cuenta las diferentes herramientas seleccionadas y considerando los dos módulos o habitaciones (módulo de coordinador y módulo de usuario). En primer lugar, para la conformación de los instrumentos a usar en el test con usuarios (acuerdo de confidencialidad, cuestionario pre-test, lista de tareas y cuestionario pos-test) se escogió la herramienta provista por Google Forms, la cual posibilita la gestión de cuestionarios de selección múltiple, así como cuestionarios basados en preguntas abiertas. Así mismo, en cuando al seguimiento remoto a las tareas que realiza el usuario dentro del laboratorio, se seleccionaron las herramientas Google Meet y Jitsi, las cuales permiten a uno o varios coordinadores monitorear de manera silenciosa las interacciones que realiza el usuario con el software evaluado, mientras comparte pantalla con los coordinadores. Del mismo modo, para realizar la grabación tanto de las interacciones del usuario como de sus gestos y expresiones faciales, se seleccionó la herramienta libre OBS Studio, la cual permite capturar desde el equipo del coordinador las interacciones remotas del usuario. Las capturas de los gestos y expresiones faciales de los usuarios de la prueba pueden ser utilizadas para obtener indicadores de la satisfacción, teniendo en cuenta los heurísticos emocionales provistas por . Finalmente, para el procesamiento de las preguntas cualitativas del cuestionario pos-test para obtener indicadores de la satisfacción, es posible utilizar las ventajas provistas por la herramienta Paralleldots con el fin de determinar la polaridad de las preguntas abiertas definidas en el test.

4.3. Estudio de caso

Usando la infraestructura del laboratorio virtual conformado, dentro del curso de HCI de la Facultad de Ingeniería, se formaron 6 grupos de trabajo dentro del curso en mención, cada uno de los cuales se encargó de realizar la evaluación de sitios web comerciales de Colombia, con 5 o más usuarios externos a la electiva de HCI, teniendo en cuenta las recomendaciones de Nielsen, de acuerdo a las cuales con 5 usuarios participantes de un test se pueden obtener al menos el 70% de los problemas de usabilidad de un sistema interactivo . En consecuencia, en esta sección son presentados los resultados de una de las pruebas realizadas por los estudiantes sobre el sitio web de Sigma Electrónica, el cual se encarga de la venta y distribución de accesorios y productos electrónicos a nivel académico y empresarial. Tal como se mencionó anteriormente, dentro de la prueba participaron un total de 5 usuarios cuyo rango de edades se encuentran entre los 22 y los 52 años (ver Figura 5).

Con respecto a las tareas realizadas por los 5 usuarios dentro de la infraestructura del laboratorio virtual, en la Tabla 1 se describe cada una de las tareas definidas por los coordinadores de la prueba. De la misma manera, la Tabla 1 muestra el número de subtareas asociadas a cada tarea de la prueba y el tiempo estimado por los coordinadores para el desarrollo de la misma.

Tareas	Descripción de las tareas	Número de subtareas	Tiempo estimado (sec)
Tarea 1	Registrarse en el portal web de Sigma Electrónica usando un correo de prueba suministrado por los coordinadores.	2	180
Tarea 2	Interactuar con el carrito de compras del sitio a través de la búsqueda de tres productos disponibles en la tienda.	3	180
Tarea 3	Ingresar a la sección de blog y realizar un comentario sobre alguno de los artículos del blog.	2	180

Una vez realizado el seguimiento remoto de la prueba, así como la recopilación de las subtareas cumplidas por cada usuario. En la Tabla 2 se muestran los resultados obtenidos para el porcentaje de eficicacia para cada tarea, por usuario y total, cuyo cálculo se realiza mediante el uso de la ecuación 1.

Usuario	% Eficacia T1	% Eficacia T2	% Eficacia T3	% Eficacia Total
1	100	66.67	100	88.89
2	100	100	100	100
3	100	100	100	100
4	100	100	50	83.33
5	100	100	100	100
Promedio	100	93.33	90	94.44

Se puede apreciar que la eficacia de cada una de las tareas de la prueba es alta, dado que el 100 % de los usuarios pudieron completar la primera tarea 1 sin dificultades, mientras que el 80 % de los usuarios pudieron realizar de manera completa las tareas 1 y 2, presentándose pequeñas dificultades en el 20% de los usuarios en la búsqueda de productos (la búsqueda le da prioridad al código de cada producto por sobre el nombre del mismo) y en la identificación de artículos dentro de la sección de blog del portal. Así, se puede apreciar como la eficacia consolidada del portal web es del 94.44% de los usuarios. Del mismo modo, a partir de la recopilación de los tiempos empleados por cada usuario, en la Tabla 3 se presentan los resultados obtenidos del porcentaje de eficiencia por tarea, por usuario y total al hacer uso de la ecuación 2.

Usuario	% Eficiencia T1	% Eficiencia T2	% Eficiencia T3	% Eficiencia Total
1	96.77	69.23	61.54	75.85
2	315.79	150.00	118.81	194.87
3	52.17	125.87	109.09	95.71
4	50.00	150.00	66.67	88.89
5	272.73	45.80	46.69	121.74
Promedio	157.49	108.18	80.56	115.41

En la tabla 3, se puede apreciar que, aunque la eficiencia de las tareas 1 y 2 es superior al 100 % (el tiempo promedio empleado por los usuarios es menor que el tiempo estimado por los coordinadores), en el caso de la tarea 1, el 60 % de los usuarios realizaron la tarea en un tiempo mayor al establecido, mientras que en el caso de la tarea 2, el 40% de los usuarios realizaron la tarea en un tiempo mayor al definido por los coordinadores. Por su parte, con respecto a la tarea 3, la cual tiene un porcentaje inferior al 100%, se puede apreciar que el 60% de los usuarios realizaron dicha tarea en un tiempo mayor al definido por los coordinadores. Del mismo modo teniendo en cuenta los valores de eficacia de la Tabla 2, es posible concluir que los valores de la eficiencia para las tareas 1 y 2 pueden ser explicados en las dificultades encontradas por algunos usuarios en la búsqueda de productos y en la identificación de los artículos en la sección de Blog del portal (obtenido en el cálculo la eficiencia mediante la ecuación (1)). En conclusión, al consolidar los resultados de la eficiencia de los usuarios, se obtiene que el porcentaje de eficiencia total del portal es de 115.41%. Por otra parte, en lo referente al atributo satisfacción, se tomaron en consideración 6 de las preguntas cuantitativas del cuestionario pos-test, las cuales indagaron sobre la percepción y satisfacción de diferentes aspectos del sitio. De este modo, en la Tabla 4, se presentan los resultados obtenidos del nivel de satisfacción por usuario y total al hacer uso de la ecuación 3 para el cálculo.

Usuario	P1	P3	P4	P5	P6	P7	Nivel Sat
1	3	2	2	2	2	3	2.33
2	3	4	4	4	5	4	4.00
3	3	3	4	4	1	2	2.83
4	3	3	4	4	4	4	3.67
5	3	4	4	4	2	4	3.50
	3	3.2	3.6	3.6	2.8	3.4	3.27
% Sat	60	64	72	72	56	68	65.33

Con base en las respuestas de los usuarios a las preguntas del pos-test relacionadas con la satisfacción, se puede observar que el nivel de satisfacción oscila entre 3 y 3.6, lo que corresponde a un porcentaje de satisfacción comprendido entre el 60% y el 72% respectivamente. De este modo, se obtiene que el nivel consolidado de satisfacción en el uso del portal fue de 3.27, con un porcentaje de satisfacción del 65.33%, lo cual puede ser explicado porqué, aunque el portal permite buscar los productos de la tienda, el buscador ha sido implementado a partir del código del producto, lo que dificulta encontrar fácilmente un producto. Del mismo modo y como se mencionó previamente, los usuarios encontraron dificultad al ubicar los artículos en la sección de Blog del portal, lo cual pudo influenciar la valoración a nivel de satisfacción. Considerando los resultados obtenidos en las Tablas 2, 3 y 4, en la Figura 6 se muestra el porcentaje de usabilidad calculado para cada usuario, teniendo en cuenta los porcentajes de eficacia, eficiencia, así como el nivel de satisfacción.


De acuerdo con el porcentaje consolidado de usabilidad para cada uno de los usuarios de la prueba, se puede apreciar que el porcentaje de usabilidad oscila entre 70.47% y 124.96%, obteniendo como porcentaje de usabilidad total un porcentaje de 91.73%. Aunque el nivel de usabilidad del portal web evaluado es alto, es importante de cara a mejorar la usabilidad del sitio, las funcionalidades de búsqueda y facilidad de acceso de los artículos en la sección de Blog.

A nivel de la discusión de los resultados, es importante resaltar que al aporte principal de este artículo fue el diseño y construcción de un laboratorio académico virtual para el desarrollo de las diferentes fases que componen un test con usuarios, lo cual representa un aporte a nivel de la eficiencia logística y a nivel del aprovechamiento de la de la infraestructura de internet y sus herramientas con respecto a las pruebas de usabilidad desarrolladas en laboratorios no virtuales, como los empleados en , para validar la usabilidad de diferentes aplicaciones. Los laboratorios virtuales permiten una mayor flexibilidad al eliminar la necesidad de desplazamientos físicos y la restricción de espacios, facilitando la participación de usuarios de diversas ubicaciones geográficas . Además, estos laboratorios pueden integrarse con diversas herramientas de software que automatizan y agilizan el proceso de recolección y análisis de datos, incrementando la eficiencia general del proceso de evaluación.

Adicionalmente, cabe resaltar que el laboratorio académico virtual propuesto permite la obtención de los insumos necesarios para el cálculo de las métricas asociadas a los atributos de la usabilidad: eficacia, eficiencia y satisfacción. De este modo, a través del cálculo de estos atributos es posible determinar el nivel de usabilidad de una aplicación evaluada, así como la identificación de los aspectos a mejorar a partir de los diferentes datos recopilados en la prueba remota. Las pruebas remotas, al igual que los laboratorios de usabilidad convencionales, proporcionan las mismas capacidades funcionales , permitiendo una evaluación completa y detallada de la usabilidad de las aplicaciones. Sin embargo, los laboratorios virtuales optimizan significativamente los costos logísticos y de desarrollo de las pruebas, ya que no requieren instalaciones físicas especializadas ni la presencia física de los participantes, lo que reduce los gastos asociados y aumenta la accesibilidad y alcance de las evaluaciones de usabilidad.

5. CONCLUSIONES

A partir de la necesidad de contar con un escenario controlado virtual para el desarrollo de test con usuarios dentro del curso de HCI del Programa de Ingeniería de Sistemas de la Universidad de Cartagena, en este artículo se propuso como contribución principal la construcción de un laboratorio virtual académico para la conducción de test con usuarios en el marco de la presencialidad remota suscitada por el COVID-19, teniendo en cuenta el estándar ISO 9241-11.

El laboratorio virtual de usabilidad propuesto, fue conformado por un conjunto de herramientas que permiten la generación de los diferentes instrumentos asociados a las etapas de un test con usuarios, así como el seguimiento remoto de las tareas realizadas por los usuarios en la prueba y la grabación de las sesiones realizadas por cada usuario. La propuesta realizada pretende servir de referencia de cara a la extrapolación de la infraestructura dentro de cursos similares o relacionados en la temática de pruebas de software.

El estudio de caso presentado en este artículo, permitió demostrar que la infraestructura del laboratorio virtual propuesto, permite la valoración de los atributos de usabilidad de la ISO 9241-11 (eficacia, eficiencia y satisfacción), por lo tanto es adecuado para la conducción de test con usuarios en el contexto académico y corporativo, contribuyendo a mejorar la calidad de los productos software.

A nivel de los trabajos futuros, se pretende adaptar la infraestructura propuesta al contexto de las aplicaciones móviles, de tal modo que se posibilite el desarrollo de test con usuarios en este tipo de aplicaciones.

AGRADECIMIENTOS

Los autores del presente paper quieren expresar su gratitud a Universidad de Cartagena y a la Universidad del Quindío por brindar apoyo en la investigación reportada en este artículo.

REFERENCIAS

[1] S. D. Axinte and I. C. Bacivarov, “Improving the Quality of Web Applications Through Targeted Usability Enhancements,” Apr. 2019. doi: 10.1109/ECAI.2018.8679098.

[2] G. Li, Y. He, Y. Tang, X. Shen, and L. He, “Perceived Usability of Computer-Aided Engineering Software,” in 2023 IEEE 28th Pacific Rim International Symposium on Dependable Computing (PRDC), Oct. 2023, pp. 78–80. doi: 10.1109/PRDC59308.2023.00019.

[3] M. U. Islam and B. M. Chaudhry, “A Framework to Enhance User Experience of Older Adults With Speech-Based Intelligent Personal Assistants,” IEEE Access, vol. 11, pp. 16683–16699, 2023, doi: 10.1109/ACCESS.2022.3230151.

[4] Z. Jiao, “Research and Application of Human-Computer Interface Based on User Experience,” in 2022 7th International Conference on Intelligent Computing and Signal Processing (ICSP), Apr. 2022, pp. 1417–1420. doi: 10.1109/ICSP54964.2022.9778329.

[5] G. E. Chanchí-Golondrino, M. C. Gómez-Álvarez, and W. Y. Campo-Muñoz, “Propuesta de una herramienta de inspección según los atributos de usabilidad de Nielsen,” Rev. Ibérica Sist. e Tecnol. Informação, no. E26, pp. 448–460, 2020.

[6] J. Nielsen, “Usability 101: Introduction to Usability,” 2012. [Online]. Available: https://www.nngroup.com/articles/usability-101-introduction-to-usability/

[7] K. Finstad, “The usability metric for user experience,” Interact. Comput., vol. 22, no. 5, pp. 323–327, Sep. 2010, doi: 10.1016/j.intcom.2010.04.004.

[8] J.-L. González-Sánchez, F. Montero-Simarro, and F.-L. Gutiérrez-Vela, “Evolución del concepto de usabilidad como indicador de la calidad del software,” El Prof. la Inf., vol. 21, no. 5, pp. 529–536, 2012, doi: 10.3145/epi.2012.sep.13.

[9] V. F. Martins, M. De Paiva Guimaraes, and A. G. Correa, “Usability test for Augmented Reality applications,” 2013. doi: 10.1109/CLEI.2013.6670668.

[10] S. Nizamani, S. Nizamani, S. Nizamani, N. Basir, K. Khoumbati, and S. Memon, “Usability Evaluation of University Websites in Pakistan through User Testing,” in ICETECC 2022 - International Conference on Emerging Technologies in Electronics, Computing and Communication, Dec. 2022, pp. 1–6. doi: 10.1109/ICETECC56662.2022.10069383.

[11] G. E. Chanchí, M. Barragán Sánchez, and W. Campo Muñoz, “Sistema software para el análisis del estrés mental en test de usuarios,” Campus Virtuales, vol. 7, no. 2, pp. 105–114, 2018, [Online]. Available: https://dialnet.unirioja.es/servlet/articulo?codigo=6681863

[12] F. Henrique Yoshiaki Nakagawa, A. Salvany Felinto, and M. Toshio Omori, “Inclusion of teaching slides in games: Analysis of the efficiency, effectiveness and satisfaction,” IEEE Lat. Am. Trans., vol. 11, no. 6, pp. 1372–1377, Dec. 2013, doi: 10.1109/TLA.2013.6710386.

[13] N. Kerzazi and M. Lavallee, “Inquiry on usability of two software process modeling systems using ISO/IEC 9241,” Can. Conf. Electr. Comput. Eng., pp. 000773–000776, 2011, doi: 10.1109/CCECE.2011.6030560.

[14] L. Perurena Cancio and M. Moráguez Bergues, “Usabilidad de los sitios Web, los métodos y las técnicas para la evaluación,” Rev. Cuba. Inf. en Ciencias la Salud, vol. 24, no. 2, 2013, [Online]. Available: http://www.rcics.sld.cu/index.php/acimed/article/viewArticle/405/306

[15] A. Calvo-Fernández, S. Ortega Santamaría, and A. Valls Saez, “Métodos de evaluación con usuarios,” 2011. [Online]. Available: http://openaccess.uoc.edu/webapps/o2/bitstream/10609/9861/4/PID_00176614.pdf

[16] G. Sánchez Morales, C. Mezura-Godoy, and E. Benítez-Guerrero, “Proceso de Pruebas de Usabilidad de Software,” Tecnol. Educ., vol. 5, no. 1, pp. 27–32, 2018, [Online]. Available: https://conaic.net/revista/ingles/publicaciones/Vol_V_Num1_Ene_Abr_2018/Articulo4.pdf

[17] D. Fathiyyah, M. D. Sulthon Diani, Z. Ayuning Saputri, and Sunardi, “Usability Evaluation on Life Insurance Application Using System Usability Scale and ISO 9241-11,” in 2022 8th International HCI and UX Conference in Indonesia (CHIuXiD), Nov. 2022, pp. 94–99. doi: 10.1109/CHIuXiD57244.2022.10009774.

[18] W. Ali, O. Riaz, S. Mumtaz, A. R. Khan, T. Saba, and S. A. Bahaj, “Mobile Application Usability Evaluation: A Study Based on Demography,” IEEE Access, vol. 10, pp. 41512–41524, 2022, doi: 10.1109/ACCESS.2022.3166893.

[19] D. A. Albornoz, S. A. Moncayo, S. Ruano-Hoyos, G. E. Chanchí, and K. Márceles-Villalba, “Sistema software para la ejecución de pruebas de usabilidad bajo el enfoque de mouse tracking,” TecnoLógicas, vol. 22, pp. 19–31, 2019, doi: 10.22430/22565337.1511.

[20] G. E. Chanchí and C. E. Hernández-Londoño, “Estrategia basada en TIC para la organización de ferias virtuales de divulgación académica durante la pandemia de COVID-19,” Rev. Espac., vol. 41, no. 42, pp. 66–80, Nov. 2020.

[21] J. Hoofman and E. Secord, “The Effect of COVID-19 on Education,” Pediatr. Clin. North Am., vol. 68, no. 5, pp. 1071–1079, Oct. 2021, doi: 10.1016/J.PCL.2021.05.009.

[22] C. H. Liu and H. You-Hsien Lin, “The impact of COVID-19 on medical education: Experiences from one medical university in Taiwan,” J. Formos. Med. Assoc., Mar. 2021, doi: 10.1016/j.jfma.2021.02.016.

[23] V. S. Sierpina, “The impact of COVID-19 on medical education,” Explore, vol. 16, no. 5, p. 286, Sep. 2020, doi: 10.1016/j.explore.2020.06.009.

[24] M. Almetwazi, N. Alzoman, S. Al-Massarani, and A. Alshamsan, “COVID-19 impact on pharmacy education in Saudi Arabia: Challenges and opportunities,” Saudi Pharm. J., vol. 28, no. 11, pp. 1431–1434, Nov. 2020, doi: 10.1016/J.JSPS.2020.09.008.

[25] T. Y. Chang et al., “Innovation of dental education during COVID-19 pandemic,” J. Dent. Sci., pp. 1–6, Aug. 2020, doi: 10.1016/j.jds.2020.07.011.

[26] A. Jabbar, C. G. Gauci, and C. A. Anstead, “Parasitology Education Before and After the COVID-19 Pandemic,” Trends in Parasitology, vol. 37, no. 1. Elsevier Ltd, pp. 3–6, Jan. 01, 2021. doi: 10.1016/j.pt.2020.10.009.

[27] A. S. Alves Gomes, J. F. Da Silva, and L. R. De Lima Teixeira, “Educational Robotics in Times of Pandemic: Challenges and Possibilities,” in 2020 Latin American Robotics Symposium, 2020 Brazilian Symposium on Robotics and 2020 Workshop on Robotics in Education, LARS-SBR-WRE 2020, Nov. 2020, pp. 1–5. doi: 10.1109/LARS/SBR/WRE51543.2020.9307145.

[28] M. Y. I. Zia and M. Rashid, “A Novel Laboratory Experimental Platform Using LabVIEW and Multisim Environments,” in 2021 National Computing Colleges Conference (NCCC), May 2021, pp. 1–6. doi: 10.1109/nccc49330.2021.9428796.

[29] Z. Chinchilla-Rodríguez, Y. Bu, N. Robinson-García, R. Costas, and C. R. Sugimoto, “Revealing existing and potential partnerships: Affinities and asymmetries in international collaboration and mobility,” in ISSI 2017 - 16th International Conference on Scientometrics and Informetrics, Conference Proceedings, 2017, pp. 869–880. doi: 10.13039/100000001.

[30] S. Kadavath et al., “How the COVID-19 Pandemic Has Affected Cardiology Fellow Training,” Am. J. Cardiol., Apr. 2021, doi: 10.1016/j.amjcard.2021.03.052.

[31] L. Bermello Crespo, “Los estudios de usabilidad en sitios web de bibliotecas virtuales,” Ciencias la Inf., vol. 36, no. 2, pp. 31–52, 2005, [Online]. Available: https://www.redalyc.org/pdf/1814/181417874002.pdf

[32] Y. Hassan Montero and F. Martín Fernández, “Método de test con usuarios,” No Solo Usabilidad, no. 2, 2003, [Online]. Available: http://www.nosolousabilidad.com/articulos/test_usuarios.htm

[33] D. M. Delgado, D. F. Girón Timaná, G. E. Chanchí, and K. Márceles Villalba, “Estimación del atributo satisfacción en test de usuarios a partir del análisis de la expresión facial,” Rev. Ing. Univ. Medellín, vol. 19, no. 36, pp. 13–28, Jun. 2019, doi: 10.22395/rium.v19n36a1.

[34] G. Enriquez and S. Casas, “Usabilidad en aplicaciones móviles,” Inf. Científico Técnico UNPA, vol. 5, no. 2, pp. 25–47, 2013, Accessed: Oct. 20, 2020. [Online]. Available: https://dialnet.unirioja.es/servlet/articulo?codigo=5123524&info=resumen&idioma=SPA

[35] E. de Lera and M. Garreta-Domingo, “10 heurísticos emocionales,” Rev. Faz, no. 2, pp. 68–81, 2008, [Online]. Available: http://www.revistafaz.org/articulos_2/06_diezheuristicos_delera_garreta.pdf

[36] J. Nielsen, “Why You Only Need to Test with 5 Users,” 2000. [Online]. Available: https://www.nngroup.com/articles/why-you-only-need-to-test-with-5-users/

[37] G. Desolda, R. Lanzilotti, D. Caivano, M. F. Costabile, and P. Buono, “Asynchronous Remote Usability Tests Using Web-Based Tools Versus Laboratory Usability Tests: An Experimental Study,” IEEE Trans. Human-Machine Syst., vol. 53, no. 4, pp. 731–742, Aug. 2023, doi: 10.1109/THMS.2023.3282225.

[38] G. E. Chanchí G, L. F. Muñoz S, and W. Y. Campo M, “Proposal of a tool for the stimation of satisfaction in usability test under the approach of thinking aloud,” in Communications in Computer and Information Science, 2018, vol. 944, pp. 211–222. doi: 10.1007/978-3-030-03763-5_18.