Método para evaluar la usabilidad de aplicaciones de Televisión Digital Interactiva: RECOEXTDI

 

Method for Evaluating the Usability of Interactive Digital Television Applications: RECOEXTDI

  

W.L. PANTOJA1, J.L. ARCINIEGAS2, C.A. COLLAZOS3, L.G. CHICA4

 

1                Dpto. de Sistemas, Fac. de Ing. Electrónica y Telecomunicaciones, Universidad del Cauca, Popayán, Email: wpantoja@unicauca.edu.co

2                Dpto. de Telemática, Fac. de Ing. Electrónica y Telecomunicaciones, Universidad del Cauca, Popayán, Email: jlarci@unicauca.edu.co

3                Dpto. de Sistemas, Fac. de Ing. Electrónica y Telecomunicaciones, Universidad del Cauca, Popayán, Email: ccollazo@unicauca.edu.co 4 Programa de Ing. de Sist.,  Fac. de Ing. Electrónica y Telecomunicaciones, Universidad del Cauca, Popayán, Email: lgchica@unicauca.edu.co

 

 

RESUMEN

 

En este artículo propone la extensión de un método de inspección denominado RECOEXTDI (REcorrido COgnitivo EXtendido para aplicaciones de Televisión Digital Interactiva), que evalúa la usabilidad de aplicaciones soportadas en ambientes de Televisión Digital Interactiva (TDI). El método propuesto tiene tres insumos básicos: el método original del recorrido cognitivo, las características de las aplicaciones de TDI y una experimentación inicial realizada en un laboratorio de TDI. Para la evaluación de RECOEXTDI se describe un caso de estudio en el que se hace una evaluación de usabilidad de una aplicación TDI utilizando el método tradicional y el extendido. De esta manera, se comparan los resultados obtenidos con la ejecución de los dos métodos. El método RECOEXTDI permitió encontrar una mayor cantidad de problemas de usabilidad en menor tiempo comparado con el método tradicional.

 

PALABRAS CLAVE: Evaluación de usabilidad, Métodos de Inspección, RECOEXTDI, Televisión Digital Interactiva (TDI) 

 

 

ABSTRACT

 

This article propose the extent of an inspection method called RECOEXTDI (REcorrido COgnitivo EXtendido para aplicaciones de Televisión Digital Interactiva) to evaluate the usability of applications supported on Interactive Digital Television (IDT) environments. The former method has three basic inputs: The original cognitive walkthrough method, the characteristics of TDI applications, and early testing performed in a TDI laboratory. To assess RECOEXTDI, it is described a case study in which an evaluation of the usability of a TDI application is made, by using the traditional and the extended method. In this way, the results obtained are compared with the implementation of the two methods described. The RECOEXTDI method allowed finding a larger number of usability problems in shorter time, compared with the traditional method.

 

KEYWORDS: Inspection methods, Interactive digital TV (IDT), RECOEXTDI, Usability evaluation.

 

         


1. INTRODUCCIÓN

 

En el acelerado ritmo de la evolución tecnológica del último siglo, la televisión ha cumplido un rol importante en la vida e historia de la humanidad. Desde las primeras señales analógicas en blanco y negro, las primeras transmisiones en vivo, la llegada de la televisión a color y ahora el surgimiento de la Televisión Digital Interactiva (TDI), se evidencian nuevas formas de entretenimiento, lo cual involucra cada vez más mayor interacción con los usuarios. La existencia de diferentes escenarios, tipos de aplicaciones y dispositivos exigen una interacción más compleja y por ende la usabilidad pasa a ser un elemento fundamental en el éxito de las nuevas aplicaciones.

 

Se ha pasado de una televisión tradicional ante la cual el usuario era totalmente pasivo, a una TDI que permite al usuario hacer cosas nuevas e interactivas tales como: manejar y personalizar los contenidos, programar ‘a la carta’ y utilizar herramientas de comunicación tales como correo electrónico, mensajería instantánea, chat y tablón de mensajes [1].

 

Una de las principales ventajas de la interactividad en la televisión radica en la posibilidad de acceder a un amplio conjunto de servicios públicos o privados a través del televisor, con un único terminal, y un control remoto. Otra ventaja consiste en que es el propio usuario quien decide ver, o no, los servicios interactivos y los contenidos asociados a la interactividad [2]; por ejemplo, si se quiere, o no, ver los mensajes de texto que los espectadores envían a los programas para comentar su discusión. Finalmente, la interactividad en la televisión permite ofrecer servicios adaptados a las necesidades de los diferentes colectivos que conforman la sociedad, independientemente de la edad, y la localización [3].

 

Las aplicaciones interactivas son programas adicionales a los contenidos de televisión, que pueden ser ejecutados si se dispone de un decodificador interactivo o alguna otra tecnología complementaria [4]. Así, el usuario decide si quiere, o no, ver las aplicaciones interactivas mediante una acción simple con el control remoto. Para comunicar al espectador la posibilidad de acceso a aplicaciones interactivas, los operadores o canales de televisión presentan un pequeño menú de posibilidades de acceso [3].

 

Motivar a los usuarios a que tomen el control de la aplicación de TDI es un aspecto clave para un buen diseño de aplicaciones. Para los usuarios, el disponer de una interfaz accesible, estéticamente agradable, con una estructura de navegación efectiva y una buena experiencia interactiva, ayuda a mejorar la experiencia de ver televisión de una manera significativa [5].

 

Se presume que la TDI evolucionará y convergerá con los diferentes medios de consumo de contenidos de video. Es decir, la televisión será una de las maneras de consumir contenidos de video interactivos. Actualmente, según [6], hay un crecimiento en el consumo de los mismos. Por ello, la facilidad de uso en la TDI es un tema importante de investigación, pues esta tecnología será mejor aprovechada en la medida en que se mejore su facilidad de uso; y por el momento la literatura relacionada con métodos para evaluar la usabilidad de aplicaciones de TDI es escasa [7].

 

Las pruebas de usabilidad ayudan a detectar errores en las interfaces de usuario y por ende a mejorar la calidad del producto. Existen muchos métodos para evaluar la usabilidad, los cuales están clasificados en tres categorías importantes: inspección, indagación y test [8]. Algunos de ellos dan por hecho que el sistema al menos tiene un prototipo viable. Para realizar la evaluación de la usabilidad conviene disponer de varias personas con diferentes perspectivas en el momento de ejecutarla [2].  Los métodos de inspección son realizados por expertos en usabilidad, y se basan tanto en el recorrido y análisis del sistema que se está evaluando, para identificar errores y problemas de diseño, como en el conocimiento y la experiencia de los expertos [9]. 

 

En este artículo, se extiende un método de inspección para evaluar la usabilidad de aplicaciones soportadas en ambientes de TDI. El método adaptado permitirá evaluar la usabilidad de las aplicaciones de TDI de una manera más eficiente y eficaz.

 

Este artículo está organizado de la siguiente manera: en la Sección 2 se exponen trabajos relacionados; en la Sección 3 se presenta el método de inspección extendido para la evaluación de las aplicaciones de TDI; posteriormente se plantea la evaluación del método extendido; y finalmente, se presentan las conclusiones y las proyecciones para trabajos posteriores.

 

2. TRABAJOS RELACIONADOS

 

Existen varios proyectos relacionados que han realizado experiencias en TDI y usabilidad, de los cuales destacamos [10];[11];[12];[13];[14];[15];[16];[4] que se han centrado en servicios de T-Learning. En la mayoría de ellos se definen las características que deben tener dichos servicios y se recomienda, en gran medida, que estos deben ser fáciles de usar. En algunos de ellos se ha utilizado métodos tradicionales de evaluación de usabilidad de los servicios. Por ejemplo, en [4] se han usado heurísticas; mientras que en [13], se ha utilizado el Método de Pruebas; finalmente, en [10] y [13], se sugiere utilizar métodos de inspección, siendo este último trabajo en donde mayores reportes se tiene al respecto.


Figura 1. Diagrama de actividades de RECOEXTDI. Fuente. Elaboración propia.

Los anteriores trabajos ofrecieron insumos importantes en el planteamiento del Método de Evaluación de Usabilidad Extendido. En particular, [16] brinda pautas metodológicas importantes, pues adapta un método de usabilidad (evaluación heurística) a entornos TDI.

 

MÉTODO DE INSPECCIÓN EXTENDIDO PARA

LA EVALUACIÓN DE LA USABILIDAD DE

APLICACIONES DE TDI

 

Insumos del método extendido

 

El método propuesto es una extensión al método de inspección llamado ‘Recorrido Cognitivo’. En [17], se describe el proceso que se realizó, para seleccionar el recorrido cognitivo como método a ser extendido para aplicaciones TDI. Al método extendido se le identifica con el nombre de RECOEXTDI (REcorrido COgnitivo EXtendido para aplicaciones de Televisión Digital

Interactiva). 

RECOEXTDI tiene tres insumos básicos: (1) el método original del recorrido cognitivo (su explicación detallada está en [18]); (2) las características de las aplicaciones de TDI (interactividad, personalización, adaptabilidad, ubicuidad, características físicas de la interacción y consistencia de las aplicaciones y contenidos); y (3) una experimentación inicial realizada con el laboratorio de TDI de la Universidad del Cauca. Esta experimentación consistió en aplicar el método del recorrido cognitivo a una aplicación TDI, lo cual permitió familiarizarse con el método, detectar sus problemas y vacíos, que posteriormente fueron cubiertos por el método extendido.

3.1     Descripción del método extendido

 

En el método extendido se definen tres roles: (1) el desarrollador de la aplicación TDI; (2) el coordinador de la prueba de evaluación (este rol no ha sido tenido en cuenta en el método tradicional); y (3) los expertos evaluadores. A continuación se describen estos roles con sus características principales.

 

       El grupo desarrollador de la Aplicación TDI. Es la persona (o grupo de personas) que realiza(n) el desarrollo de la aplicación de Televisión Digital Interactiva. Son independientes del moderador y de los expertos en usabilidad. En este rol se tienen analistas de software, desarrolladores de aplicaciones, diseñadores de aplicaciones TDI y similares.

 

       El coordinador de la prueba de usabilidad. Es la persona (o grupo de personas) que se encarga(n) de la planificación de la prueba, coordinación de los recursos humanos y técnicos (imprimir los formatos necesarios, fijar la fecha, hora y lugar de la prueba y garantizar que todo esté debidamente instalado antes de la prueba).  En el momento del test es el encargado de explicar el procedimiento de la prueba de usabilidad. El coordinador de la prueba de usabilidad puede ser una persona del grupo desarrollador.

 

       Los expertos en evaluación de Usabilidad. Son las personas que realizan el recorrido cognitivo extendido, las cuales tienen amplio conocimiento en diseño de interfaces, usabilidad y en Televisión Digital Interactiva. Teniendo en cuenta su experiencia y su conocimiento, estos simulan ser usuarios finales de la aplicación TDI.

 

Este método extendido se implementa en tres fases: PRE-

TEST, TEST y POST-TEST (similar a otras pruebas de usabilidad existentes, como se muestra en la Figura 1). A continuación se describen cada fase con sus pasos o actividades respectivas.  

 

FASE 1: PRE-TEST. En esta fase se define todo lo relacionado con la preparación al test, es decir, los requerimientos previos para la ejecución de la prueba. Esto involucra la planificación de la prueba, la coordinación de las personas involucradas con el test, la definición del perfil de los usuarios, las tareas con sus respectivas acciones y la logística del sitio. A continuación se detallan sus pasos y actividades:

 

       El desarrollador y el moderador deben identificar y documentar el perfil de los usuarios finales de la aplicación TDI. El perfil de usuario es una descripción de las características más relevantes de la población potencial que usará la interfaz de usuario que vamos a diseñar. Dichas características serán muy diversas, por ejemplo: el grado de conocimiento o uso de equipos o programas informáticos; la experiencia profesional; el nivel de estudios; el tipo de trabajo; el entorno social, entre otros. RECOEXTDI propone un formato para consignar este perfil.

 

       El grupo desarrollador y el moderador deben definir la lista de tareas a evaluar y sus respectivas acciones. Los criterios para seleccionar estas tareas son los siguientes: las tareas más comunes, las tareas más críticas y las tareas más importantes para el sistema. En seguida, el moderador describe la secuencia de acciones de cada una de las tareas a evaluar. Es importante que la descripción de las acciones se haga con un nivel de granularidad fino (con mucho detalle), debido a que en las aplicaciones de TDI su interacción se basa en el uso del control remoto, el cual dificulta escribir y navegar con comodidad. Las tareas y sus acciones deben quedar plasmadas en un formato. A continuación, se da un ejemplo de la descripción de una tarea con sus respectivas acciones: la tarea “Ingresar al Sistema” tiene las siguientes acciones: presionar el botón verde del control remoto para cargar la interfaz de ingresar al sistema; con el teclado del control remoto, escribir el nombre de usuario; presionar la flecha abajo para cambiar de caja de texto; escribir la contraseña de usuario; y, finalmente, bajar con el control para oprimir el botón de ingresar.

 

       El coordinador de la prueba define todo lo concerniente a la logística del sitio donde esta se llevará a cabo. Esto incluye ubicar el sitio de la prueba; los dispositivos donde se almacena la aplicación de TDI; el TV donde se proyectará la aplicación de TDI; el Set Top Box (STB); el control remoto para la interacción, entre otros. Además el coordinador se encarga de la planificación de la prueba; la coordinación de los recursos humanos y técnicos; fijar la fecha, hora y el sitio de la prueba; y garantizar que todo esté debidamente instalado y funcionando antes de la prueba.

 

FASE 2: TEST. Al inicio de esta fase ya debe estar listo todo lo relacionado con la ejecución de la aplicación de TDI. Es decir, el moderador debe garantizar que ya esté debidamente instalada, disponible y lista para ejecutarse la aplicación de TDI en un entorno adecuado. Los evaluadores expertos, al iniciar la prueba, deben tener en su mano el listado de tareas con sus acciones respectivas y el perfil de los usuarios reales del sistema. Las actividades a seguir en esta fase son:

 

       El coordinador inicia con la ejecución del test explicándole a los expertos detalladamente las características de las aplicaciones TDI, en especial el uso del control remoto. De ser necesario, se hace una inducción a los evaluadores del funcionamiento del control remoto.

 

       El coordinador describe a los expertos el prototipo de la aplicación TDI a evaluar.

 

       El coordinador entrega a los evaluadores el formato diligenciado con el perfil de los usuarios y el formato para realizar el test.

 

       Los evaluadores expertos analizan en orden las tareas seleccionadas. Por cada acción se responden cuatro preguntas. Estas preguntas se realizan desde el punto de vista del perfil de los usuarios finales y no desde el punto de vista de los evaluadores. Dichas preguntas fueron tomadas del método original y adaptadas a ambientes TDI.

 

La primer pregunta, ¿La acción se hace de manera correcta, similar a la forma en que fue diseñada?, se refiere a lo que el usuario está pensando, a cómo el usuario enfrenta a la aplicación y si el usuario seguirá las acciones planteadas por los desarrolladores. Se debe tener en cuenta que los usuarios con frecuencia no realizan las acciones tal cual como los desarrolladores esperan que lo hagan. Ejemplo: si nuestra primera acción para registrarnos en la aplicación de TDI es la de digitar el nombre usuario y la contraseña, ¿la primera interface de la pantalla dará a entender al usuario, que deberá digitar sus datos? 

La segunda pregunta que debe analizar el evaluador es si ¿El usuario es capaz de percibir los controles necesarios para ejecutar la acción? Esta pregunta hace referencia a la capacidad de los usuarios para buscar el botón en el control remoto y en la pantalla, para continuar con la siguiente acción. Ejemplo: en las aplicaciones de TDI es necesario ver el botón en la pantalla y asociarlo con el respectivo botón en el control remoto para continuar con las acciones. Una vez el usuario escriba su nombre de usuario y contraseña, se iluminará en la pantalla el botón de "entrar" al aplicativo, para que con el botón de “Ok” del control remoto, se registre en el sistema. 

 

La tercera pregunta, ¿El usuario entiende qué va a suceder una vez oprima el botón?, sugiere que una vez encontrada la acción que ejecuta el proceso para continuar con la tarea, el usuario entiende por completo qué va a suceder una vez se oprima el control o botón. Incluso si los usuarios desean hacer lo correcto y el control es claramente visible, cabe preguntarse si ¿se darán cuenta de que este es el control que están deseando utilizar? Ejemplo: ¿Una vez el usuario reconozca el botón "Ingresar" en la pantalla, y presione el "Ok" del control remoto, ingresará al sistema? Cabe anotar que las tres primeras preguntas se relacionan con lo que el usuario piensa. Podría ser que los usuarios no sepan realizar las acciones para realizar las tareas, pero un control remoto en el que se diferencien los botones y una interfaz que induzca al usuario a seguir con las acciones, podría hacerles saber realmente lo que hay que hacer.

 

La última pregunta, ¿La retroalimentación del sistema es suficiente?, se refiere a la reacción de la aplicación de TDI después que se realiza la acción. En general, incluso las acciones más simples requieren algún tipo de retroalimentación, solo para demostrar que el sistema "se dio cuenta" de la acción. Ejemplo: cuando se mueva la tecla del cursor para bajar una posición en la aplicación, debe mostrarse en la pantalla que bajó una posición. Si presiona el botón "ok", una vez se hayan escrito el nombre de usuario y contraseña, deberá cambiar la pantalla para indicar que se procesó la información.

 

A medida que los evaluadores examinan las tareas y las acciones, registran sus inquietudes en un formato. Los evaluadores anotarán para cada acción las respuestas del sistema y sus anotaciones personales diferenciando entre las acciones realizadas fácilmente, procesos realizados con cierta dificultad y las acciones realizadas con más dificultad. Pueden considerarse ejemplos de anotaciones u observaciones: "los botones y controles no son evidentes"; "utilizar etiquetas e iconografía acorde a la acción a realizar"; "la aplicación debe sugerir al usuario su siguiente acción"; entre otras.

 

FASE 3: POST-TEST. En esta fase se entregan los resultados del test a los desarrolladores con el objetivo de hacer las mejoras al prototipo evaluado. A continuación se detallan sus actividades.

 

       Con la información recolectada en la fase anterior, el moderador sintetiza la información en un formato y se lo entrega a los desarrolladores. El moderador y los evaluadores expertos deben centrar su atención en las acciones de las tareas que no se pudieron realizar o que realizaron con dificultades, ya que estas son las que entregan información sobre los problemas de usabilidad existentes. Las tareas que se realizaron con éxito, corresponden a aciertos del desarrollador de la aplicación de TDI. 

 

       Los desarrolladores deben revisar y mejorar el diseño de la interfaz del sistema según los problemas de usabilidad arrojados por el test.

 

3.3 Elementos diferenciadores y novedosos del método extendido

 

El recorrido cognitivo extendido presenta los siguientes elementos novedosos y diferenciadores con respecto al recorrido cognitivo tradicional:

       Los evaluadores al iniciar el test de usabilidad pueden necesitar una explicación sobre el uso del control remoto. Una gran diferencia entre las aplicaciones tradicionales (de escritorio y web) y las aplicaciones TDI radica en que estas últimas requieren el uso del control remoto para su interacción. Hay diferentes versiones de controles remotos con muchas teclas de las que, sin una explicación previa, el usuario normalmente desconoce su utilidad. Es por ello, que es necesario capacitar a los evaluadores en el uso del control remoto antes de iniciar la prueba de usabilidad.

 

       RECOEXTDI recomienda que las acciones que describen una determinada tarea, deben ser descritas con un nivel de granularidad fino para que posteriormente puedan ser evaluadas. En las aplicaciones TDI, acciones simples como escribir en una caja de texto, exigen mucho esfuerzo y concentración por parte de los usuarios, ya que el control remoto dificulta escribir y navegar con comodidad.  

 

       En la fase inicial se crean tareas de coordinación y un nuevo rol: el coordinador. Para poder ejecutar y coordinar la logística del sitio donde se harán las pruebas de las aplicaciones de TDI se requiere coordinar una infraestructura tecnológica compleja compuesta por el Broadcaster, el STB, el televisor y el control remoto. 

 

       Propone lineamientos básicos sobre cómo seleccionar las tareas a evaluar; por ejemplo, las tareas más comunes, las tareas más críticas y las tareas más importantes para el sistema.

 

       Se realiza una explicación detallada de cada una de las fases, de tal manera que los evaluadores puedan hacer la evaluación de una manera más ágil, fluida y sencilla.

 

       Se han creado formatos para facilitar el uso del recorrido cognitivo extendido, como los que se muestran en las Figuras 5,  7 y 8. Estos formatos ayudan a simplificar y entender la buena ejecución del recorrido cognitivo extendido para TDI.  

 

       RECOEXTDI sugiere de manera opcional grabar con una cámara de video lo acontecido durante las pruebas. Esto permite tener un registro y examinar detalles de la aplicación del método extendido tantas veces sea necesario

 

4. EVALUACIÓN DEL MÉTODO

 

En esta sección se describe un caso de estudio para la evaluación del método RECOEXTDI. Para ello se realiza una evaluación de la usabilidad de una aplicación TDI utilizando método tradicional y el extendido. Finalmente, se comparan los resultados obtenidos con la ejecución de los métodos.

El caso de estudio se llevó a cabo en el Laboratorio de TDI de la Universidad del Cauca, aprovechando la infraestructura suministrada y el software desarrollado  en el proyecto ST-CAV [19]. 

La Figura 2 muestra los componentes hardware del sistema ST-CAV. Este sistema se compone de un Computador multimedia que contiene el Broadcaster, el concentrador de red, el STB con su respectivo control remoto y el televisor en el que se despliegan las aplicaciones.

 

 

 

Figura 2. Componentes del ST-CAV. 

Fuente. Elaboración propia.

 

El proyecto ST-CAV tiene varias aplicaciones y servicios, entre ellas ‘el tablón’, servicio que se ha seleccionado para el proceso de evaluación, dado que contiene varios elementos de interacción con el usuario final. El tablón ofrece un registro directo y breve de comentarios de los usuarios, características que se ajustan para la extensión de un método de inspección para evaluar la usabilidad de aplicaciones TDI. El principio básico del tablón obedece a un conjunto de mensajes cortos emitidos por los usuarios, los cuales se van apilando dentro de la interfaz gráfica. En la Figura 3, se muestra el tablón, cuya interfaz funciona de manera semejante a como se hace el servicio de ‘microblogging’ en Twitter.

 

Figura 3. Tablón – Publicando un nuevo tema. 

Fuente. Elaboración propia.

 

 

 

 

 


 

Figura 4. Formato del perfil de los usuarios. Fuente. Elaboración propia.

 

 

 

 

4.1 Ejecución del Método Recorrido Cognitivo

Tradicional

 

En primer lugar, se le aplicó el recorrido conginitivo tradicional al tablón. Esto se llevó a cabo con la participación de cinco evaluadores expertos en el tema de usabilidad, de la Universidad del Cauca. Los pasos del método fueron tomados de [18].

 

A cada evaluador se le entregan las tareas correspondientes a la evaluación de la aplicación tablón: ingresar al sistema, cargar la aplicación tablón, revisar los mensajes de otros usuarios, crear un tema nuevo, responder una publicación realizada. Cada evaluador analiza las acciones de cada una de las tareas, y las cruza con cuatro grupos de preguntas. Cabe anotar que el método tradicional no posee ningún formato. Sin embargo, de manera muy sencilla, en un documento se especificaron las tareas a evaluar con sus respectivas acciones. Esto es el insumo principal de la evaluación.


Figura 5. Formato para seleccionar las tareas a evaluar. Fuente. Elaboración propia.

 

 


Finalmente, en la fase de POST-TEST se consignan los errores de usabilidad encontrados por los expertos.

Durante la ejecución de esta prueba, se logran evidenciar problemas con el uso del control remoto. El control remoto es un dispositivo muy común, pero a la mayor parte de los usuarios se les dificulta escribir textos con los botones del control remoto. Además, los evaluadores manifiestan dificultad al momento de aplicar el grupo de cuatro preguntas que plantea el método.

4.2 EJECUCIÓN DEL MÉTODO RECORRIDO COGNITIVO

 

Posteriormente, se realiza la evaluación de usabilidad a la aplicación tablón, pero esta vez utlizando el método

RECOEXTDI. Nuevamente intervienen cinco evaluadores expertos en el tema de usabilidad, de la Universidad del Cauca, diferentes a quienes hicieron el recorrido cognitivo tradicional. 

En la fase PRE-TEST se definió el formato de perfil de usuario y el formato adaptado para evaluar aplicaciones TDI. En la fase TEST se realiza la ejecución del método RECOEXTDI, aplicando los elementos diferenciadores del método y en la fase POS-TEST se analizaron los resultados y problemas de usabilidad encontrados en la aplicación del método extendido RECOEXTDI. 

A continuación se describe en detalle la ejecución de las actividades de cada fase.

FASE 1: PRE-TEST Los roles asignados fueron:

       Grupo desarrollador de la Aplicación TDI. Son los encargados de desarrollar las aplicaciones TDI. 

       Coordinador de la prueba de usabilidad. Se designa el rol de coordinador de la prueba a un experto en la prueba de usabilidad. 

       Expertos en evaluación de usabilidad. Se eligen cinco expertos evaluadores, entre una población de estudiantes de maestría y doctorado de la Universidad del Cauca, que trabaja las áreas de usabilidad. Estos poseen conocimiento en diseño de interfaces, usabilidad y TDI.

Con el acompañamiento de uno de los desarrolladores del ST-CAV y el coordinador se define el perfil de los usuarios finales en la aplicación TDI, tal como se muestra en la Figura 4. El perfil de usuario se refiere a las características distintivas de los usuarios que utilizarán las aplicaciones TDI; por ejemplo, rangos de edad, habilidades específicas en el uso de computadores, nivel de escolaridad, aplicaciones con las que están familiarizados, etc.

Se utilizan tres criterios para seleccionar las tareas a evaluar : frecuencia de uso, tipo de tarea (si es, o no, crítica) e importancia para el sistema. 

 

La Figura 5 muetra el formato de las las tareas a evaluar con sus acciones.

 

FASE 2: TEST

Se intervino en sesiones individuales con los expertos en evaluación de usabilidad (Ver Figura 6). 

 

Figura 6. Evaluando la aplicación tablón utilizando RECOEXTDI. Fuente. Elaboración propia.

 

El coordinador explica el procedimiento haciendo énfasis en las características de las aplicaciones TDi (interactividad, personalización, adaptabilidad, ubicuidad, características físicas de la interacción y consistencia de las aplicaciones y contenidos) y también se da una inducción breve en el uso del control remoto, debido a que existen muchas variedades de controles y su manejo puede resultar poco intuitivo, asi los usuarios sean expertos.  

Por cada una de las acciones descritas para cada tarea, los evaluadores responden las cuatro preguntas (colocándose en el rol de usuarios):

1.        ¿La acción se hace de manera correcta, similar a la forma en que fue diseñada?

2.        ¿El usuario es capaz de percibir en el control remoto los botones necesarios para ejecutar la acción?

3.        Una vez encontrado el botón, ¿El usuario entiende qué va a suceder una vez oprima el botón?

4.        Una vez realizada la acción, ¿La retroalimentación del sistema es suficiente?

La evaluación de la tareas y sus acciones, así como las observaciones, se consignan en el formato que se muestra en la Figura 7.

El formato de la Figura 7 permite a los evaluadores sistematizar y simplificar la ejecución del recorrido cognitivo. Por cada tarea se debe llenar este formato (en este caso se muestra la tarea “ingresar al sistema”). Las filas representan las preguntas a evaluar y las columnas representan cada una de las acciones para completar la tarea. 

4.3    COMPARACIÓN    DE    RESULTADOS      DE    LA

EJECUCIÓN DE LOS MÉTODOS

 

En esta sección se hace una comparación de la ejecución del método recorrido cognitivo tradicional y el método

RECOEXTDI.

 

En primer lugar, es de aclarar que el entorno de la ejecución de las pruebas es la aplicación tablón del proyecto ST-CAV bajo las mismas condiciones


Figura 7. Formato para el registro de la evaluación de usabilidad. Fuente. Elaboración propia.

 

 

 

 

(incluidos los perfiles de los evaluadores). 


 

FASE 3: POST-TEST

Una vez obtenida la información recolectada en las sesiones con los evaluadores expertos en usabilidad se procedió a la compilación de los datos. Este registro permite la identificación de los problemas de usabilidad mediante la aplicación del método de inspección recorrido cognitivo extendido RECOEXTDI, esta información se registra en el formato que muestra la Figura 8. En este se registra la síntesis de la información realizado por el coordinador de la prueba el cual se le entrega a los desarrolladores.

 

 

 

En la Figura 9 se muestra una comparación con los tiempos empleados en cada método, donde se evidencia que RECOEXTDI tiene tiempos menores:

El promedio de tiempo de ejecución del método de inspección recorrido cognitivo tradicional fue de 57 minutos. El promedio de tiempo de ejecución del RECOEXTDI fue de 23 minutos. Esto evidencia que la preparación del Test de RECOEXTDI fue más efectiva en tiempo de ejecución de los evaluadores expertos.

 

El método RECOEXTDI encuentró 22 problemas de usabilidad frente a 6 problemas del recorrido tradicional. Esta notoria diferencia se debe a varios factores como:

La fluidez del proceso, ya que RECOEXTDI, guía de manera fácil el proceso de evluación, mediante un orden lógico y detallado. Este método está pensado para evaluar aplicaciones TDi. 

La creación de formatos, por ejemplo el formato para el registro de la evaluación de usabilidad, dan un soporte importante al proceso de evaluación ya que la ejecución del Test es mucho más rápida, efectiva y eficiente.

 

5. CONCLUSIONES Y TRABAJOS FUTUROS

 

Para que la experiencia de los usuarios de las aplicaciones de Televisión Digital Interactiva sea exitosa, se requiere fundamentalmente que la aplicación sea muy usable. A la vez, para desarrollar aplicaciones de TDi usables se requiere que existan métodos para entornos TDi que puedan medir el grado de usabilidad de las aplicaciones de forma verificable. El método propuesto permite detectar más eficientemente hallazgos de usabilidad comparado con los tradicionales. Disponer de este tipo de métodos permite hacer ciclos de mejora de los productos de forma más ágil.

De los métodos de inspección existentes para evaluar usabilidad de software, el método Recorrido Cognitivo, es uno de los más adecuados para aplicarlo en entornos TDi. Lo primordial de un método de evaluación de usabilidad es que identifique un mayor número de problemas de usabilidad. Por esta razón el método RECOEXTDI adapata el método de recorrido cognitivo a los entornos de TDi.

En este artículo se describe la selección y la aplicación de los criterios para la selección del método a extender, la metodología para la extensión del método seleccionado y finalmente, la evaluación del método extendido.

De acuerdo con los resultados obtenidos nos indican que el proceso de planeación y preparación de la fase pre-test en el método extendido RECOEXTDI, provee mejores y más claros resultados además de optimizar el tiempo de ejecución de los evaluadores expertos.

Durante la evaluación de los métodos, se evidencia que RECOEXTDI encuentra más hallazgos de usabilidad en menos tiempo comparado con los métodos tradicionales.

Los expertos evaluadores de usabilidad en la prueba del Recorrido Cognitivo Tradicional encontraron 6 problemas de usabilidad y el tiempo promedio de la prueba fue de 57 minutos y en la prueba del método RECOEXTDI los problemas de usabilidad encontrados fueron 22 y el tiempo promedio de la prueba fue de 23 minutos.

Existen otros métodos para evaluación de la usabilidad que se debería experimentar para demostrar si son o no más adecuados para entornos de TDi, por ejemplo los métodos Recorrido Pluralista, Análisis de Acción e Inspección de Estándares. Estos otros métodos de inspección no han sido extendidos a entornos TDi lo que deja una oportunidad de investigación. Además, se recomienda realizar más escenarios de pruebas con RECOEXTDI para validar de manera más contundente su eficiencia y eficacia. Si bien este es un experimento específico, se puede extender de diferentes maneras, no se descarta que otros métodos sean más eficientes en otros contextos u otros servicios de T-learning; sin embargo, el proceso planteado aquí suministra una guia para futuros experimentos con las adaptaciones de otros métodos y se podría usar como referencia para realizar análisis y comparaciones.

Desde luego realizar mayor número de experimentos y aumentar el número de usuarios, servicios y expertos sería lo deseable, los resultados obtenidos en esta experiencia son el punto de partida para otras evaluaciones de servicios de t-learning, en donde no hay verdades absolutas, creemos que la evaluación es un mecanismo para la detección temprana de hallazgos de usabilidad que permiten mejorar la calidad de los servicios, para concentrarnos en las funcionalidades de los servicios y mejorar la experiencia de usario.  

 

6. AGRADECIMIENTOS

 

Este trabajo ha sido realizado en la Universidad del Cauca y ha contado con financiación parcial del proyecto UsabiliTV (financiado por Colciencias y el MEN. ID

1103 521 28462)

 

7. REFERENCIAS

 

C. Collazos et al., “Lineamientos de usabilidad para el diseño y evaluación de la televisión digital interactiva,” Revista Avances en Sistemas e Informática, vol. 5, no. 3, pp. 213-218, Dic. 2008

D.F. Rojas, E.O. Tulande, “Recomendaciones para la generación y distribución de contenidos educativos orientados a Televisión Digital Interactiva,” Proyecto de Grado, Universidad del Cauca, Popayán, Colombia, 2009.

C. Cotelo, “La televisión digital interactiva: contexto y efectos sobre la publicidad,” Tesis doctoral, Fac. de Ciencias de la Info., Dpto. de Historia de la Comunicación Social, Univ. Complutense de Madrid, España, 2010.

Grupo de televisión Digital Interactiva. (2006, octubre 12). Servicios de T-Learning para Soportar una Comunidad Académica Virtual STCAV [En línea]. Disponible en: http://www.unicauca.edu.co/STCAV/

K.Y. Lu, “Interaction design principles for interactive television,” Tesis de Maestría, Georgia Inst. of Technology, Atlanta, GA, EEUU, 2005.

E-Marketer. (2015, abril 2) Most Digital Video Monetization Still Comes from Ads: US digital video ad spending to reach $7.77 billion this year [Artículo en línea]. Disponible en: http://www.emarketer.com/Article

/Most-Digital-Video-Monetization-Still-Comes-Ads/10 12300 

A. Solano, C. Collazos, J.L. Arciniegas, Evaluación colaborativa de la usabilidad de aplicaciones de televisión digital interactiva, Editorial Research and Innovation, 2013 

J. Nielsen, Usability engineering. 1a ed. Mountain View, CA, EEUU: Academic Press Inc., 1993

M.E.A. Obeso, “Metodología de medición y evaluación de la usabilidad en sitios web eduativos,” Tesis doctoral, Dpto. de Informática, Universidad de Oviedo, España, 2005.

J.V. de Lima, F.J. Lima, R.A. de Nevado, “An Alternative for the Interaction with Digital TV,” Research Gate, 2016  [Artículo en línea]. Disponible en: http://www.researchgate.net/publication/265887670_An _Alternative_for_the_Interaction_with_Digital_TV

A Guide for Digital TV Service Producers, Ministry of Transport and Communications / Arvid Publications, Finlandia.

Department of Computer Graphics and Interaction. Enhanced Learning Unlimited (ELU) [En línea].

Disponible en: http://dcgi.felk.cvut.cz/en/research/elu

M. Damasio, C. Quico, “T-Learning and Interactive

Television Edutainment: the Portuguese Case Study,” en EdMedia: World Conference on Educational Media and Technology, Lugano, Suiza, 2004, pp. 4511-4518

 

C.A. Collazos, J.L. Arciniegas, “J. Evaluación de la televisión interactiva desde una perspectiva de usabilidad: caso práctico,” Ciencia e Ingeniería Neogranadina, vol. 19, no. 1, pp. 99-106, Jun. 2009

M. Obrist et al., “Focusing on Elderly: An iTV

Usability Evaluation Study with Eye-Tracking,” en 

Interactive TV: a Shared Experience, 5th European Conference, EuroITV, Amsterdam, Reino de los Países Bajos, May 24-25, 2007, pp. 66-75

A.F. Solano, C.A. Collazos, C. Rusu, “Propuesta Metodológica para Evaluar la Usabilidad de

Aplicaciones de Televisión Digital Interactiva,” en 7o Congreso Colombiano de Computación, Universidad EAFIT, Medellín, Colombia, 2012.

L. Chica, W.L. Pantoja, J. Arciniegas, “Selección de un método para evaluar la usabilidad en aplicaciones de TDi,”. IX Congreso Colombiano de Computación,   Manizales, Colombia, 2014.

 

C. Lewis, J. Rieman, “Evaluating the Design

Without Users: Cognitive Walkthroughs,” en TaskCentered User Interface Design. 1993, cap. 4, sec. 4.1 [En línea]. Disponible en: http://hcibib.org/tcuid/chap4.html#4-1.

 

J. Arciniegas, “Servicios de T-Learning para el soporte de una Comunidad Académica Virtual (STCAV)”, 2009