PONTIFICIA UNIVERSIDAD CATLICA DEL PER

FACULTAD DE CIENCIAS E INGENIERA

ANLISIS DE USABILIDAD A LA INTERFAZ DE CARGA DE

ARCHIVOS DE LA PLATAFORMA PAIDEIA PUCP

Tesis para optar el Ttulo de Ingeniera Informtica, que presenta el bachiller:

Marcela Noem Araujo Falcn

ASESOR: Juan Miguel Guanira Erazo

Lima, junio de 2014

RESUMEN
Las plataformas de aprendizaje en lnea son una alternativa de soporte y facilitacin
de la enseanza, adaptables a las necesidades de docentes y alumnos en diversas
instituciones. Uno de los factores del xito de estos sistemas es la usabilidad, el
atributo que indica si un usuario comprende un recurso y puede utilizarlo de forma
eficiente y satisfactoria.
La direccin de informtica acadmica de la Pontificia Universidad Catlica del Per
(DIA PUCP) desarroll el sistema PAIDEIA sobre la plataforma de aprendizaje
gratuita Moodle. PAIDEIA permite a los docentes desarrollar aplicaciones, evaluar a
los alumnos y compartir recursos, apoyando la educacin en las aulas en la era
digital, donde los alumnos participan activamente en la generacin de conocimiento.
Los profesores organizan los cursos empleando interfaces para carga de contenido,
y es aqu donde se descubre una brecha entre el diseo y el uso del sistema. Se
encuentran opciones que no son legibles, los docentes no logran asociar los
elementos del programa con elementos ya conocidos e intuir sus funcionalidades, lo
que dificulta visualizar adecuadamente la interfaz. Ante ello, podran frustrars e y
decidir no emplear la herramienta.
En el presente proyecto se disear una evaluacin de usabilidad con la
participacin de usuarios y expertos, para descubrir los problemas existentes en la
interfaz de carga de archivos de la plataforma PAIDEIA PUCP, presentada al perfil
de los profesores. Como parte de la evaluacin, un estudio de expertos estar
fundado en las heursticas planteadas por Nielsen, una gua para identificar
problemas de usabilidad de diversa severidad. Adems, un conjunto significativo de
usuarios brindar informacin sobre su experiencia directa con el sistema en un
entorno cercano a un caso real.
Partiendo de los problemas de mayor criticidad, se plantearn mejoras de diseo
para la interfaz (empleando pantallas o sugiriendo mdulos y actualizaciones) con el
fin de que las actividades relacionadas a la carga de archivos sean ms ordenadas y
accesibles para los usuarios. Los cambios sern propuestos en base a la ltima
versin disponible de Moodle, soportados haciendo uso de las herramientas
disponibles de la plataforma.
II

Dedicado a mis padres, a Ariana, y a las personas que me permiten llamarles hogar.

III

Gracias al cario incondicional, confianza y paciencia de mi familia y amigos, a sus

palabras y gestos de aliento durante mi carrera y desarrollo como mejor profesional
y persona.

Agradezco a mis profesores, quienes me inspiran a seguir aprendiendo, en especial

a mis asesores Miguel Guanira y Claudia Zapata, quienes me orientaron como
maestros y amigos, e hicieron posible esta tesis.

Un agradecimiento especial a los usuarios de la plataforma y a los expertos de

usabilidad, quienes brindaron su valioso tiempo para el estudio.

IV

TABLA DE CONTENIDO
NDICE DE FIGURAS ..................................................................................................... VII
NDICE DE TABLAS .......................................................................................................VIII
CAPTULO 1. PROBLEMTICA, OBJETIVOS Y ALCANCE .......................................... 1
1.1

Problemtica

1.2

Marco terico

1.2.1

Sistema de gestin de aprendizaje (LMS Learning Management

Systems) .............................................................................................. 4

1.3

1.2.2

Moodle.................................................................................................. 5

1.2.3

Usabilidad ............................................................................................ 6

1.2.4

Ingeniera de la usabilidad ................................................................... 8

1.2.5

Pruebas de usabilidad ......................................................................... 9

1.2.6

Usabilidad en las plataformas de aprendizaje virtual........................ 12

Estado del arte

1.3.1

12

Estudio de problemas de usabilidad en la plataforma Moodle de la

PUC-Rio ............................................................................................. 12

1.3.2

Evaluacin de usabilidad de los mdulos de Moodle en Macedonia13

1.3.3

Anlisis de la usabilidad de Moodle bajo la perspectiva de los

maestros............................................................................................. 14

1.3.4

Anlisis de la usabilidad de Moodle bajo la perspectiva de los

maestros............................................................................................. 15

1.4

1.5

Objetivos

16

1.4.1

Objetivo general ................................................................................. 16

1.4.2

Objetivos especficos ......................................................................... 16

1.4.3

Resultados esperados ....................................................................... 16

1.4.4

Herramientas, mtodos y procedimientos......................................... 17

Alcance

23

1.6

Justificacin y viabilidad

24

CAPTULO 2. DISEO DE EVALUACIONES................................................................ 26

2.1

Objetivos de la evaluacin

26

2.2

Preguntas de investigacin

26

2.3

Mtodos empleados

27

2.4

Escenarios y evaluadores

28

2.5

Diseo de las evaluaciones

31

2.5.1

Diseo de la evaluacin de expertos ................................................ 31

2.5.2

Diseo de la evaluacin de usuarios ................................................. 34

CAPTULO 3. RESULTADOS......................................................................................... 37
3.1

3.2

3.3

Resultados de la evaluacin de expertos

37

3.1.1

Primera fase de la evaluacin ........................................................... 37

3.1.2

Segunda fase de la evaluacin ......................................................... 37

Resultados de la evaluacin de usuarios

45

3.2.1

Test piloto........................................................................................... 45

3.2.2

Test final............................................................................................. 46

Discusin de resultados

51

CAPTULO 4. MEJORAS PROPUESTAS AL SISTEMA ............................................... 57

CAPTULO 5. CONCLUSIONES Y RECOMENDACIONES .......................................... 68
5.1

Conclusiones

68

5.2

Recomendaciones y trabajos futuros

69

REFERENCIAS BIBLIOGRFICAS ............................................................................... 71

ANEXOS........................................................................................................................... IX

VI

NDICE DE FIGURAS

Figura 1.1: Modelo de los atributos de aceptabilidad de un sistema. ............................... 7

Figura 1.2: Modelo de proceso de la Ingeniera de la usabilidad. .................................... 9
Figura 3.1: Pasos realizados en cada sesin del test a usuarios. .................................. 46
Figura 3.2: Grfico de cantidad de problemas encontrados por heurstica .................... 52
Figura 4.1: Pantalla propuesta para el guardado automtico de archivos y el regreso al
curso................................................................................................................................. 58
Figura 4.2: Pantalla propuesta para la descarga de una seleccin de archivos ............ 58
Figura 4.3: Mensaje propuesto para guiar la edicin de un archivo, implementada en
Moodle 2.7........................................................................................................................ 59
Figura 4.4: Mensaje de error al intentar mover una carpeta a ella misma, implementada
en Moodle 2.7................................................................................................................... 60
Figura 4.5: Interfaz mostrada tras arrastrar y soltar un archivo en Paideia.................... 61
Figura 4.6: Interfaz propuesta tras arrastrar y soltar un archivo en Paideia,
implementada en Moodle 2.7........................................................................................... 61
Figura 4.7: Propuesta de etiquetas en la interfaz del gestor de archivos y carpetas,
implementada en Moodle 2.7........................................................................................... 62
Figura 4.8: Pantalla propuesta para la subida mltiple de archivos ............................... 63
Figura 4.9: Propuesta de pantalla de la descripcin presentada al aadir un recurso
archivo, implementada en Moodle 2.7............................................................................. 64
Figura 4.10: Comparacin de un resultado de pantalla de inicio de curso en Paideia
(Izquierda) y la pantalla propuesta (Derecha), implementada en Moodle 2.7 ................ 65
Figura 4.11: Interfaz para llenado de datos en Paideia .................................................. 66
Figura 4.12: Propuesta de interfaz para llenado de datos en Paideia, implementada en
Moodle 2.7........................................................................................................................ 66
Figura 4.13: Propuesta de mensaje para llenado de campos obligatorios, implementada
en Moodle 2.7................................................................................................................... 67

VII

NDICE DE TABLAS

Tabla 1.1: Herramientas y mtodos por resultado esperado. ......................................... 18

Tabla 1.2: Impacto de riesgos y medidas correctivas. .................................................... 24
Tabla 2.1: Caractersticas de los participantes. .............................................................. 30
Tabla 2.2: Plantilla de la primera etapa de evaluacin. .................................................. 32
Tabla 2.3: Escala de severidad de los problemas de usabilidad. ................................... 33
Tabla 2.4: Escala de frecuencia de los problemas de usabilidad. .................................. 33
Tabla 2.5: Plantilla de la segunda etapa de evaluacin.................................................. 34
Tabla 3.1: Resultados de la segunda fase de la evaluacin, donde los problemas de
usabilidad son calificados segn su criticidad. ................................................................ 44
Tabla 3.2: Criterios de xito de la primera tarea del test a usuarios. ............................. 47
Tabla 3.3: Criterios de xito de la segunda tarea del test a usuarios. ............................ 48
Tabla 3.4: Criterios de xito de la tercera tarea del test a usuarios. .............................. 49
Tabla 3.5: Criterios de xito de la cuarta tarea del test a usuarios................................. 50

VIII

CAPTULO 1. PROBLEMTICA, OBJETIVOS Y ALCANCE

1.1

Problemtica

Los programas para computadora estn ampliamente difundidos en el mundo actual y

son importantes protagonistas del desarrollo de las sociedades. Estas herramientas
son aplicadas en distintos campos, entre ellos la educacin. La interactividad de los
programas pedaggicos, sumada al acceso a internet, se diferencia de la educacin
tradicional en la capacidad de consulta, asesora y aprendizaje en cualquier momento y
lugar, y en la gestin colectiva de actividades didcticas [Dagger, 2007].
Dentro de la oferta variada de programas educativos se encuentran las plataformas de
aprendizaje en lnea: una alternativa de soporte y facilitacin de aprendizaje que no
busca reemplazar la educacin en las aulas, sino ser una opcin abierta a instituciones
o agrupaciones de todo nivel que deseen brindar a sus miembros herramientas
pedaggicas en lnea [Carliner, Shank, 2008]. Las instituciones, estudiantes y maestros
eligen las plataformas segn sus necesidades, determinando cules reciben una
acogida exitosa. Si estos programas no ofrecen soluciones ptimas para los usuarios,
no tendrn xito. Entre los factores para esta aceptacin se encuentra uno ligado
directamente a la interaccin con el usuario: la usabilidad.
El concepto de usabilidad comenz a tener acogida desde inicios de los 90,
mostrndose su importancia en la interaccin entre humano y computador, un campo
estudiado desde finales de los aos 70 [AIPO, 2002]. La usabilidad es un atributo de
calidad que indica cun fcil de usar es una interfaz, la cual es el punto donde
interactan y transmiten informacin y datos las personas y computadoras [Nielsen,
2012; AIPO, 2002]. Este atributo indica si un usuario comprende un recurso y puede
utilizarlo de forma eficiente y satisfactoria.
Ante el crecimiento de las plataformas de educacin en lnea, surgen estudios sobre
las dimensiones y factores que influyen en el impacto de las tecnologas en el
aprendizaje de los alumnos [CEPAL, 2010]. Se descubre una brecha entre cmo las
personas aprenden e interactan con las computadoras y cmo se disean los
1

programas. Si se desea que se acorte la brecha que podra impedir a los usuarios
realizar sus tareas de forma eficiente y satisfactoria se puede recurrir a un anlisis
usabilidad [Scholtz, 2004].
Se recomienda evaluar la usabilidad desde fases tempranas de la creacin de las
plataformas, en especial en aquellas que son gratuitas y de desarrollo colaborativo, con
lo cual pueden obtenerse resultados satisfactorios [Unal, Unal, 2011; Kakasevski,
Gorgi, et al., 2008]. Pese a ello, se pueden realizar anlisis de usabilidad en todas las
etapas del desarrollo de los programas y en el mantenimiento o etapas finales [Wixon,
et al., 1994].
DIA (Direccin Informtica Acadmica) es una unidad acadmica dentro de la Pontificia
Universidad Catlica del Per (PUCP) encargada de difundir y orientar hacia los
objetivos institucionales la aplicacin de las tecnologas de informacin y comunicacin
(TIC) en el mbito administrativo y acadmico [DIA PUCP, 2012].
Entre los proyectos de la unidad se encuentra Paideia. Esta es una plataforma
educativa que se construy pensando en los alumnos como integrantes de una era
digital, en la cual reciben y participan activamente en la generacin de contenidos. DIA
aprovech la familiaridad del alumno con las tecnologas apoyando la educacin en las
aulas con una plataforma interactiva de aprendizaje colaborativo desarrollada en el
sistema en software libre de gestin de cursos Moodle (actualmente en su versin
2.3.1). Moodle fue elegido por ser una herramienta en crecimiento muy popular entre
los educadores de todo el mundo. Moodle es una alternativa gratuita para crear sitios
web dinmicos y personalizables en lnea para comunidades de aprendizaje [Moodle,
2010].
Paideia se comenz a utilizar en el ao 2007, instalada en un servidor web
proporcionado por Amazon, para los cursos de las facultades de la universidad,
teniendo perfiles de profesores y alumnos. A travs de Paideia cada usuario es capaz
de crear aplicaciones para sus actividades en lnea: salones de chat, wikis (pginas
con contenido modificable por los participantes), galeras (de documentos, audio,
imgenes y video), foros (grupos de debate donde se pueden compartir comentarios
relativos a un tema) y evaluaciones en lnea. Los alumnos son guiados por los
2

profesores para el uso oportuno de las tecnologas y la potenciacin de sus

capacidades gracias a ellas.
Una de las funcionalidades de Paideia es la carga de documentos, la cual permite a los
usuarios compartir archivos en lnea. Los usuarios pueden organizar los documentos
en una estructura de carpetas que definan. Esta funcionalidad es empleada por
profesores y alumnos para la publicacin y entrega de tareas acadmicas, trabajos,
presentaciones, videos, entre otros documentos.
Al ingresar a esta seccin no se presenta una vista atractiva para el usuario. Algunos
de los botones no son intuitivos para el mismo, a la par de opciones que por su tamao
no son legibles. Si el usuario no logra asociar los elementos del programa con
elementos ya conocidos ni visualizar adecuadamente la interfaz, los principios de
visibilidad y de asociacin se incumplen [AIPO, 2002]. Una interfaz que no es
entendida no se podr aprovechar en todo su potencial. Si el usuario no tiene un
entorno comprensible requerir de mayor tiempo para adaptarse a usarlo, lo cual
podra implicar errores en el proceso, ocasionar frustracin por parte del usuario, poca
motivacin [Zaharias, Poylymenakou, 2009] e inclusive generar ineficiencia operativa.
Una de las razones por las cuales Paideia no es utilizada frecuentemente es su
complejidad al momento de trabajar con los archivos, en especial para los docentes,
quienes organizan el material para los alumnos. Un anlisis de usabilidad en esta
interfaz de carga permitira mejorar la comprensin de la herramienta por parte de los
usuarios, aumentando la eficiencia de su uso y fomentando su difusin en los cursos
de la universidad. Es posible ejecutar pruebas consistentes y econmicas empleando
conjuntos de preguntas para el usuario con resultados aprovechables [Alva, 2005].
En el presente trabajo de fin de carrera se analizar la usabilidad del servicio de carga
de archivos brindado a los profesores que emplean la plataforma para compartir
contenido (tareas, reportes, documentos de trabajo) dentro de las pginas de los
cursos que dicta la universidad. Los resultados de las evaluaciones se entregarn a
los colaboradores de la DIA, siendo utilizados en la mejora de la interfaz visual. En
base al estudio, se plantear una reestructuracin de las vistas y de la ubicacin de
los elementos de la interfaz con el fin que la herramienta sea ms entendible.
3

1.2

Marco terico

A continuacin se definirn los conceptos involucrados en la comprensin del problema

del presente trabajo de fin de carrera:

1.2.1

Sistema de gestin de aprendizaje (LMS Learning Management Systems)

Los LMS son plataformas web didcticas que brindan herramientas para crear y
dar soporte a cursos en lnea y facilitan la inscripcin, gestin y el seguimiento
del rendimiento de estudiantes. Estos sistemas pueden ser gratuitos, conocidos
como Sistemas de Gestin de Cursos de Cdigo Abierto (Open Source Course
Management System, CMS). Ejemplos de este tipo son Sakai, Atutor,
Whiteboard y Moodle, con el que se desarroll Paideia. Tambin hay
alternativas de pago: BlackBoard, Gradepoint, Desire2Learn y Learn.com.
Se puede hacer referencia a generaciones de LMS:
Primera generacin: Estos sistemas estuvieron centrados en un curso en
particular, con pocas funcionalidades para el usuario. Estos sistemas se
enfocaban en el contenido de un curso y en la operatividad del mismo.
Segunda generacin: Estos son los sistemas hasta la actualidad, enfocados
no solo en compartir contenido sino tambin en compartir informacin y
mtodos de aprendizaje.
Nueva generacin: Se abre paso a nuevos sistemas que compartan
informacin, escenarios de aprendizaje, funcionalidades y herramientas. Los
usuarios podrn elegir plataformas de forma dinmica, acordes a sus
necesidades y al momento en que se las requera [Dagger, 2007].

1.2.2

Moodle

Moodle (cuyas siglas en espaol significan Entorno Modular de Aprendizaje

Dinmico Orientado a Objetos) es un sistema desarrollado en un proyecto de
investigacin para phD por Martin Dougiamas, bajo la gua de Peter Taylor, en
la Universidad de Tecnologa Curtin, en Australia. Este programa fue creado
para apoyar y aportar a un marco de educacin social-constructivista.
El enfoque social-constructivista, basado en ideas de expositores como Piaget y
Vygotsky, plantea que el conocimiento se genera por la sociedad y, en el caso
de las plataformas de aprendizaje, los participantes de la comunidad web son
quienes construyen su propio conocimiento [Carliner, Shank, 2008]. Esto se
logra fomentando la participacin y dilogo entre los miembros de una
comunidad de aprendizaje.
Para implementar Moodle se utiliz el lenguaje PHP por su versatilidad, ya que
permite al profesor configurar un servidor de aplicaciones web en su propia
computadora. Tambin se emple un estilo de programacin simple y
personalizable, cuyo fin en sus inicios fue permitir al desarrollador cambiar el
sistema segn las exigencias resultantes de su anlisis e investigacin. Ahora
este estilo permite a los usuarios y programadores (incluso sin mucha
experiencia) configurar la plataforma segn sus propios requerimientos,
cambiando

libreras simples de la programacin modular y CSS para las

caractersticas de las interfaces.

Moodle realiz pruebas durante los aos 2001 y 2002, y se obtuvo en el 2003
un Sistema de gestin de cursos de cdigo abierto (Open Source Course
Management System, CMS), conocido tambin como Sistema de gestin del
aprendizaje (Learning Management System, LMS) o como Entorno de
aprendizaje virtual (Virtual Learning Environment, VLE) listo para ser utilizado
en internet [Dougiamas, Taylor, 2003].
Diez aos despus de ser lanzado en la web, Moodle cuenta con ms de 68
millones de usuarios en 232 pases y 79414 redes (de las cuales 1106 son
5

peruanas) en 80 lenguajes. Moodle se ha convertido en un software que puede

adaptarse a organizaciones de distintos tamaos y metodologas de aprendizaje
y enseanza, aplicado en negocios, instituciones educativas y en gran variedad
de agrupaciones (organizaciones de salud, gobierno o milicia, aeropuertos,
profesores independientes o de educacin especial, entre otros) [Moodle, 2012].
A continuacin se definirn los conceptos involucrados en la comprensin de la
solucin planteada en el presente trabajo de fin de carrera:

1.2.3

Usabilidad

La usabilidad, segn Nielsen, es un atributo de calidad que estima cun simple

es para el usuario interactuar con un programa de computador. Este autor
plantea que la usabilidad es definida por cinco componentes de calidad:

Facilidad de aprendizaje: Indica cun fcil es para el usuario realizar tareas

bsicas cuando usa el sistema por primera vez.

Eficiencia: Es cun rpido realizan tareas los usuarios una vez que se han
familiarizado con el diseo.

Memorabilidad: Seala cun fcil es volver a usar el sistema tras un periodo

de no usarlo.

Errores: Indica cun severo es que el usuario cometa errores y con cunta
facilidad puede recuperarse el sistema tras ellos.

Satisfaccin: Es cun agradable es el diseo de la interfaz [Nielsen, 2012].

Nielsen plantea desde los inicios de su estudio a la usabilidad como un aspecto

de la aceptabilidad del sistema. Si no se obtuviesen niveles aceptables de los
componentes de facilidad de aprendizaje, eficiencia, memorabilidad, errores y
satisfaccin (Figura 1.1), no tendra xito entre los usuarios [Nielsen, 1993].
6

Figura 1.1: Modelo de los atributos de aceptabilidad de un sistema [Zapata, 2012].

Tambin se plantean principios de la usabilidad divididos en tres categoras:

Facilidad de aprendizaje: Cun fcil es para los nuevos usuarios interactuar

con el sistema y alcanzar un beneficio mximo. Los principios son: la
predictibilidad, cmo ayuda el conocimiento de funciones previas del
sistema a intuir el efecto de nuevas funciones; la capacidad de sntesis,
cmo ayuda el conocimiento de funciones previas del sistema a obtener
nuevas funciones; la familiaridad, cunto de la experiencia o conocimiento
de sistemas que tiene el usuario se puede aplicar al interactuar con el nuevo
sistema; la capacidad de generalizar, cunto puede relacionar el usuario el
conocimiento de aplicaciones similares y la consistencia, cun probable es
la similaridad entre las entradas y salidas de aplicaciones y tareas similares.

Flexibilidad: Cuntas formas de intercambio de informacin entre humano y

computadora existen. Los principios son: iniciativa de dilogo, cunta
libertad tiene el usuario al ingresar data al sistema; multi-hilos, cun bien
7

soporta el sistema actividades simultneas; migracin de tareas, cun fcil

es pasar el control de ejecucin de una tarea; capacidad de sustitucin,
permitir el intercambio de entradas y salidas equivalentes y personalizacin,
cun modificable es la interfaz del sistema, ya sea por el usuario o por el
sistema mismo.
-

Robustez: Cunto soporte se brinda al usuario para que pueda alcanzar sus
objetivos. Los principios son: capacidad de observacin, la capacidad del
usuario de evaluar el estado del sistema con solo verlo; capacidad de
recuperacin, cmo pueden realizarse acciones correctivas tras un error;
capacidad de respuesta, cmo se percibe la comunicacin con el sistema y
conformidad con las tareas, el grado en que el sistema puede brindar
soporte a las tareas que desea realizar el usuario [Dix, Alan, et al., 2004].

1.2.4

Ingeniera de la usabilidad

Es una disciplina que provee mtodos estructurados y organizados para

alcanzar una adecuada usabilidad en la interfaz de usuario diseada durante el
desarrollo de un programa para computador [Scholtz, 2004; AIPO, 2002]. Un
aporte de esta ingeniera son los criterios establecidos para juzgar la usabilidad
[Dix, Alan, et al., 2004].
El modelo de proceso de la ingeniera de la usabilidad (Figura 1.2) se centra en
los usuarios y tiene como pilares a la ingeniera del software clsica, al
prototipado, donde se seleccionan tcnicas de evaluacin y a la evaluacin,
donde se categorizan los mtodos de evaluacin.
Sus fases bsicas son: en el anlisis de requisitos, donde se establecen
objetivos de usabilidad; en el diseo, pruebas y desarrollo, fase en la que se
prueba para comparar con los objetivos iniciales y la instalacin, donde los
usuarios comprueban cun usable es el producto [Scholtz, 2004].

Figura 1.2: Modelo de proceso de la Ingeniera de la usabilidad [AIPO, 2002].

1.2.5

Pruebas de usabilidad

Las pruebas de usabilidad son mtodos elaborados para identificar los puntos
de la interfaz del sistema que requieren una mejora en su interaccin con el
usuario.
No hay un consenso en la comunidad de investigadores de usabilidad en cul
es la divisin de mtodos ms adecuada. Una de las divisiones con mayor
aceptacin es la planteada por Scholtz [Scholtz, 2004]. Esta se basa en los
mtodos usados para la evaluacin. Se tienen las pruebas siguientes:

Evaluaciones centradas en el usuario

Consiste en desarrollar procedimientos con fin de detectar problemas de un
software al momento de realizar tareas. Para ello se seleccionan un
conjunto de tareas y usuarios representativos.
Hay dos tipos de pruebas centradas en el usuario:

Pruebas formativas:
Se utilizan para obtener informacin para el diseo. Se realizan de forma
rpida y estn enfocadas a un alcance menor al del proyecto total.

Pruebas sumativas:
Estas son pruebas formales que buscan documentar las caractersticas de
usabilidad del producto de software.
Estas evaluaciones tienen como ventaja conocer la opinin de los usuarios
directos del sistema, identificando los puntos a mejorar. La desventaja es
que requieren tiempo y son costosas, adems de la complejidad que se
tiene por requerir un grupo representativo usuarios para el estudio.

Evaluaciones de expertos
Este tipo de evaluaciones son similares a las revisiones de diseo de
proyectos de software. Entre los mtodos se encuentran:

Revisin de los estndares y guas

Existen diferentes estilos de diseo y evaluacin de interfaces, as
como guas para seguirlos. El xito de su aplicacin depende del tipo
de sistema en el que se realiza, la experiencia de los usuarios finales y
el contexto donde se utilizar el programa.

10

Tutoriales cognitivos
Para esta evaluacin se requiere una descripcin detallada de la
interfaz, un escenario, contexto, las caractersticas de los usuarios y
una secuencia de acciones a realizar. Quien evala ver si el usuario
puede escoger una accin, determinar si es correcta y verificarlo.

Evaluaciones heursticas
Estas evaluaciones son las ms utilizadas como mtodo de inspeccin.
Se realizan con un grupo pequeo de evaluadores quienes verifican el
cumplimiento de los principios de diseo en el programa a trabajar.
Algunas de las heursticas planteadas son la visibilidad del estado del
sistema, la coincidencia entre el sistema y el mundo real, el control y
libertad para el usuario, la consistencia y el cumplimiento de
estndares, la prevencin de errores, el reconocimiento, la flexibilidad y
la eficiencia de uso [Nielsen, 1994].
La ventaja de estas evaluaciones es, segn indica Nielsen, que son
ms econmicas que las evaluaciones centradas en el usuario.
Adems, pueden ser utilizadas desde el inicio del desarrollo del
programa.
El problema es que no hay un solo criterio para priorizar los problemas
de usabilidad, pues se tiene la opinin de mltiples evaluadores.

Evaluaciones basadas en modelos

Se utilizan modelos para predecir el comportamiento de los usuarios,
siendo menos costosos que aplicar evaluaciones centradas en usuarios. Se
deben de analizar tareas a nivel cognitivo para plantear un modelo y luego
probarlo. Ambas actividades demandan tiempo.

La usabilidad en los sistemas requiere nuevos enfoques, tcnicas y una visin

distinta a la utilizada en las primeras interfaces. La usabilidad en las plataformas
puede mejorar al realizar estudios combinando distintos mtodos.
11

Al tener ms de un estudio los resultados se pueden corregir, reforzar y

potenciar [Bowman, Gabbard y Hix, 2002].

1.2.6

Usabilidad en las plataformas de aprendizaje virtual

Pese a lo sencillo de crear herramientas en lnea o recursos accesibles de

aprendizaje, si la herramienta es difcil de usar o entender por problemas de
usabilidad el usuario no podr tener una experiencia satisfactoria con el
software. Si un sistema no es usable podra llegar a obstruir el aprendizaje del
alumno en vez de ayudar como herramienta.
Para que un sistema de aprendizaje virtual sea exitoso debe de ser atractivo,
apoyar a los fines del curso o labor a realizar, acomodarse al estilo de
aprendizaje del alumno y ser intuitivo para los usuarios menos familiarizados
con la tecnologa. Si los materiales ofrecidos son de utilidad los usuarios
emplearn la mayor parte de su tiempo en tareas productivas. Pese a que un
anlisis de usabilidad es ms productivo en la etapa de desarrollo, cualquier
sistema de aprendizaje virtual se puede beneficiar con un estudio de usabilidad
[Jeffels, 2011].

1.3

Estado del arte

Entre los estudios existentes de usabilidad hay autores que analizaron la plataforma
Moodle con distintos estilos de trabajo. A continuacin se presentarn algunos de los
ms resaltantes:

1.3.1

Estudio de problemas de usabilidad en la plataforma Moodle de la PUCRio

Un proyecto de la Pontificia Universidad Catlica de Ro de Janeiro estudi la

necesidad de un anlisis de usabilidad en la plataforma de gestin de
12

aprendizaje de cdigo abierto Moodle. El proyecto se enfoc en las

herramientas colaborativas y de comunicacin utilizadas por los profesores.
Se estudi cunto se dificulta por problemas de usabilidad el empleo de las
herramientas y de las estrategias que las requieren.
Se realizaron entrevistas focalizadas con la ayuda de los profesores, tutores,
coordinadores y diseadores. Se analizaron los foros, salas de chat, seccin de
retroalimentacin, wiki, mensajes y el blog. El estudio indic que ms del 50%
de usuarios present dificultad en el uso de las interfaces del programa. Con
este resultado se concluy que realizar una prueba de usabilidad de Moodle era
vlido, pues se descubrira a mayor detalle los problemas de los usuarios al
emplear el sistema [De Porto Alegre y de Moraes 2012].

1.3.2

Evaluacin de usabilidad de los mdulos de Moodle en Macedonia

Se realiz una evaluacin de los mdulos estndar de Moodle para presentar

un una adecuada implementacin de una plataforma con Moodle. Se opt por
un proceso iterativo de diseo, encontrando problemas de usabilidad en esa
fase y en fases tempranas del desarrollo. Para el estudio de usabilidad se
combinaron heursticas con cuestionarios y tareas dirigidas. Se tomaron tres
cuestionaros: uno preliminar en la primera semana de uso del sistema, otro con
tareas simples y comunes para el usuario (como la subida de archivos o el
ingresar a un saln de chat) en la segunda semana de uso y uno final en la
sexta semana, donde se pidieron distintas tareas con mayor complejidad que
las iniciales.
Como resultado de los estudios se obtuvieron recomendaciones para
profesores y alumnos en el uso de los mdulos. Se aplicaron las
recomendaciones obtenidas para implantar una versin de Moodle compacta y
comprensible.
Algunas recomendaciones fueron: la autentificacin de usuarios, incluyendo
acceso a todos los alumnos, usuarios especiales para los profesores y acceso
13

de invitado desactivado; el empleo de materiales de enseanza comprensibles;

actividades y tareas en lnea simples, siendo secciones con una gua para que
los usuarios puedan aprovechar las ventajas de su uso y herramientas de
comunicacin, como chat y foros, que puedan utilizarse pese a un elevado
porcentaje de alumnos con dificultades en su empleo. [Kakasevski, et al. 2008].

1.3.3

Anlisis de la usabilidad de Moodle bajo la perspectiva de los maestros

El estudio consisti en proponer un modelo compuesto por atributos de

usabilidad a seguir, conjuntos de preguntas para evaluarlos y mtricas
cualitativas para medir dichos atributos.
Se utiliz el modelo para analizar el nivel de usabilidad de Moodle, con un
enfoque orientado a los profesores y a las actividades que desarrollan para
crear, presentar y gestionar sus clases.
Los atributos empleados fueron:
- Un sistema intuitivo: Consiste en que el profesor pueda realizar actividades
de forma intuitiva.
- Capacidad de operacin: Indica cun fcil es realizar las tareas que ofrece el
programa.
- Eficiencia de uso: Consiste en cun capaz es el software de promover su uso
productivo por parte del docente, adems de en cunto tiempo.
- Capacidad de aprendizaje: Se refiere a con cunta facilidad el profesor
puede aprender a utilizar el sistema.
- Un sistema atractivo: El sistema debe de mostrar una interfaz agradable al
usuario.
- Satisfactorio: El software permite que el usuario est satisfecho cuando
trabaja con l.
14

La mayor parte de profesores manifestaron estar satisfechos con el uso de

Moodle para dar soporte a sus clases. Pese a ello, indicaron que algunas
funciones eran muy complejas, que la ayuda por parte del software no era
suficiente y que si la interfaz se mostraba cargada con muchos datos, se
dificultaba su uso [Kirner, Custodio y Kirner, 2008].

1.3.4

Anlisis de la usabilidad de Moodle bajo la perspectiva de los maestros

Tras analizar distintos casos de problemas de usabilidad y evaluaciones

realizadas sobre la plataforma Moodle, se reconoce la necesidad de plantear
interfaces comprensibles para el usuario. Estas deben de facilitar y motivar la
enseanza y aprendizaje en lugar de ser un obstculo, lo cual permitir a la
herramienta ser atractiva, satisfactoria y eficiente como un apoyo a estudiantes
y profesores.
Los anlisis de usabilidad indican que la brecha entre diseo y lo que requiere
un usuario aumenta si estos no forman parte del proceso de diseo del
software. Si los usuarios estn activamente involucrados en todo el proceso de
mejora de usabilidad, esta tendr resultados positivos. A pesar de ello, las
medidas correctivas de usabilidad en fases ms avanzadas pueden generar
mejoras en los programas, aumentando la satisfaccin del usuario y la
aprobacin del aplicativo. Si se realiza un anlisis de usabilidad en una fase
avanzada del ciclo de vida de una plataforma se puede optar por conocer la
opinin de expertos, de usuarios directos y de usuarios potenciales.

15

1.4

Objetivos

A continuacin se describen el objetivo general, los objetivos especficos y los

resultados esperados del presente trabajo.

1.4.1

Objetivo general

Proponer mejoras a la interfaz de carga de archivos del sistema de gestin de

aprendizaje en lnea Paideia (PUCP) en base a evaluaciones de usabilidad.

1.4.2

Objetivos especficos

1. Disear las pruebas de usabilidad que realizarn los expertos y los usuarios
de la plataforma.
2. Realizar las evaluaciones de usabilidad, segn los mtodos elegidos, a la
interfaz de carga de archivos.
3. Analizar los resultados de las evaluaciones de usabilidad.
4. Disear las mejoras para los problemas de usabilidad encontrados en el
sistema evaluado.

1.4.3

Resultados esperados

1. Resultado 1 para el objetivo 1: Instrumento para las pruebas de usabilidad

que realizarn los expertos en la plataforma.
2. Resultado 2 para el objetivo 1: Instrumento para las pruebas de usabilidad
que realizarn los usuarios la plataforma.

16

3. Resultado 1 para el objetivo 2: Resultado de la evaluacin de usabilidad

realizada por los expertos en la plataforma.
4. Resultado 2 para el objetivo 2: Resultado de la evaluacin de usabilidad
realizada por los usuarios de la plataforma.
5. Resultado 1 para el objetivo 3: Anlisis de problemas de usabilidad.
6. Resultado 1 para el objetivo 4: Propuesta de mejoras en base a los
problemas de usabilidad hallados.

1.4.4

Herramientas, mtodos y procedimientos

A continuacin se presentan las herramientas, mtodos y procedimientos

empleados para lograr los resultados esperados.
Resultados esperados
RE1O1: Instrumento para las
pruebas de usabilidad que
realizarn los expertos en la
plataforma.

RE2O1: Instrumento para las

pruebas de usabilidad que
realizarn los usuarios la
plataforma.

Herramientas y mtodos a usarse

Mtodo de evaluacin de heursticas es un mtodo de
evaluacin de usabilidad en donde expertos miden un
sistema.
Editor de texto donde se disearn los instrumentos para
las pruebas de usabilidad de expertos.

Mtodo de tests de usabilidad con usuarios es un

mtodo de evaluacin de usabilidad orientado a los
usuarios.
Editor de texto donde se disearn los instrumentos para
las pruebas de usabilidad de usuarios.

RE1O2: Resultado de la
evaluacin de usabilidad
realizada por los expertos en
la plataforma.

Hoja de clculo donde se resumir lo encontrado en las

evaluaciones de usabilidad de los expertos.

17

ABTutor es una herramienta de control de aula que

RE2O2: Resultado de la

permitir grabar las pantallas de los participantes del test

evaluacin de usabilidad

de usabilidad.

realizada por los usuarios de

la plataforma.
RE1O3: Anlisis de problemas
de usabilidad.

Hoja de clculo donde se resumir lo encontrado en las

evaluaciones de usabilidad de los usuarios.

Mtodo de evaluacin de heursticas

Mtodo de tests de usabilidad con usuarios
Moodle es una plataforma virtual de cdigo abierto que

RE1O4: Propuesta de mejoras

en base a los problemas de

permitir la creacin de prototipos para evaluar la

usabilidad de su carga de archivos.

usabilidad hallados.
Wampserver es una herramienta gratuita que brindar un
entorno de desarrollo para gestionar Moodle.

Tabla 1.1: Herramientas y mtodos por resultado esperado.

Moodle
Moodle es un sistema de gestin de aprendizaje que permite la creacin y
modificacin interactiva de cursos. Se emplear la versin 2.3.1 para el
proyecto de fin de carrera porque es la versin empleada por la plataforma
educativa Paideia, entorno que ser analizado. Se simular el ingreso a la
seccin de carga de archivos, en la que se enfoca el presente trabajo
[Moodle, 2010].
Wampserver
Wampserver es un entorno intuitivo de desarrollo web que permite crear
aplicaciones utilizando Apache2, PHP y MySQL [Alter Way, 2013]. Se
emplear esta herramienta para gestionar el servidor en donde se trabajar
Moodle, dado que el entorno que genera Wampserver instala los
componentes necesarios en un fichero a eleccin.

18

 ABTutor
ABTutor es una herramienta de control de aula que permite administrar, dar
soporte y monitorear una red de computadoras. Entre sus caractersticas se
incluye el control remoto de mltiples sesiones, el acceso remoto para grabar
la sesin de un usuario sin que se vea afectado su trabajo, el bloqueo de
pginas, el monitoreo del uso de internet, entre otros.
Se utilizar para grabar las pantallas de algunos usuarios que participen en
el test de usabilidad, como prueba posterior de los problemas encontrados.
Una vez se obtenga los videos, se les analizar y se proteger la identidad
de los participantes [Globe Microsystems, 2014].

Metodologa de diseo de un proyecto de pruebas de usabilidad

Galitz [Galitz, 2007] plantea lineamientos generales a seguir en un proyecto
de pruebas de usabilidad, desde su planteamiento hasta el rediseo tras la
etapa de retroalimentacin. Esta es una gua personalizable a los diversos
tipos de pruebas existentes. En el presente trabajo de fin de carrera se
realizarn una evaluacin de heursticas y un test de usabilidad, tras los
cuales se plantearn recomendaciones.
Se adaptar el proceso propuesto y se emplearn los siguientes pasos:

Planteamiento del mbito y definicin del propsito de la prueba.

Desarrollo del prototipo de las partes de la interfaz a probar.

Diseo de las pruebas para la recoleccin de datos.

Desarrollo de la evaluacin de heursticas.

19

Anlisis los resultados de la evaluacin de heursticas y el test de

usabilidad.

Plantear recomendaciones de diseo en base a la evaluacin de

expertos (evaluacin de heursticas) y la de usuarios (test de usabilidad).

Mtodo de evaluacin de heursticas con expertos

En esta metodologa, un grupo de evaluadores realiza un estudio a la interfaz
de un programa para encontrar problemas en su diseo. Estos se basan en
principios (heursticas) para realizar las observaciones al sistema [Nielsen,
Molich, 1990]. Quienes evalan no deben de estar involucrados en el
proyecto y su labor es adoptar el punto de vista de un usuario del sistema
[Jeff, Dana, 2008].
Esta es una de las metodologas de evaluacin de la usabilidad ms
estudiadas y aceptadas. Se escogi por su flexibilidad al brindar resultados
aprovechables sin alto costo financiero y porque puede ser empleada en
todas la fases del ciclo de vida del proyecto, desde etapas tempranas.
Pese a que tiene como desventaja la diferencia de criterios de los
evaluadores (siendo un factor trascendente la experiencia en estudios de
usabilidad y en el campo a analizar), esta puede ser mitigada si se emplean
guas y un tamao de muestra adecuado [Nielsen, 1995; Hollingsed, Novick,
2007].
Se considerarn evaluaciones individuales, grupales y comparaciones
finales. Los pasos que se realizarn son los siguientes:
1.

Las

evaluaciones

individuales

se

desarrollarn

para

obtener

evaluaciones con criterio propio. Los evaluadores trabajarn de una a

dos horas.

20

2.

El director de la sesin juntar en un listado todos los problemas

encontrados mediante las evaluaciones propias y se procede a asignar
una nota segn la criticidad de los problemas de forma individual bajo el
criterio de cada uno de los evaluadores. Esto se realizar en media hora.

3.

Se promedian las calificaciones individuales y se realiza un ranking de

problemas segn orden de importancia.

Las heursticas a evaluar sern las diez heursticas de interfaz de diseo

planteadas por Nielsen:

Visibilidad del sistema: El sistema debe de mantener informado al

usuario.

Coincidencia entre el sistema y el mundo real: Debe de emplearse un

lenguaje comprensible y familiar al usuario.

Control y libertad del usuario: Debe de estar permitido rehacer y

deshacer cambios por parte del usuario, as como deben de ofrecerse
salidas de emergencia ante errores.

Consistencia y estndares: Se debe de emplear un estndar para las

palabras, situaciones y acciones dentro de la plataforma.

Prevencin de errores: El diseo debe de evitar errores por parte del

usuario.

Minimizar la carga de memoria: El usuario no debe de necesitar recordar

demasiada informacin para usar el sistema.

Flexibilidad y eficiencia del uso: El sistema brinda acciones accesibles a

usuarios experimentados y a novatos.

21

Diseo esttico y minimalista: No debe de presentarse informacin

irrelevante o raramente necesitada.

Ayuda al usuario para reconocer, diagnosticar y recuperarse de errores:

Los errores deben de ser indicados en lenguaje natural, plantendose a
su lado una solucin.

Ayuda y documentacin: Se debe de presentar una lista concreta de

pasos a seguir [Nielsen, 1995].

Es ptimo integrar esta metodologa a un estudio que incluya resultados por

parte de los usuarios directos del sistema.
Mtodo de tests de usabilidad con usuarios
Los tests de usabilidad evalan la interfaz de usuario en un ambiente real o
controlado en donde los usuarios puedan realizar tareas, esto para medir el
desarrollo y los resultados, comparndolos con metas predefinidas.
El usuario puede exponer sus errores, confusiones, frustraciones y quejas, lo
cual puede ser expresado en voz alta. Los evaluadores pueden obtener
informacin adicional sobre nuevos. Si no se logra alcanzar los objetivos de
diseo se puede demostrar que es necesario un rediseo de la interfaz
[Galitz, 2007].
Se puede conducir un test de usabilidad en base a los principios a
continuacin descritos:
1.

Desarrollo de preguntas acordes al objetivo del test.

2.

Se escoge una muestra de usuarios finales.

3.

Desarrollo de una representacin del ambiente de trabajo del usuario.

22

4.

Observacin de la interaccin de los usuarios finales con la

representacin del ambiente de trabajo.

5.

Formulacin preguntas a los usuarios involucrados en la prueba. Estas

preguntas deben de ser realizadas por el moderador de la prueba.

6.

Recoleccin informacin cuantitativa y cualitativa.

7.

Desarrollo de recomendaciones para mejorar el diseo del producto.

Este mtodo ser empleado en el proyecto porque al realizar un anlisis

basado en expertos no se conoce la opinin de los usuarios directos. Para
ello se combinarn cuestionarios basados en las actividades dirigidas que
realizarn los usuarios en la interfaz de carga de archivos de la plataforma a
probar. Algunos errores considerados de poco impacto por los expertos
podra ser una observacin directa del usuario, lo cual sera una observacin
importante en las recomendaciones finales.

1.5

Alcance

El presente proyecto de fin de carrera se analizar la usabilidad de la interfaz de carga

de archivos del sistema Paideia (PUCP).
Se realizar una evaluacin en base a heursticas y un test de con el fin de proponer
mejoras en el diseo escuchando opiniones de expertos y usuarios. La segunda
evaluacin (enfocada en la opinin de los usuarios directos del sistema) se desarrollar
en funcin a las recomendaciones planteadas tras la primera evaluacin (una
evaluacin de expertos).
En el presente proyecto de fin de carrera no se emplear un mtodo iterativo de
evaluacin de usabilidad pues el estudio para implementar la carga de archivos de la
plataforma no emple un estudio de usabilidad en la concepcin ni en el diseo. Se

23

tiene una limitacin por la cantidad de accesos (perfil, instaladores y logo) que se
otorguen para el proyecto a la plataforma Paideia.

A continuacin se presentan los riesgos del proyecto de tesis, su impacto y las

medidas que se podran tomar para mitigarlos:

Riesgo identificado

Cambio o suspensin del

servicio de Paideia por
mantenimiento.

Problemas en el acceso a la
mquina empleada como
servidor

Se podra perder acceso a la

interfaz de carga de archivos, lo
cual no permitira realizar las
encuestas de los evaluadores.

Se podra dejar de realizar

evaluaciones si no se logra
acceder a las cuentas de
expertos y de usuarios.

Cumplimiento del mnimo

de evaluadores al momento
de analizar el sistema.

Poca experiencia de los

evaluados en proyectos
similares.

Impacto en el proyecto

Medidas correctivas para

mitigar
Se instal un servidor local
con la versin que emplea
Paideia en la mquina de la
tesista para simular todas las
pruebas.
Se tendr la posibilidad de
acceder a las cuentas de
maestros y de alumnos
contactando a los
participantes.

La metodologa de evaluaciones

Se gestionarn permisos y

requiere de la colaboracin de los

se realizar un estudio de los

usuarios del sistema para la

participantes desde etapas

obtencin de datos.

iniciales del proyecto.

Si los usuarios para la evaluacin

Se realizar y analizar el

heurstica tienen poca experiencia

perfil de evaluados para la

se podra alterar la calidad de la

evaluacin de expertos

informacin obtenida.

(heurstica).

Tabla 1.2: Impacto de riesgos y medidas correctivas.

1.6

Justificacin y viabilidad

El presente proyecto permitir realizar mejoras a la usabilidad de la interfaz de carga

de archivos de la plataforma Paideia PUCP.

24

Esto beneficiar a los usuarios que trabajen la carga de archivos (quienes en su

mayora la emplean con dificultad por su interfaz poco amigable) y a los miembros del
equipo responsable de Paideia (a quienes se otorgar informacin detallada del
estudio).
Se decidi emplear un test de usabilidad tras las recomendaciones de una evaluac in
de heursticas por ser dos alternativas en el desarrollo de pruebas de usabilidad que
consideran la opinin de los expertos y la de los usuarios.
Gracias al proyecto se sugiere esta idea (el combinar los estudios de forma secuencial)
para futuras investigaciones en el campo.
El presente proyecto de fin de carrera necesita y cuenta con permiso del equipo que
desarrolla Paideia en DIA PUCP y la colaboracin de docentes y alumnos de la
universidad (PUCP) para las pruebas.
Se requerir emplear la interfaz de carga de archivos de Paideia (utilizando Moodle) y
contar con accesos como profesor y como usuario para realizar las pruebas de
usabilidad. Esto ser posible al emplear una mquina como servidor con ayuda de
Moodle y WampServer. Otra alternativa es que los accesos de profesor se obtengan
empleando las cuentas de los maestros de la universidad que formen parte del estudio.
Tambin se podra optar (en el caso de los usuarios) por realizar una peticin de
subida de archivos en un curso real de la facultad de ingeniera.
Se requiere un ambiente para realizar los test de usabilidad y la evaluacin de
heursticas, para lo cual se emplearn laboratorios en la universidad. Tambin se
requerir de encuestas en papel o en lnea, materiales que se podrn obtener para las
evaluaciones.
Las pruebas se desarrollarn y se documentar su proceso y las recomendaciones que
se logren obtener. Se cuenta con experiencia en la evaluacin de heursticas de
usabilidad, mas no en el empleo de tests de usabilidad. Pese a ello, se tiene acceso a
bibliografa con gran detalle para su planificacin y ejecucin, y fuentes de informacin
sobre ambos tipos de pruebas.

25

CAPTULO 2. DISEO DE EVALUACIONES

2.1

Objetivos de la evaluacin

En esta evaluacin se analizarn las tareas y funciones desarrolladas por el perfil de

docente en la interfaz de carga de archivos de la plataforma Paideia PUCP. Se desea
combinar la experiencia y la atencin a los detalles plasmados en los descubrimientos
de expertos con la cercana a un escenario real que provee un usuario para esta
evaluacin.
Los expertos priorizarn los problemas hallados segn su criticidad, mientras los
problemas identificados al analizar el desempeo de los usuarios se clasificarn segn
su impacto en las tareas de los usuarios. En base a los resultados de las evaluaciones,
se darn propuestas para eliminar los problemas de usabilidad.

2.2

Preguntas de investigacin

Se plantea un conjunto de interrogantes que describen el enfoque del estudio. Estas

preguntas definen los resultados que se buscan y poseen una estrecha relacin a los
objetivos de la evaluacin, por lo que sern la base para el diseo y desarrollo de la
prueba.
Si el estudio no se delimita podran obtenerse conclusiones sin relacin al fin de la
prueba, como resultado de mediciones u observaciones sin un propsito claro.
A continuacin se plantean las preguntas para este test:
-

Qu tan sencillo es para los usuarios reconocer los componentes del sistema?
Sabe qu seleccionar?

Qu tan fluido es subir un archivo para los profesores de un curso mediante

Paideia?
26

Cules son los obstculos que enfrentan los usuarios al emplear la interfaz de
carga de archivos de Paideia?

Qu dudas tienen los usuarios al emplear la interfaz de carga de archivos de

Paideia?

Cul es la impresin de los usuarios relativa a tiempos y nmero de pasos al

subir un archivo mediante Paideia?

Cun fcil los usuarios pueden cancelar o grabar una accin?

Cun fcil se puede relacionar el mdulo de carga de archivos con los otros
mdulos y los elementos?

2.3

Cul es la tasa de xito al subir o modificar un archivo?

Mtodos empleados

Con el fin de identificar y priorizar los problemas de usabilidad de la interfaz, s e opt

por el empleo de dos herramientas: una evaluacin de heursticas, realizado por
expertos, y un test de usabilidad enfocado a usuarios. Se les relaciona en base a las
preguntas de investigacin planteadas.
La evaluacin de heursticas es escogida por ser intuitiva y ayudar a encontrar
problemas de diversas prioridades. Se delimitar una interfaz que al mejorar podr
incrementar el rendimiento de la plataforma. Esto adems permitir una evaluacin a
detalle.
Los resultados de las evaluaciones individuales se basan en la subjetividad de emplear
el criterio de cada experto. El conjunto de experiencias propias enriquece el resultado
final y permite la deteccin de ms problemas. Es recomendable emplear de tres a
cinco especialistas en usabilidad para un estudio de esta naturaleza [Nielsen, 2005].
27

Un nivel de anlisis minucioso permitir, por ejemplo, estudiar los obstculos en el uso
de la interfaz de carga de archivos en varios escenarios, los que podran no ser
encontrados por los usuarios. Se podr analizar las funciones (cancelar, grabar,
deshacer acciones) y componentes del sistema contando con experiencia en estudios
similares.
Se emplea un test de usabilidad porque permite determinar el nivel en el que una
interfaz facilita a un usuario desarrollar sus actividades. El ambiente ideal para una
sesin ser lo ms parecida a un escenario real para el usuario como sea posible, el
evaluador ha de mantenerse neutral. Es as como se logra un mayor enfoque a las
opiniones y dudas de los usuarios, su comprensin de relacin de mdulos y las tasas
de xito en las tareas encomendadas, pues se podrn reflejar resultados cercanos a la
realidad.
El brindar al usuario todas las instrucciones para lo solicitado impedira ver si es capaz
de desarrollar bien la tarea por su cuenta. Se dar indicaciones al usuario y se
contrastar su rendimiento con criterios de xito.
El anlisis posterior a lo observado permitir realizar mejoras a una interfaz,
enfocndolas en las reas donde los usuarios tuvieron mayores problemas [US
Department of Health and Human Services, 2011].

2.4

Escenarios y evaluadores

En la evaluacin de expertos, se presentar a los evaluadores las interfaces que

correspondan a la carga de archivos dentro del perfil de un docente. Se brinda a los
expertos un espacio tranquilo, una computadora con conexin al sistema a evaluar,
una gua relacionada a los objetivos del estudio y la relacin de heursticas en las que
basarn sus calificaciones.
No son monitoreados directamente. Se determinar la facilidad de aprendizaje y uso de
la interfaz para las tareas relacionadas.

28

Nielsen recomienda emplear de tres a cinco especialistas en usabilidad para un estudio

de heursticas para obtener aproximadamente el 80% de los problemas de usabilidad
[Nielsen, 1994], lo cual se ha cuestionado y dado paso a sugerencias y reglas mejor
sustentadas, mas estas emplean una mayor cantidad de usuarios y tiene un mayor
costo [Zapata, 2012]. Se trabaj con tres evaluadores con similar experticia en estudios
de usabilidad, lo cual es recomendado para la homogeneidad los resultados [Nielsen,
2012].
Los evaluadores realizarn un estudio individual de la interfaz en base a las diez
caractersticas y, posteriormente, lo encontrado se juntar para su anlisis.
A continuacin se presenta el perfil del evaluador experto:
- Son personas familiares al proyecto, que de preferencia no estn involucrados en su
desarrollo, y con una relacin (cuanto ms larga mejor) con la organizacin.
- Los evaluadores son expertos en la usabilidad de interfaces que han realizado una o
ms evaluaciones de heursticas en su carrera.
- Se requerir un director de la sesin, quien se encargue de la documentacin de los
hallazgos.
En el caso de la evaluacin de usuarios, la sesin contar con una moderadora, quien
guiar a los participantes en todas las etapas del test. Brindar indicaciones claras a
los usuarios, mas no intervendr directamente ante reacciones en el participante, tales
como frustracin o el no poder avanzar en una parte del sistema. En lugar de detener o
guiar a una persona se puede reaccionar alentndole a continuar con la prueba.
La plataforma Paideia ofrece acceso a los miembros de la comunidad universitaria que
dicten o reciban un curso, adems de ofrecer servicios a externos. En este estudio se
analizar la interaccin de la plataforma con los profesores.
El perfil de los participantes seleccionados es el de un profesor universitario de EEGG,
pregrado en facultad o maestra, que dicte uno o ms cursos en la Pontificia
29

Universidad Catlica del Per, tenga un nivel medio en el uso de herramientas

informticas y experiencia diversa en el uso de LMS (Sistemas de gestin de
aprendizaje).
Se considerarn muestras de profesores de las unidades segn la cantidad de
unidades, pues no se han realizado estudios cuantitativos de los profesores que
empleen Paideia segn su unidad [PUCP, 2014]. Tambin se toma en cuenta si el
usuario cuenta experiencia como gestor de plataformas de aprendizaje, lo cual podra
impactar en su fluidez al realizar las tareas, en sus aciertos o los obstculos que
encuentre, y en su forma de navegar en la plataforma.
Caractersticas

Cantidad

Piloto

Prueba

6
Total

Profesores de EEGG

Profesores de facultad

Profesores de maestra

1
Total

Experiencia como gestor LMS

Sin experiencia como gestor de LMS

4
Total

Tabla 2.1: Caractersticas de los participantes.

La fase de reclutamiento es crtica en la elaboracin del test, dado que una muestra
adecuada permitir la obtencin de resultados tiles, mientras una muestra poco
significativa invalidara el estudio [Jeff, Dana, 2008].
Por medio de un test preliminar, se clasificar a los usuarios segn sus caractersticas,
habilidades y conocimientos. Se requerir usuarios para realizar una evaluacin piloto
y un aproximado de ocho personas en total, elegidos de forma aleatoria. No se
requerir entrenar a los usuarios sino asegurar su idoneidad para el test y darles
30

indicaciones claras en la sesin.

2.5

Diseo de las evaluaciones

A continuacin se describirn los mtodos y tareas a llevarse a cabo en las

evaluaciones planteadas: un estudio de heursticas y un test de usabilidad.

2.5.1

Diseo de la evaluacin de expertos

La evaluacin ser desarrollada en dos fases. Se brindar a los expertos

documentos a llenar en lnea, uno por cada fase de la evaluacin.
Para la primera parte, cada evaluador realizar un anlisis preliminar a la
interfaz de carga de archivos. Tras ello, se emplearn listas de verificacin
individuales para indicar los problemas de usabilidad hallados.
Los evaluadores pueden recibir aclaraciones para avanzar en el estudio de la
interfaz. Esta ayuda, sin embargo, debe ser proporcionada solo si el evaluador
la solicita y tras haberse documentado el problema de usabilidad.
La prioridad de los evaluadores ser revisar a detalle la interfaz en base a las
heursticas. Una vez hecho esto, los evaluadores pueden considerar heursticas
adicionales si as lo ven conveniente al momento de estudiar el sistema. Esto
permite que se revise la mayor cantidad de problemas posible.
Para llevar a cabo la segunda parte se resumirn los problemas encontrados.
Una vez preparada una lista de lo encontrado, se solicitar a los expertos su
valoracin respecto a cada uno de los problemas.
El resultado de esta evaluacin es el resumen de problemas encontrados
haciendo referencia a las heursticas de usabilidad que han sido infringidas
segn la opinin de los evaluadores. Cada problema debe de listarse por

31

separado a pesar de que un mismo elemento del diseo puede infringir varios
principios.
Las tareas a realizar en la evaluacin son descritas a continuacin:
1. A cada evaluador se le solicitar inspeccionar la interfaz durante quince
minutos. Tras ello se les indicar que, durante un intervalo mnimo de una
hora, listen los problemas de usabilidad que encuentren en la plataforma.
Se emplear una plantilla para esta primera parte, la cual consistir en una
grilla para describir los problemas de usabilidad encontrados.
Cada fila permitir profundizar un problema:

En la columna de Definicin del problema se explicar a grandes

rasgos lo hallado.

En la columna de Caractersticas/Especificaciones se detallar el

problema, describiendo la situacin que encuentra el usuario.

La columna Ejemplos permite que el experto indique los pasos que

sigui para encontrar el problema.

En columna Principios de usabilidad no cumplidos se colocar el

principio relacionado al problema.

Id

Definicin del

Caractersticas /

problema

Especificaciones

Ejemplos

Principios de usabilidad
no cumplidos

1
2
3

Tabla 2.2: Plantilla de la primera etapa de evaluacin.

32

2. Las conclusiones individuales se juntarn en un solo listado. Se buscar

unificar las filas que hacen referencia a un mismo problema.
3. Se distribuir el conjunto de problemas obtenido a los evaluadores para que
durante treinta minutos asignen, de manera independiente, un valor de
severidad y frecuencia a cada problema. Se emplear una escala del 0 al 4
para la severidad de los problemas [Galitz, 2004].

Valor

Nivel de severidad

No es un problema de usabilidad

Es un problema cosmtico, no es prioridad.

Es un problema menor, resolverlo tiene baja prioridad.

Es un problema mayor, resolverlo es alta prioridad.

Es un problema crtico de usabilidad, ha de ser resuelto de inmediato.

Tabla 2.3: Escala de severidad de los problemas de usabilidad.

Para asignar los valores de la frecuencia tambin se emplear una escala

del 0 al 4, donde 0 indica que no se ha encontrado el problema y 4 indica
que el problema se encuentra en todo momento al trabajar con la interfaz.

Valor

Nivel de frecuencia

Presente con una frecuencia menor a 1%.

Presente con una frecuencia entre 1% y 10%.

Presente con una frecuencia entre 11% y 50%.

Presente con una frecuencia entre 51% y 90%.

Presente con una frecuencia mayor a 90%.

Tabla 2.4: Escala de frecuencia de los problemas de usabilidad.

La criticidad se obtiene al sumar la severidad y frecuencia. Su objetivo es

ordenar los problemas de usabilidad desde los de mayor prioridad a los de
menor.

33

Id

Definicin

Caractersticas /

del problema

Especificaciones

Principios de
Ejemplos

usabilidad no

Severidad

Frecuencia

cumplidos

1
2
3

Tabla 2.5: Plantilla de la segunda etapa de evaluacin.

2.5.2

Diseo de la evaluacin de usuarios

Se realizarn dos etapas de esta evaluacin con la misma estructura. La

primera etapa es el test piloto, que consiste en un test preliminar que permitir
realizar cambios y ajustes a la evaluacin. En base a estos cambios se realizar
la segunda etapa: el test final de usuarios a la interfaz de carga de archivos de
Paideia. La estructura de ambos tests consiste en un pre-test, una fase de
tareas, y un post-test.
La sesin durar una hora. El ambiente debe de permitir a los participantes
enfocarse en concluir la actividad solicitada por el evaluado, diciendo en voz
alta sus opiniones mientras realizan las tareas que consideren necesarias.
Se emplear el siguiente equipo:
-

Una computadora cliente con la versin local de ABTutor, Windows 7, 2GB

de Memoria RAM (tambin se trabajar con las computadoras de los
usuarios, con estas caractersticas, donde se recurrir a la funcin de
Recortes para grabar las pantallas).

Una computadora servidor con ABTutor Server, Windows 7, 4GB de

Memoria RAM, Disco Duro de 500GB.

A continuacin se describen los pasos del test de usabilidad y las herramientas

empleadas en ellos:
34

Criticidad

1.

Al iniciar la sesin el moderador dar la bienvenida al test al usuario y

brindar quince minutos de introduccin. Se leern las indicaciones del test
(ver Anexo 1), informando por igual a cada uno de los participantes de su
rol en el estudio, qu actitud deben de mostrar y qu pasos seguir. Se
firmar un protocolo informado (ver Anexo 2) que explica la naturaleza del
estudio y seala explcitamente la participacin voluntaria de los usuarios.

2.

Se entregar un formulario preliminar sobre la experiencia del usuario con

plataformas similares y con Paideia, un pre-test (ver Anexo 3). Se busca
conocer las experiencias previas de cada participante en el uso de LMS y
repositorios (programas con una lgica de subida de archivos que pueda
ser familiar para los usuarios).
Un usuario podr reconocer los componentes del sistema si los maneja (en
caso cuente con experiencia) o si son intuitivos (si es que no ha empleado
Paideia o sistemas similares), adems, su fluidez podr variar segn su
nivel de experiencia con plataformas y sistemas similares en relacin a la
carga de archivos. Las dudas o impresiones de un usuario familiarizado con
Paideia o LMS podran variar de aquellas de un usuario sin experiencia c on
dichos sistemas. Adems, la gua que se brinde a los usuarios variar
ligeramente de acuerdo a lo que el usuario conozca.

3.

Tras el pre-test se brinda a cada participante una lista de tareas a realizar

(ver Anexo 4). Esta parte del test consiste en el monitoreo, durante media
hora, del desempeo de los usuarios en base a criterios de xito
planteados para cada una de las tareas.
Las cuatro tareas estuvieron ordenadas segn su complejidad, colocando
tareas sencillas al inicio y ms complejas para finalizar, de forma que se
pudiera analizar la fluidez de las acciones de los usuarios en un grupo con
experiencia mixta.
En la primera tarea se plantea una subida de archivos sencilla, donde los
usuarios

con

mayor

experiencia podran reconocer

35

con facilidad

componentes y pasos, donde se analiza si un usuario nuevo puede

desarrollar con fluidez una tarea sencilla o si encuentra obstculos.
La segunda tarea involucra una mayor interaccin con los componentes del
sistema al crear una estructura de carpetas. Se observar a los usuarios,
descubriendo si surgen obstculos o si los usuarios dudan en una tarea. Se
comparar la tasa de xito al subir y modificar archivos en el caso de
usuarios familiarizados con los LMS y aquellos que no han empleado
Paideia ni un sistema similar.
La tercera tarea involucra a las semanas, por lo que permite estudiar con
cunta facilidad los usuarios relacionan al mdulo de carga de archivos con
otros mdulos y elementos, adems de poder ver la fluidez que tengan o
los obstculos que encuentren.
La ltima tarea, de mayor complejidad, solicita a los usuarios vincular un
archivo a la descripcin de una tarea en una semana, lo cual permitir ver
el escenario de una tarea a la que incluso usuarios con experiencia en la
plataforma no han realizado antes. Se obtendrn datos sobre la fluidez del
usuario y sobre cun fcil le resulta grabar esta accin.
4.

Se utilizar un formulario al culminar la sesin, el cual recoger las

impresiones y opiniones de la plataforma segn la experiencia del usuario,
un post-test (ver Anexo 5). Se preguntar sobre la fluidez percibida por el
usuario al momento de realizar la tareas, qu dudas surgieron, cun fcil
fue realizar acciones y cules fueron los mayores obstculos encontrados.

5.

Al finalizar el llenado de las herramientas, se consultar al usuario sobre

sus impresiones generales, experiencia con otros sistemas de gestin de
aprendizaje y mayores detalles sobre su experiencia. Se busca aclarar las
opiniones del usuario, entender sus reacciones y escuchar qu es lo que
necesita para trabajar en el sistema de forma fluida y con xito en sus
tareas.

36

CAPTULO 3. RESULTADOS

3.1

Resultados de la evaluacin de expertos

A continuacin, se describir el desarrollo de las fases del estudio de heursticas a la

carga de archivos de Paideia PUCP.

3.1.1

Primera fase de la evaluacin

En el transcurso de una semana, los tres evaluadores completaron,

individualmente, el documento de la primera etapa de la evaluacin. A cada uno
se le proporcion un usuario con permisos de docente. Asimismo, se les brind
un documento con los diez principios de usabilidad de Nielsen, explicados , de
forma que pudieran tenerlos presentes al analizar el sistema.
Cada experto explor las interfaces y acciones relacionadas a la carga de
archivos en la plataforma con una gua descriptiva de las rutas a las principales
tareas (ver Anexo 6). Esta gua se brind pues las relaciones entre mdulos
podran no haber sido claras para los evaluadores. Una vez adquirida cierta
familiaridad, cada evaluador elabor una lista con los problemas de usabilidad
encontrados.
Las tres evaluaciones individuales fueron entregadas en el formato detallado en
la etapa de diseo (ver Anexo 7).

3.1.2

Segunda fase de la evaluacin

Una vez realizadas las evaluaciones de la primera fase, se agruparon los

resultados de las inspecciones que se referan a un mismo problema. Se cre
un documento con el resumen de lo encontrado por los expertos. En este, se
describen veintitrs problemas de usabilidad.

37

De forma independiente, los expertos clasificaron cada uno de los problemas

hallados segn su severidad, frecuencia y criticidad. Los problemas con mayor
criticidad deben atenderse con mayor prioridad, dado que afectan a la
plataforma en mayor medida que los dems. Los problemas cosmticos son los
de ltima prioridad.
A continuacin se muestran los problemas resumidos y ordenados segn su
criticidad, empleando la media y la desviacin estndar de los puntajes de
criticidad proporcionados por los expertos. Se hace un ordenamiento doble con
la media por primer criterio (a mayor media, mayor criticidad de los problemas),
y la desviacin de segundo criterio (a menor media, mayor acuerdo entre los
expertos).

Id

Definicin del

Caractersticas /

problema

Especificaciones

Principios de
Ejemplos

usabilidad no
cumplidos

Media de

DA de

criticidad criticidad

Despus de haber
Despus de "Guardar
No se notifica al
usuario sobre el
3

resultado de
haber guardado
los cambios.

los cambios", el
sistema no notifica si
est accin se realiz
correctamente o hubo
algn tipo de error al
momento de registrar
estos datos.

realizado
modificaciones a la
estructura de los
archivos personales y

1. Visibilidad

haber seleccionado la

del estado del

opcin "Guardar

sistema

6.33

1.53

6.33

1.53

cambios", el sistema
no muestra ningn
tipo de mensaje de
confirmacin o error.

El sistema
dificulta la
20

opcin de
descarga al
alumno.

Cuando un alumno, sin

En la vista de los

permisos de edicin,

archivos de una

desea descargar el

semana, solo se tiene

contenido de una

la opcin de

carpeta debe bajar uno "Descargar todo" o de

por uno cada archivo a descargar archivo por
pesar de tener acceso

archivo haciendo clic

a todos los elementos.

en cada uno.

38

3. Control y
libertad del
usuario

En la vista global de

La opcin para
mover archivos
de una ruta a
2

otra dentro del

sistema es
difcilmente
localizable.

No existe ninguna
opcin explcita para
mover archivos. El
usuario debe
"actualizar" el archivo,
lo cual no es intuitivo
para todos los tipos de
usuarios.

los archivos
personales, no existe 4. Consistencia
una opcin concreta

y estndares

que mencione la

7. Flexibilidad y

posibilidad de mover

eficiencia de

un archivo de una

uso

ruta a otra. El usuario

10. Ayuda y

debe "actualizar" el

documentacin

6.00

1.00

6.00

1.00

6.00

1.73

6.00

2.00

archivo y modificar el
atributo "ruta".
En la vista global de
los archivos
personales, al

Inconsistencia

Es posible resubir una

seleccionar una

en el manejo de

carpeta dentro de ella

carpeta y cambiar su

las carpetas.

misma.

ubicacin se puede

5. Prevencin
de errores

indicar que la carpeta

se contenga a si
misma.
En la vista global de
los archivos

19

Cuando se desea

personales, se tiene

El sistema

descargar el contenido

la opcin de

dificulta la

de una carpeta

"Descargar todo" y

opcin de

primero se debe

para descargar un

descarga.

ingresar a la opcin de archivo se debe hacer

editar.

7. Flexibilidad y
eficiencia de
uso

de clic en l y
seleccionar
"Descargar".
Al momento de subir
un archivo empleando

Falta de

El sistema no notifica

esta opcin, el

notificacin al

al usuario que se

sistema no muestra

usuario tras

encuentra cargando un

ningn mensaje o

1. Visibilidad

emplear la

archivo despus de

simbologa

del estado del

funcin

haber empleado la

relacionada al

sistema

"Arrastrar y

funcin "Arrastrar y

proceso de carga de

soltar".

soltar".

un archivo. Como
consecuencia, el
sistema permite la

39

repeticin de esta
accin, generando
duplicados de un
mismo archivo.

El sistema no informa

Falta de

al usuario sobre qu

informacin al

funciones tienen los

usuario sobre

conos de archivos y

las acciones

carpetas. Tampoco

posibles al

indica que las

trabajar con

acciones se realizan a

archivos y

travs de botones y

carpetas.

cambios de posicin
en una lista.

En la vista global de
los archivos
personales, el cono
de engranaje en la
parte inferior de una
carpeta permite
moverla, eliminarla o

4. Consistencia
y estndares

5.67

0.58

5.67

0.58

5.67

2.08

comprimirla. Adems,
se accede a los
archivos al dar clic
sobre sus conos.

Ms que mostrar
adecuados mensajes

Fecha de inicio
posterior a la
8

fecha fin en la
disponibilidad
del documento.

de error, el sistema

Es posible indicar que

debe prevenir la

el documento estar

ocurrencia de estos. El

disponible desde el

sistema permite

10/06/2014 al

seleccionar como

01/06/2014. El

fecha de inicio, una

sistema muestra el

fecha que se

mensaje adecuado

5. Prevencin

encuentra posterior a

despus de

de errores

la fecha fin en la

seleccionar "Guardar

disponibilidad de un

cambios y regresar al

documento. El sistema curso" pero es posible

debera ir bloqueando

evitar la seleccin de

aquellas fechas que

un intervalo invlido

estableceran un

de fechas.

intervalo invlido de
fechas.
La accin "Agregar..."
Los nombres de
las acciones no
15

incluyen el tipo
de objeto sobre
el cual recaern

no indica que se

En la vista global de

puede agregar un solo

archivo, mientras que

los archivos
personales, al cargar 4. Consistencia

la accin "Crear

un nuevo archivo se

Directorio" s indica el

puede emplear la

objeto sobre el que

opcin "Agregar...".

recae.

40

y estndares

Se debe activar la

16

No se muestra

En la seccin de

una opcin de

edicin de un recurso,

eliminar archivos

el sistema no permite

en la estructura

eliminar un archivo del

de tipo de rbol

rbol al dar clic

de carpetas.

derecho.

edicin y editar una

actividad o un

4. Consistencia

recurso. En la vista de

y estndares

edicin, el rbol de

7. Flexibilidad y

carpetas no permite

eficiencia de

que se elimine un

uso

5.67

2.08

5.33

0.58

5.33

1.15

5.33

2.31

archivo con clic

derecho.

El selector de archivos
El selector de
archivos en una
actividad o
12

recurso no
permite la carga
mltiple de
archivos.

restringe a que los

archivos se vayan
subiendo uno por uno
al servidor. El sistema
no ofrece la posibilidad
de seleccionar varios

Se debe activar la
edicin, aadir una

7. Flexibilidad y

actividad o un recurso

eficiencia de

y emplear el selector

uso

de archivos.

archivos y que se
carguen todos al
mismo tiempo.
Al momento de
registrar un archivo
como parte de una

El sistema

actividad, el sistema

Si la fecha actual es:

permite indicar

brinda la opcin de

29/04/2014, es

que el archivo

poder establecer un

posible indicar que el

2. Relacin

estar

periodo de fechas por

documento estar

entre el sistema

disponible en un

el cual estar

disponible desde el

y el mundo real

intervalo de

disponible el

01/01/2014 hasta el

fechas pasado. documento. Es posible

10/01/2014.

indicar un intervalo de
fechas que ya
aconteci.
Luego de haber
creado una carpeta y
Falta de

configurado su

prevencin de

contenido (carpetas

14 errores al cargar

internas y archivos

informacin o

cargados) se pierde

crear carpetas.

todo lo realizado si

En la vista global de
los archivos
personales, se trabaja

5. Prevencin

con los archivos y

de errores

carpetas dentro de
una carpeta.

ocurre un problema
con el sistema.

41

El uso de
archivos y
carpetas para
complementar
18 otros elementos
como
actividades o
textos no es
intuitivo.

Un archivo o carpeta
puede ser referenciado
desde cualquier parte
del sistema donde se
pueda introducir texto
y por lo tanto una URL.
Esto no es claro para

Se debe activar la
edicin y se podr
aadir una actividad o
un recurso. La ayuda
es extensa pero no
gua adecuadamente

10. Ayuda y
documentacin

5.00

1.73

4.67

0.58

4.67

1.15

4.67

1.53

al usuario en el uso
de archivos y

un usuario inexperto.

carpetas.

En algunas secciones
El sistema no
brinda opciones
17

claras que
permitan salir o
regresar al curso

del sistema, que

En la vista global de

corresponden a

los archivos

guardar archivos y

personales, no se

carpetas, no se tiene

cuenta con una

una opcin de

opcin para ir al

cancelar o regresar al

men principal.

3. Control y
libertad del
usuario

men principal.
Se debe activar la
El sistema
permite subir
11

Existe la posibilidad de

edicin, aadir una

que el usuario por

actividad o un recurso

error vuelva a subir un y aadir un archivo. Al

ms de un

archivo que ya se

cargar un nuevo

7. Flexibilidad y

archivo con el

encuentra registrado

archivo se debera

eficiencia de

mismo nombre

en una determinada

notificar al usuario si

uso

dentro de la

semana o que asigne

existe un archivo

misma semana.

el mismo nombre a

registrado con el

varios archivos.

nombre que desea

asignar.
En la vista global de
los archivos

Los usuarios
inexpertos
encuentran
4

metforas
incompletas al
trabajar con
archivos y
carpetas.

personales, no se
Las opciones de

indica que al dar clic

edicin de los archivos

sobre un archivo se

8. Diseo

y carpetas no son

puede realizar

esttico y

intuitivas y no las

acciones sobre l.

minimalista

acompaa un texto de

Asimismo, se debe

10. Ayuda y

ayuda para un usuario dar clic sobre el cono documentacin

principiante.

del engranaje en la
parte inferior de una
carpeta para moverla,
eliminarla o

42

comprimirla.
No se
proporciona al
usuario ayudas
6

emergentes en
la seccin de
gestin de

En la vista global de
El sistema no brinda
cuadros u opciones
directas de ayuda para
la gestin de archivos.

archivos

los archivos
personales, no se
cuenta con un tutorial
en la parte superior o

10. Ayuda y
documentacin

4.33

1.15

4.00

2.65

3.33

2.08

inferior que ayude a

los usuarios.

A diferencia de los
dems campos
El atributo
"Nombre" se
muestra de color
rojo tratando de
10

indicar algn
tipo de
advertencia o
mensaje que no
es visible.

informativos del
registro del

Se debe activar la

documento, el campo

edicin, aadir una

"Nombre" siempre se

actividad o un recurso

muestra de color rojo

y aadir un archivo.

tanto en la

En la vista de edicin

modificacin y el

de archivo se

registro dando la

encuentra el atributo

apariencia de indicar

de nombre.

2. Relacin
entre el sistema
y el mundo real

algn tipo de
advertencia que no es
aparentemente obvio.
Cada seccin del
formulario tiene la
opcin
"Mostrar/Ocultar

13

Al mostrar u

Avanzadas". Cuando

ocultar las

se le selecciona se

opciones

muestran las opciones

avanzadas se

avanzadas de todo el

afecta todo el

formulario, en vez de

formulario.

mostrarse solamente

Se debe activar la
edicin, aadir una
actividad o un recurso
y emplear el selector
de archivos.

para la seccin dentro

de la cual ha sido
seleccionada esta
opcin.

43

4. Consistencia
y estndares

21

Al seleccionar un

Se debe activar la

elemento de una

edicin y seleccionar

Poca visibilidad semana, los colores de

una carpeta en una

8. Diseo

por mal uso de

las carpetas y archivos

semana. El rbol de

esttico y

colores.

se muestran muy

archivos y carpetas

minimalista

claros, pueden no

no se muestra con

distinguirse bien.

claridad.

Al seleccionar una
carpeta elemento de

22

Mala distribucin
de la pantalla

una semana, se
muestra la lista de
contenidos y se pierde
espacio en la seccin
derecha.

2.67

1.53

2.67

2.08

2.67

2.52

Se debe activar la
edicin y seleccionar
una carpeta en una
semana. Todo el
contenido se muestra

8. Diseo
esttico y
minimalista

hacia la derecha.
Las opciones de
gestionar archivos y

Incompatibilidad
23 con dispositivos
mviles

El sistema no funciona

recursos para poder

correctamente en

grabar archivos,

7. Flexibilidad y

dispositivos

eliminar archivos,

eficiencia de

mviles (celulares) con

crear directorios no

uso

SO ANDROID.

funcionan en
dispositivos celulares
con SO ANDROID.

Tabla 3.1: Resultados de la segunda fase de la evaluacin, donde los problemas

de usabilidad son calificados segn su criticidad.

44

3.2

Resultados de la evaluacin de usuarios

A continuacin, se describir el desarrollo del test de usabilidad realizado a la interfaz

de carga de archivos de Paideia PUCP.
3.2.1

Test piloto

El empleo de un test preliminar o piloto permite realizar cambios y ajustes a la

evaluacin, de forma que el test final brinde mejores resultados. Se trabaj con
dos usuarios, ambos profesores con acceso a un curso en Paideia.
Tras estas sesiones individuales, las correcciones planteadas al test fueron:

Correccin del tiempo empleado en el test

Se determin una sesin de 45 minutos, incluyendo la presentacin general
y firma del acuerdo de proteccin de datos del entrevistado.

Correccin en la redaccin de tareas

Se modific y adapt tareas. En una, por ejemplo, se borraba un archivo y
se solicitaba trabajar con l tras ello, sin indicar que habra que subirlo de
nuevo.

Divisin de la tarea ms compleja

La tarea ms complicada se dividi para equilibrar la dificultad en el
desarrollo de la prueba.

Modificacin en los formatos para el evaluador

Se agreg una seccin para el control de los tiempos y una lista de tareas
para guiar el manejo de documentos.

La versin modificada del piloto se emple para el test final. Cabe destacar que
se corrige solo la forma de la evaluacin, no se solucionan los problemas de
usabilidad encontrados.

45

3.2.2

Test final

El test de usabilidad final se llev a cabo en sesiones individuales con los

usuarios. Participaron ocho profesores con acceso a un curso en Paideia.
Se realizaron pruebas con la siguiente estructura:

Pre-test

Tareas

Post-test

Figura 3.1: Pasos realizados en cada sesin del test a usuarios.

En la sesin, una vez explicado el mecanismo de evaluacin, y tras la firma del

acuerdo de confidencialidad, se procedi a realizar un test previo a las tareas.
En este, se consult al usuario sobre su experiencia con plataformas similares a
Paideia y con Paideia misma. Tambin se analiz el uso de herramientas con
funciones similares a las de un entorno de gestin del aprendizaje.
Los resultados del pre-test (ver Anexo 8) muestran que los docentes,
individualmente, emplearon para el estudio dos cursos de EEGG, cinco de
pregrado en facultad y uno de maestra, cumpliendo el porcentaje planificado
para la prueba.
As mismo, en los ltimos tres aos, cuatro de los usuarios haba empleado
Moodle, tres no haban empleado Moodle ni un LMS, y uno haba empleado
LMS distintos a Moodle.
Cuatro docentes haban empleado Moodle o una plataforma similar en un rol de
gestor, y cuatro lo haban empleado como alumnos o no haban empleado un

46

LMS en lo absoluto. Se tiene un porcentaje adecuado para el estudio de

usuarios con experiencia en el empleo de LMS como gestores de contenido.
Seis usuarios haban empleado repositorios de contenido, y dos usuarios no
tenan experiencia en el empleo de estos sistemas.
El pre-test permiti corroborar la correspondencia de los usuarios con los
perfiles necesarios para el estudio.
Una vez realizado el pre-test, se proporcion un conjunto de archivos a los
usuarios, los que crearon la carpeta Archivos para test en su escritorio local.
En la seccin de las tareas del test (ver Anexo 9) se solicit a los participantes
realizar cuatro tareas, las cuales seran monitoreadas por la evaluadora. El
usuario cont con una hoja de tareas, donde se indicaban los pasos a seguir
para realizarlas.
La evaluadora manej una lista de verificacin, la cual contena hitos para cada
una de las tareas y espacios para llenar los tiempos empleados.
A continuacin se presenta un resumen de los porcentajes de xito resultantes
de la lista de tareas aplicada segn los criterios de xito.
Primera tarea
Subir un archivo
Criterios de xito

Porcentaje
de xito

Comentarios
Los usuarios buscan una gestin de

Encuentra la opcin Gestionar

archivos global, no asocian directamente a

mis archivos.

75%

Logra subir el archivo.

75%

El nombre del archivo no aparece al subirlo.

88%

Los usuarios no lo consideran amigable.

Encuentra la opcin de cambiar el

nombre al archivo.
Guarda los cambios.

50%

las semanas con archivos propios.

La mayora de los usuarios no guarda los

cambios.

Tabla 3.2: Criterios de xito de la primera tarea del test a usuarios.

47

Se obtuvo un porcentaje de xito alto hasta la parte del guardado de cambios,

en donde muchos usuarios perdieron lo subido y modificado. Los usuarios no
consideraron que los pasos para subir un archivo fuesen intuitivos, y un usuario
demor ms de quince minutos en subir un archivo, tenindose una media de
cinco minutos.

Segunda tarea
Crear una estructura de carpetas
Criterios de xito
Encuentra la opcin Gestionar
mis archivos.
Logra crear las carpetas.

Porcentaje
de xito
100%

100%

Comentarios
Hay comentarios sobre los archivos
personales y los de cada semana.
La creacin de carpetas es transparente
para el usuario.
Hay demora en subir archivos pequeos y

Logra subir los archivos.

100%

errores graves al subir archivos pesados.

Esto afecta la confianza del usuario sobre la
plataforma.

Logra colocar los archivos en las

carpetas que correspondan.

63%

Todos los usuarios buscan la funcionalidad

"Drag & drop" (Arrastrar y soltar).

Borra el archivo.

88%

El borrar el archivo no es intuitivo.

Guarda los cambios.

75%

Algunos usuarios no guardan los cambios.

Tabla 3.3: Criterios de xito de la segunda tarea del test a usuarios.

Se obtuvo un porcentaje de xito alto en las subidas de archivos y carpetas que

contrastan con la desconfianza que adquieren los usuarios al ver errores en la
plataforma, muchos de los cuales no le explican lo que ha ocurrido. El guardar
los cambios no llega a ser familiar para un usuario pese a explicaciones previas,
incluso es un obstculo para profesores con experiencia en el uso de la interfaz.

48

 Tercera tarea
Agregar archivos a una semana
Criterios de xito

Porcentaje
de xito

Encuentra la opcin Activar

Los nuevos usuarios tardan en activar la

edicin.

88%

Crea una actividad Tarea.

25%

Crea una actividad Archivo.

25%

Logra subir los archivos en la

carpeta.
Logra cargar los archivos en la
carpeta Colores.
Guarda los cambios.

Comentarios

13%

38%

50%

edicin.
Los usuarios nuevos no logran subir una
tarea.
Los usuarios tratan de subir carpetas y
archivos en un solo archivo.
Los usuarios nuevos no logran subir los
archivos.
Aadir los archivos a la carpeta no es
intuitivo.
Los usuarios no guardan los cambios o lo
hacen tras la advertencia del sistema.

Tabla 3.4: Criterios de xito de la tercera tarea del test a usuarios.

Los usuarios nuevos, incluso los que han recibido una capacitacin previa en la
plataforma, no lograron establecer la relacin entre los recursos, actividades y
la carga de archivos.
Un primer obstculo es la opcin de Activar edicin, la cual apareca dos
veces en el sistema, pero que en ninguna de ellas indicaba que su funcin era
permitir aadir recursos o actividades a una semana. Los usuarios no la
consideraron intuitiva por esta razn.
Un archivo o carpeta solo era visible para el alumno si se colocaba en una
semana, lo cual no se indicaba y la mayora de usuarios descubri gracias al
estudio. Adems, se poda subir una carpeta dentro de la opcin de cargar un
archivo, y viceversa.
El guardar los cambios tampoco fue familiar para el usuario en esta seccin. Un
detalle en las tareas es que no permiten ser grabadas sin una descripcin, lo
49

cual, pese a indicarse en letras rojas, no es visible para el usuario por estar en
una esquina de la pantalla y con letras pequeas.
Cuarta tarea
Enlazar archivos a una tarea
Criterios de xito

Porcentaje

Ingresa a la descripcin de la
tarea.

38%

Crea el enlace al archivo.

13%

Encuentra la opcin Gestionar

mis archivos.

Comentarios

de xito

Las opciones de edicin no son intuitivas.

Los usuarios nuevos no logran crear el
enlace.
Los usuarios buscan una gestin de

100%

archivos global, no asocian directamente a

las semanas con archivos propios.

Reemplaza el archivo.

88%

Guarda los cambios.

63%

El archivo demora en cargar, no le indica al

usuario que se est cargando.
Los usuarios no guardan los cambios o lo
hacen tras la advertencia del sistema.

Tabla 3.5: Criterios de xito de la cuarta tarea del test a usuarios

Los usuarios no encontraron las opciones de edicin de tareas con facilidad.

Una vez all, ningn usuario nuevo logr crear un enlace a un archivo. Al
cargarse un archivo pesado poda devolverse un error de cdigo, adems, no
se indic al usuario el tiempo en el que lo hara. El guardar los cambios
tampoco fue familiar para el usuario en esta seccin.
La parte final del test consisti en el llenado de un test de salida o post-test (ver
Anexo 10), en el cual se recogen impresiones del usuario, recabando datos
objetivos y subjetivos.
Como resultados del post-test, el 50% de los participantes contest que pudo
completar las tareas con dificultad, mientras el 50% respondi con neutralidad
respecto a poder completar las tareas.

50

Seis de los ocho participantes consider completa la informacin proporcionada

por la plataforma, mientras que los otros dos participantes sealaron su
neutralidad. Siete de los ocho participantes consideraron que la plataforma no
era fcil de entender, mientras el participante restante seal una opinin
neutral.
Tres de los usuarios consideraron difcil de encontrar a informacin necesaria
para realizar las tareas, mientras que cinco mantuvieron una opinin neutral.
Un usuario consider la navegacin en el portal como fcil, mientras que cuatro
usuarios la consideraron neutral; dos usuarios, difcil y tres usuarios, muy difcil.
Tres usuarios consideraron volver a emplear la plataforma con una gua
adecuada, mientras que cinco no la volveran a emplear.
Los usuarios consideraron que aspectos positivos de la plataforma eran su
estructura cronolgica, capacidad de carga de archivos mayor, y un entorno con
apariencia agradable (esto ltimo fue mencionado por tres usuarios).
En los aspectos negativos, los usuarios mencionaron dificultad en la
funcionalidad de la carga de archivos, la necesidad de un asesor para realizar
las tareas, que opciones similares no se encontraban juntas y que no haba una
clara relacin entre los elementos de la interfaz.
Los usuarios tuvieron iniciativas como crear ayudas amigables, crear botones
en un estndar y colocar opciones similares juntas.

3.3

Discusin de resultados

A continuacin, se explicarn los resultados de las evaluaciones a expertos y usuarios

realizadas en la interfaz de carga de archivos de Paideia PUCP.

51

En la evaluacin de heursticas, se obtuvo un resumen de veintitrs problemas de

usabilidad en el estudio de heursticas a la carga de archivos de Paideia PUCP. A
continuacin se muestra la cantidad de problemas y su relacin con ocho de las diez
heursticas planteadas por Nielsen.

H1

Visibilidad del estado del sistema

H2

Relacin entre el sistema y el mundo real

H3

Control y libertad del usuario

H4

Consistencia y estndares

H5

Prevencin de errores

H6

Reconocimiento antes de recuerdo

H7

Flexibilidad y eficiencia de uso

H8

Diseo esttico y minimalista

H9

Ayudar a los usuarios a reconocer, diagnosticar y reponerse de errores

H10

Ayuda y documentacin

Figura 3.2: Grfico de cantidad de problemas encontrados por heurstica

52

La mayor parte de los problemas estn relacionados al principio de flexibilidad y

eficiencia de uso, lo cual sugiere que el sistema requiere mejoras en estos aspectos.
El principio de consistencia y estndares es el segundo con ms problemas
relacionados, lo cual indica que pueden darse mejoras en seguir convenciones en la
plataforma, empleando un estndar.
El tercer principio con ms problemas relacionados es el de ayuda y documentacin, lo
que sugiere que el sistema debera brindar una ayuda adecuada a sus usuarios, ya sea
mediante cuadros, mens o manuales de ayuda fcilmente accesibles.
Gracias a la segunda fase de la evaluacin de expertos se orden los problemas segn
su criticidad. El planteamiento de las soluciones se realizar a partir de este
ordenamiento, dando una mayor prioridad a los problemas de mayor criticidad, y
considerando los problemas encontrados por los usuarios con los que puede darse una
correspondencia. Se abarcarn todos los problemas encontrados por los expertos cuya
criticidad sea superior a la media, dado que los que estn en el lmite inferior son en su
mayora problemas estticos.
Tambin se estudiar el caso de problemas que no han sido directamente encontrados
por expertos, mas s por usuarios, lo que se explica por la complejidad y detalle de las
tareas. Las tareas con una complejidad media o de nivel experto requieren una mayor
interaccin con los mdulos y componentes. Se buscar solucionar aquellas que
tengan un impacto importante en la normal realizacin de las actividades de los
docentes en la plataforma.
A continuacin se detallan los problemas y la relacin entre lo encontrado por usuarios
y expertos:
- El problema de mayor criticidad (el problema 3 de la Tabla 6) se relaciona con la
heurstica de visibilidad del estado del sistema, y consiste en que no se notifica al
usuario sobre el resultado de haber guardado los cambios. Esto tiene
correspondencia directa al problema encontrado por los usuarios al momento de
guardar sus cambios. Durante la primera tarea, la mitad de los usuarios no guarda
53

sus cambios, y pese a que en la segunda tarea seis usuarios recuerdan grabar sus
cambios, durante la tercera tarea nuevamente la mitad de usuarios no guarda sus
cambios. Esto se debe a que los usuarios no recuerdan que deben dar clic a un
botn para grabar sus cambios. Estos, segn sus testimonios, creen que cada
cambio se guarda automticamente, lo cual se podra relacionar a su experiencia
con plataformas de carga de archivos similares, las que s permiten un guardado
automtico.
- El siguiente problema (el problema 20 de la Tabla 6) se relaciona a la libertad del
usuario. El sistema dificulta la opcin de descarga al alumno, lo cual no es parte de
las tareas de los usuarios, sin embargo, tiene una solucin indirecta con la solicitud
de que las funciones sean ms sencillas.
Un usuario se ve obligado a bajar toda una carpeta o archivo por archivo, lo cual
dificulta sus actividades. Adems, cuando se desea descargar el contenido de una
carpeta primero se debe ingresar a la opcin de editar (el problema 19 de la Tabla
6).
- La opcin para mover archivos de una ruta a otra dentro del sistema es difcilmente
localizable (el problema 2 de la Tabla 6), y es por esto que los usuarios tardaron
hasta el doble de tiempo en la tarea de reubicar archivos en las diversas carpetas
solicitadas en la segunda tarea.
- Los expertos reconocieron que el sistema permita la subida de una carpeta dentro
de ella misma (el problema 9 de la Tabla 6).
-

Al momento de subir un archivo empleando la opcin de arrastrar y soltar, el sistema

no muestra ningn mensaje o simbologa relacionada al proceso de carga de un
archivo (el problema 1 de la Tabla 6). Los usuarios, pese a lograr subir los archivos
en su mayora, consultan si el archivo en efecto ha subido y en algunos casos suben
repetidamente los archivos, o cancelan sus acciones, por no saber qu ocurre en el
sistema. Este problema de relaciona con la visibilidad del sistema.

54

En relacin al principio de consistencia y estndares, se encuentra el problem a de

falta de informacin al usuario sobre las acciones posibles al trabajar con archivos y
carpetas (el problema 5 de la Tabla 6). Los usuarios, en la primera tarea, no
consideran intuitiva a la opcin de cambiar de nombre a un archivo. En contraste, en
la segunda tarea, la creacin de carpetas es clara para el usuario. Pese a ello, no
hay indicaciones claras sobre el borrado de archivos en esta tarea, por lo que
algunos usuarios pedan orientacin.
Sera vlido el empleo de un formato unificado para el manejo de las opciones en el
trabajo de archivos y carpetas, con conos intuitivo para el usuario. Se podra
emplear un cono claro de creacin de carpetas y otro de archivos, pues la accin
"Agregar..." no indica que se puede agregar un solo archivo (el problema 15 de la
Tabla 6). Al aadir un texto de ayuda se tendran metforas de ayuda a usuario (el
problema 4 de la Tabla 6).

Un problema detectado por los expertos es el de que el sistema permite seleccionar

como fecha de inicio, una fecha que se encuentra posterior a la fecha fin en la
disponibilidad de un documento (el problema 8 de la Tabla 6). Adems, permite
indicar que un archivo estar disponible en un intervalo de fechas pasadas (el
problema 7 de la Tabla 6).

Los expertos sealan que no se muestra una opcin de eliminar archivos en la

estructura de tipo de rbol de carpetas (el problema 16 de la Tabla 6). Los usuarios
no ingresaron a esta vista para eliminar los archivos, mas es una sugerencia que en
la vista de edicin, el rbol de carpetas permita que se elimine un archivo con clic
derecho.

El selector de archivos en una actividad o recurso no permite la carga mltiple de

archivos (el problema 12 de la Tabla 6). En relacin a esto, los usuarios demoraban
en subir archivos y solicitaron que se permitiera cargar mltiples archivos en el
selector. Pese a que s se pueden cargar varios archivos en la funcin de arrastrar y
soltar, la falta de informacin del estado de carga afect la confianza de los
usuarios, quienes optaron por la subida por medio del selector.

55

Luego de haber creado una carpeta y configurado su contenido (carpetas internas y

archivos cargados) se pierde todo lo realizado si ocurre un problema con el sistema
(el problema 14 de la Tabla 6). Al realizar la segunda tarea, y en la cuarta tarea, los
usuarios encontraron problemas del sistema y mensajes de error. Se recomienda
actualizar Moodle a una versin que s cuente con soporte.

Uno de los problemas relacionados a la necesidad de ayuda y documentacin es

que un archivo o carpeta puede ser referenciado desde cualquier parte del sistema
donde se pueda introducir texto y por lo tanto una URL, pero esto no es claro incluso
para un usuario inexperto (el problema 18 de la Tabla 6). Los usuarios tuvieron
problemas en la cuarta tarea al crear un enlace a un archivo, pues solo uno de los
ocho usuarios lo logr, siendo el usuario con mayor experiencia en la plataforma.

Entre los problemas de menor criticidad segn la evaluacin de expertos, pero con
mencin de los usuarios, se encuentran que el sistema no brinda opciones claras
que permitan salir o regresar al curso (el problema 17 de la Tabla 6) y que el
sistema no brinda cuadros u opciones directas de ayuda para la gestin de archivos
(el problema 17 de la Tabla 19).

56

CAPTULO 4. MEJORAS PROPUESTAS AL SISTEMA

En base a los hallazgos de la evaluacin de heursticas y el test realizado a los

usuarios se plantean recomendaciones en el orden de criticidad de los problemas,
iniciando por aquellos con un valor mayor. Adems, se ilustran propuestas de mejora
en los escenarios donde se presentaron obstculos para los usuarios. Se especifica las
propuestas cuya implementacin es posible en la ltima versin de Moodle gracias a
las herramientas de Moodle, mientras que se muestra o describe las pantallas que
podran ser creadas por mdulos o cdigo personalizado.
Problema

Propuestas

No se notifica al usuario sobre el resultado

Cambiar el sistema de guardar cambios. Los

de haber guardado los cambios.

usuarios piensan que se guarda por defecto.

Problema

Propuestas

El sistema no brinda opciones claras que

permitan salir o regresar al curso.

Agregar un cono de regreso consistente, con el

fin de que los nuevos usuarios regresen de forma
simple a su curso o punto de partida.

El primer problema mostrado es el de mayor criticidad segn la evaluacin de expertos,

quienes indican que los usuarios no son notificados sobre el resultado de guardar sus
cambios, lo que en la evaluacin de usuarios se reflej en que estos buscan tener la
opcin de deshacer sus cambios en lugar de recordar guardar sus cambios . Dado que
en la evaluacin de usuarios los usuarios buscan un botn o enlace de regreso al curso
en lugar de un botn de cancelar, podra plantearse una reestructuracin de dichos
botones y funciones.
Se propone que haya un guardado automtico de los cambios de un usuario, o en su
defecto, indicaciones claras de que el usuario debe guardar sus cambios para no
perderlos.

57

Si se opta por reestructurar los botones, se brindara a los usuarios un botn o enlace
de regreso al curso disponible en esta pantalla, as como en todas dems pantallas.

Figura 4.1: Pantalla propuesta para el guardado automtico de archivos y el regreso al

curso

Problema

El sistema dificulta la opcin de descarga al

alumno.

Propuestas

Implementar un cono de descarga intuitivo, que

active una seleccin de los archivos y carpetas
que se deseen descargar.

Se propone implementar un modo de descarga ms intuitivo, en el que se puedan

seleccionar los archivos a descargar y el usuario tenga la libertad de descargar lo que
necesita. Adems, se recomienda reorganizar la ubicacin de esta funcin. Adems,
tambin se podra implementar una descarga con seleccin para carpetas.

Figura 4.2: Pantalla propuesta para la descarga de una seleccin de archivos

58

Problema

Propuestas
Se puede implementar el arrastrar y soltar

La opcin para mover archivos de una ruta a

archivos a carpetas, o indicar al usuario que

otra dentro del sistema es difcilmente

se debe dar clic a las carpetas para trabajar

localizable.

con ellas.

Problema

Falta de informacin al usuario sobre las

acciones posibles al trabajar con archivos y

Propuestas
Se puede cambiar el modo de trabajo en
archivos o indicar al usuario que se debe dar
clic a las carpetas y archivos para acceder a

carpetas.

sus funcionalidades.

El trabajo con archivos y carpetas se realiza al hacer clic sobre ellos, lo que no es
intuitivo para el usuario. Se propone mostrar un mensaje al usuario indicando que el
modo de trabajo con archivos es dando clic sobre ellos. Adems, las carpetas
poseern un pequeo cono para su edicin. Respecto a mover archivos de una ruta a
otra, el colocar una indicacin de cmo trabajar con archivos es soportado por Moodle
2.7, mientras que la opcin de implementar un arrastrar y soltar archivos a carpetas
implicara un desarrollo.

Figura 4.3: Mensaje propuesto para guiar la edicin de un archivo, implementada en

Moodle 2.7

59

Problema

Propuestas
Se ha de implementar que no se pueda

Es posible resubir una carpeta dentro de ella

colocar una carpeta dentro de ella misma,

misma.

adems, se puede enviar un mensaje al

usuario que intente realizar esta accin.

La accin de subir una carpeta dentro de ella misma no es permitida en versiones de

Moodle con soporte, como Moodle 2.7. El sistema podr mostrar un mensaje de error
si el usuario intenta mover una carpeta de esa forma.

Figura 4.4: Mensaje de error al intentar mover una carpeta a ella misma, implementada
en Moodle 2.7

Problema
El sistema no notifica al usuario si un archivo
est subiendo a la plataforma tras realizar la
accin de arrastrar y soltar.

Propuestas
En subidas mayores a un segundo, es
recomendable implementar una barra de
carga de archivos que informe al usuario
[Klemmer, 2014].

Un usuario puede subir archivos al arrastrar y soltarlos al interior de un cuadro, ya sea

como un recurso para los alumnos o en los archivos de uso del profesor. Al actualizar
la plataforma a la versin 2.7 de Moodle, cuando se arrastra y suelta cualquier archivo
para su subida, se muestra una barra de carga.

60

Figura 4.5: Interfaz mostrada tras arrastrar y soltar un archivo en Paideia

Figura 4.6: Interfaz propuesta tras arrastrar y soltar un archivo en Paideia,

implementada en Moodle 2.7

Problema

Propuestas

Es posible indicar una fecha de inicio

posterior a la fecha fin en la disponibilidad de

Pueden emplearse mensajes de error

un documento. Adems, el sistema permite

similares a los de la Figura 8.

indicar que el archivo estar disponible en

un intervalo de fechas pasado.

Estos son caractersticas a corregir en el sistema, de forma que un usuario no ingrese

datos inconsistentes.
Problema

Propuestas

Algunas etiquetas de ayuda, botones,

Se puede utilizar como gua el botn de crear

descripciones y elementos similares de la

carpetas para la opcin de crear archivos, pues

interfaz pueden no ser claras para el

usuario. Los nombres de las acciones no
incluyen el tipo de objeto sobre el cual
recaern

es un aspecto positivo observado por los

usuarios. Todos ellos pudieron crear una nueva
carpeta. Tambin se podra mostrar el nombre de
un archivo al cargarlo.

61

Se propone que las funciones para agregar un archivo o una carpeta tengan botones
con iconografa clara y etiquetas que presenten el lenguaje del usuario (por ejemplo,
indicar carpeta en lugar de directorio).

Figura 4.7: Propuesta de etiquetas en la interfaz del gestor de archivos y carpetas,

implementada en Moodle 2.7

Problema

Propuestas

No se muestra una opcin de eliminar

En la seccin de edicin de un recurso, se

archivos en la estructura de tipo de rbol de

sugiere que el sistema permita eliminar un

carpetas.

archivo del rbol al dar clic derecho.

En la estructura de carpetas en la seccin de edicin de un recurso no se permite

eliminar o modificar archivos al dar clic derecho, mas esto no fue considerado por los
usuarios, as que se da una prioridad menor a este cambio.

Problema

Propuestas

El selector de archivos en una actividad o

Los expertos y usuarios sugirieron que el sistema

recurso no permite la carga mltiple de

permita la carga mltiple de archivos en una

archivos.

actividad o recurso empleando el selector.

62

Figura 4.8: Pantalla propuesta para la subida mltiple de archivos

Problema

Propuestas

La versin 2.3.1 de Moodle, empleada en

Paideia, tiene mayores defectos en
usabilidad que versiones nuevas y no cuenta
con soporte tcnico.

Actualizar la plataforma a la ltima versin

disponible de Moodle, lo cual tiene como ventaja
acceder a soporte y documentacin actualizada.

El empleo de una versin de Paideia sin soporte tcnico se relaciona a los errores que
puedan aparecer al momento de cargar archivos. Si un usuario ha creado una carpeta
y configurado su contenido (carpetas internas y archivos cargados) se pierde todo lo
realizado si ocurre un problema con el sistema.
Problema

Propuestas

El crear un enlace a un archivo o carpeta

Colocar un archivo o carpeta dentro de una

dentro de una semana o tarea no es claro

semana debe ser accesible al usuario. Puede

para el usuario y no cuenta con una gua.

brindarse una gua desplegable al usuario.

Problema
Al momento de editar una semana y aadir
una actividad o recurso, se presenta una
pantalla sobrecargada de opciones. Esto
confunde a un usuario nuevo.

Propuestas
Se puede colocar descripciones breves a las
actividades y recursos, las que resultaran
efectivas si se resume lo que ayudar al usuario.
Se puede incluir un mapa del sitio, con el cono de
un mapa o una brjula.

63

Crear un enlace puede ser complicado para los usuarios, incluso para aquellos que
tengan mayor experiencia. Adems, el uso de archivos y carpetas para complementar
otros elementos como actividades o textos no es intuitivo.
Los usuarios pueden informarse sobre los recursos disponibles de forma ms sencilla
si se determina cules son usados con mayor frecuencia y se explica de forma clara
sus funciones. Si se requiere explicar a ms detalle, un usuario de perfil profesor tiene
disposicin a leer ms contenido que un alumno, sin embargo, la informacin debe ser
til.

Figura 4.9: Propuesta de pantalla de la descripcin presentada al aadir un recurso

archivo, implementada en Moodle 2.7

A continuacin se presentarn propuestas relacionadas a la interfaz y a los elementos

con los que interactan los usuarios, en base a sus comentarios y a los problemas
estticos hallados por los expertos.

64

Uno de los problemas tratados es la mala distribucin de la pantalla, presentado en el

problema expuesto a continuacin.
Problema

Propuestas

Las opciones avanzadas y contenido

anlogo producen un impacto visual

Reducir las opciones presentadas al usuario,

negativo en el usuario, el cual se enfrenta a

como es el caso del movimiento de bloques.

una pantalla sobrecargada en la que no

Emplear un diseo simple con nombres y

encuentra las opciones para realizar sus

opciones visibles e intuitivas.

tareas.

El usuario puede mover y minimizar libremente los bloques, lo cual lo lleva a perder de
vista las opciones que desea utilizar. Se propone entregar una interfaz ms simple al
usuario, donde solo pueden moverse los bloques al editar.

Figura 4.10: Comparacin de un resultado de pantalla de inicio de curso en Paideia

(Izquierda) y la pantalla propuesta (Derecha), implementada en Moodle 2.7

Se aconseja el empleo de pantallas e conos ms simples, sin la opcin de Ocultar

avanzadas y con etiquetas que guen al usuario.

65

Figura 4.11: Interfaz para llenado de datos en Paideia

Figura 4.12: Propuesta de interfaz para llenado de datos en Paideia, implementada en

Moodle 2.7

Problema

Propuestas

Las etiquetas y los mensajes al usuario

Se debe hacer ms visibles las etiquetas y

estn escritos en fuentes pequeas, en

nombres de los elementos del sistema.

ubicaciones poco visibles de la pantalla.

Una recomendacin es hacer claro el llenado de los campus obligatorios de los

formularios. Adems, en caso el usuario no lo haga, se llevar al usuario al campo
vaco y se le mostrar un mensaje que le solicitar completarlo.
66

Figura 4.13: Propuesta de mensaje para llenado de campos obligatorios, implementada

en Moodle 2.7

Finalmente, se presentan problemas y mejoras relacionados a ayuda proporcionada a

los usuarios. Estas recomendaciones son resultado del anlisis de los problemas que
los usuarios tuvieron a lo largo de las tareas realizadas, en los momentos en los que
solicitaron ayuda o no obtuvieron las indicaciones que esperaban.
Problema
No se ofrece ayuda accesible para el
usuario, el cual indica que la plataforma se
puede usar solo con un gua o secciones de
ayuda a su alcance.

Propuestas
Se puede agregar un cono de ayuda legible en
las secciones, sumado a mensajes que guen a
los usuarios, etiquetas correctas y consistentes.

Problema

Propuestas

Las secciones de ayuda no estn bien

organizadas, por lo cual un usuario tantea

La ayuda debe seguir un estndar, debe de ser

entre preguntas, pginas, grficos y

completa, simple para el usuario principiante, y

manuales en busca de ayuda, sin una gua

detallada para el usuario con experiencia.

satisfactoria.

Problema
El formato en el que se encuentra el sistema
de preguntas puede desviar la atencin del

Propuestas
La ayuda debe seguir un estndar, sin elementos
distractores.

usuario hacia la calificacin de las mismas.

Problema

Propuestas

No se brind informacin sobre la

Es recomendable informar a los usuarios sobre

actualizacin de Paideia a los usuarios,

cada nueva versin de la plataforma, para que

incluso a aquellos que recibieron

estos puedan emplear adecuadamente los

capacitaciones.

recursos ofrecidos.

67

CAPTULO 5. CONCLUSIONES Y RECOMENDACIONES

A continuacin se presentan las conclusiones, recomendaciones y trabajos propuestos
a partir de la investigacin realizada.
5.1

Conclusiones

En el estudio realizado, con el fin de proponer mejoras de usabilidad a una interfaz de

carga de archivos, se opt por el uso de dos herramientas: un estudio de heursticas,
enfocado a expertos, y un test de usabilidad, con enfoque a los usuarios. Los
especialistas poseen conocimientos tericos y prcticos en el anlisis de interfaces,
mientras los usuarios se basan en la interaccin directa y cotidiana con una plataforma
para sealar los problemas a los que se enfrentan. Siguiendo el planeamiento general
de un estudio de usabilidad, se definieron preguntas guas, las que definiran el
enfoque de ambos anlisis.
Se dise una evaluacin de heursticas basada en los principios planteados por
Nielsen. El consolidado de problemas de usabilidad resultante de los estudios
individuales de los expertos, sera evaluado por ellos segn su severidad, frec uencia e
impacto. Esto permitira ordenar los problemas por su criticidad. Por otro lado, la
evaluacin de usuarios requiri la definicin de perfiles de usuario que representara a
los usuarios de la plataforma. El pre-test, tareas y pos-test estuvieron relacionados a
las preguntas de investigacin.
La evaluacin de expertos se llev a cabo con tres especialistas de experticia
homognea. Los resultados fueron calificados y priorizados. En el caso del estudio a
usuarios, se desarroll un ajuste al test final en base a la prueba piloto, lo cual gener
mejoras en las sesiones a los usuarios. Adems, al haber definido los perfiles de los
participantes, su desenvolvimiento en las tareas e impresiones fueron contrastadas con
sus habilidades, identificando los problemas recurrentes y los de mayor impacto.
Un experto puede descubrir y detallar una mayor variedad de problemas de usabilidad,
mientras que el usuario directo brinda informacin enfocada a quienes emplean la
interfaz. La colaboracin integral de ambos grupos enriquece el estudio. Se analizaron
los problemas de usabilidad brindando prioridad a aquellos de mayor criticidad
68

encontrados por los expertos, elaborando una correspondencia con los problemas que
ms afectaron a los usuarios.
En ambos estudios se encontraron problemas de similar impacto, destacando la
necesidad de que el sistema proporcione informacin visible y necesaria para el
usuario, otorgue opciones estandarizadas y claras, y sea flexible ante las diversas
acciones que este desee realizar.
Partiendo de los problemas de mayor criticidad, se plantearon mejoras a la interfaz con
el fin de que las actividades relacionadas a la carga de archivos fuesen ms ordenadas
y accesibles para los usuarios. Algunos cambios fueron implementados en la ltima
versin disponible de Moodle, pues eran soportados haciendo uso de las herramientas
disponibles de la plataforma, mientras que otros pueden involucrar nuevos mdulos o
sern resueltos en actualizaciones del programa.
Si el sistema no refleja las necesidades del usuario, es posible que este sienta
malestar y desconfianza al emplearlo. Por otro lado, el usuario reconoce aspectos
positivos y muestra iniciativa e inters en colaborar con proyectos futuros. El inters y
apoyo de los usuarios para que los programas consideren y reflejen sus requerimientos
es fundamental para los proyectos tecnolgicos, dado que al ser una parte activa del
desarrollo se podrn tener programas exitosos.

5.2

Recomendaciones y trabajos futuros

En base a esta experiencia se muestra que los estudios de usabilidad empleados son
flexibles y se pueden aplicar incluso a etapas avanzadas de un proyecto. Sin embargo,
segn lo presentado en el estado del arte, se recomienda que al disear una
plataforma de aprendizaje se empleen estudios de usabilidad desde los hitos iniciales
de un proyecto, para as disear un sistema que refleje las necesidades de sus
usuarios.
La plataforma Moodle contina modificando sus funcionalidades e interfaces, por lo
cual los estudios de usabilidad para el desarrollo futuro de sistemas podrn basarse en
el soporte actualizado brindado por sus actividades y recursos. Se propone llevar a
69

cabo un anlisis detallado, enfocado integralmente a los mdulos que se adapten de

Moodle para conformar un sistema, empleando metodologas orientadas a usuarios y
expertos desde etapas tempranas del desarrollo.
El uso extendido de dispositivos porttiles y mviles permite que los usuarios se
mantengan conectados a los sistemas con mayor facilidad, y el trabajo con plataformas
educativas puede orientarse a quienes empleen estos dispositivos. Los estudios de
usabilidad aportaran a simplificar y adaptar las plataformas educativas considerando
estos nuevos retos.

70

REFERENCIAS BIBLIOGRFICAS

AIPO
2001 La interaccin persona ordenador. Espaa: Jess Lors Editor.
Alter way
2013 Wampserver: Apache, PHP, MySQL on Windows. Consulta: 8 de abril de 2013.
<http://www.wampserver.com/en/>
Alva, Mara Elena
2005 Metodologa de medicin y evaluacin de la usabilidad en sitios web educativos.
Tesis para obtener el grado de doctora en informtica. Oviedo: Universidad de Oviedo,
Departamento de informtica.
Bowman, Doug, Gabbard, Joseph y Hix, Deborah
2002 A Survey of Usability Evaluation in Virtual Environments: Classification and
Comparison of Methods. Presence: Teleoperators and Virtual Environments. Virginia,
2002, Vol. 11, No. 4, pp. 404-424.
Carliner, Saul y Shank, Patti
2008 The E-Learning Handbook: Past Promises, Present Challenges. Estados Unidos
de Amrica: John Wiley Sons Inc.
Dagger, Declan, et al.
2007 Service-Oriented E-Learning Platforms: From Monolithic Systems to Flexible
Services. Internet Computing, IEEE. Ireland, 2007, Vol.11, No. 3, pp. 28-35.
De Porto Alegre Muniz, Maria Isabela y de Moraes, Anamaria
2012 Usability issues in Learning Management Systems (LMS). Work: A Journal of
Prevention, Assessment and Rehabilitation. Brasil, 2012, Vol. 41, pp. 832-837.
DIA PUCP
2012 Presentacin Lima. Consulta: 10 de abril de 2013.
<http://dia.pucp.edu.pe/presentacion>
71

Dix, Alan, et al.

2004 Human-Computer Interaction. 3era edicin. UK: Pearson Education Limited.
Dougiamas, Martin y Taylor, Peter
2003 Moodle: Using Learning Communities to Create an Open Source Course
Management System. Proceedings of World Conference on Educational Multimedia,
Hypermedia and Telecommunications. Australia, 2003, pp. 171-178.
Galitz, Wilbert
2007 The Essential Guide to User Interface Design. Tercera edicin. Indiana: Wiley
Publishing.
Globe Microsystems
2014 AB Tutor - Brochure. Consulta: 9 de mayo de 2014.
<https://www.abtutor.com/brochure>
Hollingsed, Tasha y Novick, David
2007 Usability inspection methods after 15 years of research and practice.
Proceedings of the 25th annual ACM international conference on Design of
communication. New York, 2007, pp. 249-255.
Jeffels, Peter
2011 Usability, in relation to e-learning projects Consulta: 19 de abril de 2013.
<https://www.abdn.ac.uk/eLearning/documents/Jeffels_Usability2011.pdf>
Kakasevski, Gorgi, et al.
2008 Evaluating usability in learning management system Moodle. Proceedings of the
ITI 2008 30th International Conference on Information Technology Interfaces
Dubrovnik. 2008, pp. 613-618.
Kirner, Tereza, Custodio, Carlos y Kirner, Claudio
2008 Usability evaluation of the Moodle system from the teachers' perspective.
Proceedings of IADIS International Conference e-Learning 2008. Brazil, 2008, pp. 371378.
72

Klemmer, Scott
2014 Human-Computer Interaction. Consulta: 20 de mayo de 2014
<https://class.coursera.org/hciucsd-001/lecture>
MOODLE
2010 Moodle.org: Acerca de Consulta: 14 de abril de 2013.
<https://moodle.org/about/>
Nielsen, Jakob y Molich, Rolf
1990 Heuristic evaluation of user interfaces. CHI 90 Proceedings of the Conference
on Human Factors in Computing Systems. Seattle, 1990, pp. 249-256.
Nielsen, Jakob
1993 Usability Engineering. California: Morgan Kaufmann.
Nielsen, Jakob
1994 Enhancing the explanatory power of usability heuristics. Proceedings of the
SIGCHI

conference

on

Human

factors

in

computing

systems:

celebrating

independence, CHI 94. New York, 1994, pp. 152-158.

Nielsen, Jakob
1995 How to Conduct a Heuristic Evaluation. Consulta: 4 de junio de 2013.
<http://www.nngroup.com/articles/how-to-conduct-a-heuristic-evaluation/>
Nielsen, Jakob
1995 10 Usability Heuristics for User Interface Design. Consulta: 8 de marzo de 2014
<http://www.nngroup.com/articles/ten-usability-heuristics/>
Nielsen, Jakob
2012 Usability 101: Introduction to Usability Consulta: 14 de abril de 2013.
<http://www.useit.com/alertbox/20030825.html>

73

PUCP
2014 La PUCP en cifras
<http://www.pucp.edu.pe/la-universidad/nuestra-universidad/pucp-en-cifras/>
Rubin, Jeff y Chisnell, Dana
2008 Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests.
Segunda Edicin. Indiana: Wiley Publishing.
Scholtz, Jean
2004

Usability

Evaluation.

Encyclopedia

of

Human-Computer

Interaction.

Gaithersburg: IAD National Institute of Standards and Technology.

Society for Technical Communication
2008 Usability Toolkit. Consulta: 20 de marzo de 2014
<http://www.stcsig.org/usability/resources/toolkit/toolkit.html>
Unal, Zafer y Unal, Asli
2011 Evaluating and comparing the usability of web-based course management
systems. Journal of Information Technology Education. 2011, Vol. 10, pp. 19-38.
US Department of Health and Human Services
2011 Step-by-step usability guide. Consulta: 20 de marzo de 2014
< http://www.usability.gov/>
Wixon, Dennis, et al.
1994 Inspections and Design Reviews: Framework, History and Reflection. En
NIELSEN, Jakob. Usability inspection methods. New York: John Wiley & Sons, pp. 77103.
Zapata, Claudia
2012 Anlisis del tamao de la muestra en una evaluacin heurstica de usabilidad.
Tesis para obtener el grado de magster en ciencias de la computacin. Lima: Pontificia
Universidad Catlica del Per. Escuela de posgrado.

74

Zaharias, Panagiotis y Poylymenakou, Angeliki

2009 Developing a Usability Evaluation Method for e-Learning Applications: Beyond
Functional Usability. International Journal of Human-Computer Interaction. 2009, Vol.
25, No. 1, pp.75-98.

75

ANEXOS

A1. Documento de bienvenida al test de usabilidad

Estimado(a) colaborador(a), este es un guin que resume la evaluacin y permite que
todos los entrevistados conozcan el detalle de lo que se realizar.
Usted participar en un estudio del grado de usabilidad del portal. La prueba tiene por
objetivo detectar la existencia de problemas en el uso del portal. Con este fin se le
monitorear mientras realiza tareas.
Esto no es una evaluacin de su desempeo como usuario. No existe una respuesta
correcta o incorrecta. Est bien si comete errores.
Toda la informacin que usted nos proporcione es absolutamente confidencial y muy
relevante para nuestro estudio, por lo cual le agradecemos su cooperacin.
La prueba tiene 3 etapas:
(1) En la primera etapa deber completar un breve cuestionario con preguntas relativas
a su experiencia y contexto habitual del uso de Paideia y de sistemas similares a
Paideia PUCP.
(2) En la segunda etapa se le proporcionar un conjunto de tareas que se deben
realizar a travs de la plataforma Paideia PUCP.
(3) En la tercera etapa deber completar un breve cuestionario que tiene por objetivo
obtener la percepcin general sobre su experiencia en el uso de la plataforma Paideia
PUCP.
Si tiene alguna duda durante el desarrollo de la prueba, puede ponerse en contacto
con la evaluadora.
A continuacin le presentar un protocolo informado a firmar.
IX

A2. Protocolo de consentimiento para el test de usabilidad

PROTOCOLO DE CONSENTIMIENTO INFORMADO PARA

PARTICIPANTES
El propsito de este protocolo es brindar a los participantes en esta investigacin una
explicacin clara de la naturaleza de la misma, as como del rol que tienen en ella.
La presente investigacin es conducida por la alumna Marcela Araujo para el desarrollo
de su tesis de pregrado en Ingeniera Informtica en la Pontificia Universidad Catlica
del Per. La meta de este estudio es evaluar la usabilidad de la plataforma educativa
Paideia PUCP.
Una evaluacin de usabilidad consiste en determinar el grado en que una aplicacin de
software o dispositivo de hardware facilita a los usuarios su manejo. Este experimento
tiene por objetivo evaluar un sistema software, NO las capacidades, habilidades o
conocimientos del usuario.
Si usted accede a participar en este estudio, se le pedir que utilice el sistema y
responda dos encuestas, lo que le tomar una hora de su tiempo.
Su participacin ser voluntaria. La informacin que se recoja ser estrictamente
confidencial y solo se utilizar para los propsitos contemplados en esta investigacin.
Su identidad ser protegida por el anonimato. Toda informacin personal ser
destruida tras seis meses del fin el estudio.
Si tuviera alguna duda con relacin al desarrollo del proyecto, usted es libre de
formular las preguntas que considere pertinentes. Adems, puede finalizar su
participacin en cualquier momento del estudio sin que esto represente algn perjuicio
para usted. Si se sintiera incmoda o incmodo, frente a alguna de las preguntas,
puede ponerlo en conocimiento de la persona a cargo de la investigacin y abstenerse
de responder.
Muchas gracias por su participacin!
X

Yo, aaaaaaaaaaaaabcabcabasgfhfgkajhfjafgafahjhfahjfgagfjahjfafhajfhgahfgaa
participo voluntariamente en el estudio de usabilidad a la plataforma Paideia PUCP y
soy consciente de que mi informacin ser empleada con fines acadmicos.

He recibido informacin en forma verbal sobre el estudio mencionado anteriormente y

he ledo la informacin escrita adjunta. He tenido la oportunidad de discutir sobre el
estudio y hacer preguntas.
Al firmar este protocolo doy mi consentimiento para que mis datos personales,
incluyendo datos relacionados a mis opiniones sobre la plataforma, pudieran ser
usados segn lo descrito en la hoja de informacin que detalla la investigacin en la
que estoy participando.
Entiendo que puedo finalizar mi participacin en el estudio en cualquier momento, sin
que esto represente algn perjuicio para m.
Entiendo que recibir una copia de este formulario de consentimiento e informacin del
estudio y que puedo pedir informacin sobre los resultados de este estudio cuando
ste haya concluido. Con este fin, puedo comunicarme con Marcela Araujo al correo o
al telfono que se me han proporcionado.

aaaAaaaaaaaabcabcabasgaaaaaaaAbcaba

aaaaaaabcabcabasg

Nombre completo del (de la) participante

Firma

asaAa Marcela Noem Araujo Falcn A

Nombre de la investigadora responsable

aaaaaaabcabcabasg

XI

aaaaaaabcabcabasg
Firma

A3. Formato empleado para el desarrollo del pre-test de usabilidad

Por favor complete el siguiente cuestionario. Marque o llene los cuadros.

Marque las unidades en las que dicta cursos

EEGG

Pregrado en facultad

Posgrado

Marque la unidad en la que dicta el curso que emplear para la evaluacin

EEGG

Pregrado en facultad

Posgrado

En el transcurso de los ltimos tres aos Ha empleado algn LMS (plataforma de

gestin de aprendizaje)?
S, he empleado: monoaaaaaaaaaaashgfdsajhfhashfahjsfgkagfjhaghfgajsg
No

Si ha empleado una LMS Qu rol tuvo? (Puede marcar ms de una opcin)

Era profesor u otro tipo de usuario gestor
Era un usuario alumno o similar
Para qu actividades emplea Paideia? (Puede marcar ms de una opcin)
Para subir archivos
Para dar soporte a actividades presenciales
Para realizar actividades virtuales
No utilizo Paideia
En caso emplee Paideia para su curso Cuntas actividades del curso estn
relacionadas a la plataforma?
Entre 1 y 5
Entre 5 y 10
Ms de 10
XII

Qu navegador usa con ms frecuencia?

Google Chrome
Mozilla Firefox
Internet Explorer
Otro (Especificar): monoaaaaaaaaaaashgfdsajhfhashfahjsfgkagfjhgfjhagh

Marque los repositorios de contenido que ha empleado

Google Drive
Dropbox
Skydrive
Cliente FTP
Otros (Especificar): monoaaaaaaaaaaashgfdsajhfhashfahjsfgkagfjhgfjhagh

XIII

A4. Formato empleado para el desarrollo de las tareas del test de usabilidad

Por favor realice las siguientes tareas. Esto permitir analizar el sistema.
Los archivos se encuentran en la computadora local (la que est empleando).

Tarea 1: Subir un archivo

1. Abra su navegador de preferencia e ingrese a http://paideia.pucp.edu.pe.
2. Ingrese al curso que emplear para la evaluacin.
3. Suba el archivo "A1.txt" situado en la carpeta de archivos en el escritorio.
4. Cambie el nombre del archivo a "Archivo de prueba 1.txt".

Tarea 2: Crear una estructura de carpetas

1. Cree las siguientes carpetas y archivos:
- La carpeta "Carpeta de prueba 1". Dentro coloque el archivo "Archivo de
prueba 1.txt".
- La carpeta "Colores". Dentro coloque los archivos:
"Azul.txt"

"Rojo.txt"

"Amarillo.txt

"Verde.txt"

Estos archivos se encuentran en la carpeta Archivos para test

2. Mueva los archivos Azul.txt y Amarillo.txt a la carpeta Carpeta de prueba 1.
3. Borre el archivo "Archivo de prueba 1.txt".

XIV

Tarea 3: Agregar archivos a una semana

1. Cree la tarea "Tarea de prueba 1" en la semana "2 de junio - 8 de junio".
2. Agregue el archivo Azul.txt a la semana.
3. Agregue la carpeta Colores a la semana, esta contendr los archivos:
"Azul.txt"

"Amarillo.txt

"Rojo.txt"

"Verde.txt"

Tarea 4: Enlazar archivos a una tarea

1. Cree un enlace al archivo Verde.txt en la descripcin de la tarea "Tarea de
prueba 1".
2. En la carpeta personal Colores se encuentra el archivo Verde.txt.
Reemplcelo por el archivo Verde.txt de la carpeta Archivos para test/Nuevo
que se encuentra en el escritorio.

XV

A5. Formato empleado para el desarrollo del post-test de usabilidad

Por favor encierre en un crculo la alternativa que mejor refleje su opinin.

1. Pudo completar las tareas?

1

Muy

Difcilmente

Neutral

Fcilmente

Muy fcilmente

difcilmente

2. Considera que la informacin de la plataforma es completa?

1

Muy en

En

Neutral

De acuerdo

Completamente

desacuerdo

desacuerdo

de acuerdo

3. Considera que la informacin de la plataforma es fcil de entender?

1

Muy en

En

Neutral

De acuerdo

Completamente

desacuerdo

desacuerdo

de acuerdo

4. Considera que la informacin requerida en la prueba fue fcil de encontrar?

1

Muy en

En

Neutral

De acuerdo

Completamente

desacuerdo

desacuerdo

de acuerdo

XVI

5.

Qu tan fcil es navegar en la plataforma?

1

Muy difcil

Difcil

Neutral

Fcil

Muy fcil

6. Se ha sentido orientado dentro de la plataforma?

7.

8.

Muy en

En

Neutral

De acuerdo

Completamente

desacuerdo

desacuerdo

de acuerdo

Volvera a utilizar la plataforma?

1

Muy en

En

Neutral

De acuerdo

Completamente

desacuerdo

desacuerdo

de acuerdo

Cul es su grado de satisfaccin en el uso de la plataforma?

1

Insatisfactorio

Poco

Neutral

Satisfactorio Muy satisfactorio

satisfactorio

9.

Por favor realice un ranking de las tareas (de mayor a menor dificultad)

moaaaaaanoaaaaaaaaaaashgfdsajhfhashfahjsfakagfjhaghfgajsgfasfjahfgjaa
Ms difcil

Ms fcil

XVII

10.

Qu fue lo que ms le gust de la plataforma?

monoaassadasasfasfasfasfasfasfsafsafsafaaaaaaaaaashgfdsajhfhashfahjsfgkagfjhaghfgajsgfas

monoaaaaaaaaaaashgfdsajhfhashfahjsfgkagfjhaghfgajsgfasfjahfgjaa

11. Qu fue lo que ms le gust de la plataforma?

monoaaaaaaaaaaashgfdsajhfhashfahjsfgkagfjhaghfgajsgfasfjahfgjaa
monoaaaaaaaaaaashgfdsajhfhashfahjsfgkagfjhaghfgajsgfasfjahfgjaa

XVIII

A6. Gua para la prueba de heursticas

A continuacin se presentan las acciones relacionadas a la carga de archivos en la
plataforma Paideia PUCP. Para llevar a cabo esta prueba se requiere entrar a la
plataforma:
1.

Abra el navegador de su preferencia e ingrese a http://paideia.pucp.edu.pe.

2.

Ingrese al curso que emplear para la evaluacin.

Las acciones de subir un archivo, renombrar archivos, mover archivos, borrar

archivos, aadir carpetas y aadir subcarpetas se pueden realizar en la seccin
Mis archivos personales a la que se tiene acceso con el botn Gestionar mis
archivos

Para realizar acciones referentes a una actividad se debe presionar el botn

Activar edicin, ubicado en la esquina superior derecha de la pantalla, y
seleccionar una semana. Al hacer clic en Aadir una actividad o un recurso, en la
seccin Recursos se puede subir un archivo, subir una carpeta de archivos o
enlazar un archivo de forma directa (URL).

XIX

A7. Resultados individuales de la primera etapa de la evaluacin de heursticas

Resultados de la primera fase de la evaluacin del Experto 1
Principios de
Id

Definicin del problema

Caractersticas / Especificaciones

usabilidad no
cumplidos

Mala distribucin de la
pantalla.

Cuando se muestra la lista de

contenidos de una carpeta se pierde
espacio en la seccin derecha.

8. Esttica y diseo
minimalista

Cuando se carga un archivo mediante

el arrastre de este componente desde
2

No se informa al usuario de la una carpeta local hacia una carpeta en 1. Visibilidad del estado
accin que est ocurriendo.

PAIDEIA no se sabe que est

del sistema

ocurriendo hasta que termina de

cargar el archivo.
Luego de haber creado una carpeta y
3

Falta de prevencin de

configurado todo su contenido

errores al cargar informacin

(carpetas internas y archivos

o crear carpetas.

cargados) se pierde todo lo realizado

5. Prevencin de
errores

si ocurre un problema con el sistema.

Los archivos y carpetas cuentan con el
cono del engranaje en la parte inferior
que permite mover, eliminar o
comprimir una carpeta o archivo segn
4

Metfora incompleta para los corresponda. Este engranaje para las

usuarios inexpertos.

carpetas y el de cadena para los

10. Ayuda y
documentacin

archivos no se acompaa de un texto

de ayuda para un usuario principiante.
As mismo, al dar clic sobre un archivo
se puede realizar acciones sobre l
Los archivos y carpetas cuentan con el
cono del engranaje en la parte inferior

Falta de informacin sobre la

acciones posibles.

que permite mover, eliminar o

comprimir una carpeta o archivo segn
corresponda. Estas acciones se

4. Consistencia y
estndares

realizan a travs de botones o cambios

de posicin en una lista.
6

Inconsistencia en el manejo

Es posible resubir una carpeta dentro

5. Prevencin de

de los elementos.

de ella misma.

errores

XX

Los nombres de las acciones

7

no incluyen el tipo de objeto

sobre el cual recaern.

El uso de archivos y carpetas

8

para complementar otros

elementos como actividades
o textos no es intuitivo.

Dificultad de uso de la opcin

de descarga.

La accin Agregar... permite agregar

un slo archivo mientras que la accin

4. Consistencia y

Crear Directorio si indica el objeto

estndares

sobre el que recae.

Un archivo o carpeta puede ser
referenciado desde cualquier parte del
sistema donde se pueda introducir
texto y por lo tanto una URL. Esto no

10. Ayuda y
documentacin

es claro para un usuario inexperto.

Cuando se desea descargar todo el
contenido de una carpeta primero se
debe ingresar a la opcin de editar.

7. Flexibilidad y
eficiencia de uso

Cuando un alumno que no tiene

Dificultad de uso de la opcin permisos de edicin desea descargar
10

de descarga de acuerdo al

el contenido de una carpeta debe bajar

tipo de usuario.

uno por uno cada archivo a pesar de

3. Control y libertad del

usuario

tener acceso a todos los elementos.

A continuacin se muestran las imgenes relacionadas a cada uno de los

problemas encontrados por el primer experto:

XXI

1. Mala distribucin de la pantalla.

2. No se informa al usuario de la accin que est ocurriendo.

3. Falta de prevencin de errores al cargar informacin o crear carpetas.

XXII

4. Metfora incompleta para los usuarios inexpertos.

5. Falta de informacin sobre las acciones posibles.

6. Inconsistencia en el manejo de los elementos.

XXIII

7. Los nombres de las acciones no incluyen el tipo de objeto sobre el cual recaern.

8. El uso de archivos y carpetas para complementar otros elementos como actividades

o textos no es intuitivo.

XXIV

9. Dificultad de uso de la opcin de descarga.

10. Dificultad de uso de la opcin de descarga de acuerdo al tipo de usuario.

XXV

 Resultados de la primera fase de la evaluacin del Experto 2

Id

Definicin del

Caractersticas /

problema

Especificaciones

Principios de
Ejemplos

usabilidad no
cumplidos

Al momento de subir un
archivo empleando esta
opcin, el sistema no
Falta de notificacin
1

al usuario tras
emplear la funcin
"Arrastrar y Soltar".

El sistema no notifica al
usuario que se encuentra
cargando un archivo despus
de haber empleado la funcin
"arrastrar y soltar".

muestra ningn
mensaje/simbologa
relacionada al proceso de
carga de un archivo. Com o
consecuencia, el sistema

1. Visibilidad del
estado del
sistema

permite la repeticin de
esta accin, generando
duplicados de un mismo
archivo.
En la vista global de los

La opcin para

No existe ninguna opcin

mover archivos de

explcita para mover archivos.

una ruta a otra

El usuario debe "actualizar" el

dentro del sistema

archivo, lo cual podra ser no

es difcilmente

tan especfico a todos los

localizable.

tipos de usuarios.

archivos personales, no
existe una opcin concreta
que mencione la

7. Flexibilidad y

posibilidad de mover un

eficiencia de

archivo de una ruta a otra.

uso

El usuario debe "actualizar"

el archivo y modificar el
atributo "ruta".
Despus de haber

Despus de "Guardar los

realizado modificaciones a

No se notifica al

cambios", el sistema no

la estructura de los

usuario sobre el

notifica si est accin se

archivos personales y

1. Visibilidad del

resultado de haber

realiz correctamente o hubo

haber seleccionado la

estado del

guardado los

algn tipo de error al

opcin "Guardar cambios",

sistema

cambios.

momento de registrar estos

el sistema no muestra

datos.

ningn tipo de mensaje de

confirmacin/error.

XXVI

Al momento de registrar un

El sistema permite

archivo como parte de una

Si la fecha actual es:

indicar que el

actividad, el sistema brinda la

29/04/2014, es posible

archivo estar

opcin de poder establecer un

indicar que el documento

disponible en un

periodo de fechas por el cual estar disponible desde el

intervalo de fechas

estar disponible el

01/01/2014 hasta el

pasado.

documento. Es posible indicar

10/01/2014.

2. Relacin
entre el sistema
y el mundo real

un intervalo de fechas que ya

aconteci.
Ms que mostrar adecuados
mensajes de error, el sistema
debe prevenir la ocurrencia
de estos. El sistema permite

Fecha de inicio

seleccionar como fecha de

posterior a la fecha

inicio, una fecha que se

fin en la

encuentra posterior a la fecha

disponibilidad del

fin en la disponibilidad de un

documento.

documento. El sistema
debera ir bloqueando
aquellas fechas que
estableceran un intervalo
invlido de fechas.

Es posible indicar que el

documento estar
disponible desde el
10/06/2014 al 01/06/2014.
El sistema muestra el
mensaje adecuado

5. Prevencin

despus de seleccionar

de errores

"Guardar cambios y
regresar al curso" pero es
posible evitar la seleccin
de un intervalo invlido de
fechas.

A diferencia de los dems

El atributo "Nombre"
se muestra de color
6

rojo tratando de
indicar algn tipo de
advertencia/mensaje
que no es visible.

campos informativos del

registro del documento, el
campo "Nombre" siempre se

Activar edicin -> Aadir

muestra de color rojo tanto en una actividad o un recurso

la modificacin y el registro

2. Relacin
entre el sistema

-> Archivo

y el mundo real

dando la apariencia de indicar

algn tipo de advertencia que
no es aparentemente obvio.
Existe la posibilidad de que el

El sistema permite
subir ms de un
7

archivo con el
mismo nombre
dentro de la misma
semana.

usuario por error vuelva a

subir un archivo que ya se
encuentra registrado o que

Activar edicin -> Aadir

7. Flexibilidad y

asigne el mismo nombre a

una actividad o un recurso

eficiencia de

varios archivos. A fin de evitar

-> Archivo

uso

este tipo de inconvenientes el

sistema debera notificar al
usuario que existe un archivo

XXVII

registrado con el nombre que

desea asignar, as el usuario
dar cuenta de su error o
accin a realizar.
El selector de archivos
restringe a que los archivos
El selector de
8

se vayan subiendo uno por

Activar edicin -> Aadir

archivos no permite uno al servidor. El sistema no una actividad o un recurso

la carga mltiple de

ofrece la posibilidad de

-> Archivo -> Agregar

archivos.

seleccionar varios archivos y

Archivo

7. Flexibilidad y
eficiencia de
uso

que se carguen todos al

mismo tiempo.
La opcin

Cada seccin del formulario

"Mostrar/Ocultar

tiene esta opcin:

Avanzadas",

"Mostrar/Ocultar Avanzadas".

muestra y oculta las

Cuando esta opcin es

opciones de todo el seleccionada se muestran las

9

Activar edicin -> Aadir

formulario, cuando

opciones avanzadas de todo

una actividad o un recurso

debera solamente

el formulario, en vez de

-> Archivo

realizar esta opcin

mostrarse solamente para la

para la seccin a la

seccin dentro de la cual ha

cual est haciendo

sido seleccionada esta

referencia.

opcin.

4. Consistencia
y estndares

Resultados de la primera fase de la evaluacin del Experto 3

Id

Principios de

Definicin del

Caractersticas /

problema

Especificaciones

Al cargar un

Si se sube un archivo muy

Ejemplos

usabilidad no
cumplidos

archivo pesado pesado no termina la carga, sale

se obtiene un

un mensaje de error relacionado

error json.

al cdigo.

La aplicacin

Si se crea una carpeta o archivo

no informa al

nuevo , al momento de realizar la

guardar si el

grabacin, no se muestra un

archivo o

mensaje de confirmacin que la

carpeta fue

transaccin ha tenido xito o no.

creado.

XXVIII

Cargar un archivo de 20Mb

en la seccin "Mis archivos
personales".

9. Ayudar a los
usuarios a reconocer,
diagnosticar y
reponerse de errores.

Crear un archivo o
directorio nuevo en la

1. Visibilidad del

seccin "Mis archivos

estado del sistema

personales".

Aplicativo sin

El sistema no tiene una seccin

Al momento de eliminar un

de ayudas para la gestin de

archivo, no tengo un tutorial

archivos, en el caso que no

en la parte superior o

entendiera el uso de algunas

inferior que me indique

funcionalidades.

como realizarlo.

manera

La funcionalidad de mover

Al momento de mover un

intuitiva para

archivos no existe o no hay

archivo de una carpeta a

ayudas
3

emergentes en
la seccin de
gestin de
archivos.

10. Ayuda y
documentacin

La aplicacin
no funciona de

todas las
funcionalidad

suficientes ayudas para indicar su otra, no encuentro la forma

uso.

7. Flexibilidad y
eficiencia de uso

de realizarlo.

de gestin de
archivos

Aplicativo con

El sistema en la seccin Recursos

ayudas

no muestra ayudas muy dirigidas

insuficientes en

sobre la funcionalidad que se

la seccin de

desea realizar, solo existe una

"Recursos"

seccin de ayudas muy amplia

Poca visibilidad
6

por mal uso de

colores.

Uso de
7

metforas con
tamao de letra
muy pequeo.

Cuando se navega entre pginas

los colores de las carpetas y
archivos se muestran muy claros,
y no logran distinguir muy bien.

Al momento de crear una

carpeta no se muestran

10. Ayuda y

ayudas por cada seccin a

documentacin

ingresar.
En la seccin de recursos
despus de ingresar
archivos y carpetas, el rbol
de jerarquas no se

minimalista

mostraba con claridad.

Se observa que cuando usamos

En las secciones de

las metforas de carpeta, archivo,

"gestionar archivo" y

estas se muestran con letras muy "Recursos", las metforas

pequeas, que no todos podran se encuentran con iconos y
distinguir.

Diseo esttico y

Diseo esttico y
minimalista

leyendas muy pequeas.

Aplicativo sin

En algunas secciones del

Por ejemplo en la seccin

opciones claras

aplicativo, que corresponden a

editar carpetas, no tengo un

3. Control y libertad

de salida o

guardar archivos y carpetas, no

botn para poder dar

del usuario

regresar.

se puede cancelar o regresar.

regresar al men principal.

Las opciones de gestionar

Compatibilidad

Aplicativo no funciona

con

correctamente en dispositivos

dispositivos

mviles (celulares) con SO

mviles.

ANDROID.

archivos y recursos para

poder grabar archivos,
eliminar archivos, crear
directorios no funcionan en
dispositivos celulares con
SO ANDROID.

XXIX

4. Consistencia y
estndares

Aplicativo no
muestra opcin Se observa que al querer eliminar
10

de eliminar

un archivo en la seccin de

archivos en la

recursos, opcin editar, no puedo

estructura de

eliminar una archivo al dar clic

tipo de rbol de

derecho.

que cree anteriormente en

la seccin "Recursos", no

4. Consistencia y

puedo eliminar cualquier

estndares

archivo al dar clic derecho

en la seccin editar.

carpetas.
Aplicativo no
muestra opcin Se observa que al querer eliminar

11

Al ingresar a una carpeta

de eliminar

un archivo en la seccin de

archivos en la

recursos, opcin editar, no puedo

estructura de

eliminar una archivo al dar clic

tipo de rbol de

derecho.

Al ingresar a una carpeta

que cree anteriormente en
la seccin "Recursos", no

7. Flexibilidad y

puedo eliminar cualquier

eficiencia de uso

archivo al dar clic derecho

en la seccin editar.

carpetas.

XXX

A8. Resultados del pre-test

Docente 1
Unidades en
las que dicta
cursos

Docente 2 Docente 3 Docente 4

EEGG

Pregrado en

Pregrado

facultad

en

Pregrado
EEGG

en
facultad

facultad

Docente 5

Docente 6

Docente 7 Docente 8
Pregrado

Pregrado en

Pregrado

en

facultad

en facultad

facultad
Posgrado

Pregrado
en
facultad

Unidad en la
que se dicta
el curso que Pregrado en
emplear

facultad

Pregrado
EEGG

EEGG

en
facultad

para la

Pregrado en

Pregrado

facultad

en facultad

Pregrado
Posgrado

en
facultad

evaluacin
LMS

Cisco

empleados
en los

Moodle

ltimos tres

No ha

No ha

empleado empleado

Moodle

Moodle

Netspace

edX

Blackboard

Moodle

No ha
empleado

Collaborate

aos
Era profesor
Rol en LMS, Era profesor
en caso se

u otro tipo

haya

de usuario

empleado

gestor

No ha

No ha

empleado empleado

Era

u otro tipo

profesor u

de usuario

otro tipo

gestor

de

Era un

usuario

usuario

gestor

alumno o
similar

Era
profesor u
otro tipo de
usuario
gestor
Era un
usuario

Era un
usuario

No ha

alumno o

empleado

similar

alumno o
similar

Para subir
archivos

Para subir

Para dar

Actividades

archivos

para las que

Para dar

No utiliza

No utiliza

No utiliza

emplea

soporte a

Paideia

Paideia

Paideia

Paideia

actividades

soporte a
actividades
presenciales

No utiliza

No utiliza

No utiliza

Paideia

Paideia

Paideia

Ninguna

Ninguna

Ninguna

Para realizar

presenciales

actividades
virtuales

Actividades
del curso
relacionadas

Entre 1 y 5

Ninguna

Ninguna

Ninguna

a Paideia

XXXI

Entre 5 y 10

Google
Navegadores

Internet

Chrome

frecuentes

Explorer

Internet
Explorer

Internet
Explorer
Safari

Google

Google

Chrome

Mozilla

Mozilla

Chrome

Google

Internet

Firefox

Firefox

Internet

Chrome

Explorer

Explorer

Navegador

Internet

Google

Internet

Internet

Mozilla

Mozilla

Internet

Google

empleado

Explorer

Chrome

Explorer

Explorer

Firefox

Firefox

Explorer

Chrome

Google

Google

Repositorios
de contenido
que haya

Ninguno

Dropbox

Ninguno

Dropbox

empleado

XXXII

Drive

Drive

Cliente FTP

Dropbox

Dropbox
Skydrive

Dropbox
Webfiles
PUCP

A9. Resultados de las tareas del test de usabilidad

Criterios de

Docente

Docente

Docente

Docente

Docente

Docente

Docente

Docente

xito

No

No

No

No

No

No

No

No

No

02:00

05:00

03:30

15:10

01:42

03:00

06:15

02:57

No

No

No

No

No

No

01:40

04:20

06:45

07:00

04:16

06:00

07:00

08:20

No

No

No

No

No

No

No

Encuentra la
opcin
Gestionar mis
archivos.
Logra subir el
archivo.
1

Encuentra la
opcin de
cambiar el
nombre al
archivo.
Guarda los
cambios.

Minutos empleados
Encuentra la
opcin
Gestionar mis
archivos.
Logra crear las
carpetas.
Logra subir los
2

archivos.
Logra colocar
los archivos en
las carpetas
que
correspondan.
Borra el archivo.
Guarda los
cambios.

Minutos empleados
Encuentra la
opcin Activar
3

edicin.
Crea una
actividad Tarea.

XXXIII

Crea una
actividad

No

No

No

No

No

No

No

No

No

No

No

No

No

No

No

No

No

No

No

No

No

No

13:00

10:00

08:30

07:00

10:50

15:50

13:36

10:00

No

No

No

No

No

No

No

No

No

No

No

No

No

No

No

No

05:00

04:00

07:05

07:55

05:00

06:10

13:00

14:00

Archivo.
Logra subir los
archivos en la
carpeta.
Logra cargar los
archivos en la
carpeta
Colores.
Guarda los
cambios.
Minutos empleados

Ingresa a la
descripcin de
la tarea.
Crea el enlace
al archivo.
Encuentra la
4

opcin
Gestionar mis
archivos.
Reemplaza el
archivo.
Guarda los
cambios.
Tiempo empleado

XXXIV

A10. Resultados del post-test

1. Pudo
completar las
tareas?

Docente 1

Docente 2

Docente 3

Docente 4

Docente 5

Docente 6

Docente 7

Docente 8

Neutral

Difcilmente

Difcilmente

Neutral

Neutral

Difcilmente

Difcilmente

Neutral

2. Considera
que la
informacin de la

Muy en

Muy en

Muy en

plataforma es

desacuerdo

desacuerdo

desacuerdo

3
Neutral

2
En
desacuerdo

3
Neutral

En

En

desacuerdo

desacuerdo

completa?
3. Considera
que la
informacin de la
plataforma es
fcil de

Muy en

En

Muy en

En

En

desacuerdo

desacuerdo

desacuerdo

desacuerdo

desacuerdo

En

En

desacuerdo

desacuerdo

Neutral

Neutral

Neutral

3
Neutral

En

En

desacuerdo

desacuerdo

entender?
4. Considera
que la
informacin

requerida en la

Neutral

prueba fue fcil

2
En
desacuerdo

3
Neutral

de encontrar?
5. Qu tan fcil
es navegar en la
plataforma?
6. Se ha sentido
orientado dentro
de la plataforma?

Neutral

Neutral

Muy difcil

Neutral

Difcil

Difcil

Neutral

Fcil

Neutral

Neutral

Neutral

3
Neutral

Muy en

Muy en

desacuerdo

desacuerdo

7. Volvera a

utilizar la

Muy en

Muy en

Muy en

plataforma?

desacuerdo

desacuerdo

desacuerdo

3
Neutral

2
En
desacuerdo

3
Neutral

Muy en

En

desacuerdo

desacuerdo

2
En
desacuerdo

4
De acuerdo

8. Cul es su
grado de
satisfaccin en el
uso de la

Insatisfactorio Insatisfactorio Insatisfactorio Insatisfactorio

2
Poco
satisfactorio

3
Neutral

2
Poco
satisfactorio

3
Neutral

plataforma?
9. Ranking de
dificultad de

3241

3421

4321

4321

tareas

XXXV

4321

4321

4321

3241

No me
10. Qu fue lo

Poder

que ms le gust

almacenar

de la plataforma?

contenidos.

No ha habido
Nada.

Nada.

tiempo para
evaluar.

gust nada,
en lo que
se refiere a
manejo de
archivos.

Estructura

La

Su

capacidad

apariencia y

cronolgica de carga de organizacin.

e interfaz

archivos es

Las opciones

con colores

mayor y el

para trabajar

agradables

entorno es

y organizar

agradable

actividades.

Para
realizar
algunas
tareas
haba que
Que se
11. Qu fue lo

requiere un

que ms le

Facilidades y

asesor para

disgust de la

funcionalidad.

conseguir

plataforma?

realizar
tareas.

No es
amigable con
el usuario
que la
desconoce.

No es muy

adivinar

Necesito

intuitiva y al

qu botn

poder

subir

o qu

practicar y

archivos no

haba que

dominar esto

se sabe si

ejecutar;

para resolver

lo est

no estn

la pregunta.

subiendo o

claro el

no.

proceso
como el
que
solicitaba
la cuarta
tarea.

XXXVI

Complejidad
en tareas

Las opciones

que pueden

similares

ser ms

deberan

sencillas.

estar juntas.

Se

Por ejemplo,

facilitaran

si se trata de

las tareas

subir un

con una

archivo o

ayuda

carpeta que

amigable

contiene

(no un

archivos.

manual).