TÉCNICAS E INSTRUMENTOS - Tema 2: Características Técnicas de los Instrumentos de Medida (Parte I)

TÉCNICAS E INSTRUMENTOS PARA LA
RECOGIDA DE INFORMACIÓN
Tema 2: Características técnicas de los instrumentos de medida
(Parte I)
Asignatura Obligatoria (OB) de 2º curso
Grado en Pedagogía

Comprender la utilidad de la medición en educación
Saber calcular la dificultad, discriminación/homogeneidad y análisis
de los distractores de un ítem; y fiabilidad y validez de un test
Saber calcular la unidimensionalidad de un test
Diferenciar la TCT de la TRI
Calcular los parámetros de un ítem desde laTRI
Interpretar la información de los parámetros y características de un
ítem desde la TRI
Objetivos
Tema 2 – Características técnicas de los instrumentos de medida

Características técnicas de los instrumentos de medida
“El proceso de medición opera sobre un objeto, según unas
reglas (…) y con una unidad de medida. Este proceso nos lleva
a construir unos instrumentos, que se pasan al objeto en el
acto de medición, teniendo como resultado unos datos con
los que se realizará un tratamiento, generalmente estadístico”

Características técnicas de los instrumentos de medida
Hablaremos de las características técnicas de los
instrumentos de medida, sobre todo en lo referente a
los ítems que los componen
Teoría Clásica de los
Test (TCT)
Los resultados
dependen de la
muestra elegida
Los resultados
se expresan en
relación al grupo
normativo
Teoría de Respuesta al
Ítem (TRI)
Los resultados
son invariantes a
la muestra
elegida
Pero exige un
importante
tamaño de
muestra

Teoría Clásica de losTest (TCT)
Para evaluar la
calidad de los
ítems los
indicadores más
utilizados son:
Dificultad
Discriminación / Homogeneidad
Análisis de los distractores
Para evaluar la
calidad de un test
los indicadores
más utilizados son:
Fiabilidad
Validez
Unidimensionalidad

TCT – Dificultad
El grado de dificultad de un ítem está en función del número de personas
que conteste de forma correcta al mismo.
Se suele utilizar el Índice de Dificultad (ID) como indicador de la misma

TCT – Dificultad
El Índice de Dificultad (ID) no es una propiedad intrínseca del
ítem, pues su valor depende de la muestra de sujetos a la que se
aplique (…) el ID sólo tiene sentido en tests o pruebas objetivas
donde hay respuestas correctas e incorrectas

TCT – Dificultad
Ejemplo 1: Se supone un ítem de evocación (sin alternativas) que es
contestado acertadamente por 17 estudiantes de una clase compuesta de
30 estudiantes. ¿ID del ítem?

TCT – Dificultad
Ejemplo 2: Se supone un ítem de evocación (sin alternativas) que es
contestado erróneamente por 25 estudiantes y acertadamente por 7
estudiantes.Todos los estudiantes han contestado al ítem. ¿ID del ítem?

TCT – Dificultad
Ejemplo 3: Se supone un ítem de 3 alternativas de respuesta, que es
acertado por 26 estudiantes en una clase de 39 alumnos. ¿ID’ del ítem?

TCT – Discriminación
Este índice determina la potencia del ítem para discriminar el
grupo de sujetos que tiene mayor cantidad de aciertos en la
prueba, frente al de menos aciertos (…)
Es decir, un ítem discrimina bien cuando existe correlación
positiva entre la puntuación obtenida en el ítem con la
puntuación obtenida en el test (…) Se utilizan dos:
D
IH

Este índice va de -1 a +1, considerándose un buen índice de
discriminación el comprendido entre 0,25 y 0,35 o mayor
Dividida la muestra en dos grupos extremos: a) una parte
donde está el 27% de personas con mayor puntuación en el
test (extremo superior) y b) otra parte con el 27% de menor
puntuación (extremo inferior)
D

Ejemplo 4:Tenemos un test que aplicamos a 600 estudiantes. De los 162
estudiantes con peor puntuación total en el test, 30 han acertado el ítem 1;
y de los 162 con mejor puntuación total, 95 han acertado dicho ítem.
¿Cuál es el índice D de discriminación del ítem 1?
D

Otra manera de valorar la discriminación de un ítem es
mediante el cálculo de la correlación entre las
puntuaciones de los sujetos en el ítem y en el
conjunto del test, cuando este ítem no es valorado.
Esta correlación se denomina índice de discriminación o
de homogeneidad (IH), al ser un indicador del grado de
relación del ítem con el resto
IH

Otra manera de valorar la discriminación de un ítem es
mediante el cálculo de la correlación entre las
puntuaciones de los sujetos en el ítem y en el
conjunto del test, cuando este ítem sí es valorado.
IH

Ejemplo 5:Tenemos los resultados de las respuestas de 4 sujetos a una
prueba de 4 ítems (“1” = acierto;“0” = fallo)
¿IH del ítem 4?
Examen Septiembre 2016
IH

IH

TCT – Análisis de distractores
Distractores son las diferentes alternativas falsas o
respuestas incorrectas que tiene un ítem.Todas las
alternativas de un ítem deberían tener la misma probabilidad
de ser elegidas, es decir, se debería dar la equiprobabilidad
entre las diferentes alternativas de respuesta.
Se comprueba mediante la prueba de ji-cuadrado

Ejemplo 6: Se supone que 400 individuos contestan a un ítem con 5
alternativas (A, B, C, D y E), y que la E es la respuesta correcta. Los
respuestas de los 276 sujetos que fallan en las distintas alternativas son:
¿Se puede afirmar, con un nivel de confianza del 95%, que hay
equiprobabilidad en los distractores?
A B C D
91 42 66 77

TCT – Fiabilidad
Suponemos el modelo lineal clásico de medida:
X =V + e
Supuestos:
• Media de las puntuaciones empíricas (X) es igual a la puntuación verdadera (V)
• La puntuación verdadera (V) es independiente del error de medida (e)
• Los errores de medida (e) son independientes entre sí

TCT – Fiabilidad
Un instrumento de medida es fiable si está libre de error
de medida (e → 0)
Aunque un instrumentos de medida no es bueno por el
hecho de ser fiable (…) sin tal propiedad la medición no
es aceptable (…) esto es, podemos afirmar que la
fiabilidad es una condición necesaria, aunque no
suficiente, de un instrumento de medida de
calidad.

TCT – Fiabilidad
La fiabilidad de un instrumento se cuantifica
mediante dos aproximaciones
Fiabilidad relativa
(coeficientes de
fiabilidad: ρxx)
Correlación entre las puntuaciones
obtenidas por los sujetos en dos
‘aplicaciones’ de un test
Fiabilidad absoluta
(error típico de
medida: σe)
Desviación típica de las puntuaciones
empíricas respecto a la puntuación
verdadera tras una aplicación del test
repetida infinitamente a un sujeto

TCT – Fiabilidad
Fiabilidad como equivalencia
• O de “formas paralelas”
Fiabilidad como estabilidad
• O procedimiento de la repetición o del “test-retest”
Fiabilidad como consistencia interna
• p.e., con las “dos mitades” o con el coeficiente α de Cronbach

TCT – Fiabilidad como equivalencia
También conocida como de formas paralelas.
Consiste en aplicar a la misma muestra de sujetos 2 pruebas
diferentes pero que miden el mismo rasgo o característica,
de tal forma que los resultados de la aplicación de la primera
prueba se correlacionan con los de la segunda.
Es un procedimiento difícil y complicado: es muy difícil encontrar
pruebas equivalentes (mismos objetivos, mismos contenidos,
longitud y condiciones de aplicación)
Se mide mediante el coeficiente de equivalencia = coeficiente
de correlación de Pearson entre las puntuaciones de ambas
aplicaciones

TCT – Fiabilidad como estabilidad
También conocida como procedimiento de la repetición o del
test-retest
Se calcula la correlación que existe entre las puntuaciones
obtenidas por un mismo grupo de sujetos en 2 aplicaciones
sucesivas de una misma prueba en 2 momentos diferentes.
Entre ambas aplicaciones debe transcurrir un tiempo ni muy
corto (por el entrenamiento) ni muy largo (por la maduración).
Algunos autores lo fijan en 20 ó 25 días.

TCT – Fiabilidad como consistencia interna
Cabe pensar que todos los elementos del instrumento de medida miden
una porción de la característica o rasgo, de forma que debe darse una
coherencia interna, es decir una sub-muestra de ítems mide los mismo
que otra sub-muestra y representan ambas lo que mide el instrumento en
su totalidad
El grado de correlación entre ambas sub-muestras determina el
coeficiente de consistencia
Procedimiento de
las dos mitades
Coeficiente Alfa
de Cronbach

TCT – Fiabilidad
Ejemplo 7. Procedimiento de las dos mitades: ¿Cuál es la fiabilidad de un
test que tiene como correlación entre sus ítems pares e impares rxx = 0,79?

TCT – Fiabilidad
Ejemplo 8.Alfa de Cronbach: En un test compuesto por 8 ítems, la suma de
las varianzas individuales del conjunto de ítems fue 16. Si la varianza del
test vale 54, ¿cuánto vale el coeficiente de Cronbach?
Examen Febrero 2015

TCT – Fiabilidad
Ejemplo 9. Fiabilidad y longitud: El coeficiente de fiabilidad de un test de 25
ítems es rxx = 0,64. ¿Cuántas veces se debe alargar el test original para llegar
a una fiabilidad Rxx = 0,80? ¿Cuántos ítems tendrá el test final?

TCT – Fiabilidad
Ejemplo 10. Fiabilidad y longitud: Dada una prueba que consta de 30 ítems,
cuya fiabilidad es rxx = 0,93, ¿cómo repercutiría en la fiabilidad de la misma
un aumento de 10 nuevos ítems paralelos a los originales?
(página 160 del libro de Estadística de 1º curso)

TCT – Fiabilidad
Ejemplo 11: Interpretación-Valoración de la Fiabilidad de unTest
Fiabilidad > 0,90  Excelente
Fiabilidad > 0,80  Buena
Fiabilidad > 0,70  Aceptable
Fiabilidad > 0,60  Cuestionable
Fiabilidad > 0,50  Pobre
Fiabilidad < 0,50  Inaceptable

TCT –Validez
“La fiabilidad de un
instrumento es condición
necesaria pero no
suficiente para una
valoración positiva de
éste; necesita el concurso
de la validez para
completar dicha
valoración”

TCT –Validez
Un instrumento es válido si mide lo que dice medir
Tipos deValidez
De
Contenido
Criterial
Predictiva Concurrente
De
Constructo
Aparente

TCT –Validez Aparente
Referida a cuestiones de ‘aspecto externo’ del instrumento
Legibilidad, claridad, navegabilidad, instrucciones, manejo, etc…
Ejemplo Validación aparente de nuestroTest de Pensamiento Computacional
• Se añadieron las instrucciones del TPC y 3 ejemplos iniciales de habituación al test
• Accesibilidad y navegabilidad desde dispositivos fijos y móviles
http://goo.gl/IYEKMB

TCT –Validez de Contenido
Es imprescindible sobre todo en pruebas de rendimiento
“La esencia de la validez de contenido se encuentra en la suficiencia y
representatividad de la muestra de conductas incluidas en el instrumento
respecto de la población de la que forma parte”
Repetir veces
(repeat
times)
Repetir hasta
(repeat until)
Condicional
simple (if)
Condicional
compuesto (if/else)
Mientras
que (while)
Funciones
simples
Funciones con
parámetros
Item 1 Laberinto Visual por flechas Sí No No No No No No No No
Item 2 Laberinto Visual por flechas Sí No No No No No No No No
Item 3 Laberinto Visual por bloques Sí No No No No No No No No
Item 4 Lienzo Visual por bloques Sí No No No No No No No No
Item 5 Laberinto Visual por flechas Sí Sí No No No No No No No
Item 6 Laberinto Visual por flechas Sí Sí No No No No No No No
Item 7 Lienzo Visual por bloques Sí Sí No No No No No No No
Item 8 Laberinto Visual por bloques Sí Sí No No No No No No Sí
Item 9 Laberinto Visual por flechas Sí No Sí No No No No No No
Item 10 Laberinto Visual por bloques Sí No Sí No No No No No No
Item 11 Laberinto Visual por flechas Sí Sí Sí No No No No No Sí
Item 12 Lienzo Visual por bloques Sí Sí Sí No No No No No Sí
Item 13 Laberinto Visual por flechas Sí No Sí Sí No No No No Sí
Item 14 Laberinto Visual por bloques Sí No Sí Sí No No No No Sí
Item 15 Laberinto Visual por flechas Sí Sí Sí Sí No No No No Sí
Item 16 Laberinto Visual por bloques Sí No Sí Sí No No No No Sí
Item 17 Laberinto Visual por bloques Sí No Sí No Sí No No No Sí
Item 21 Laberinto Visual por bloques Sí Sí No No No Sí No No Sí
Direcciones
Bucles (loops) Condicionales (conditionals) Funciones (functions)
Entorno -
Interfaz del
reactivo
Estilo de las
alternativas de
respuesta
Existenc
anidami
Concepto computacional abordado
Repetir veces
(repeat
times)
Repetir hasta
(repeat until)
Condicional
simple (if)
Condicional
compuesto (if/else)
Mientras
que (while)
Fun
si
Item 1 Laberinto Visual por flechas Sí No No No No No
Item 2 Laberinto Visual por flechas Sí No No No No No
Item 3 Laberinto Visual por bloques Sí No No No No No
Item 4 Lienzo Visual por bloques Sí No No No No No
Item 5 Laberinto Visual por flechas Sí Sí No No No No
Item 6 Laberinto Visual por flechas Sí Sí No No No No
Item 7 Lienzo Visual por bloques Sí Sí No No No No
Item 8 Laberinto Visual por bloques Sí Sí No No No No
Item 9 Laberinto Visual por flechas Sí No Sí No No No
Item 10 Laberinto Visual por bloques Sí No Sí No No No
Item 11 Laberinto Visual por flechas Sí Sí Sí No No No
Item 12 Lienzo Visual por bloques Sí Sí Sí No No No
Item 13 Laberinto Visual por flechas Sí No Sí Sí No No
Item 14 Laberinto Visual por bloques Sí No Sí Sí No No
Item 15 Laberinto Visual por flechas Sí Sí Sí Sí No No
Item 16 Laberinto Visual por bloques Sí No Sí Sí No No
Item 17 Laberinto Visual por bloques Sí No Sí No Sí No
Item 21 Laberinto Visual por bloques Sí Sí No No No Sí
Direcciones
Bucles (loops) Condicionales (conditionals)
Entorno -
Interfaz del
reactivo
Estilo de las
alternativas de
respuesta
Concepto computacional abordado

TCT –Validez Criterial (Predictiva o Concurrente)
Un instrumento presenta validez criterial si sus puntuaciones
correlacionan con un criterio externo relevante (p.e., otro
instrumento previamente validado que se supone que mide lo mismo)
Si las dos medidas se toman en el mismo periodo temporal se habla de
validez concurrente del instrumento con respecto al criterio
Si la medida del criterio se toma con posterioridad a nuestro
instrumento, hablamos de validez predictiva del instrumento con
respecto al criterio.
Validez criterial del test  rpuntuación total en el test * criterio
Índice de validez del ítem  r puntuación en el ítem * criterio

TCT –Validez Criterial (Predictiva o Concurrente)
Examen Septiembre 2016
Ejemplo 12: ¿Validez delTest? ¿Índice deValidez del Ítem 1?

TCT –Validez de Constructo
La validez de constructo permite ir a la raíz
del problema:“eso que medimos, ¿qué es?”
La cuantificación de esta validez requiere una
acumulación progresiva de información que irá
dando más consistencia a la construcción
inicial, o por el contrario irá desechando el
planteamiento presentado

TCT – Dimensionalidad
La dimensionalidad hace referencia
a si lo que mide el test se concreta
en una o más dimensiones. Es decir,
si lo medido es unidimensional o
multidimensional
Ej.: En la imagen vemos el análisis
factorial de los resultados de un
cuestionario de empleabilidad. El
análisis factorial revela una
estructura bidimensional.

Ejemplo 13:Tenemos un test de 30 ítems, que tiene una fiabilidad rxx = 0,80
y una validez de criterio rxy = 0,50. Si extendemos el test hasta una longitud
de 50 ítems, ¿cuál será la nueva validez de criterio?
TCT –Validez y longitud de una prueba

TÉCNICAS E INSTRUMENTOS - Tema 2: Características Técnicas de los Instrumentos de Medida (Parte I)

Más contenido relacionado

La actualidad más candente (20)

Similar a TÉCNICAS E INSTRUMENTOS - Tema 2: Características Técnicas de los Instrumentos de Medida (Parte I) (20)

Más de Marcos Román González (12)

Último (20)

TÉCNICAS E INSTRUMENTOS - Tema 2: Características Técnicas de los Instrumentos de Medida (Parte I)