Educación XX1

ISSN: 1139-613X
ISSN: 2174-5374
[email protected]
Universidad Nacional de Educación a Distancia
España

Ruiz-Lázaro, Judit; González Barbera, Coral; Gaviria Soto, José-Luis

LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD.
UNA COMPARACIÓN ENTRE COMUNIDADES AUTÓNOMAS 1
Educación XX1, vol. 24, núm. 1, 2021, -Junio, pp. 233-270
Universidad Nacional de Educación a Distancia
España

DOI: https://doi.org/10.5944/educXX1.26746

Disponible en: https://www.redalyc.org/articulo.oa?id=70666127010

Cómo citar el artículo

Número completo Sistema de Información Científica Redalyc
Más información del artículo Red de Revistas Científicas de América Latina y el Caribe, España y Portugal
Página de la revista en redalyc.org Proyecto académico sin fines de lucro, desarrollado bajo la iniciativa de acceso
abierto
 ISSN: 1139-613X

10 LAS PRUEBAS DE INGLÉS PARA ACCEDER A

LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE
COMUNIDADES AUTÓNOMAS 1

(THE COLLEGE ENTRANCE EXAMS. A COMPARISON BETWEEN

AUTONOMOUS COMMUNITIES)

Judit Ruiz-Lázaro
Coral González Barbera
José-Luis Gaviria Soto
Universidad Complutense de Madrid
DOI: 10.5944/educXX1.26746

Cómo referenciar este artículo/How to reference this article:

Ruiz-Lázaro, J., González Barbera, C. y Gaviria Soto, J.L. (2021). Las pruebas de inglés para
acceder a la Universidad. Una comparación entre Comunidades Autónomas. Educación XX1,
24(1), 233-270, http://doi.org/10.5944/educXX1.26746
Ruiz-Lázaro, J., González Barbera, C. & Gaviria Soto, J.L. (2021). The college entrance exams.
A comparison between Autonomous Communities. Educación XX1, 24(1), 233-270, http://doi.
org/10.5944/educXX1.26746

RESUMEN

El sistema de acceso a la universidad en España es un tema social de

interés. Este estudio pretende comparar las pruebas de Lengua Extranjera-
Inglés de las 17 comunidades autónomas que dan acceso a la universidad
en España. La finalidad es reflexionar sobre la posible influencia de las
diferencias en el diseño de las pruebas sobre el rendimiento promedio
obtenido por los examinados en función de la comunidad autónoma a la que
pertenecen. Para ello, se plantea un diseño no experimental y transversal
de carácter descriptivo y comparado. Por un lado, se estudia la estructura
de 68 exámenes, correspondientes a los modelos A y B de las convocatorias
ordinaria y extraordinaria de 2017, mediante un análisis descriptivo-
analítico basado en una metodología comparada adaptando el enfoque

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 233 12/11/2020 11:17:19

 234 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

planteado por García-Garrido (1991). Por otro, se recoge información de

las calificaciones promedio obtenidas por los aspirantes en las pruebas y se
analiza su posible relación con la estructura de las pruebas por comunidades
autónomas, gracias a los datos publicados anualmente por el Sistema
Integrado de Información Universitaria. Los resultados muestran diferencias
en la evaluación de las destrezas lingüísticas. Por ejemplo, el Speaking no
se evalúa en ninguna comunidad autónoma y el Listening, únicamente, en
Galicia y Cataluña. Asimismo, hay disparidades en el peso de cada bloque
de contenidos dentro de la prueba, en el formato de los ítems y en la nota
promedio obtenida por los aspirantes en cada una de las comunidades
autónomas. Se concluye que no puede descartarse que el actual sistema
de evaluación de la competencia lingüística en Lengua Extranjera - Inglés
esté produciendo importantes desequilibrios e inequidades asociadas a la
comunidad autónoma de procedencia.

PALABRAS CLAVE

Rendimiento, pruebas externas, acceso a la universidad, segunda

lengua, lengua inglesa

ABSTRACT

The system university access in Spain is a social issue of interest.

This study aims to compare the Foreign Language-English tests of the
17 Autonomous Communities that give access to university in Spain. The
purpose is to reflect on the possible influence of the differences in the
design of the tests on the average performance obtained by those examined,
depending on the Autonomous Community to which they belong. To this end,
a non-experimental and transversal design of a descriptive and comparative
nature is proposed. On the one hand, the structure of 68 examinations,
corresponding to models A and B of the 2017 initial and secondary rounds, is
studied by means of a descriptive-analytical analysis based on a comparative
methodology adapting the approach proposed by García-Garrido (1991). On
the other hand, information is collected on the average scores obtained by
the candidates in the tests, and their possible relationship with the structure
of the tests by Autonomous Community is analysed, thanks to the data
published annually by the Integrated University Information System. The
results show differences in the assessment of language skills. For example,
Speaking is not assessed in any autonomous community and Listening is
only assessed in Galicia and Catalonia. Likewise, there are disparities in the
weight of each content block within the test, in the format of the items and
in the average mark obtained by the candidates in each of the Autonomous

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 234 12/11/2020 11:17:19

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 235
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Communities. It is concluded that it cannot be ruled out that the current

system of assessing linguistic competence in Foreign Languages-English
is producing important imbalances and inequalities associated with the
Autonomous Community of origin.

KEYWORDS

Achievement, external testing, access to university, second language,

English language

INTRODUCCIÓN

La Evaluación para el Acceso a la Universidad (EvAU) se implantó en

el curso académico 2016-2017. Inicialmente se diseñó con la finalidad de
ser una evaluación de fin de etapa de Bachillerato (Real Decreto 310/2016).
Sin embargo, hasta la entrada en vigor de la normativa resultante del Pacto
de Estado Social y Político por la Educación, estas pruebas no tienen
ningún efecto para la obtención del título de Bachillerato. Por lo tanto, sus
características, por el momento, son similares a las de la anterior Prueba de
Acceso a la Universidad (PAU) (Real Decreto-ley 5/2016).

Aunque en España existe un marco normativo común para la

elaboración de las pruebas para el acceso a la universidad, y aunque en
principio el diseño de las pruebas es competencia del Estado, la realidad
es que la misma legislación concede autonomía a cada comunidad para su
elaboración (Real Decreto 310/2016; Real Decreto-ley 5/2016). Por lo tanto,
aunque las comunidades autónomas tienen competencia para desarrollar
sus propias pruebas, parecería razonable que dichas pruebas abordasen
un mismo contenido, planteasen los mismos tipos de preguntas, utilizasen
el mismo sistema de corrección y el mismo baremo. La realidad es que,
actualmente, existen 17 pruebas con diferencias en la estructura de algunos
de sus componentes y en el tipo de ítems. Esto permite sospechar que, a
pesar de que el objetivo perseguido es ‘homogeneizar y estandarizar’ las
calificaciones de los estudiantes, en la práctica no pueda garantizarse que
se estén evaluando las mismas habilidades (Ruiz-Lázaro y González, 2017).

La lengua extranjera es una de las tres materias comunes que todos

los alumnos deben realizar dentro del conjunto de pruebas para acceder a
la universidad en España. Según los datos publicados anualmente por el
Sistema Integrado de Información Universitaria, en los últimos cinco años
más del 97% de los aspirantes elijen inglés como lengua extranjera, tanto
en las convocatorias ordinarias como en las extraordinarias (SIIU, 2017).

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 235 12/11/2020 11:17:19

 236 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Antecedentes

La evaluación de la lengua extranjera empieza a ser considerada de

importancia en los años 60, en los que se desarrollan modelos tanto teóricos
como empíricos. Un primer modelo, que sirvió de base para evaluaciones a
gran escala en Estados Unidos, fue definido por Carroll (1961) y Lado (1961).
En este modelo se diferenciaban, por un lado, las habilidades o destrezas
como la comprensión auditiva, la lectura, la escrita y la producción oral
y, por otro, los elementos como la pronunciación, estructura gramatical,
vocabulario y aspectos culturales. Desde entonces, han surgido otros
modelos: los que apoyan la competencia lingüística extranjera como una
habilidad unitaria, a partir de 1970; los defensores de pruebas directas
o evaluación del desempeño, a partir de 1980; el rendimiento basado en
tareas, o el rendimiento basado en competencias (a partir del 2000 y hasta
la actualidad). En este contexto, se han establecido pautas o estándares de
evaluación internacionales en los que sustentar este tipo de evaluaciones
educativas de una segunda lengua o L2. Entre ellas, destacan las elaboradas
por los miembros de ALTE (Association of Language Testers in Europe en
1994), las diseñadas por la JLTA (Japan Language Testing Association en
2002) y las propuestas por EALTA (European Association for Language
Testing and Assessment en 2006).

Existen numerosas investigaciones que se centran tanto en la

importancia de evaluar el rendimiento en el uso de una lengua extranjera,
como en los métodos más adecuados para hacerlo. Por ejemplo, algunos
estudios internacionales como los de Lee y Greene (2015), Harrington y
Roche (2014) y Carlsen (2018) han mostrado evidencia de la correlación
positiva y significativa entre las puntuaciones en la prueba de inglés para
acceder a la universidad y el dominio y éxito académico futuro en diferentes
países, lo que convierte el análisis y posible mejora de las pruebas de inglés
para acceder a la universidad en una cuestión relevante.

En cuanto a la metodología de evaluación, a raíz de los cambios

producidos en el modo de acceso a la educación superior en España, el
Ministerio de Educación, Cultura y Deporte publicó en 2012 un monográfico
sobre “Nuevas perspectivas en la sección de idiomas de la Prueba de Acceso
a la Universidad” donde se propone, entre otras cosas, una metodología
para evaluar los aspectos orales en la prueba de inglés que da acceso a
la universidad, en ocasiones a través de un instrumento informatizado
(Amengual-Pizarro y Méndez, 2012; Bueno y Luque, 2012; Díez-Bedmar,
2012; García-Laborda, 2012).

Asimismo, el tema en el que se centra el presente artículo ha sido

abordado en ocasiones en la literatura científica nacional. Por ejemplo, entre

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 236 12/11/2020 11:17:19

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 237
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

las investigaciones que comparan las pruebas diseñadas por comunidades

autónomas en materia de lengua extranjera inglesa, destaca la realizada,
hace más de dos décadas, por Muñoz-Repiso et al. (1997). En ella se
estudiaban las pruebas de acceso a la universidad en España, entre ellas las
de inglés. Posteriormente, Martín-Martín (2012) analizó el peso que tenía el
conocimiento léxico en la prueba de inglés de cada comunidad autónoma
y se mostraba la tendencia a dejar de evaluar esta sección al implantar
actividades orales en los exámenes.

Contexto

En este artículo se aborda esta misma cuestión asumiendo los

principales resultados obtenidos en los estudios anteriores. Por una parte,
damos por supuesta la importancia de la competencia lingüística en
lengua extranjera, fundamentalmente en inglés, no solo por su valor como
vehículo de información y modo de acceso a los resultados más relevantes
de investigación en la universidad, sino por su demostrada capacidad como
predictor de éxito universitario. Por otra parte, nos preocupa la posibilidad
de que en este ámbito la evaluación en la EvAU no alcance los estándares
que por normativa se establecieron y que no cumpla las funciones para las
que se diseñó.

El contexto en el que se evalúa esta competencia lingüística para acceder

a la universidad en España empezó a modificarse con la introducción de la
PAU en el curso académico 2008-2009. Los cambios más notorios fueron
dos: por un lado, su adaptación al Marco Común Europeo de Referencia
para las Lenguas, cuyas directrices se basan en las publicadas por la ALTE
(MCER, Consejo de Europa, 2001) y, por otro, su adecuación al currículo
que regula el contenido en la etapa de bachillerato.

Con respecto al primer punto, es en el MCER donde se establecen las

competencias que debe cubrir el aprendizaje de esta área. En él se definen 3
niveles y 6 subniveles: usuario básico (A1, A2), usuario independiente (B1,
B2) y usuario competente (C1, C2) (Consejo de Europa, 2001). En España,
de acuerdo con García-Laborda (2012), el nivel que mide la prueba de inglés
que da acceso a la universidad varía entre un B1-1 y un B1-2 en función de
la comunidad autónoma en la que se diseñe. El MCER establece que un
hablante de este nivel tiene que ser capaz de:

Utilizar el idioma con cierta seguridad y flexibilidad, receptiva y

productivamente, tanto en forma hablada como escrita, así como para mediar
entre hablantes de distintas lenguas, en situaciones cotidianas y menos
corrientes que requieran comprender y producir textos de cierta extensión y

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 237 12/11/2020 11:17:19

 238 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

complejidad lingüística, en una variedad de lengua estándar, con estructuras

habituales y un repertorio léxico común no muy idiomático, y que versen
sobre temas generales, cotidianos o en los que se tiene un interés personal.
(Consejo de Europa, 2001, p. 26).

Para la determinación del nivel, el MCER establece cuatro destrezas

lingüísticas primarias: comprensión lectora (Reading), comprensión auditiva
(Listening), expresión e interacción oral (Speaking) y expresión escrita (Writing).
Esto se refleja en la normativa que regula las pruebas de acceso a la universidad
(Real Decreto 1892/2008, Real Decreto 1105/2014) en la que se incorporan
ejercicios de comprensión y expresión oral.

Por su parte, el currículo que regula los contenidos en la etapa de

Bachillerato, el otro referente de las pruebas, indica que en él se “incorpora
el enfoque orientado a la acción recogido en el Marco Común Europeo de
Referencia para las Lenguas” (Real Decreto 1105/2014, 422) y, por tanto, los
organiza en cuatro bloques: Reading, Listening, Speaking y Writing. Estos
bloques deberían tener un peso propio en las pruebas de Lengua Extranjera-
Inglés para acceder a la universidad, tal y como se establece en la matriz de
especificaciones regulada por la Orden ECD/1941/2016 (Tabla 1).

Tabla 1
Contenidos evaluables de Lengua Extranjera-Inglés de 2º de Bachillerato en la
EvAU

Bloques de contenidos
Módulos establecidos en el Agrupación y peso (%)
en la EvAU*
currículo
Bloque 1. Comprensión de
Módulo I. Compren- textos escritos (Reading) Agrupación de
sión de textos orales y contenidos I
escritos Bloque 2. Comprensión de 60%
textos orales (Listening)
Módulo II. Producción Bloque 3. Producción de
textos orales (Speaking) Agrupación de
de textos orales y escri-
contenidos II
tos: expresión e inte- Bloque 4. Producción de 40%
racción textos escritos (Writing)

*Este peso viene determinado en la matriz de especificaciones de acuerdo con la Orden

ECD/1941/2016 y el Real Decreto 310/2016.
Fuente: elaboración propia a partir del Real Decreto 1105/2014, de 26 de diciembre, por el
que se establece el currículo básico de la Educación Secundaria Obligatoria y del Bachillerato

Además de la referencia al MCER, el currículo menciona los contenidos

sintáctico-discursivos que deben enseñarse en Bachillerato y que, por lo

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 238 12/11/2020 11:17:19

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 239
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

tanto, podrán ser objeto de evaluación en la prueba de Lengua Extranjera-

Inglés de la EvAU.

Una primera inconsistencia entre la EvAU y la normativa que la regula

puede observarse en la tabla 1. En ella los contenidos sintáctico-discursivos
no tienen peso asignado en la matriz de especificaciones ni se reflejan entre
los estándares de aprendizaje evaluables para el diseño de la prueba que da
acceso a la universidad.

Por otra parte, las calificaciones promedio obtenidas en las pruebas para
acceder a la universidad, publicadas anualmente por el SIIU, nos permiten
ver diferencias sustanciales en función de la comunidad autónoma. Los
promedios de las pruebas de Inglés de 2017 varían más de un punto y medio
entre el País Vasco, Cantabria o La Rioja con 7.44, 7.4 y 7.3, respectivamente,
y Cataluña, Asturias y Baleares con una puntuación promedio de 5.92, 5.86
y 5.85, respectivamente. Por lo tanto, cabe preguntarse si el diseño de las
pruebas podría ser un factor explicativo de estas diferencias.

Estas inconsistencias permiten preguntarse si los otros cuatro

bloques de contenidos, o destrezas lingüísticas, son evaluados en todas las
comunidades autónomas y de qué manera. Aunque, a grandes rasgos, todas
las administraciones implicadas hacen referencia a estos componentes,
varios autores (Martín-Martín, 2012; Suárez-Álvarez et al., 2014) señalan la
necesidad de analizar las pruebas de acceso a la universidad para determinar
si responden a las directrices MCER.

Las inconsistencias mencionadas, y alguna otra que señalaremos

más adelante, podrían estar generando un impacto potencial en el futuro
académico de los estudiantes examinados debido a dos circunstancias. Se
trata, por una parte, de la tasa de ocupación2 en las universidades, cercana al
89.8% (Sistema Integrado de Información Universitaria, 2019). Por otra, de la
posibilidad de que los aspirantes puedan elegir la comunidad autónoma y, por
consiguiente, la universidad en la que cursar sus estudios. En consecuencia,
estas dos circunstancias hacen que el acceso a la universidad, especialmente
a las carreras profesionales y académicas más demandadas, sea un recurso
público y escaso. Por ello, debería ser una exigencia que la estructura de las
pruebas de las distintas comunidades autónomas fuese similar.

Aunque en la Constitución Española no se mencionan expresamente

los principios que deben regular el acceso a la universidad, se podrían
aplicar, por analogía, los principios reguladores del acceso a la función
pública. Tal y como ocurre en este último caso, las plazas universitarias
son un bien público y escaso en el que hay más aspirantes a disfrutarlo
que posibilidades de satisfacción. En efecto, en el artículo 103.3 de la

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 239 12/11/2020 11:17:20

 240 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Constitución Española, contemplado en el título IV sobre el Gobierno y la

Administración, se establece que:

La ley regulará el estatuto de los funcionarios públicos, el acceso

a la función pública de acuerdo con los principios de mérito y capacidad,
las peculiaridades del ejercicio de su derecho a sindicación, el sistema de
incompatibilidades y las garantías para la imparcialidad en el ejercicio de sus
funciones. (art. 103, CE 1978)

Desde el punto de vista de la legalidad vigente, estos principios deberían

aplicarse por analogía al acceso a la universidad. Todos los estudiantes
deberían tener los mismos derechos y las mismas oportunidades de acceso,
respetándose los principios de igualdad, mérito y capacidad. Estos principios
excluyen la posibilidad de que dos estudiantes con el mismo nivel de
conocimientos, méritos y capacidades tengan diferente probabilidad de acceder
a la universidad por presentarse en comunidades autónomas diferentes.

En consecuencia, este estudio considera el principio de igualdad como

aquel que reconoce que todos los estudiantes deben ser tratados de la misma
forma por la ley y por la aplicación práctica de la misma, considerando sus
méritos y sus capacidades personales, independientemente de cuáles sean
sus circunstancias o su procedencia geográfica. Dicho en otras palabras, en
igualdad de condiciones todos deben tener la misma probabilidad de acceso
a la universidad.

Por todo ello, el propósito general de este trabajo es determinar si

puede establecerse una relación entre el rendimiento promedio obtenido
por los examinados de las diferentes comunidades autónomas y el diseño
de las pruebas de Lengua Extranjera-Inglés con las que son evaluados. El
rendimiento se operacionaliza a través de la medida del resultado promedio
obtenido por los estudiantes de una misma comunidad autónoma en la
prueba de Lengua Extranjera-Inglés que da acceso a la universidad. En
cuanto al diseño de la prueba se operacionaliza a través de la descripción
pormenorizada de su estructura, enumeraciones de las destrezas lingüísticas
que pretende medir, número y tipo de preguntas que utiliza para evaluarlas
y puntuación que le otorga a cada una de ellas.

Se destacan 3 objetivos específicos en este estudio:

• Determinar si las pruebas de Lengua Extranjera-Inglés que se

diseñan para la EvAU en las distintas comunidades autónomas
están en consonancia con las directrices que establece el currículo
de Bachillerato y con el MCER.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 240 12/11/2020 11:17:20

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 241
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

• Determinar si las pruebas de Lengua Extranjera-Inglés que se

diseñan para la EvAU en las distintas comunidades autónomas
tienen un contenido, una forma de corrección y puntuación
similares y comparables.

• Describir y ordenar los resultados de rendimiento promedio

obtenido por los aspirantes en las pruebas y relacionar estos
rendimientos con las diferencias de diseño observadas.

MÉTODO

Se trata de un diseño no experimental y transversal de carácter

descriptivo y comparado, que incluye un análisis de datos secundarios o
secondary research.

Para abordar el primer objetivo específico, se estudió la estructura de

las pruebas de 17 comunidades autónomas mediante el análisis descriptivo-
analítico de 68 exámenes, correspondientes a las convocatorias ordinaria y
extraordinaria, opción A y B, de 2017. Se utilizó una metodología comparada
en la que se realiza una adaptación del enfoque planteado por García-
Garrido (1991). Las dos etapas principales establecidas por ese autor son,
la fase analítica (o descriptiva) y la fase sintética (o comparativa).

• En la fase descriptiva o analítica se recopilaron los datos necesarios

de fuentes primarias según cuatro criterios de selección rigurosos:
ámbito del objeto de estudio, contexto, tiempo y espacio.

Tabla 2
Fuentes de información y documentación analizada

Fuentes primarias Información analizada

Reales Decretos
Ministerio de Decretos
Legislación
Educación Órdenes
Resoluciones
Organismos Pruebas de Lengua Extranjera-Inglés
Universidades
nacionales para el acceso a la universidad
Association of Language Testers in Eu-
Marco Común Europeo rope (ALTE). Modelos de pruebas de:
de Referencias para las • Inglés General
Organismos in-
Lenguas (MCER) • ACLES
ternacionales
• Trinity
Pruebas estandarizadas • IELTS
• TOEFL

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 241 12/11/2020 11:17:20

 242 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Fuente: elaboración propia

Se realizó una revisión del marco legal vigente que regula el acceso
a la universidad en España, tanto a nivel nacional como autonómico.
Seguidamente se compilaron las pruebas de Inglés que se aplicaron en el
año 2017, en las convocatorias ordinaria y extraordinaria, y se examinaron,
clasificaron y evaluaron los datos referidos al contenido.

En la fase comparativa, o sintética, se establecieron tres niveles de

concreción (dimensión, parámetro e indicador) que permitieron delimitar
el objeto de estudio (Tabla 3).

Tabla 3
Sistema de unidades de comparación

Dimensión Parámetro Indicador

Nº de palabras del texto

Optatividad
Bloque: Comprensión Nº de ítems
de textos escritos. Tipo de tareas a realizar
Reading Puntuación otorgada a cada tarea
sobre el total (sobre 10 puntos)
Puntuación esperada por azar
Nº de ítems
Tipo de tareas a realizar
Bloque: Comprensión Puntuación otorgada a cada tarea
de textos orales. Liste- sobre el total (sobre 10 puntos)
ning Existencia de penalización en los
errores
Puntuación esperada por azar
ESTRUCTURA
GENERAL Nº de ítems
Tipo de tareas a realizar
Tipo de evaluación
Bloque: Producción de
Nº de palabras requeridas
textos escritos. Writing
Optatividad
Puntuación otorgada a cada tarea
sobre el total (sobre 10 puntos)
Bloque: Producción de
-
textos orales. Speaking
Nº de ítems
Tipo de tareas a realizar
Bloque: Contenidos
Optatividad
sintáctico-discursivos
Puntuación otorgada a cada tarea
sobre el total (sobre 10 puntos)

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 242 12/11/2020 11:17:20

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 243
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Dimensión Parámetro Indicador

% Reading
Ponderación (%) de
% Listening
cada bloque de conte-
EVALUACIÓN % Speaking
nidos sobre la puntua-
% Writing
ción total
% Contenidos sintáctico-discursivos

Fuente: elaboración propia

Posteriormente, se diseñó una pauta de registro ad hoc para organizar

la información. Con el programa ATLAS.ti 8.0 se codificó y categorizó la
información y se comparó con el peso que tiene cada uno de los bloques de
contenidos en cada una de las pruebas. En cada prueba se analizaron los
ítems y se clasificaron en función de su formato (número, tipología, carácter
obligatorio u optativo y puntuación).

Como documentación de referencia para valorar los ítems en cada

versión de la EvAU se hizo uso de varias fuentes. Por una parte, la guía
del usuario para examinadores (ALTE, 2005) y, por otro lado, el análisis
de pruebas internacionales estandarizadas (Inglés General, ACLES, Trinity,
IELTS y TOEFL).

Para el segundo objetivo específico se hizo uso de los datos publicados

anualmente por el Sistema Integrado de Información Universitaria. Se
recogió información de las calificaciones promedio obtenidas por los
aspirantes en la prueba en función de la comunidad autónoma en la que la
realizaron.

Finalmente, se analizó la posible relación entre el rendimiento

promedio y la estructura de las pruebas comparando por comunidades
autónomas.

RESULTADOS

Los resultados se presentan en dos secciones: por un lado, los referentes

a la estructura de las pruebas y su adecuación al MCER y, por otro, los que
aluden al rendimiento promedio obtenido por los aspirantes en las mismas
y su posible relación con la estructura de las pruebas.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 243 12/11/2020 11:17:20

 244 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Resultados referentes a la estructura de las pruebas

En un primer punto los resultados se presentan agrupados en cinco

categorías: comprensión de textos escritos, comprensión de textos orales,
producción de textos escritos, producción de textos orales y contenidos
sintáctico-discursivos.

Seguidamente, se presenta la ponderación de cada una de las

agrupaciones de contenidos sobre la puntuación total de la prueba en cada
una de las comunidades.

Por último, se valora si las pruebas se adecúan a las directrices

establecidas por el MCER.

Bloque: Comprensión de textos escritos (Reading)

Este bloque está orientado a evaluar la comprensión global de un texto

dado. El usuario con un nivel B1 debe “leer textos sencillos sobre hechos
concretos que tratan sobre temas relacionados con su especialidad con un
nivel de comprensión satisfactorio” (Consejo de Europa, 2001, p. 72).

Según la normativa el texto que evalúa la comprensión lectora puede

ser de índole informativa, argumentativa, descriptiva o narrativa, e ir
acompañado por algún tipo de apoyo visual, a través de multi-textos, sobre
noticias reales, textos inferenciales, estímulos icónicos, etc. Sin embargo, la
realidad es que en todas las comunidades las pruebas evalúan un solo tipo
de texto y sin apoyo visual. Según la ALTE, los textos deben ser auténticos,
escritos por nativos y proceder de periódicos o revistas. Se trata de evaluar
el uso de la lengua en la vida real, y no el conocimiento de la lengua
como estructura. Estos textos podrán adaptarse para que los aspirantes
comprendan los elementos sociales y culturales que están implícitos. Las
pruebas de Baleares, Canarias, Cantabria, Castilla-La Mancha, Cataluña, La
Rioja y la Comunidad Valenciana especifican en la misma prueba de dónde
ha sido extraído y adaptado el texto. En todos los casos se trata de textos
procedentes de medios de comunicación.

La longitud del texto cambia de unas a otras comunidades. En

doce comunidades el texto tiene entre 200 y 300 palabras mientras que, en
Canarias, Baleares, Navarra y Cantabria el texto se sitúa en una horquilla
entre 300 y 400. En el caso de Cataluña, se presenta un texto de una mayor
longitud con alrededor de 500 palabras. A pesar de que el MCER no establece
un número determinado de palabras para cada nivel, los exámenes de Inglés
General y ACLES para el nivel B1 se aproximan a las 200 palabras, mientras

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 244 12/11/2020 11:17:20

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 245
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

que el Trinity College ISE I presenta en torno a las 400 y IELTS y TOEFL-
ibt unas 700. Hay que indicar que estos últimos están diseñados para medir
diferentes niveles a partir del mismo texto.

En cuanto a la optatividad, las preguntas del Reading son obligatorias

en todas las comunidades excepto en Canarias, que incluye ítems optativos.

La puntuación asignada a este bloque por comunidades autónomas

varía entre 3 y 7 puntos, tal y como se puede observar en la columna
“puntuación total” de la tabla 4.

En las dos últimas columnas de la misma tabla se ha incluido el cálculo

de la puntuación esperada al contestar por azar, por cada tarea y en el total
de la prueba. Ese cálculo se corresponde con lo siguiente:

Si hacemos N= número de ítems, n= número de opciones de respuesta,

uij es la puntuación obtenida por la respuesta i (correcta o incorrecta) en el
ítem j, cuando no se penalizan los errores, u0i= 0 con lo que, si n fuese 4,
tendríamos:

En Asturias y en Galicia, debido al tipo de preguntas que se plantean

en sus pruebas, la probabilidad de contestar bien al azar es inapreciable. En
Cataluña, única comunidad donde se penalizan los errores, la probabilidad
de responder bien al azar queda neutralizada por el algoritmo de calificación.
En el resto de las comunidades autónomas, sobre un total de 10 puntos, la
puntuación esperada al responder por azar varía desde .375 en Murcia hasta
1.916 en Cantabria. Desde cualquier punto de vista se trata de una diferencia
excesivamente grande.

En la Tabla 4 se recoge la información más relevante, referida a los

tipos de ítems empleados y los tipos de tareas que se piden.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 245 12/11/2020 11:17:20

 246 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Tabla 4
Análisis del bloque: “Comprensión de textos escritos. Reading”. Año 2017
Puntuación
Nº de Tipo Puntuación esperada
Comunidad palabras Nº de por azar
Optatividad de
autónoma del ítems
texto tarea Por Por
tarea Total tarea Total
2 EM 1 .25
Andalucía 250-280 No 10 4 VF 2 4 1 1,25
4 LV 1 -
2 VF 2 1
Aragón 200-250 No 8 2 PA 2 5 - 1
4 LV 1 -
Asturias 300 No 4 4 PA 4 4 - 0
2 VF 1 .5
Baleares 350-400 No 7 1 PA 1 3 - .5
4 LV 1 -
3 VF 1.5 .75
Canarias 320-345 Sí 6 3 .75
3 LV 1.5 -
5 VF 2.5 1.25
Cantabria 350-400 No 14 5 LV 1.5 6 - 1.916
4 EM 2 .666
Castilla-La 4 VF 2 1
250-280 No 8 3 1
Mancha 4 LV 1 -
1 PA 2 -
Castilla y 3 VF 1.5 .75
200 No 9 6 .9165
León 1 EM 0.5 .1665
5 LV 2 -
Cataluña 500 No 8 8 EM 4 4 0 0
2 PA 2 -
Comunidad 3 VF 1.5 .75
200-250 No 12 6 1.25
Valenciana 4 LV 1 -
3 EM 1.5 .5
2 VF 2
Extremadura 250-280 No 5 3.5 1 1
3 LV 1.5
1 RS 1 -
Galicia 300 No 7 4 LV 1 4 - 0
2 PA 2 -
2 VF 2 1
Madrid 300 No 8 2 PA 2 5 - 1
4 LV 1 -

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 246 12/11/2020 11:17:20

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 247
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Puntuación
Nº de Tipo Puntuación esperada
Comunidad palabras Optatividad Nº de de por azar
autónoma del ítems
texto tarea Por Por
tarea Total tarea Total
5 LV 1 -
Murcia 250-280 No 8 2 EM 1.5 4.5 .375 .375
1 PA 2 -
2 PA 2 -
Navarra 350-400 No 11 4 VF 2 5 1 1
5 LV 1 -
4 PA 4 -
País Vasco 300 No 10 2 VF 2 7 1 1
4 LV 1 -
6 EM 3 1
4 LV 1 -
Rioja (La) 300 No 18 6 1
4 RH 1 -
4 PA 1 -

EM: Elección múltiple

PA: Pregunta abierta
VF: Verdadero o falso
LV: Localización de vocabulario
RS: Resumen
RH: Relleno de huecos
Fuente: elaboración propia

Por tipo de ítems y tareas se observa lo siguiente:

• Elección múltiple. Andalucía, Cataluña y Murcia diseñan ítems con

4 opciones de respuesta y solo una correcta, mientras que Cantabria,
Castilla y León, la Comunidad Valenciana y La Rioja los diseñan con
3 alternativas. Este tipo de ítems se evalúan con una puntuación
de entre .5 (Castilla y León) y 4 puntos (Cataluña). En todos los
casos los ítems no son interdependientes, los distractores son lo
suficientemente plausibles y no están redactados de forma negativa.

La prueba de Lengua Extranjera-Inglés debe medir el grado de

conocimientos o destrezas lingüísticas que tienen los aspirantes,
por lo tanto, se espera que si un alumno no sabe ninguna respuesta
debe obtener un cero. Sin embargo, las pruebas que se diseñan en
algunas comunidades autónomas no penalizan los errores en los
ítems de opción múltiple de manera que pueden responder bien
por azar.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 247 12/11/2020 11:17:20

 248 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Cataluña, donde se utilizan 8 ítems, es la única que penaliza cada

respuesta errónea. El cálculo de la penalización responde al siguiente
algoritmo: como este bloque tiene un valor máximo de 4 puntos
y se evalúa con 8 ítems, a cada ítem respondido correctamente
le corresponde .5 puntos. En un ítem de n alternativas y una sola
correcta, la esperanza matemática para una respuesta por azar
debería ser cero. Luego

u0= penalización por error

u1= 0,5=puntuación por respuesta correcta

Para el caso de n=4, y u1 = 0,5, u0 = -0,166.

Esta es una diferencia importante respecto de otras comunidades

autónomas que no penalizan los errores, por lo que la esperanza al
responder por azar es distinta de cero.

• Verdadero o falso. Doce comunidades autónomas utilizan este tipo

de ítems. En 7 de ellas se debe indicar la frase literal que aparece
en el texto como respuesta a la pregunta, mientras que en el País
Vasco hay que justificarlo con palabras propias. En Andalucía y
Baleares se puede elegir entre ambas opciones y en Castilla y León
y en la Comunidad Valenciana basta con indicar la línea donde se
encuentra la evidencia. La puntuación otorgada a las preguntas de
verdadero o falso varía entre 1.5 y 2 puntos a excepción de Baleares
en donde se otorga únicamente 1 punto. Como en el caso de las
preguntas de opción múltiple también deberían penalizarse los
errores. En las dos últimas columnas de la tabla pueden verse las
importantes diferencias que existen entre las comunidades en este
apartado.

• Localización de vocabulario. Es la tarea que aparece con más

frecuencia en el conjunto de las pruebas de todas las comunidades

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 248 12/11/2020 11:17:21

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 249
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

autónomas. Todas las comunidades autónomas, a excepción de

Asturias y Cataluña, incluyen ítems de localización de sinónimos
o antónimos o palabras que tengan el mismo significado que una
expresión dada. Cabe destacar que la dificultad no es la misma en
todas las comunidades autónomas dado que en algunas se indica
el número del párrafo en el que se encuentra la palabra que hay
que encontrar como ocurre en Cantabria, Madrid y Navarra lo que
facilita la tarea. En el caso de Canarias se indica la línea exacta y se
demanda escribir una frase para evaluar la producción escrita. Su
valor, en la mayoría de las pruebas, es de 1 o 1.5 puntos, excepto en
Castilla y León donde se valoran con 2 puntos a estos ítems.

• Relleno de huecos. La Rioja evalúa la riqueza léxica, la capacidad

de encontrar palabras literales en el texto, deducir su significado y
adaptarlas a un nuevo contexto a través de ítems de este tipo con un
valor de la pregunta de 1 punto.

• Pregunta abierta. Diez comunidades autónomas utilizan este tipo

de ítems para medir el grado de comprensión lectora. El valor de
esta pregunta varía desde 1 (Baleares y La Rioja) hasta 4 puntos
(Asturias y País Vasco). Asturias solo utiliza 4 preguntas de este tipo
para evaluar este bloque de contenidos referido a la comprensión
lectora.

• Resumen. Galicia es la única comunidad autónoma en la que se

solicita un resumen de 50 palabras. Su valor es de 1 punto.

Las pruebas estandarizadas que tomamos como referencia utilizan

preguntas cerradas y objetivas para medir la comprensión lectora:
preguntas de elección múltiple, de emparejamiento, etc. Por el
contrario, se observa que diez comunidades autónomas utilizan
en sus pruebas preguntas abiertas donde los aspirantes utilizan
su propio lenguaje y entra en juego la ortografía, la exactitud de
la respuesta y, por tanto, el juicio humano del evaluador. En este
sentido, la ventaja de utilizar ítems de opción múltiple es que se
aísla el componente de comprensión lectora y se evita medir el
componente de expresión escrita, es decir, son independientes de la
capacidad de escritura, tal y como establece el MCER.

Bloque: Comprensión de textos orales (Listening)

En el MCER se establece “En las actividades de comprensión auditiva,

el usuario de la lengua como oyente recibe y procesa una información de

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 249 12/11/2020 11:17:21

 250 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

entrada (input) en forma de enunciado emitida por uno o más hablantes”

(Consejo de Europa, 2001, p. 68). El usuario con nivel B1 debe:

Comprender información concreta relativa a temas cotidianos o al

trabajo e identifica tanto el mensaje general como los detalles específicos
siempre que el discurso esté articulado con claridad y con un acento normal.

Comprender las principales ideas de un discurso claro y en lengua

estándar que trate temas cotidianos relativos al trabajo, la escuela, el tiempo
de ocio, incluyendo breves narraciones. (Consejo de Europa, 2001, p. 69)

Al analizar este bloque de contenidos, se observa que solo dos

comunidades autónomas evalúan la comprensión auditiva: Cataluña y
Galicia. Ambas lo hacen a través de ítems de opción múltiple; sin embargo,
existen diferencias sustanciales entre ambas.

Un aspecto destacable es que las pruebas internacionales que tomamos

como referencia utilizan monólogos o entrevistas (se escuchan varias veces)
y utilizan preguntas cerradas para medir el grado de comprensión lectora
a través de preguntas de elección múltiple con 3 o 4 respuestas posibles,
relleno de huecos, verdadero o falso (Inglés General) y emparejamiento de
frases (ACLES). En la prueba de Trinity es el examinador el que realiza
preguntas de comprensión auditiva vinculadas al audio. Ambas se ajustan al
nivel B1 ya que el Listening consiste en una entrevista donde los personajes
son de sexo opuesto, lo que facilita el nivel de comprensión auditiva.

En Cataluña se propone una actividad en la que se emite una

conversación o un programa de radio. En las instrucciones se indica que, en
primer lugar, se realiza una lectura previa de las preguntas y, a continuación,
se procede a escuchar la grabación una única vez. Se han de contestar 8
ítems de opción múltiple con 4 alternativas de respuesta. El valor total de
este bloque es de 2 puntos. Como en Cataluña cada respuesta acertada tiene
un valor de 0.25, aplicando la expresión anterior para u0

Y esta es la penalización que allí se aplica por respuesta errónea.

Por otro lado, en Galicia se propone una actividad en la que se emite
una conversación entre varias personas. En primer lugar, se realiza una
lectura previa de las preguntas (2 minutos) y, a continuación, se procede a
escuchar la grabación hasta 3 veces. Se han de contestar 10 preguntas de
opción múltiple con 3 posibles respuestas. Los errores no penalizan y la
puntuación otorgada a este bloque es de 1 punto. La puntuación esperada

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 250 12/11/2020 11:17:21

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 251
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

que pueden obtener los aspirantes al responder por azar es de .333 puntos.
Otra vez una diferencia importante. Incluso en estas comunidades, que son
las únicas que incluyen este bloque, encontramos diferencias importantes.
Para que los resultados fuesen formalmente equiparables, en Galicia
deberían penalizar los errores, igual que en Cataluña, pues de otro modo
los resultados están parcialmente sobrevalorados. A eso hemos de añadir
la dificultad adicional en las pruebas de Cataluña en donde la audición se
produce una sola vez.

Bloque: Producción de textos escritos (Writing)

En las actividades de expresión escrita, un usuario con un nivel B1

debería “escribir textos sencillos y cohesionados sobre una serie de temas
cotidianos dentro de su campo de interés enlazando una serie de distintos
elementos breves en una secuencia lineal” (Consejo de Europa, 2001, p. 64).

La actividad principal en este bloque es la redacción de un texto. La

longitud varía en extensión en función de la comunidad autónoma en la
que se realice la prueba. En este sentido, tal y como muestra la Tabla 5, en
nueve comunidades autónomas se pide una redacción de entre 80 y 125
palabras, mientras que, en otras siete (Baleares, Cantabria, País Vasco,
Valencia, Madrid, La Rioja y Navarra), ha de tener una longitud de entre
120 y 150. En Murcia se solicitan dos redacciones de entre 25 y 50 palabras
cada una. Extremadura, Cataluña, Canarias, País Vasco y Navarra ofrecen
varias alternativas a elegir una.

Como referencia, los exámenes de Inglés General, ACLES y Trinity

College ISE I para el nivel B1 demandan textos de entre 100 y 140 palabras.
Estas pruebas también incluyen tareas de contenidos sintáctico-discursivos.
A pesar de que el MCER no establece un número determinado de palabras
para cada nivel, las pruebas de las comunidades autónomas se adaptan al
marco común a excepción de la que se desarrolla en Murcia. De hecho,
no parece posible demostrar un adecuado nivel de expresión escrita
produciendo un texto tan breve.

Tabla 5
Análisis del bloque: “Producción de textos escritos. Writing”. Año 2017
Nº de Puntuación
Tipo Nº de
Comunidad Nº de Optativ- opciones
de Evaluación palabras Por
autónoma ítems idad a elegir/ Total
tarea requeridas tarea
totales
Andalucía 1 1 RTX Holística 120 No - 3 3

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 251 12/11/2020 11:17:21

 252 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Nº de Puntuación
Tipo Nº de
Comunidad Nº de Optativ- opciones
de Evaluación palabras Por
autónoma ítems idad a elegir/ Total
tarea requeridas tarea
totales
Aragón 1 1 RTX Holística 80-120 No - 3 3
Asturias 1 1 RTX Holística 100-120 No - 4 4
Baleares 1 1 RTX Holística 120-150 No - 4 4
6-20/situa-
4 CS Sí 4/6 2
Canarias 5 Analítica ción 5
1 RTX Sí 1/2 3
100-120
Cantabria 1 1 RTX Analítica 120-150 No - 4 4
Castilla-La
1 1 RTX Holística 125 No - 3 3
Mancha
Castilla y
1 1 RTX Holística 100-120 No - 3 3
León
Cataluña 1 1 RTX Holística 100 Sí 1/2 4 4
Comunidad
1 1 RTX Analítica 130-150 No - 4 4
Valenciana
Extrema- 1 RTX 80 Sí 3
2 Analítica 1/2 4
dura 1 CS 20 No 1
Galicia 1 1 RTX Holística 120 No - 3 3
Madrid 1 1 RTX Holística 100-150 No - 3 3
Murcia 1 1 RTX Analítica 25-50 No - 2 2
Navarra 1 1 RTX Holística 150 Sí 1/2 3 3
País Vasco 1 1 RTX Analítica 130 Sí - 3 3
1 RTX 140 3
Rioja (La) 2 Holística No - 4
1 RTX 30-50 1

RTX: Redacción de un texto

CS: Comentario de una situación dada
Fuente: elaboración propia

Otra tarea del examen es el comentario de una o varias situaciones

(Canarias) que en ocasiones es la continuación de un diálogo (Extremadura)
o la redacción de un texto complementario con menor extensión (La Rioja).
Sin embargo, la tarea de Canarias tiene carácter optativo, es decir, se deben
elegir 4 situaciones de 6 dadas.

La puntuación estipulada para este bloque de contenidos en las

diferentes pruebas varía entre 3 y 4 puntos, por lo que no se observan
diferencias sustanciales entre comunidades autónomas a excepción de
Canarias donde se otorgan hasta 5 puntos sobre 10.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 252 12/11/2020 11:17:21

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 253
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

No es posible analizar los ítems de producción de forma independiente

a sus criterios de evaluación, es decir, los ítems de producción necesitan su
regla o norma de corrección. Todas las comunidades autónomas utilizan
criterios de corrección como la riqueza léxica, organización, coherencia,
vocabulario, etc. tal y como establece la ALTE. Sin embargo, no todas las
pruebas establecen los mismos instrumentos para evaluar este tipo de
ítems. La mayoría de las comunidades autónomas los evalúan a través de
evaluaciones holísticas, es decir, globales, con menor nivel de especificidad
y, por tanto, más subjetivas. Por el contrario, en Canarias, Cantabria,
Valencia, Extremadura, Murcia y País Vasco se evalúan estos ítems a través
de un proceso analítico. Para ello se dispone de una rúbrica en la que se
desglosan los criterios observables para cada nivel de ejecución aportando
un mayor detalle y objetividad a las respuestas.

Puede verse en definitiva que en este bloque hay también diferencias

importantes entre las comunidades, tanto en la valoración total del bloque,
en las tareas requeridas en el mismo, como en las formas de evaluación. No
puede decirse tampoco que haya equivalencia formal entre las comunidades.

Bloque: Producción de textos orales (Speaking)

La producción de textos orales, Speaking, no se evalúa en ninguna

comunidad autónoma, por lo tanto, no cubren las destrezas orales que
establece el MCER para la adquisición de una lengua extranjera. En ningún
documento oficial de los analizados se justifica que no se deba evaluar esta
destreza.

Por otro lado, la evaluación de la expresión oral en las pruebas

internacionales como en la de Inglés General, ACLES o Trinity se realiza
a través de varias tareas como entrevistas personales, diálogos con
interlocutores y compañeros y descripción de fotografías, dando respuesta
a las directrices del MCER.

Ciertamente hay razones de dificultades logísticas para el desarrollo

de un bloque como este. Sin embargo, no se aprecia ningún esfuerzo por
suplir estas carencias con alguna alternativa más factible. En contra de lo
que se establece en la normativa este bloque queda vacío de contenido en
la EvAU.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 253 12/11/2020 11:17:21

 254 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Bloque: Contenidos sintáctico-discursivos

Este bloque incluye la sección de gramática (morfología, sintaxis y

fonología) en la que se evalúa el conocimiento sobre la lengua.

La mayoría de las comunidades autónomas evalúa este bloque a

excepción de Cantabria, Cataluña, Valencia, País Vasco y La Rioja (Tabla 6).

Tabla 6
Análisis de los “Contenidos sintáctico-discursivos”. Año 2017

Puntuación
Comunidad Tipo de Total
Nº de ítems Optatividad Por
autónoma tarea del
ítem
bloque
4 RH 1
Andalucía 8 No 3
4 RO 2
Aragón 4 4 RO No 2 2
4 RH 1
Asturias 8 No 2
4 RO 1
4 RH 1
Baleares 10 2 RO No 1 3
4 FN 1
Canarias 8 8 RH No 2 2
6 RO 3
Castilla-La Mancha 10 No 4
4 FN 1
Castilla y León 2 2 RO No 1 1
Extremadura 2 2 RO No 1.5 y 1 2.5
Galicia 2 2 RO No 2 2
6 RH 1.5
Madrid 7 No 2
1 RO 0.5
4 RO 2
Murcia 10 No 3.5
6 RH 1.5
Navarra 8 8 RH No 2 2

RH: Relleno de huecos

RO: Reformulación de oraciones
FN: Fonología

Fuente: elaboración propia

Los ítems que se utilizan para medir el conocimiento sobre la gramática

son de tres tipos:

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 254 12/11/2020 11:17:21

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 255
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

• Rellenar huecos. Siete comunidades autónomas utilizan este tipo de

ítems donde tienen que completar espacios con diferentes formas
verbales, preposiciones o una serie de palabras dadas.

En el caso de Canarias, se deben completar espacios que forman

parte de un diálogo, simulando una conversación.

En el caso de Asturias, el número de sustantivos que podrían llenar

el espacio vacío es considerable (things, reasons, motifs, incentives,
etc.).

“Why become an au-pair? There are many (A)_____ but perhaps the
first and (B)_____ important is the opportunity to travel…”

En los casos de Andalucía, Baleares, Madrid o Navarra se

proporciona al aspirante una serie de palabras clave, como en las
pruebas de:

“She is very good_____(preposition) singing” o “Don’t go to school

if you…(don’t/couldn’t/will/may not) feel well”.

• Reformulación o transformación gramatical de oraciones. Más de

la mitad de las comunidades autónomas demanda transformar
oraciones utilizando un pronombre relativo, el estilo indirecto o la
pasiva, entre otras.

• Fonología. Se espera que los aspirantes reconozcan e interpreten

los fonemas o sonidos. Únicamente dos comunidades autónomas
presentan ítems relacionados con la fonología: Baleares y Castilla-La
Mancha.

Los ítems que evalúan este bloque de contenidos sintáctico-

discursivos tienen carácter obligatorio en todas las comunidades autónomas.
La puntuación otorgada a este bloque varía entre 1 (Castilla y León) y 4
puntos (Castilla-La Mancha).

De nuevo son relevantes las diferencias tanto en puntuación como en

las tareas requeridas.

Ponderación de cada bloque de contenidos

En la Figura 1 se muestra la ponderación, en términos porcentuales, de

cada bloque sobre la puntuación total. El bloque de contenidos que más peso

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 255 12/11/2020 11:17:21

 256 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

tiene en la mayoría de las comunidades autónomas es el de comprensión de

textos escritos, Reading.

Figura 1
Ponderación de cada bloque de contenidos

En las pruebas internacionales, cada bloque de contenidos representa

un 25% del total de la prueba, mientras que los contenidos sintáctico-
discursivos se evalúan de forma implícita dentro de cada uno de los
anteriores. En contraste con esas pruebas, y tal y como se indicó en la tabla
I, el peso del Reading más el Listening en la prueba de Lengua Extranjera-
Inglés debería ser del 60% mientras que el Speaking y el Writing debería ser
del 40%. Sin embargo, se puede observar que ninguna comunidad autónoma
diseña sus pruebas en consonancia con las directrices establecidas en
la normativa (Orden Ministerial ECD 1941/2016) dado que el peso varía
significativamente.

Valoración de la adecuación de las pruebas a las directrices

establecidas por el MCER y por las pruebas internacionales
estandarizadas

En resumen, podemos decir que ninguna de las 17 pruebas se adapta,

en su totalidad, a las directrices establecidas por el MCER ni a las pruebas
internacionales estandarizadas que hemos tomado como referencia y que
son generalmente aceptadas como un estándar de hecho (Figura 2).

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 256 12/11/2020 11:17:22

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 257
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Figura 2
Síntesis del grado de adecuación de las pruebas a las
directrices establecidas por el MCER
Contenidos
Comunidad autónoma Reading Listening Speaking Writing sintáctico-
discursivos
Andalucía  
Aragón   
Asturias *  
Baleares  
Canarias  
Cantabria 
Castilla-La Mancha  
Castilla y León  
Cataluña 
Comunidad Valenciana 
Extremadura 
Galicia * 
Madrid  
Murcia  
Navarra  
País Vasco 
Rioja (La)  
Criterios:
 No se penalizan los errores de elección múltiple
 Preguntas abiertas sin rúbricas de corrección Completo
 Optatividad en el nº de ítems a realizar Parcial: no se adapta en un
criterio
 Evaluación general y holística Incompleto: no se adapta en
≥2 criterios
 Número de palabras requeridas insuficiente No se evalúa
 Redacción inadecuada de ítems
* En los casos de Asturias y Galicia, un solo criterio da lugar a un grado de adaptación incompleto
en Reading dado que la primera evalúa este bloque únicamente a través de preguntas abiertas mien-
tras que la segunda lo hace, en mayor proporción, a través de preguntas abiertas y un resumen.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 257 12/11/2020 11:17:22

 258 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

En función de los análisis realizados en este estudio y los resultados

obtenidos, se puede afirmar que ninguna de las 17 pruebas, en su totalidad,
cumple con las características propias de un examen que tiene la finalidad
de determinar si los estudiantes son aptos para cursar la enseñanza superior
universitaria, en primer lugar, y establecer un orden de prioridad en la
elección de centros y estudios. Sin embargo, los componentes Reading y
Listening de la prueba de Cataluña, así como los componentes Writing y
los contenidos sintáctico-discursivos de la prueba de Extremadura son los
que muestran un mayor grado de adaptación al MCER. Por el contrario, las
pruebas que menos se adaptan al MCER son las diseñadas en la Comunidad
Valenciana, Murcia y La Rioja.

Paralelamente, tras este análisis se pueden clasificar las pruebas en

función de su facilidad, de manera que las más sencillas son aquellas que
solo evalúan Reading y Writing, que se caracterizan por tener ítems optativos
y que la puntuación esperada por azar es mayor: País Vasco, Cantabria, La
Rioja, Comunidad Valenciana, Navarra, Aragón, Canarias y Murcia. Por el
contrario, las más complejas son aquellas que evalúan más de dos destrezas
lingüísticas, que utilizan únicamente preguntas abiertas para medir el grado
de adquisición de alguna de las habilidades y que la puntuación esperada
por azar es menor: Asturias, Baleares y Cataluña.

Resultados referentes a las posibles relaciones que puedan existir

entre el rendimiento promedio y la estructura de las pruebas

Como ya hemos señalado, para cualquier alumno debería ser

indiferente para sus probabilidades de éxito en la elección de centro y
carrera, el lugar en donde realiza su prueba de acceso a la universidad. Sin
embargo, hemos visto que las diferencias formales entre comunidades son
muy importantes, puesto que no es lo mismo que se requiera la elaboración
de una composición de 150 palabras (Valencia, Madrid o Navarra) o de 25,
tal y como ocurre en Murcia. En este apartado tratamos de comprobar si
las diferencias aparentes en dificultad son concomitantes con diferencias
en rendimiento medio de los alumnos. En este contexto, entendemos el
concepto de dificultad como la complejidad del contenido de las pruebas o
la carga de trabajo que suponen las tareas asignadas al estudiante. Si este
fuera el caso, no podríamos descartar que las diferencias en rendimiento se
debiesen a diferencias en estructura y dificultad.

En la Tabla 7 presentamos los resultados promedio en cada comunidad

autónoma junto con una indicación del nivel de facilidad aparente de las
pruebas y de las puntuaciones esperadas por simple azar en cada caso.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 258 12/11/2020 11:17:22

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 259
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Tabla 7
Relación entre la estructura de las pruebas de Lengua Extranjera-Inglés y el
rendimiento promedio obtenido por los examinados en las mismas en el año
2017

Nivel de faci- Puntuación Nota media

Comunidad Nota media
lidad de las esperada por final espe-
autónoma obtenida
pruebas azar rada
País Vasco 7.44   1 6.44
Cantabria 7.4   1.916 5.484
Rioja (La) 7.3   1 6.3
Comunidad
7.17   1.25 5.92
Valenciana
Navarra 7.11   1 6.11
Aragón 6.85   1 5.85
Canarias 6.83   .75 6.08
Andalucía 6.78   1.25 5.53

Extremadura 6.71   1 5.71

Galicia 6.65   .333 6.317

Madrid 6.63   1 5.63

Castilla y León 6.45   .9165 5.5335

Castilla-La
6.15   1 5.15
Mancha
Murcia 6.14   .375 5.765
Cataluña 5.92   0 5.92
Asturias 5.86   0 5.86
Baleares 5.85   .5 5.35

Fuente: elaboración propia

Nivel alto de facilidad

Nivel medio de facilidad
Nivel bajo de facilidad

Se observan tres categorías de casos distintos, junto a las posibles

características de las pruebas que pueden estar afectando a las puntuaciones
de los aspirantes:

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 259 12/11/2020 11:17:22

 260 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

• Las puntuaciones promedio más altas (>7). Estas se corresponden

con las pruebas cuyo nivel de facilidad es mayor por disponer de las
siguientes características:

— Las cuatro comunidades autónomas con mayor promedio son

las únicas que no evalúan el bloque de contenidos sintáctico-
discursivos en sus pruebas.

— En tres de ellas se establecen criterios de corrección analíticos

para el Writing.

— Lo más importante de todo, tienen una puntuación esperada

por azar alta.

Destacan tres excepciones por tener otras características que

influyen en que el nivel de facilidad de las pruebas sea mayor:

— Aragón: única prueba en la que el evaluador puede bonificar

o penalizar con 1 punto al aspirante desde su punto de vista
en función del buen uso de la lengua o el número de faltas
en el Writing, lo que otorga mayor subjetividad al proceso de
corrección.

— Canarias: única prueba en la que se da opción de elegir entre

varios ítems, en el Reading, o entre varias opciones, en el Writing.

— Murcia: única prueba en la que se exige una menor longitud en

el Writing (de 25 a 50 palabras).

• Las puntuaciones promedio (6-7) que se mantienen en la media.

• Las puntuaciones promedio bajas (<6). Estas se corresponden con

las pruebas cuyo nivel de facilidad es menor por tener las siguientes
características:

— Tienen una puntuación esperada por azar baja: la de Cataluña

y Asturias es 0.

— Asturias, junto a Galicia, son las únicas que utilizan preguntas

abiertas para evaluar el Reading.

— Cataluña, junto a Galicia, son las únicas que evalúan el

Listening. Sin embargo, Galicia no penaliza los errores en los
ítems de opción múltiple, lo que podría ser compatible con una

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 260 12/11/2020 11:17:22

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 261
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

explicación de por qué los estudiantes gallegos obtengan un

promedio mayor que los de Cataluña e incluso que los de otras
comunidades autónomas.

DISCUSIÓN Y CONCLUSIONES

El presente estudio aporta evidencias acerca de los tres objetivos

específicos que se plantean sobre la prueba de Lengua Extranjera-Inglés:
si se cumplen las directrices marcadas en normativa, si existen diferencias
significativas en su diseño y estructura entre las comunidades autónomas
y si cabe la posibilidad de que las diferencias observadas en el rendimiento
promedio de los estudiantes por comunidades autónomas estén producidas
por las diferencias en el diseño de las pruebas.

Una primera conclusión es la relacionada con el primer objetivo

específico que se plantea en este estudio: ninguna comunidad autónoma
cumple con las directrices establecidas en el currículo (Real Decreto
1105/2014) ni en el MCER. En ambos documentos, que sirven como
pilares fundamentales para el diseño de las pruebas de Lengua Extranjera-
Inglés, se establece la medición de cuatro destrezas lingüísticas para la
obtención de cualquiera de los niveles que establece el Consejo de Europa
(2001). Sin embargo, ninguna comunidad autónoma evalúa la producción
oral, o Speaking, mientras que solo Galicia y Cataluña incorporan ítems
para medir la comprensión auditiva, o Listening. En esta misma línea,
solo Castilla-La Mancha y Baleares contemplan ítems dirigidos a medir
la competencia fonológica. Pero, incluso en estas dos comunidades, la
medida de esta competencia se hace desde una perspectiva mecánica y con
una presentación desligada de la producción oral. Esta inadecuación de la
producción oral fue resaltada en los estudios de Palomeque (2015), Tamayo-
Beritán y Fernández-Terry (2017) y Erreyes y García (2017). En cualquier
caso, en estas comunidades en las que se consideran estas competencias
ligadas a la comprensión y producción oral, aunque de manera parcial o
insuficiente, la puntuación otorgada a estos ejercicios no supera el 20% del
total de la prueba. En consecuencia, la comprensión y la producción oral no
forman parte sustantiva de la estructura de la prueba. Esta carencia tiene
consecuencias negativas a medio y largo plazo. Por una parte, cabe destacar
que la enseñanza en la etapa de bachillerato se ciñe a la preparación de
los contenidos evaluables en la EvAU por lo que los contenidos que no se
evalúan en el acceso a la universidad terminan difuminándose y pierden
relevancia. En efecto, este hecho ha sido señalado por Sevilla-Pavón et al.,
2017 y los de Sevilla-Pavón et al., 2017. Por otra parte, y como consecuencia
de lo anterior, el contexto universitario se ve afectado debido a que muchos
de los estudiantes acceden con un nivel inferior al esperado en comprensión

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 261 12/11/2020 11:17:22

 262 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

y expresión oral del inglés, tan necesario en estudios superiores. La

exclusión de dimensiones esenciales de la comunicación en una segunda
lengua en la prueba EVAU, y como efecto perverso de la enseñanza para el
examen, aumenta el riesgo de convertir la asignatura de lengua extranjera
en la fase final del bachillerato en una preparación libresca y desligada de la
función comunicativa de una lengua viva. En esta línea, autores como Lee
y Greene (2015), Harrington y Roche (2014) y Carlsen (2018), aconsejan la
inclusión, tanto en la etapa de formación preuniversitaria como en la misma
universidad, de la evaluación del componente oral en las pruebas de Lengua
Extranjera-Inglés.

Una segunda conclusión está relacionada con el segundo objetivo

específico que se plantea en este estudio: las pruebas de Lengua Extranjera-
Inglés que se diseñan para la EvAU en las distintas comunidades autónomas
no son equiparables, esto es, aunque dicen medir el mismo constructo no lo
hacen. Tras el análisis de las 68 pruebas recogidas, se comprueba que existen
diferencias sustanciales en el contenido, en las formas de corrección y en las
puntuaciones otorgadas a cada destreza lingüística. Es más, en la evaluación
de la comprensión lectora, o Reading, se utilizan 6 tipos de ítems diferentes:
elección múltiple, verdadero o falso, localización de vocabulario, relleno de
huecos, preguntas abiertas y resumen. Esto implica que, con algunos tipos
de ítems los aspirantes únicamente tienen que mostrar su comprensión
lectora, mientras que con otros tienen que mostrar, además, su capacidad
para expresarse por escrito. En algunas comunidades autónomas se evalúa
el Reading combinando estos tipos de ítems por lo que, consecuentemente,
la comprensión lectora no se evalúa de manera independiente de la
expresión escrita. Este hecho dificulta que el peso otorgado a cada uno
de los bloques de contenidos en cada una de las pruebas se ajuste al peso
orientativo que establece la normativa (Orden ECD/1941/2016). Desde un
punto de vista psicométrico, esta evaluación conjunta resulta inapropiada
porque no se determina el nivel real de comprensión lectora al penalizar
a un estudiante por su déficit en escritura. La falta de independencia de
la medida de la capacidad de comprensión lectora y de la capacidad de
expresión escrita ya fue puesta de manifiesto por Esteban (2017) y Molina
et al. (2018). En este sentido, solo en Cataluña se evalúan las dos destrezas
de forma independiente a través de ítems objetivos de elección múltiple.
Sería deseable que todas las comunidades autónomas utilizaran el mismo
tipo de ítems para medir las competencias y, además, que las competencias
a medir estuviesen claramente diferenciadas evitando todo lo posible que
interfiera el dominio de una de ellas en la ejecución de otra. El uso de este
tipo de ítems de respuesta cerrada para medir la comprensión lectora y
de preguntas abiertas para la expresión escrita podría ser una cuestión a
considerar para conseguir esa independencia de las competencias.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 262 12/11/2020 11:17:22

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 263
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Todo lo anterior nos lleva a concluir que no se está midiendo un mismo

constructo en todas las comunidades autónomas. Desde el punto de vista de
la estructura y composición de las pruebas analizadas, de ningún modo puede
sostenerse que haya una unidad de composición teórica de los exámenes
utilizados. Por lo tanto, no se puede asumir que un mismo alumno pudiese
obtener calificaciones equiparables si hipotéticamente se sometiese a más de
uno de estos exámenes. Consecuentemente, estas pruebas no cumplen con
la función de igualación de oportunidades que, supuestamente, tienen. Si
esta falta de equivalencia es un hecho, pierde todo su sentido y justificación
la idea de que exista una prueba común para determinar el orden y modo
de acceso de los aspirantes a las plazas universitarias. Para la mayoría de los
estudiantes que tratan de acceder a universidades de su propia comunidad
autónoma, la consecuencia de esta disparidad es que el nivel de inglés con
el que se accede a la universidad puede variar sustancialmente de una a
otra comunidad autónoma. Esto, unido a diferencias encontradas en otros
estudios similares al que aquí se presenta (Ruiz-Lázaro y González, 2017),
lleva a que a largo plazo el efecto de la disparidad sobre el rendimiento en la
universidad pueda incrementarse, llegando, en último extremo, a conformar
grupos de universidades de primera y de segunda.

Una tercera conclusión está relacionada con el tercer objetivo

específico que se plantea en este estudio: las diferencias observadas
en el rendimiento promedio de los estudiantes en la prueba de Lengua
Extranjera-Inglés de la EvAU son concomitantes con las diferencias
observadas en el diseño de la misma. Aunque se trata supuestamente del
mismo constructo, las proporciones de los contenidos que evalúa la prueba
de cada comunidad, así como el formato de los ítems impiden su adecuada
comparación al no estar estandarizadas. Por lo tanto, con 17 conjuntos
de pruebas diferentes y una gran variedad de ítems, existen diferencias
importantes en el rendimiento promedio de los aspirantes que se asocian
con las diferencias estructurales de las pruebas. Estos resultados coinciden
con los que Ruiz-Lázaro y González (2017) destacaron en un estudio
similar comparando las pruebas de Lengua Castellana y Literatura. Si,
como las evidencias sugieren, se puede estar obteniendo un mayor o menor
rendimiento promedio debido a la estructura de la prueba aplicada en cada
comunidad autónoma, entonces, los aspirantes pueden verse beneficiados o
perjudicados para ser aceptados en las universidades por motivos ajenos a
su desempeño en el examen. Desde un punto de vista técnico, estas pruebas
deberían cumplir con las características técnicas de fiabilidad y validez. En
cuanto a la fiabilidad, se debería controlar la subjetividad del evaluador a la
hora de corregir, estableciendo pruebas con el mayor grado de objetividad
posible. Por otra parte, deberían utilizarse algoritmos de puntuación
que contemplasen la corrección del efecto del azar. Como hemos visto,
Cataluña es la única comunidad en la que se penalizan los errores. Pero, en

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 263 12/11/2020 11:17:22

 264 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

cualquier caso, en todas las comunidades autónomas debería utilizarse el

mismo procedimiento, pues de otra forma se generan importantes agravios
comparativos.

Un ejercicio que aporta mucha luz sobre esta última cuestión es el

cálculo de la nota media cuando se compensan las respuestas por azar. En
efecto, si hacemos,

resulta que la nota promedio obtenida en todas las comunidades

autónomas es más homogénea. Las diferencias se reducirían desde una
amplitud de 1.59 puntos (7.44 correspondiente al País Vasco y 5.85 a Islas
Baleares) a una diferencia máxima de 1.29 puntos (5.15 puntos en Castilla-La
Mancha y 6.44 en el País Vasco). Solo con esta corrección se produciría
una disminución relevante en la variabilidad de los resultados observados,
por lo que la puntuación esperada en cada comunidad autónoma estaría
más equilibrada. Esto parece indicar que, si se establecieran unos criterios
comunes en cuanto al diseño, estructura construcción y calificación de las
pruebas, se podría subsanar el agravio comparativo entre aspirantes de
las diferentes comunidades autónomas. Este podría ser un paso para, de
algún modo, garantizar la homogeneización y estandarización tanto de las
pruebas como de los resultados promedio para cumplir con el objetivo de
equidad para todos los aspirantes españoles. Por supuesto, el objetivo no
tiene que ser la desaparición de las diferencias en rendimiento medio de los
alumnos de las distintas comunidades autónomas, sino que las diferencias
que se observen sean diferencias reales en preparación y conocimientos y no
diferencias artificiales producidas por deficiencias en la coordinación entre
las administraciones públicas implicadas.

En cuanto a las limitaciones de este estudio, todas ellas se derivan de las

características específicas del mismo. Se trata de un estudio no experimental
y, por tanto, las relaciones observadas podrían tener una naturaleza
espuria debido a que no se ha manipulado la variable independiente. Así,
mientras que en los estudios experimentales la seguridad de las relaciones
causales se basa, fundamentalmente, en el supuesto de independencia de
la asignación de los tratamientos y las variables de respuesta (según el
paradigma Neyman–Rubin, (Rubin, 1974; Holland, 1986)), en los estudios
no experimentales esa seguridad es menor. Esto quiere decir que, en estos
últimos, la consistencia entre las observaciones y las explicaciones teóricas
ofrecidas es la que aporta seguridad en las conclusiones obviando cualquier
explicación causal alternativa. Asimismo, el paradigma de Suppes (1970)
determina que un evento A es causa de B si, además de darse ciertas
condiciones, no existe un evento C que sea explicación alternativa de

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 264 12/11/2020 11:17:23

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 265
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

B. En esta línea y en el contexto de este trabajo, la seguridad de que las

diferencias en el rendimiento medio son producidas por la heterogeneidad
de los exámenes está asociada a nuestra seguridad de que no existe una
explicación alternativa que lo justifique como, por ejemplo, que los alumnos
de las comunidades que obtienen un rendimiento medio más alto lo hagan
porque el sistema educativo de esas comunidades sea claramente superior o
porque sus capacidades difieran significativamente. Un modo de solventar
esta limitación sería aplicando la misma prueba a una muestra aleatoria de
sujetos de las distintas comunidades autónomas. Algo así sería posible solo
si una decisión de orden político apoyase tal medida.

En relación con la limitación anterior, y por tratarse de un estudio

secundario de datos, el modo y procedimiento de recogida de la información
no fue planificado por los autores del presente estudio. Por lo tanto, al ser
otra la finalidad de la recogida de la información, no se han recogido los
datos de forma aleatoria. Sin embargo, un atenuante para esta limitación es
que se trata de un estudio censal y se cuenta con estadísticas publicadas de
todos los alumnos evaluados en las convocatorias analizadas.

Otro aspecto importante es la limitación temporal del estudio. Los

datos analizados proceden de las convocatorias, ordinaria y extraordinaria
del año 2017. En la medida en la que se produzcan cambios en los modos de
diseño y construcción de las pruebas EvAU estos resultados podrían quedar
obsoletos. Sin embargo, la relativa constancia de los procedimientos de
evaluación desde que comenzó la aplicación de pruebas para ordenar el
acceso a la universidad proporciona cierta garantía de que los resultados aquí
obtenidos no son una anécdota puntual sino una tendencia con una cierta
constancia en el tiempo. Como prospectiva y para atenuar esta limitación,
este estudio podría complementarse con otro de carácter causal en el que
se considerasen varias cohortes de estudiantes o momentos de aplicación
de las pruebas, de forma que se pudiera analizar la descomposición de la
varianza en las puntuaciones promedio de las comunidades autónomas en
diferentes momentos temporales y los motivos que la provocan.

Por último y en relación con las aportaciones de Freedman (2002),

la naturaleza agregada de los datos evidencia la peligrosidad de la falacia
ecológica, es decir, de afirmar que lo que es verdad para los grupos agregados
(en este caso las comunidades autónomas) sea verdad para los subgrupos o
los individuos. Ciertamente, cabe la posibilidad de que algunos subgrupos
específicos de sujetos hubiesen obtenido resultados similares sin importar
con qué prueba hubiesen sido evaluados, como por ejemplo aquellos con
altas capacidades o aquellos con mayores necesidades de preparación. En
ambos casos, no importaría la comunidad autónoma en la que hubiesen

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 265 12/11/2020 11:17:23

 266 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

sido evaluados ya que sus resultados hubiesen sido similares en cualquiera

de ellas.

En definitiva, este trabajo muestra una heterogeneidad de las pruebas

entre comunidades autónomas y una discrepancia, mayor o menor,
pero nunca coincidencia, de cada una de las pruebas con el MCER. En
consecuencia, el acuerdo entre las comunidades autónomas y el gobierno
central es urgente con el fin de elaborar una prueba de acceso a la
universidad que garantice el principio de igualdad. Esto quiere decir que la
igualdad de oportunidades sea efectiva y garantice que las diferencias en el
ingreso a cualquier universidad pública de España se deban, únicamente, a
diferencias en los conocimientos y en el desempeño de los aspirantes en las
pruebas y no a otros factores relacionados con características propias de los
instrumentos utilizados para medirlos.

NOTAS
1 Este estudio forma parte de una tesis doctoral financiada por la Universidad Complutense
de Madrid y el Banco Santander a través de una ayuda para contratos predoctorales de
personal investigador en formación (Referencia CT27/16-CT28/16) dentro del Programa de
Financiación UCM-Santander 2016.

2 Relación porcentual entre la matrícula de nuevo ingreso por preinscripción y el número de

plazas ofertadas.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 266 12/11/2020 11:17:23

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 267
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

REFERENCIAS BIBLIOGRÁFICAS

ALTE (2005). Materials for the guidance Erreyes, H.M.B., y García, T.M.B.
of test item writers. https://bit. (2017). Las competencias linguísticas
ly/2OzYMLL español-inglés en el sistema educativo
ecuatoriano.  REFCalE: Revista
Amengual-Pizarro, M. & Méndez,
Electrónica Formación y Calidad
M. C. (2012). Implementing the
Educativa, 5(2), 33-42.
Oral English Task in the Spanish
University Admission Examination: Esteban, A. (2017). Estado actual de la
an International Perspective of the comprensión lectora en Educación
Language. Revista de Educación, 357, Primaria. Revista Fuentes, 19(1),
105-128. 15-38. http://dx.doi.org/10.12795/
revistafuentes.2017.19.1.01
Bueno, M.C. y Luque, G. (2012).
Competencias en lengua extranjera Freedman, D.A. (2002). The Ecological
exigibles en la Prueba de Acceso a Fallacy. University of California.
la Universidad: una propuesta para
García-Garrido, J.L. (1991).
la evaluación de los aspectos orales.
Fundamentos de Educación
Revista de Educación, 357, 81-104.
Comparada. Dykinson.
Carroll, J.B. (1961). Fundamental
García-Laborda, J. (2012). Presentación.
considerations in testing English
De la Selectividad a la Prueba de
proficiency of foreign students. In
Acceso a la Universidad: pasado,
Testing the English Proficiency of
presente y un futuro no muy lejano.
Foreign Students, (pp. 30–40). Center
Revista de Educación, 357, 17-27.
for Applied Linguistics.
Harrington, M. & Roche, T. (2014).
Carlsen, C.H. (2018). The Adequacy of
Identifying academically at-risk
the B2 Level as University Entrance
students in an English-as-a-Lingua-
Requirement. Language Assessment
Franca university setting. Journal of
Quarterly. http://dx.doi.org/10.1080/
English for Academic Purposes, 15,
15434303.2017.1405962
37–47. http://dx.doi.org/10.1016/j.
Consejo de Europa (2001). Marco jeap.2014.05.003
Común Europeo de Referencia para
Holland, P.W. (1986). Statistics and
las Lenguas: aprendizaje, enseñanza,
Causal Inference. Journal of the
evaluación. Anaya.
American Statistical Association,
Constitución Española (1978). Boletín 81(396), 945-960. http://dx.doi.org/10.
Oficial del Estado, 29 de diciembre de 1080/01621459.1986.10478354
1978, núm. 311, 29313 a 29424.
Lado, R. (1961). Language Testing.
Díez-Bedmar, M.B. (2012). The Use of McGraw-Hill.
the Common European Framework of
Lee, Y. & Greene, J. (2015). The
Reference for Languages to Evaluate
predictive validity of an ESL placement
Compositions in the English Exam
test. Journal of Mixed Methods
Section of the University Admission
Research, 1(4), 366–389. http://dx.doi.
Examination. Revista de Educación,
org/10.1177/1558689807306148
357, 55-80.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 267 12/11/2020 11:17:23

 268 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Martín-Martín, J.M. (2012). El Bachillerato. Boletín Oficial del

conocimiento léxico en la sección Estado, 3, de 3 de enero de 2015,
de inglés de la Prueba de Acceso a la pp.169-546.
Universidad. Revista de Educación,
Real Decreto 310/2016, de 29 de julio,
357, 129-142.
por el que se regulan las evaluaciones
Molina, N.E.C., Velásquez, A.A.R., finales de Educación Secundaria
y Abril, P.E.C. (2018). Rúbricas y Obligatoria y de Bachillerato. Boletín
su incidencia en el desarrollo de Oficial del Estado, 183, de 30 de julio
la destreza del habla en el idioma de 2016, pp.53049-53065.
inglés.  Revista Magazine de las
Real Decreto 1892/2008, de 12 de
Ciencias, 3(2), 83-94.
noviembre, por el que se regulan
Muñoz-Repiso, M., Murillo, F.J., las condiciones para el acceso a las
Arrimadas, I., Navarro, R., Díaz- enseñanzas universitarias oficiales
Caneja, P., Martín, A.I., y Fernández, de grado y los procedimientos de
E. (1997). El sistema de acceso a la admisión a las universidades públicas
universidad en España: tres estudios españolas. Boletín Oficial del Estado,
para aclarar el debate. CIDE. 283, de 24 de noviembre de 2008, pp.
46932-46946.
Orden ECD/1941/2016, de 22 de
diciembre, por la que se determinan las Rubin, D. (1974). Estimating Causal
características, el diseño y el contenido Effects of Treatments in Randomized
de la evaluación de Bachillerato para and Nonrandomized Studies. Journal
el acceso a la Universidad, las fechas of Educational Psychology, 66(5),
máximas de realización y de resolución 688-701. http://dx.doi.org/10.1037/
de los procedimientos de revisión de h0037350
las calificaciones obtenidas, para el
Ruiz-Lázaro, J. y González, C. (2017).
curso 2016/2017. Boletín Oficial del
Análisis de la Prueba de Lengua
Estado, 309, de 23 de diciembre de
Castellana y Literatura que da acceso
2016, pp.89890-89949.
a la universidad: comparación entre
Palomeque, N.G. (2015). El desarrollo las comunidades autónomas. Bordón.
de la competencia comunicativa: Revista de Pedagogía, 69(3), 175-195.
una mirada hacia la formación de
Sevilla-Pavón, A., García-Laborda, J., y
maestros.  Revista de la Facultad de
Gimeno-Sanz, A.M. (2017). Actitudes
Educación, 22, 65-70.
de los profesores de la Comunidad
Real Decreto-ley 5/2016, de 9 de Valenciana ante la tipología de
diciembre, de medidas urgentes ejercicios para la evaluación asistida
para la ampliación del calendario por ordenador de las destrezas orales
de implantación de la Ley Orgánica en la futura Prueba de Acceso a la
8/2013, de 9 de diciembre, para la Universidad.  Educacao e Pesquisa,
mejora de la calidad educativa. Boletín 43(4), 1-18.
Oficial del Estado, 298, de 10 de
Sevilla-Pavón, A., Gimeno-Sanz, A., y
noviembre de 2016, pp.86168-86174.
García-Laborda, J. (2017). Actitudes
Real Decreto 1105/2014, de 26 de docentes hacia los ejercicios de la
diciembre, por el que se establece Prueba de Acceso a la Universidad
el currículo básico de la Educación informatizada. Educação e
Secundaria Obligatoria y del Pesquisa, 43(4), 1179-1200.

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 268 12/11/2020 11:17:23

 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO 269
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

Sistema Integrado de Información expresión oral en inglés de las Pruebas

Universitaria (2017). Estadísticas de de Acceso a la Universidad. Ministerio
las Pruebas de Acceso a la Universidad. de Educación, Cultura y Deporte.
Ministerio de Educación, Cultura y
Suppes, P. (1970). A Probabilistic
Deporte.
Theory of Causality. North-Holland
Sistema Integrado de Información Publishing.
Universitaria (2019). Estadística de
Tamayo-Beritán, AL. y Fernández-
Universidades, Centros y Titulaciones.
Terry, J.A. (2017). La importancia de
Curso 2018-2019. Ministerio de
diseñar instrumentos eficaces para
Educación, Cultura y Deporte.
evaluar la habilidad oral en el Idioma
Suárez-Álvarez, J., González-Prieto, C., Inglés.  Educación y Sociedad,  15(1),
Fernández-Alonso, R., Gil, G., y Muñiz, 121-135.
J. (2014). Evaluación psicométrica de la

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 269 12/11/2020 11:17:23

 270 JUDIT RUIZ-LÁZARO, CORAL GONZÁLEZ BARBERA, JOSÉ-LUIS GAVIRIA SOTO
LAS PRUEBAS DE INGLÉS PARA ACCEDER A LA UNIVERSIDAD. UNA COMPARACIÓN ENTRE...

PERFIL ACADÉMICO Y PROFESIONAL DE LOS AUTORES

Judit Ruiz-Lázaro. ORCID: http://orcid.org/0000-0003-2036-0428

Personal Investigador en Formación en el Departamento de

Investigación y Psicología en Educación (área de Métodos de Investigación
y Diagnóstico en Educación) en la Universidad Complutense de Madrid.
Actualmente realiza su tesis doctoral centrada en la evaluación del acceso
a la universidad, en la misma universidad. Es miembro del grupo de
investigación Medida de Evaluación y Sistemas Educativos (MESE). E-mail:
[email protected]

Coral González Barbera. ORCID: http://orcid.org/0000-0002-1947-6303

Doctora en Educación por la Universidad Complutense (2003).

Profesora titular en el Departamento de Investigación y Psicología en
Educación (área de Métodos de Investigación y Diagnóstico en Educación).
Principal línea de interés: rendimiento académico y elementos con los que
se relaciona. Miembro del grupo de investigación Medida de Evaluación y
Sistemas Educativos (MESE) desde su consolidación. E-mail: corala@ucm.
es

José-Luis Gaviria Soto. ORCID: http://orcid.org/0000-0002-7398-9943

Doctor en Filosofía y Ciencias de la Educación (UCM) desde 1988

en el Departamento de Investigación y Psicología en Educación (área de
Métodos de Investigación y Diagnóstico en Educación) en la Universidad
Complutense de Madrid. Especial interés en los problemas metodológicos
de la evaluación educativa. Es miembro del grupo de investigación Medida
de Evaluación y Sistemas Educativos (MESE). E-mail: josechogs@gmail.
com

Fecha Recepción del Artículo: 17. Febrero. 2020

Fecha Modificación del Artículo: 04. Junio. 2020
Fecha Aceptación del Artículo: 08. Junio. 2020
Fecha Revisión para Publicación: 24. Junio. 2020

Facultad de Educación. UNED Educación XX1. 24.1, 2021, pp. 233-270

03_2020_24-01_Educ_XX1_Capitulos.indd 270 12/11/2020 11:17:23