![]
4 Qualidade das questões
1
IES 2 2
IES 3
IES 1 INEP
Elaboração dos itens O Inep
realiza parcerias com instituições IES 4 Banco Nacional de itens (BNI) É
de educação superior interessadas gerenciado pelo INEP e consiste em um
em elaborar e revisar itens para sistema de banco de dados no qual os
a composição das provas do Enem.
IES 5 itens de provas são armazenados de forma
O objetivo dessas parcerias é segura. Esses itens ficam disponíveis para
aumentar a participação da a construção de provas. A manutenção do
comunidade acadêmica de todo BNI depende da entrada constante de itens
o Brasil nos processos de avaliação de qualidade.
educacional, agregando experiência,
conhecimento e diversidade.
TEORIA
DE RESPOSTA
AO ITEM
(TRI) Dificuldade 3
Discriminação
4 Probabilidade
de acerto ao
TEORIA B) acaso
CLÁSSICA A)
D)
DOS TESTES C)
E)
Pré-teste O pré-teste consiste na
(TCT)
aplicação de um conjunto de itens a uma
amostra de alunos com características
semelhantes às da população para a qual a
Análise depois do Pré-teste A partir
prova se destina. É a forma empírica de se avaliar
das respostas dos alunos, realiza-se uma
a qualidade técnico-pedagógica e psicométrica
série de análises estatísticas e pedagógicas;
dos itens. Essa etapa tem como objetivo
por exemplo, avaliam-se a dificuldade do
captar subsídios importantes para aumentar
item, a capacidade de discriminação e
a precisão da prova que será aplicada a milhões
a possibilidade de acerto ao acaso. Depois
de participantes do Enem.
dessas análises, as questões que atendem
aos critérios ficam disponíveis para a
montagem das provas, e as demais questões
são descartadas ou encaminhadas para
reformulação. 5 Elaboração das provas
Durante a seleção dos itens
para a composição de uma
2
A=B +C 144 3+4+5 prova, os índices psicométricos
obtidos a partir do pré-teste são
utilizados. Outras características
Questão adequada
consideradas são: conteúdo
Encaminhada ao Banco
abordado, temática e habilidade
Nacional de Itens e utilizada
da matriz de referência.
para a elaboração das provas.
Questão inadequada
Retorna para reformulação
ou descarte.
Entenda a sua
21
Nota no Enem
Guia do Participante](https://image.slidesharecdn.com/83142298c152cae604419464d7ba0c63-130316174247-phpapp02/85/Mude-de-Rumo-antes-que-seja-tarde-23-320.jpg)
Mude de Rumo antes que seja tarde
- 1. ENTENDA A SUA NOTA NO ENEM GUIA DO PARTICIPANTE 100 95 75 25 5 0
- 2. 100 Presidência da República Federativa do Brasil 95 75 Ministério da Educação Secretaria Executiva 25 Instituto Nacional de Estudos e Pesquisas 5 Educacionais Anísio Teixeira (Inep) 0
- 3. ENTENDA A SUA NOTA NO ENEM GUIA DO PARTICIPANTE Brasília-DF 2012
- 4. Equipe Técnica Camila Akemi Karino Eduardo Carvalho Sousa Coordenação-Geral de Instrumentos e Medidas Diretoria de Avaliação da Educação Básica (Daeb) Adriano Ferreti Borgatto Dalton Francisco de Andrade Universidade Federal de Santa Catarina Equipe de Editoração José Miguel dos Santos Marcos Hartwich Diretoria de Estudos Educacionais (Dired)
- 5. SUMÁRIO 1 apresentação............................................................................................................... 5 2 INTRODUÇÃO..................................................................................................................... 7 3 Calculando as notas............................................................................................ 11 4 Qualidade das questões..................................................................................... 21 5 Relação entre a nota da TRI e o número de acertos................. 25 6 Composição das notas........................................................................................ 27 7 Avaliações que utilizam a TRI........................................................................ 27 8 Principais dúvidas sobre a nota do Enem............................................ 29 9 Entendendo tecnicamente a nota da TRI.............................................. 31 10 Referências bibliográficas............................................................................ 33
- 7. 1 APRESENTAÇÃO Prezado Participante, Passadas as provas do Exame Nacional do Ensino Médio (Enem), para as quais você dedicou grande parte do seu tempo se preparando, vem a expectativa do resultado, ou seja, das notas. Este é um momento muito importante para você e sua família, afinal, é com a nota que você se candidata a vagas em Instituições Públicas de Ensino Superior e a programas do Governo como, por exemplo, o Programa Universidade para Todos (Prouni) e o Fundo de Financiamento Estudantil (Fies). Tendo em vista que o Enem utiliza uma metodologia de correção das questões objetivas, a Teoria de Resposta ao Item (TRI), que é diferente da metodologia clássica, nós do MEC e do Inep entendemos que é um direito seu conhecer e entender o sistema de correção utilizado no Enem. Esse é o objetivo deste Guia do Participante – Entenda a sua nota no Enem. Esperamos, dessa forma, contribuir para dirimir as dúvidas que você possa ter em relação à sua nota nas questões objetivas, da mesma forma como fizemos com o Guia do Participante – A redação no Enem 2012. Contamos com sua participação para que possamos aprimorar este Guia em edições futuras e esperamos que suas notas tenham refletido todo seu esforço, dedicação e tempo de estudo, e que possam proporcionar o alcance de seus sonhos e objetivos. Luiz Cláudio Costa Presidente do Inep Entenda a sua 5 Nota no Enem Guia do Participante
- 9. 2 INTRODUÇÃO Como é calculada a minha nota no Enem? Por que acertei mais questões este ano do que no ano anterior e a minha nota é menor? Qual é o peso de cada questão do Enem? Por que quem acerta todas as questões não recebe nota 1000 ou os que erram todas não têm nota zero? Para lhe ajudar, esta cartilha foi elaborada com objetivo de esclarecer suas dúvidas. O Enem é uma prova em que a nota não é calculada da mesma forma como estamos acostumados nas salas de aula. Por isso, muitos participantes têm dificuldade para entendê-la. Nas avaliações, normalmente, as nossas notas são calculadas de “0 a 10” ou de “0 a 100”, e a forma de calcular a nota é simples, bastando somar as questões corretas na prova. Imaginemos que um professor elabore uma prova com 10 questões, para avaliar o conhecimento dos seus alunos de Matemática, em que cada questão vale um ponto. Ao final da prova, o Aluno A e o Aluno B acertaram seis questões, porém não acertaram exatamente as mesmas questões. Será que os alunos deveriam receber a mesma nota? Será que os dois alunos possuem o mesmo conhecimento de Matemática? Assumir que todas as questões fornecem a mesma quantidade de informação sobre o conhecimento que o participante domina não é a melhor opção metodológica. Há questões que representam melhor o que está sendo avaliado do que outras e há questões que informam mais. A Teoria de Resposta ao Item (TRI) capta isso. Neste texto, explicaremos o cálculo da nota da prova objetiva, uma vez que a nota da redação é calculada de outra forma, já explicada no Guia do Participante: A redação no Enem 2012.1 Na prova objetiva do Enem, a nota não é calculada levando-se em conta somente o número de questões corretas, mas também a coerência das respostas do participante diante do conjunto das questões que formam a prova realizada. Essa coerência será discutida mais adiante. Essa nota é atribuída em uma métrica (escala) criada especialmente para o Enem pelo Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep), com o objetivo de medir o 1 Disponível em: <http://download.inep.gov.br/educacao_basica/enem/downloads/2012/guia_ participante_redacao_enem2012.pdf>. Entenda a sua 7 Nota no Enem Guia do Participante
- 10. conhecimento (proficiência) do participante em quatro áreas: Matemática e suas Tecnologias; Linguagens, Códigos e suas Tecnologias; Ciências da Natureza e suas Tecnologias; e Ciências Humanas e suas Tecnologias. Na avaliação do conhecimento, a unidade de medida se expressa por meio do conjunto de itens pertencentes a uma escala de proficiência; assim, os parâmetros dos itens são estabelecidos previamente. A proficiência é verificada a partir da análise do perfil das respostas do participante a esse conjunto de itens. No Enem, para medir o conhecimento do participante, a prova é elaborada com 45 questões em cada área do conhecimento, segundo a matriz de referência do Exame, que toma como base os documentos oficiais que subsidiam o ensino médio. O Inep criou uma escala para cada área do conhecimento. Isso quer dizer que quatro notas são calculadas, sendo que cada escala depende de dois valores: ƒƒvalor de posição ou de referência, para o qual foi atribuído o valor 500, que representa o desempenho médio dos concluintes do ensino médio da rede pública de 2009 que realizaram o exame naquele ano; ƒƒvalor de dispersão, para o qual foi atribuído o valor 100, que representa uma medida de variabilidade média das notas desses concluintes em relação ao desempenho médio 500. Esse valor é conhecido como desvio padrão. A partir desses dois valores, podemos dizer que um participante com nota 600 apresenta proficiência com uma unidade de desvio padrão acima da proficiência média dos concluintes de 2009. Essa escala poderia ser representada graficamente por uma régua, como a apresentada a seguir, na qual as proficiências e os itens podem ser todos posicionados e seus pontos interpretados pedagogicamente, como veremos mais à frente. Posição de referência 400 500 600 800 300 700 200 Escala de proficiência 8Entenda a sua Nota no Enem Guia do Participante
- 11. O que é uma escala? No contexto educacional, a escala de proficiência é uma forma de estabelecer uma unidade de medida padrão do conhecimento. Sem uma unidade de medida preestalecida, é difícil fazer comparações e julgamento de valor. Para o Enem foram desenvolvidas quatro escalas, uma para cada área do conhecimento. Para medir Como medir o conhecimento, a proficiência em aplicam-se provas Matemática? com itens 1,53 m pertencentes a uma escala de ? proficiência. NOTA: Proficiência é a nota do participante. Entenda a sua 9 Nota no Enem Guia do Participante
- 12. A sua nota na escala (régua) pode assumir qualquer valor no conjunto dos números reais, como, por exemplo, 632,6, 421,8, etc. Outro aspecto importante no cálculo da nota é que as notas mínima (nenhum acerto) e máxima (45 acertos) dependem do grau de dificuldade da prova. Como já comentado, a prova é constituída por um conjunto de itens com parâmetros previamente conhecidos. São esses parâmetros que definem os valores de mínimo e máximo da prova. Assim, quando a prova é composta com muitos itens fáceis, o máximo da prova tenderá a ser mais baixo, e quando ela é composta com muitos itens difíceis, o mínimo tenderá a ser mais alto. Então, está claro que a nota mínima não é “0” e a nota máxima não é 1.000. Em outras palavras, o mínimo e o máximo em cada prova dependem somente das questões que compõem a prova e não de quem as responde. Apesar de as provas poderem apresentar mínimos e máximos diferentes, seus resultados são comparáveis, pois eles são todos calculados na mesma escala construída a partir de uma única matriz de competências. Da mesma forma, a comparação entre os resultados das diferentes áreas deve ser feita em termos pedagógicos, ou seja, a partir da interpretação pedagógica da escala de cada área. Em outras palavras, a comparação entre uma nota 800 em Matemática e suas Tecnologias e uma nota 750 em Ciências da Natureza e suas Tecnologias só deve ser feita em termos de quanto de conhecimento em Matemática e suas Tecnologias e em Ciências da Natureza e suas Tecnologias esses valores representam pedagogicamente. 10Entenda a sua Nota no Enem Guia do Participante
- 13. 3 Calculando as notas Já está claro que a nota no Enem não é calculada usando-se somente o número de acertos, que a nota mínima não é “0” e que a nota máxima não é 1.000, mas como é calculada a nota? A nota do Enem é calculada mediante um modelo matemático da Teoria da Resposta ao Item (TRI), em que cada questão é um item. Essa teoria considera para o cálculo da nota a consistência da resposta segundo o grau de dificuldade de cada questão. Considerando que o cálculo das notas de acordo com a TRI exige um conhecimento avançado de estatística e a utilização de recurso computacional, com o objetivo de ter a máxima confiança nos resultados, os cálculos são realizados de forma independente por três grupos distintos de especialistas, todos profissionais com larga experiência na área e com formação em estatística, matemática e/ou psicometria. Esse procedimento de tripla conferência garante a qualidade dos resultados do Enem. O cálculo da nota exige 6 etapas, apresentadas no infográfico a seguir: Entenda a sua 11 Nota no Enem Guia do Participante
- 14. Aplicação das provas Processamento e constituição Desidentificação das bases de JOÃO 1 das bases de dados dados ABCAABCDE ABCAABCDE MARIA 2 BCDEABDCA BCDEABDCA CARLOS 3 CCDEABCDB CCDEABCDB Envio da base de dados para o cálculo das notas por três equipes de analistas (estatísticos e psicometristas) Equipe 1 Equipe 2 Equipe 3 Conferência Conferência dos dados das dos dados das 1 1 1 três equipes três equipes 600 600 600 2 2 2 700 700 700 3 3 3 800 800 800 Divulgação dos resultados no Portal Enem JOÃO 600 MARIA 700 CARLOS 800 12Entenda a sua Nota no Enem Guia do Participante
- 15. O modelo matemático da TRI usado no Enem (ver detalhes técnicos mais adiante) considera três parâmetros (informações) essenciais para avaliar a qualidade do item e, consequentemente, a qualidade da medida: a) parâmetro de discriminação: é o poder de discriminação que cada questão possui para diferenciar os participantes que dominam dos participantes que não dominam a habilidade avaliada naquela questão (item); b) parâmetro de dificuldade: associado à dificuldade da habilidade avaliada na questão, quanto maior seu valor, mais difícil é a questão. Ele é expresso na mesma escala da proficiência. Em uma prova de qualidade, devemos ter questões de diferentes níveis de dificuldade para avaliar adequadamente os participantes em todos os níveis de conhecimento; c) parâmetro de acerto casual: em provas de múltipla escolha, um partici- pante que não domina a habilidade avaliada em uma determinada questão da prova pode responder corretamente a esse item por acerto casual. Assim, esse parâmetro representa a probabilidade de um participante acertar a questão não dominando a habilidade exigida. 1,0 0,9 0,8 0,7 Probabilidade de acerto a 0,6 0,5 0,4 0,3 c 0,2 Participante A 0,1 0,0 300 400 500 b 600 700 800 Proficiência Gráfico 1 – Curva Característica do Item Fonte: Elaborado pela Daeb/Inep para este Guia. Entenda a sua 13 Nota no Enem Guia do Participante
- 16. O Gráfico 1 apresenta o perfil de uma questão em relação a seus parâmetros. A curva é obtida pelo modelo da TRI e mostra a relação entre a probabilidade de acerto e os parâmetros dos itens e a proficiência do respondente. Podemos notar, então, que somente respondentes com proficiência acima do valor do parâmetro b de dificuldade é que terão alta probabilidade de responder corretamente à questão. Em nosso exemplo, o Participante A, com proficiência em torno de 650, tem, aproximadamente, probabilidade de 0,85 de responder corretamente à questão representada. Em outras palavras, espera-se que 85% dos participantes com proficiência 650 acertem essa questão ou, ainda, que a habilidade avaliada nessa questão seja de domínio da maioria das pessoas que têm proficiência 650 ou mais. O Inep, a partir de pré-testagens nacionais e de algumas aplicações iniciais do Enem, obteve os valores dos parâmetros a, b e c de milhares de questões, montando assim um banco de itens (questões) para cada uma das quatro áreas. A partir do conhecimento dos valores desses parâmetros, as questões são posicionadas na escala (régua), permitindo, desse modo, sua interpretação pedagógica. O posicio- namento de cada questão nos níveis da escala (régua) se dá a partir de critérios probabilísticos, os quais garantem que somente participantes com proficiência igual ou maior que a daquele nível possuem alta probabilidade de responder corretamente às questões que estão nesse nível e em níveis inferiores. Geralmente, o posicionamento do item está um pouco acima do parâmetro de dificuldade, sendo uma combinação dos três parâmetros. A questão é sempre posicionada no valor da régua onde a probabilidade de acerto está próxima de 0,65, o qual representa que participantes neste nível possuem alta probabilidade de dominar o conteúdo da questão. Questões pedagogicamente mais fáceis serão posicionadas na parte inferior da régua e aquelas pedagogicamente mais difíceis serão posicionadas na parte superior da régua. O grande diferencial da TRI é que questões e participantes são posicionados na mesma régua. Na figura a seguir, podemos dizer que o Participante A deve dominar as habilidades avaliadas nas questões 1, 34, 45, 12 e 16, e não dominar aquelas contempladas nas questões 19 e 35. Por sua vez, o Participante B deve dominar somente as habilidades exigidas nas questões 1 e 34. Com isso, podemos dizer que o Participante A deve dominar, além das habilidades contempladas nas questões 1 e 34, que são de domínio do Participante B, também aquelas das questões 12, 16 e 45, portanto sua nota deverá ser maior. 14Entenda a sua Nota no Enem Guia do Participante
- 17. 400 500 600 800 300 700 200 Questão 1 Questão 34 Participante B Questão 45 Questão 12 Questão 16 Participante A Questão 19 Questão 35 NOTA: A escala tem uma interpretação pedagógica, e as questões são posicionadas na régua (escala) de acordo com uma coerência pedagógica. O participante também será posicionado na régua, ou seja, terá sua nota conforme seu conhecimento pedagógico. Isso quer dizer que sua nota não depende das notas dos demais participantes, mas apenas do posicionamento das questões na régua. Para ilustrar a posição das questões na régua, o Inep desenvolveu um mapa de itens por área do conhecimento. Nesse mapa são apresentadas descrições de habilidades avaliadas em questões de provas. Abaixo são apresentadas algumas dessas descrições entre os níveis 650 e 700 de cada escala de proficiência. Você poderá visualizar o mapa completo e alguns itens no site do Inep: www.inep.gov.br Ciências da Natureza e suas Tecnologias 697,2 Avaliar o combustível mais energético em função da densidade e do calor de combustão. 681,2 Aplicar a lei da refração luminosa em materiais de índice de refração negativo. 659,4 Relacionar o fenômeno da difração em ondas luminosas e sonoras em diferentes situações. 650,0 Calcular densidades de amostras que obedeçam a normas internacionais. 15 Entenda a sua Nota no Enem Guia do Participante
- 18. Ciências Humanas e suas Tecnologias 688,9 Analisar com base em gráfico a conquista do voto pelos analfabetos. Identificar mecanismos de controle social no período da República Velha, a partir de 671,2 fragmentos do discurso das oligarquias. 662,5 Identificar a atividade econômica diretamente associada ao desenvolvimento econômico e urbano da Região Centro-Oeste. Identificar os interesses da elite brasileira em manter a estrutura social e política vigente 653,1 no período posterior à Independência do Brasil. Linguagens, Códigos e suas Tecnologias 700,0 Analisar o uso de pronomes pessoais como marca de norma padrão em charge. 665,6 Reconhecer características de hipertextualidade em texto informativo. Reconhecer posicionamento crítico quanto ao uso da variedade não padrão na escrita, 653,1 a partir de texto multimodal. Reconhecer o sentido estabelecido por conectivos em texto literário. 652,3 Entender a temática e o modo de construção do discurso narrativo em texto literário. Matemática e suas Tecnologias Determinar uma expressão algébrica baseada nos termos de uma sequência de figuras 700,0 geométricas (quadrados), atendendo a um padrão de formação, a partir da relação entre o número de lados e o número de figuras. 688,2 Calcular o volume de material necessário para a fabricação de um objeto vazado (cubo). 685,4 Calcular a probabilidade de um evento utilizando dados contidos em tabela de dupla entrada. Determinar, em uma sequência de listas numéricas justapostas na forma 678,1 de um empilhamento triangular, o padrão da soma de seus termos. 16Entenda a sua Nota no Enem Guia do Participante
- 19. No cálculo da nota, o modelo matemático da TRI usado no Enem considera a coerência das respostas corretas do participante. Espera-se que participantes que acertaram as questões difíceis devam também acertar as questões fáceis, pois, entende-se que a aquisição do conhecimento ocorre de forma cumulativa, de modo que habilidades mais complexas requerem o domínio de habilidades mais simples. Lembrando que o posicionamento das questões na escala de proficiência é determinado a partir das respostas dos estudantes. Assim, na régua de Ciências da Natureza, um participante que é capaz de responder a uma questão que exige a avaliação de qual é o combustível mais energético em função da densidade e do calor de combustão (posicionado no nível 697,2 da escala) tem alta probabilidade de responder a uma questão que exige o cálculo de densidade de amostras que obedeçam às normas internacionais, que está posicionada no nível 650 da escala. Por outro lado, se o participante acerta a questão de um nível acima, que utiliza conhecimentos de um nível abaixo, podemos inferir que não existe coerência nas respostas e, dessa forma, os acertos acrescentarão menos na nota do participante. Na régua a seguir, temos as respostas a 10 questões já posicionadas, dadas por dois participantes. Ambos acertaram a mesma quantidade de questões (5), mas o Participante A acertou as questões mais fáceis e, a partir de um certo nível de dificuldade, passou a errar, conforme o esperado pedagogicamente, logo sua nota será maior do que a do Participante B, pois este acertou as questões mais difíceis e errou as mais fáceis. Entende-se, de acordo com o modelo da TRI utilizado no Enem, que foram acertadas “no chute”. Esse controle é devido ao parâmetro de acerto casual. Entenda a sua 17 Nota no Enem Guia do Participante
- 20. Difícil Participante B Participante A Nota Nota 480 800 310 700 600 A coerência pedagógica 500 esperada é que o participante acerte as questões que estão abaixo de seu nível de proficiência. Se a proficiência do Participante B fosse alta, a probabilidade de acerto 400 dos itens fáceis seria grande. Todavia, ele errou os itens fáceis, então sua proficiência não deve ser alta. 300 200 Fácil NOTA: Quando dizemos que o participante acertou uma questão “no chute”, não significa que sua nota irá diminuir, mas ela não tem tanto valor como se o participante tivesse acertado os itens com a coerência pedagógica esperada. Então, sempre é melhor responder à questão do que a deixar em branco, pois uma questão certa sempre aumenta a nota, e uma questão deixada em branco é corrigida como errada. 18Entenda a sua Nota no Enem Guia do Participante
- 21. A ilustração a seguir também exemplifica a coerência esperada. Altura h= 80 cm Dificuldade do Item Item 5 Item 4 Item 3 Item 2 Item 1 Fazendo uma analogia, imagine uma competição de corrida com barreiras cuja altura aumenta ao longo do percurso. Imagine, ainda, um atleta que durante os treinos tenha conseguido saltar barreiras de até 80 centímetros. Espera-se que esse atleta, durante a competição, consiga saltar facilmente as barreiras com altura menor que 80 centímetros e tenha dificuldade para saltar barreiras com altura superior. Da mesma forma, espera-se que um participante apresente, durante a prova, coerência pedagógica em suas respostas. A nota do participante depende somente de seu conhecimento e de seu momento na prova. Ela não depende do desempenho dos outros participantes e nem do desempenho médio dos concluintes regulares de 2009. O valor 500 atribuído a esses participantes de 2009 é utilizado somente como referência para a construção e a interpretação pedagógica da escala na qual sua proficiência (conhecimento) está representada. Depois dessas explicações, podemos voltar à situação da prova com 10 questões, apresentada no início dessa cartilha, na qual os Alunos A e B acertaram seis questões cada. Se o Aluno A acertou as questões mais fáceis – posicionadas na Entenda a sua 19 Nota no Enem Guia do Participante
- 22. parte inferior da régua – e o Aluno B acertou duas questões fáceis, duas intermediárias e duas difíceis, quem terá a maior nota? Se considerarmos o mesmo modelo matemático da TRI que é usado na prova objetiva do Enem, o Aluno A terá maior nota por ter respondido com mais coerência às questões. Podemos afirmar que o Aluno A domina mais o conteúdo abordado na prova, elaborada pelo professor, do que o Aluno B. IMPORTANTE: Para os participantes com o mesmo número de acertos na prova, terá a maior nota quem acertar as questões de forma mais coerente pedagogicamente. 20Entenda a sua Nota no Enem Guia do Participante
- 23. ] 4 Qualidade das questões 1 IES 2 2 IES 3 IES 1 INEP Elaboração dos itens O Inep realiza parcerias com instituições IES 4 Banco Nacional de itens (BNI) É de educação superior interessadas gerenciado pelo INEP e consiste em um em elaborar e revisar itens para sistema de banco de dados no qual os a composição das provas do Enem. IES 5 itens de provas são armazenados de forma O objetivo dessas parcerias é segura. Esses itens ficam disponíveis para aumentar a participação da a construção de provas. A manutenção do comunidade acadêmica de todo BNI depende da entrada constante de itens o Brasil nos processos de avaliação de qualidade. educacional, agregando experiência, conhecimento e diversidade. TEORIA DE RESPOSTA AO ITEM (TRI) Dificuldade 3 Discriminação 4 Probabilidade de acerto ao TEORIA B) acaso CLÁSSICA A) D) DOS TESTES C) E) Pré-teste O pré-teste consiste na (TCT) aplicação de um conjunto de itens a uma amostra de alunos com características semelhantes às da população para a qual a Análise depois do Pré-teste A partir prova se destina. É a forma empírica de se avaliar das respostas dos alunos, realiza-se uma a qualidade técnico-pedagógica e psicométrica série de análises estatísticas e pedagógicas; dos itens. Essa etapa tem como objetivo por exemplo, avaliam-se a dificuldade do captar subsídios importantes para aumentar item, a capacidade de discriminação e a precisão da prova que será aplicada a milhões a possibilidade de acerto ao acaso. Depois de participantes do Enem. dessas análises, as questões que atendem aos critérios ficam disponíveis para a montagem das provas, e as demais questões são descartadas ou encaminhadas para reformulação. 5 Elaboração das provas Durante a seleção dos itens para a composição de uma 2 A=B +C 144 3+4+5 prova, os índices psicométricos obtidos a partir do pré-teste são utilizados. Outras características Questão adequada consideradas são: conteúdo Encaminhada ao Banco abordado, temática e habilidade Nacional de Itens e utilizada da matriz de referência. para a elaboração das provas. Questão inadequada Retorna para reformulação ou descarte. Entenda a sua 21 Nota no Enem Guia do Participante
- 24. Como mencionado, as questões passam por um pré-teste e sua qualidade e seu nível de dificuldade são avaliados pela TRI. As questões que são reprovadas no pré-teste podem retornar para que os elaboradores as aperfeiçoem, e as questões que são aprovadas ficam disponíveis no banco de itens do Inep para serem usadas na prova do Enem, com seus parâmetros já na escala do Exame. Quando o Inep elabora as provas do Enem, são colocadas questões de acordo com a matriz de competências e com o grau de dificuldade estabelecido no pré- teste. Portanto, todas as provas do Enem são elaboradas com questões fáceis, intermediárias e difíceis, para os participantes serem avaliados corretamente, para obterem a certificação da educação de jovens e adultos (EJA) ou para sua admissão em uma universidade. Conheça as Instituições de Educação Superior (IES) que são parceiras do Inep no processo de elaboração de itens: • Centro Federal de Educação Tecnológica Celso Suckow da Fonseca • Centro Federal de Educação Tecnológica de Minas Gerais • Fundação Universidade Federal do ABC • Fundação Universidade Federal do Tocantins • Instituto Federal de Educação, Ciência e Tecnologia de Brasília • Instituto Federal de Educação, Ciência e Tecnologia de Minas Gerais • Instituto Federal de Educação, Ciência e Tecnologia de São Paulo • Instituto Federal de Educação, Ciência e Tecnologia do Espírito Santo • Instituto Federal de Educação, Ciência e Tecnologia do sul de Minas Gerais • Instituto Federal de Educação, Ciência e Tecnologia Sul-Rio-Grandense • Universidade Federal da Bahia • Universidade Federal de Alagoas • Universidade Federal de Alfenas • Universidade Federal de Campina Grande • Universidade Federal de Goiás • Universidade Federal de Juiz de Fora 22Entenda a sua Nota no Enem Guia do Participante
- 25. • Universidade Federal de Lavras • Universidade Federal de Mato Grosso • Universidade Federal de Mato Grosso do Sul • Universidade Federal de Minas Gerais • Universidade Federal de Ouro Preto • Universidade Federal de Santa Maria • Universidade Federal de São Carlos • Universidade Federal de Uberlândia • Universidade Federal de Viçosa • Universidade Federal do Acre • Universidade Federal do Ceará • Universidade Federal do Estado do Rio de Janeiro • Universidade Federal do Pará • Universidade Federal do Paraná • Universidade Federal do Rio de Janeiro • Universidade Federal do Rio Grande • Universidade Federal do Triângulo Mineiro • Universidade Federal dos Vales do Jequitinhonha e Mucuri • Universidade Federal Fluminense • Universidade Federal Rural do Rio de Janeiro • Universidade Tecnológica Federal do Paraná Entenda a sua 23 Nota no Enem Guia do Participante
- 27. 5 Relação entre a nota da TRI e o número de acertos Apesar de a nota do Enem não ser calculada diretamente pelo número de acertos, existe uma relação entre o número de acertos e a nota calculada pela TRI. Isso quer dizer que um participante que teve um número de acertos alto terá nota alta no Enem, e um participante que teve pouco acerto terá nota baixa, notas essas relacionadas com os valores mínimo e máximo de cada prova. Os gráficos, a seguir, mostram a relação entre a nota da TRI e o número de acertos de 300 participantes da prova do Enem 2011. Observe que se a nota da TRI fosse exatamente o número de acertos, os pontos nos gráficos estariam alinhados representando uma reta. As variações desses pontos em relação à reta mostram que participantes com o mesmo número de acertos podem ter notas diferentes no Enem. Note, no entanto, que essa variação não é tão grande. Poderíamos nos perguntar: se existe alta relação entre o número de acertos e a nota da TRI, para que usar a nota da TRI? Não seria mais simples usar o número de acertos? Uma das vantagens de se utilizar a TRI é que sua nota nos possibilita fazer comparações entre notas de diferentes provas da mesma área, mas os acertos de provas diferentes não são diretamente comparáveis. Com ela, podemos também construir e interpretar pedagogicamente a escala de proficiência. A seguir, alguns exemplos da relação entre a nota da TRI e o número de acertos nas provas de 2011. u Ciências da Natureza e suas Tecnologias: o Participante 1 teve 6 acertos e sua nota foi 300,8; o Participante 2 teve 19 acertos e sua nota foi 500,5 (lembre que a nota 500 representa a nota média dos concluintes regulares do ensino médio de 2009), ou seja, ele acertou menos da metade da prova e seu desempenho foi equivalente ao desempenho médio dos concluintes regulares do ensino médio de 2009; e o Participante 3 teve 41 acertos com nota 825,0 (a nota máxima, ou seja, para quem acertou 45 questões, foi 867,2). u Ciências Humanas e suas Tecnologias: o Participante 1 teve 8 acertos e sua nota foi 279,4; o Participante 2 teve 24 acertos, mais da metade das questões, e sua nota foi 507,0; e o Participante 3 teve 44 acertos e sua nota foi 784,4 (a nota máxima, ou seja, para quem acertou 45 questões foi 793,1). Entenda a sua 25 Nota no Enem Guia do Participante
- 28. u Linguagens, Códigos e suas Tecnologias: o Participante 1 teve 5 acertos e sua nota no Enem foi 316,8; o Participante 2 teve 21 acertos e sua nota foi 498,9; e o Participante 3 teve 44 acertos e sua nota foi 756,1 (a nota máxima, ou seja, para quem acertou 45 questões foi de 795,5). u Matemática e suas Tecnologias: o Participante 1 teve 5 acertos e sua nota no Enem foi 330,6; o Participante 2 teve 15 acertos e sua nota foi 504,0. Já o Participante 3 teve 41 acertos e sua nota foi 878,7 (a nota máxima, ou seja, para quem acertou 45 questões foi de 953,0). Ciências da Natureza e suas Tecnologias Ciências Humanas e suas Tecnologias 900 900 Participante 3 Participante 3 800 800 Nota no Enem Nota no Enem 700 700 600 600 500 Participante 2 500 Participante 2 400 400 300 300 Participante 1 Participante 1 200 200 0 5 10 15 20 25 30 35 40 45 0 5 10 15 20 25 30 35 40 45 Número de Acertos Número de Acertos Linguagens, Códigos e suas Tecnologias Matemática e suas Tecnologias Participante 3 900 900 Participante 3 800 800 Nota no Enem Nota no Enem 700 700 600 600 500 Participante 2 500 Participante 2 400 400 300 300 Participante 1 Participante 1 200 200 0 5 10 15 20 25 30 35 40 45 0 5 10 15 20 25 30 35 40 45 Número de Acertos Número de Acertos Gráfico 2 – Relação entre o número de acertos e a nota calculada pela TRI Fonte: Elaborado pela Daeb/Inep para este Guia. 26Entenda a sua Nota no Enem Guia do Participante
- 29. 6 Composição das notas Ao final, o participante receberá cinco notas, uma para cada área da prova objetiva e a nota da redação. Cada faculdade/universidade tem regras próprias para utilizar as notas de ingresso, colocando peso nas notas das áreas que julgue ser mais importantes para o curso que está sendo pleiteado ou fazendo uma média aritmética simples. 7 Avaliações que utilizam a TRI O uso da TRI em avaliações educacionais teve início no Brasil com o Sistema de Avaliação da Educação Básica (Saeb), em 1995, e, posteriormente, foi imple- mentado no Exame Nacional para Certificação de Competências de Jovens e Adultos (Encceja), na Prova Brasil e, por último, no Enem. No âmbito internacional, a TRI vem sendo utilizada largamente por diversos países: Estados Unidos, França, Holanda, Coreia do Sul, China e países participantes do Programa Internacional de Avaliação de Estudantes (Pisa). Um dos grandes exemplos de avaliação que utiliza a TRI é o exame de proficiência em língua inglesa (Toefl). Entenda a sua 27 Nota no Enem Guia do Participante
- 31. 8 Principais dúvidas sobre a nota do Enem Responderemos, a seguir, a algumas questões mais frequentes, perguntadas pelos participantes nas redes sociais. Por que em 2011 acertei mais questões em Matemática do que em 2010 e a nota foi menor? A nota na TRI não é calculada diretamente pelo número de acertos. A nota se baseia na complexidade do que é exigido em cada questão. Apesar de as provas de 2010 e 2011 possuírem o mesmo conteúdo pedagógico, na prova de 2011, havia questões relativamente mais fáceis do que na prova de 2010, o que exigiu dos participantes um maior número de acertos para mostrar o mesmo domínio. Como calcular a média das minhas notas no Enem? O Inep divulga as notas por área do conhecimento. Cada universidade tem autonomia para definir os critérios de uso das notas do Enem para ingresso na educação superior. Como se pode, na prova do Enem 2011, acertar 40 questões em Linguagens, Códigos e suas Tecnologias e minha nota ser 658,2? Apesar do número grande de acertos, é preciso analisar a coerência das respostas na prova. Provavelmente, das cinco questões que você errou, deve haver algumas questões bem fáceis e, por isso, o acréscimo da sua nota não foi maior. É importante lembrar também que a nota máxima na prova de Linguagens, Códigos e suas Tecnologias, na edição de 2011, foi 795,5, ou seja, caso você tivesse acertado 45 questões, sua nota teria sido 795,5. Entenda a sua 29 Nota no Enem Guia do Participante
- 32. Se acertei mais questões em Ciências Humanas que em Matemática, por que minha nota em Matemática é maior? O importante é você verificar, a partir da escala pedagógica construída pelo Inep para cada uma das áreas, o significado pedagógico da nota que você obteve em cada área. As notas não são comparáveis diretamente entre as áreas. Qual é o peso de cada questão do Enem utilizado no cálculo da nota? No Enem, não são utilizados pesos para o cálculo das notas. A estimação da proficiência tem como base a consistência das respostas e as características (parâmetros) de cada questão. Entretanto, esses parâmetros não podem ser interpretados como pesos, e está errada a inferência de que a divulgação dos parâmetros possibilitaria a reprodução dos cálculos a partir de simples ponderações. A utilização da TRI no cálculo dos resultados torna a prova do Enem mais difícil? O uso da TRI no cálculo dos resultados não altera a dificuldade da prova. A TRI não modifica, significativamente, a classificação dos participantes em relação ao percentual de acertos. Contribui, sim, para detalhar melhor as notas, o que ajuda a evitar grande número de empates. Aplicando ou não a TRI, o mais preparado se sairá melhor na prova. Como sei se fui bem na prova depois da divulgação das notas? Meses depois da aplicação do exame, o Inep divulga em seu site, na página de acompanhamento do Exame, o boletim do participante, o qual registra a porcentagem de participantes do Enem por faixa de proficiência (abaixo de 300, 300 a 400, 400 a 500, 500 a 600 e, assim, sucessivamente). A partir dessa distribuição, é possível verificar em qual faixa sua nota se posiciona. Quais as notas mínima e máxima nas provas objetivas? As notas mínimas e máximas variam e dependem das questões da prova. Como as questões das provas não são as mesmas, em cada ano, podemos ter notas mínima e máxima diferentes. Na divulgação dos resultados, o Inep disponibilizará as notas mínima e máxima das provas objetivas. 30Entenda a sua Nota no Enem Guia do Participante
- 33. 9 Entendendo tecnicamente a nota da TRI Apesar de alguns comentários terem sido feitos anteriormente, destacaremos novamente as principais características do modelo de probabilidade da TRI para o cálculo da nota do Enem. A TRI modela a probabilidade de um participante responder corretamente a um item (questão), como função dos parâmetros do item e da proficiência desse participante. Essa relação é expressa por meio de uma função monotônica crescente, que indica que quanto maior o conhecimento do participante, maior será sua probabilidade de acertar o item (ver, por exemplo, Andrade et al., 2000; Baker; Kim, 2004; Hambleton et al., 1991; Klein, 2003; Pasquali, 1997). No Enem, a função monotônica é uma função logística de 3 parâmetros, desenvolvida por Birnbaum (1968), em que a probabilidade P de uma resposta correta do participante j ao item i (uji = 1), em função do parâmetro de proficiência Ѳj e dos parâmetros do item ai, bi e ci, é dada por 1–c P(uji = 1| Ѳ j , ai , bi , ci ) = ci + __________ i 1+e – a (Ѳ – b ) i j i Para se obter a nota do participante do Enem, basta estimar (encontrar) o valor do parâmetro Ѳ, que representa a nota do participante, levando em consideração o vetor de respostas dele e os parâmetros dos itens que compõem a prova. Como não é possível obter esse valor diretamente, mediante uma fórmula simples, é preciso utilizar um método matemático mais sofisticado para calcular a nota. Existem, na literatura, alguns métodos para o cálculo da nota. O Enem e outras avaliações de larga escala, como, por exemplo, o Sistema de Avaliação da Educação Básica (Saeb), utilizam o método denominado Expected a Posteriori (EAP). O método EAP tem como princípio usar uma função de probabilidade a priori para calcular a nota. Essa função tem a informação da nota média e do desvio padrão dos participantes concluintes do ensino médio da rede pública que realizaram o Enem em 2009. A partir dessa informação, as notas são calculadas com mais precisão para a maior parte dos participantes, por meio da fórmula apresentada a seguir: Entenda a sua 31 Nota no Enem Guia do Participante
- 34. ∫R ѲL(u | Ѳ).f(Ѳ)dѲ E(Ѳ | u) = ____________ ∫R L(u | Ѳ).f(Ѳ)dѲ Nota-se que f(Ѳ) é a função de probabilidade a priori; L(u | Ѳ) é uma função matemática associada ao padrão de respostas dos participantes e aos parâmetros dos itens, valores conhecidos; e Ѳ representa a proficiência do participante que será calculada. Para obter a nota do participante, é necessário resolver a expressão acima, que exige um processo de integração. Na matemática, a resolução de integrais nem sempre é tão simples, pois depende da complexidade da função que está sendo usada — no caso do Enem, essa função é bastante complexa. Para contornar esse problema, Stroud e Secrest (1966) sugerem a criação de intervalos para funções complexas e a resolução numérica de cada intervalo dessa função — esse método é conhecido como quadratura Gaussiana —, sendo que a expressão pode ser resolvida pela soma desses intervalos com o uso da seguinte fórmula: q ∑ X L(Xk ) f (Xk ) Ѳ = ____________ ˆ k =1 k q ∑ Xk L(Xk ) f (Xk ) k =1 Essa é a fórmula pela qual é obtida a nota dos participantes do Enem, ˆ representada nela por Ѳ. Detalhes sobre as expressões apresentadas nesta seção podem ser consultadas nas referências bibliográficas a seguir. 32Entenda a sua Nota no Enem Guia do Participante
- 35. 10 Referências bibliográficas ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. DA C. Teoria da Resposta ao Item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística (ABE), 2000. BAKER, F. B.; KIM, S. Item response theory: parameter estimation techniques. Nova York: Marcel Dekker, 2004. BIRNBAUM, A. Some latent trait models and their models ant their use in inferring an examinee´s ability. In: Lord, F. M.; NOVICK, M. R. (Ed.). Statistical theories of mental test scores. Reading, MA: Addison-Wesley, 1968. p. 397-479. HAMBLETON, R. K.; SWAMINATHAN, H.; ROGERS, H. J. Fundamentals of item response theory. California: Sage Publications, 1991. KLEIN, R. Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Básica (Saeb). Ensaio: avaliação e políticas públicas em educação, Rio de Janeiro, v. 11, n. 40, p. 283-296, 2003. LAWLEY, D. N. On problems connected with item selection and test construction. In: Proceedings of the Royal Society of Edinburgh, 61A, 1943. p. 273-287. LORD, F. M. A Theory of Test Scores. Psychometric Monograph, n. 7, 1952. PASQUALI, L. Psicometria: teoria e aplicações. Brasília: Ed. UnB, 1997. Soares, T. M.; Gonçalves, F. B.; Gamerman, D. An Integrated Bayesian Model for DIF Analysis. Journal of Educational and Behavioral Statistics, v. 34, n. 3, p. 348, sep. 1, 2009. STROUD, A. H; SECREST, D. Gaussian Quadrature Formulas. Englewood Cliffs. New Jersey: Prentice-Hall, 1996. YEN, W. M.; FITZPATRICK, A. R. Item Response Theory. In: BRENNAN, R. L. Educational Measurement. American Council on Education/Oryx Press Series on Higher Education, 2006. p. 111-153. Entenda a sua 33 Nota no Enem Guia do Participante
- 37. 100 Presidência da República Federativa do Brasil 95 75 Ministério da Educação Secretaria Executiva 25 Instituto Nacional de Estudos e Pesquisas 5 Educacionais Anísio Teixeira (Inep) 0
- 38. ENTENDA A SUA NOTA NO ENEM GUIA DO PARTICIPANTE 100 95 75 25 5 0