Sis pae roteiro de elaboração e revisão de itens
- 1. SisPAE – Sistema Paraense de Avaliação Educacional Oficina de Capacitação em Elaboração e Revisão de Itens para Avaliações de Larga Escala
- 2. AVALIAÇÃO DO APRENDIZADO O que avaliar? Para que avaliar? Como avaliar?
- 3. Conceitos básicos relacionados à elaboração de itens para Avaliações de Larga Escala Prova e Item Prova é uma situação na qual se solicita a alguém que demonstre certos aspectos de seus conhecimentos, com o objetivo de avaliar determinadas características e capacidades previamente estabelecidas. Item de Prova é uma situação criada para que o indivíduo dê uma resposta a um estímulo apresentado. A resposta constitui uma amostra do desempenho em relação a um objetivo específico previsto em uma Matriz de Referência.
- 4. Oficina de Elaboração de Itens para Avaliações de Larga Escala Como elaborar questões/itens que permitam investigar até que ponto um aluno sabe mobilizar conhecimentos que adquiriu na escola, para demonstrar que desenvolveu as habilidades necessárias para a construção de uma dada competência?
- 5. O que é que se quer investigar? Competências Cognitivas Conjunto de ações e operações mentais que o sujeito utiliza para estabelecer relações com e entre os objetos, situações, fenômenos e pessoas que deseja conhecer.
- 6. Competências Cognitivas São modalidades da inteligência. Expressam o que é necessário para compreender ou resolver um problema: saber inferir, atribuir sentido, articular partes e o todo, excluir, comparar, observar, identificar, tomar decisões, reconhecer, fazer correspondências.
- 7. Como é que são investigadas as competências em avaliação de larga escala? Habilidades Indicadores ou Descritores das aprendizagens que se espera os alunos tenham consolidado no período avaliado. Possibilitam inferir, a partir de uma escala (Escala de Proficiência), o nível em que os alunos dominam as competências cognitivas associadas aos respectivos conteúdos em cada ano ou série avaliados.
- 8. MEDIR E AVALIAR Medir implica determinar a extensão de uma característica pertencente a um individuo ou a um objeto. Exemplo: Um jovem conseguiu correr 1.000m em 12 minutos. (estamos fazendo uma “medida”). Avaliar é o ato de comparar uma “medida” com um padrão e de emitir um julgamento sobre essa comparação. Exemplo: O resultado do jovem – o tempo que levou para correr 1.000 m é comparado com um padrão previamente estabelecido. Dessa comparação pode-se concluir que o resultado foi satisfatório ou insatisfatório.
- 9. MEDIR E AVALIAR Cada turma avaliada no SisPAE possui uma escala com intervalos próprios para cada disciplina, que permite a representação das habilidades que integram a Matriz de Referência do SisPAE. Exemplo: Língua e Matemática 5º Ano EF
- 10. O significado........ Níveis de Proficiência Descrição Abaixo do Básico Os alunos, neste nível, demonstram domínio insuficiente dos conteúdos, habilidades e competências desejáveis para a série escolar em que se encontram. Básico Os alunos, neste nível, demonstram domínio mínimo dos conteúdos, habilidades e competências desejáveis para a série escolar em que se encontram. Adequado Os alunos, neste nível, demonstram domínio pleno dos conteúdos, habilidades e competências desejáveis para a série escolar em que se encontram. Avançado Os alunos, neste nível, demonstram conhecimentos e domínio dos conteúdos, competências e habilidades acima do requerido na série escolar em que se encontram. SisPAE – Por Níveis
- 11. SisPAE – Desempenho em LP e MAT Escala organizada por níveis que situam os resultados de desempenho dos estudantes de todas as séries, em cada disciplina. . Além da régua ........ Dar sentido e significado aos números
- 18. DESCRITORES DE ITENS AVALIAÇÃO SisPAE HABILIDADES
- 19. Onde estão indicadas as habilidades que devem ser aferidas para uma dada disciplina em um certo ponto do percurso escolar? O referencial da avaliação de larga escala é uma Matriz de Referência da Avaliação.
- 20. A MRA – SisPAE é um recorte dos conteúdos propostos nos PCNs e privilegia algumas habilidades e competências a eles associadas. As habilidades descrevem aprendizagens que se espera tenham sido construídas pelos alunos no período avaliado. É fundamental que as habilidades que estruturam uma matriz sejam caracterizadas de modo objetivo, mensurável e observável. As provas são compostas por itens que investigam até que ponto os alunos demonstram ter desenvolvido as habilidades descritas na MRA correspondente ao ano escolar e à disciplina que está sendo avaliada.
- 21. MRA - SisPAE: em síntese • A MRA – SisPAE retrata as estruturas conceituais mais gerais das disciplinas e também as competências mais gerais dos alunos, que se traduzem em habilidades específicas. • Os conteúdos, habilidades e competências apontados na MRA – SisPAE para cada série e disciplina do currículo, indicam o que os alunos devem aprender em cada área do conhecimento, em cada etapa da escolarização. • Quando investigados na avaliação por meio dos itens que compõe a prova temos como indicativo os ACERTOS e os ERROS.
- 22. O NOVO STATUS DO ERRO • Ilumina o processo de aprendizagem • Errar faz, sim, parte do processo de aprender, mas achar que a aprendizagem ocorrerá naturalmente após o fracasso é uma falha gravíssima e até mesmo ingênua. • Valorizar o erro está além do aceitá-lo, requer fazer uma nova investida. Valorizar o erro consiste em nele enxergar uma oportunidade de estudo, de buscar o ponto falho e procurar fazer diferente. Por tudo isso, se o erro não promover mudanças, ele não será valorizado, apenas consentido.
- 23. AVALIAÇÃO E A MELHORIA DA QUALIDADE DA SALA DE AULA • “Não é possível praticar sem avaliar a prática” (Paulo Freire) – Existem várias formas de avaliar (citar ex???) – Avaliação Externa (nosso caso) • Não possui finalidade em si! (Imprescindível) • De nada adianta apenas constatar dificuldades se isso não gerar um movimento de transformação. (Válido para professores, diretores, gestores, ...)
- 24. Vamos ao ponto? • Itens de Avaliações de Larga Escala!
- 25. Contextualização dos itens e interdisciplinaridade: o desafio da larga escala Tipos básicos de itens: Convencional - reflete uma cobrança estritamente voltada à capacidade de se utilizar o conhecimento aprendido. *****Textualizado - textos usados como pretexto ou com a suposição, errônea, de que são necessários para avaliar o que se pretende avaliar. ?????? Contextualizado - descreve uma situação-problema e convida ou desafia o estudante a resolver a atividade proposta.
- 26. Formatos Comuns de Itens • Múltipla escolha; • Certo ou errado; • Resposta fechada; • Resposta curta ou de resposta construída; • Dissertativo (ou redação). A maioria das provas de avaliações de larga escala são compostas por itens de múltipla escolha
- 27. Sobre Itens de Múltipla Escolha Um item de múltipla escolha compõe-se com 3 partes: • Texto, gráfico, figura, tabela, situação-estímulo, simulacro, situação-problema, estudo de caso. Texto - base • Explicita a tarefa que está sendo proposta ou solicitada ao aluno. • Focaliza a habilidade que se quer aferir. Comando (Enunciado) • Quatro ou cinco opções de resposta. • Uma e apenas uma é a correta, ou seja, o gabarito do item. Alternativas
- 28. Sobre o Texto-Base • Deve-se dar preferência a textos de fonte primária, de autoria explícita, que sejam curtos e integrais, de fácil compreensão, com linguagem adequada ao nível dos estudantes, que seja adequado aos objetivos da questão e possibilitem opções de respostas: uma correta e as demais incorretas, mas plausíveis. • São permitidos recortes no texto, desde que sejam mantidas as ideias principais e se indique que houve adaptação. • É obrigatória a apresentação da fonte de referência. E mais
- 29. Sobre o Texto-Base Os textos devem se limitar a 10 linhas e as alternativas de resposta a 2 linhas. Esses cuidados são fundamentais para evitar itens extensos e complexos. Em geral, um estudante tem de 3 a 4 min para responder 1 item! Itens com cálculos complicados devem sofrer adaptações que favoreçam a realização das operações envolvidas sem o uso de calculadora.
- 30. Sobre o Comando (Enunciado) • O estudante deve encontrar, entre as opções oferecidas, aquela que se ajusta exatamente ao comando. • Pode ser uma afirmação incompleta, a ser continuada por uma das opções. • Pode ser formulado por uma pergunta direta. • Pode ser frase incompleta ou pergunta.
- 31. Sobre as Alternativas (Distratores) • Devem estar vinculadas a um nível de desenvolvimento adequado da aprendizagem. • Deve-se evitar que a alternativa que corresponde à solução correta, possa ser obtida por associações diretas, para inclusive, não favorecer o acerto casual. • O distrator corresponde a uma possibilidade de resposta considerada plausível por um estudante que não domina o conteúdo ou não desenvolveu a habilidade específica (erro comum). • Uma “pegadinha” é uma alternativa inconveniente em qualquer tipo de prova. Em especial em avaliação de desempenho e rendimento escolar, onde não está sendo feita seleção. Pode até atrair bons estudantes.
- 32. Exemplo de “PEGADINHA” Um livro tem 65 páginas ilustrativas, 100 páginas escritas com tinta cinza, 35 com tinta vermelha. O total de folhas desse livro é (A) 210. (B) 200. (C) 160. (D) 125. (E) 100. OBS: Um número muito grande de educandos assinala a alterna alternativa (B) como resposta certa e acabam errando, pois no enunciado fala-se em páginas e a raiz da pergunta se fala em folhas. Basta lembrar que cada folha tem duas páginas, ou seja o número de folhas é de 100 alternativa (E).
- 33. Sugestões e Lembretes Importantes • Enunciados negativos devem ser evitados; • Clareza, objetividade, originalidade, precisão e impessoalidade; • Usar frases curtas, termos exatos, sem demonstração de erudição; • Não copiar itens de livros ou apostilas; • Evitar impressões e expressões pessoais, chavões e gírias; • Construir as alternativas em ordem lógica, em sequência crescente ou decrescente. E mais: Na redação das alternativas, não utilizar as palavras: somente, apenas, nunca, exclusivamente, unicamente, sempre, totalmente, todo, jamais, raramente, exclusivamente, pode ser, tudo, ninguém, nenhum, nada, algum, pode acontecer, pode haver, pouco, às vezes, qualquer, entre outros.
- 34. Resultado da Experiência em Avaliação: Itens de média complexidade apresentam, em geral, bons índices de discriminação, enquanto itens extremamente fáceis ou extremamente difíceis geralmente não discriminam entre os grupos de melhor e pior desempenho na prova.
- 35. Sobre os Tipos de Itens Exemplos
- 36. Sobre Tipos de itens de Múltipla Escolha 1. Itens de complementação simples: O enunciado deve ser redigido em forma de frase incompleta e as alternativas devem completar a frase proposta. O número 0,25 pode ser representado pela fração (A) 1 4 (B) 1 2 (C) 2 5 (D) 5 2
- 37. Sobre Tipos de itens de Múltipla Escolha 1. Itens de complementação simples: O enunciado deve ser redigido em forma de frase incompleta e as alternativas devem completar a frase proposta. A forma verbal que está flexionada no particípio é (A) construído. (B) adestrando. (C) subdesenvolver. (D) obstruindo.
- 38. 2. Itens de resposta única: O enunciado deve ser redigido em forma de pergunta e as alternativas devem respondê-la. Qual das frações abaixo representa o número 0,25? (A) 1 4 (B) 1 2 (C) 2 5 (D) 5 2
- 39. 2. Itens de resposta única: O enunciado deve ser redigido em forma de pergunta e as alternativas devem respondê-la. Qual é a forma verbal que está flexionada no particípio? (A) Construído. (B) Adestrando. (C) Subdesenvolver. (D) Obstruindo.
- 40. 3. Itens de interpretação: É formulado a partir de uma situação- estímulo que compõe o enunciado. O comando pode terminar com uma frase incompleta ou com uma pergunta, mas em ambos os caso apresenta uma situação que precisa ser resolvida para se chegar à reposta certa. São exemplos desses itens: texto, estudo de caso, simulacro, tabela, quadro, diagramas, gráficos, figuras, mapas, esquema ou ilustrações (extraídos de fonte fidedigna, inserindo-se as devidas referências). Este é o modelo adotado pelo ENEM.
- 41. 3. Itens de interpretação
- 42. 3. Itens de interpretação Leia o texto e responda à questão. Um mundo de coisas para ler Na próxima década, a massa de informação que circula no mundo dobrará de volume a cada oitenta dias. Pelo menos é o que dizem os especialistas. Reduzir o tempo gasto nessa leitura toda não é má ideia. Mas seria possível? “Não conheço estudos que indiquem isso”, afirma o neuroftalmologista Paulo Imamura da Universidade Federal de São Paulo. Jorge Roberto Pagura, neurocirurgião do hospital paulista Albert Einsten, discorda. “Atividades cerebrais podem ser adestradas”, afirma. O fato é que pouco se sabe sobre a fisiologia da leitura. Para a diretora da Faculdade de Educação da Universidade Federal do Rio de Janeiro, Marlene Carvalho, a técnica funciona para jornais, relatórios e processos. Mas não para textos literários. O cineasta americano Woody Allen pensa do mesmo modo. Criou até uma piada sobre o assunto: “Fiz um curso de leitura dinâmica e consegui ler o romance Guerra e Paz, de Leon Tolstoi em apenas 15 minutos! É sobre a Rússia.” (UM MUNDO de coisas para ler. Revista Superinteressante, v.112, p.64, 1997. CD-ROM. Fragmento) No artigo, o autor reproduz a fala dos especialistas consultados com a intenção de (A) elogiar os entrevistados. (B) evidenciar a polêmica referente ao tema tratado. (C) mostrar erudição. (D) enfatizar a velocidade da leitura.
- 43. 4. Itens de resposta múltipla ou múltipla escolha complexa: Possui de três a cinco afirmações, relacionadas com o tema explicitado no enunciado, e de uma chave de resposta. (texto-base) Com base na situação descrita acima, avalie as afirmações a seguir. I. Blablablablablabla II. Blablablablablabla III. Blablablablablabla IV. blablablablablabla Atenção: Este tipo está descrito aqui apenas para explicar do que se trata. Não deverá ser utilizado na elaboração de itens para provas do SisPAE.
- 44. É correto apenas o que se afirma em (A) I e II (B) I e III (C) II e III (D) II e IV (E) III e IV Atenção: Este tipo está descrito aqui apenas para explicar do que se trata. Não deverá ser utilizado na elaboração de itens para provas do SisPAE.
- 45. 4. Itens de resposta múltipla ou múltipla escolha complexa
- 46. 4. Itens de resposta múltipla ou múltipla escolha complexa
- 47. Apresentação do Item Para a apresentação do item e das justificativas de gabarito e distratores, utilize o modelo de formulário:
- 49. Referências • Manual para elaboração e revisão de provas. Fundação VUNESP, versão 000, 2014. • RABELO, M., Avaliação Educacional: Fundamentos, metodologia e aplicações no contexto brasileiro. Coleção PROFMAT. 2014.