avaliacao-e-indicadores-educaionais-fcc-reynaldo-fernandes (1).ppt
- 1. Avaliação e Indicadores Educacionais Reynaldo Fernandes Universidade de São Paulo – USP
- 2. Sumário 1. Avaliação Educacional: aspectos gerais 2. Indicadores Educacionais 3. O caso do IDEB
- 3. Avaliação Educacional: aspectos gerais
- 4. Avaliação Educacional Avaliação segundo os dicionários: Avaliar é o ato de atribuir valor ou mérito a alguma coisa. A avaliação está imbuída de juízo de valor. Envolve um julgamento conclusivo em termos de bom ou ruim, melhor ou pior.
- 5. Avaliação Educacional Avaliação educacional: expressa uma conclusão normativa acerca da qualidade (ou sucesso) de estudantes, professores, escolas, programas, políticas ou sistemas educacionais. A avaliação educacional está associada a idéia medir e julgar resultados educacionais.
- 6. Avaliação X Indicadores Educacionais Indicadores não são, necessariamente, avaliações. Enquanto avaliação educacional exprime julgamento, indicadores podem ter um caráter mais descritivo. Mas, eles auxiliam na formação de um juízo avaliativo. Na verdade, essa é a principal utilidade dos indicadores educacionais. Embora usualmente chamados de avaliação, o desempenho de estudantes em exames padronizados é, mais precisamente, um indicador de resultado educacional.
- 8. Indicadores Educacionais Indicador Educacional: uma medida ou estatística sobre alguma dimensão do processo educacional. Principais Tipos de Indicadores: Indicadores de Resultados Indicadores de Insumos e Processos Indicadores Compostos
- 9. Indicadores de Resultados Educacionais Indicadores de resultados educacionais dizem respeito às realizações educacionais alcançadas por estudantes, escolas, sistemas educacionais etc. No caso de estudantes: O Montante acumulado (conhecimentos, habilidades, séries completadas etc.) A eficiência (tempo necessário)
- 10. Indicadores de Resultados Educacionais Indicadores de resultados: desempenho dos ex- alunos no mercado de trabalho, resultados de exames externo, grau de satisfação dos alunos etc.
- 11. Indicadores de Resultados Educacionais Duas medidas de interesse Aferir o aprendizado do estudante (medida direta) Aferir a contribuição da escola / curso para o aprendizado (medida indireta) Base para os Modelos de Valor Adicionado
- 12. Indicadores de Insumos e Processos Educacionais Indicadores de Insumos e processos: titulação dos docentes, indicadores de infra-estrutura, razão docente- aluno, método de alfabetização etc. Se conhecêssemos precisamente como os resultados educacionais são produzidos com base nos insumos e processos utilizados, indicadores de insumos e processos seriam preferidos. Geram mais informações sobre o que precisa ser feito. Infelizmente, diversos estudos têm apontado para a fraca correlação entre as variáveis de insumos e processos usualmente disponíveis e o desempenho dos estudantes em exames padronizados.
- 13. Existem dois motivos para se querer juntar diferentes indicadores em um indicador composto: 1. Considerar diferentes dimensões → envolve juízo de valor (e.g. função utilidade, função bem estar, IDH). 2. Juntar diferentes medidas imperfeitas de determinado fator não observado, de modo a minimizar o erro de medida → não envolve juízo de valor (é essa a “nossa abordagem”). Obs – Nem sempre é claro qual das duas abordagens é a mais apropriado Indicador Composto
- 14. Indicadores Compostos Combinar diferentes dimensões de qualidade ou desempenho educacional em um único indicador. Nesse caso é preciso arbitrar pesos para as diferentes dimensões. (envolve juízo avaliativo sobre o que vale mais) E.g. IDEB que combina proficiência com fluxo escolar. A escola é “multiproduto”! Se eu tenho diversos indicadores imperfeitos da qualidade da escola eu posso, ao invés de escolher entre eles, encontrar uma forma de combiná-los, de modo a obter um indicador “menos imperfeito”. (não envolve juízo avaliativo). Eg. CPC no ensino superior
- 15. Debate sobre Indicadores Independente de se usar indicadores de aprendizagem ou indicadores de insumos e processos, a discussão sobre avaliação educação se dá em dois níveis de análise: Conceitual: o que medir, ou seja, quais são os principais resultados que devemos esperar da escola. Técnico-operacional: como medir, ou seja, como obter os indicadores para medir tais resultados.
- 16. “Avaliação” do Aprendizado e Erros de Medida Características Individuais e Familiares Nota nos Exames Contexto Social Escola Aprendizado Medida Imperfeita de Aprendizado
- 17. “Avaliação” do Aprendizado e Erros de Medida Kane e Staiger (2001 e 2002) notaram que os resultados de exames padronizados são medidas sujeitas a muito ruído em virtude da grande variância do termo erro, particularmente entre as pequenas escolas.
- 18. Panel SAEB 1999-2001-2003: Frequencies in top or bottom 20 percent produced by different rankings Certainty Levels Lottery Actual Ajusted by SES ( 1 ) ( 2 ) ( 3 ) ( 4 ) Painel A: Number of times school appears in the top 20 percent: Never 80.0 51.2 68.1 55.0 1 year 0.0 38.4 12.0 32.4 2 year 0.0 9.6 10.8 9.3 All 3 year 20.0 0.8 9.1 3.3 Painel B: Number of times school appears in the bottom 20 percent: Never 80.0 51.2 64.1 52.9 1 year 0.0 38.4 16.8 33.8 2 year 0.0 9.6 12.5 12.0 All 3 year 20.0 0.8 6.6 1.2 Source: SAEB - Inep/MEC
- 19. Maiores variações absolutas de posições entre os anos de 2008 e 2010 (SARESP) – 1.567 escolas Nota matemática VA Efeito fixo matemática VA Efeito between matemática 1a 1463 1465 1547 2a 1441 1448 1503 3a 1386 1447 1479 4a 1384 1441 1479 5a 1383 1423 1470 10a 1292 1319 1404 100a 837 917 1050 média (100 maiores) 1032 1103 1207 média (total) 315 360 441
- 20. Desenho e Implementação de um Sistema de Metas Educacionais para o Brasil: O caso do IDEB
- 21. O Índice de Desenvolvimento da Educação Índice de Desenvolvimento da Educação Básica - IDEB Básica - IDEB Indicador que combina o desempenho na Prova Brasil com as taxas de aprovação. Introduzido em no início de 2007. O objetivo foi o de ancorar um sistema de metas. A preocupação foi a de reduzir o risco que um programa de accountability, baseado apenas em exames padronizados, viesse a contribuir para agravar o já dramático quadro de repetência e evasão escolar no país.
- 22. O Índice de Desenvolvimento da Educação Índice de Desenvolvimento da Educação Básica - IDEB Básica - IDEB Indicador sintético que combina informações de desempenho e de fluxo escolar N = proficiência média (leitura e matemática) dos alunos na Prova Brasil P = taxa média de aprovação na etapa de ensino 0 < N > 10; 0 < P > 1 e 0 < IDEB > 10 j j j P N IDEB
- 23. O Índice de Desenvolvimento da Educação Básica - Ideb Sob certas hipóteses, a taxa de aprovação em determinada série é igual ao inverso do tempo médio para se concluir a série. Então, Tji = tempo médio para que os alunos da unidade j concluam a série ji ji ji T N Ideb
- 24. O IDEB e a Nota de Corte para a Aprovação Um aumento da nota de corte eleva a média condicional a aprovação E(N|Nota>a), mas aumenta a repetência. Se a distribuição de notas for normal, o IDEB cai. Se a reprovação for produtiva, a taxa de reprovação ótima é diferente de zero. Se a reprovação for produtiva, a taxa de reprovação 24 a Proficiência Nota de corte (a)
- 25. Fixação das Metas do IDEB do Brasil para 2021
- 26. Meta do IDEB para o Brasil Objetivo Geral: Atingir até 2021 os resultados educacionais da OCDE relativos a: Desempenho em Leitura e Matemática Taxa de repetência IDEB e suas projeções procura materializar esse objetivo
- 27. Meta do IDEB para o Brasil Meta do IDEB para 2021: Taxa de promoção = 96% → Moda dos países das OCDE E a Proficiência?
- 28. Distribuição de proficiências do Brasil no Pisa 28 Proficiência média OCDE Se o Desempenho médio da OCDE encontra-se no percentil P de desempenho do Brasil, então a meta do Brasil é ter, em 2021, um desempenho equivalente ao percentil P de 2005.
- 29. Fixação de uma META para o BRASIL: IDEB=6 IDEB atual 3.5 6 6.5 7 Média no SAEB 239.5 308.6 325.7 342.8 Média correspondente no PISA* - OCDE Reino Unido Holanda Posição correspondente no PISA* 42º 25º 19º 4º Tempo para Convergência (IDEB=9.9) - 102 85 71 * PISA 2003 Meta para IDEB (2025) IDEB - 2a fase do Ensino Fundamental Proficiência em Matemática Obs – Na realidade esse procedimento gerou um IDEB ≈ 6,25. Entre 6 e 6,5 optou-se por 6.
- 30. Metas do IDEB para Estados, Municípios e Escolas e Metas Intermediárias
- 31. Gráfico ilustrativo da projeção do IDEB 0 1 2 3 4 5 6 7 8 9 10 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 IDEB 2005 IDEB 2021 Tempo Esforço necessário
- 32. Projeção para o Brasil 4a Série do Ensino Fundamental IDEB 2021: 6.0 IDEB 2095: 9.90 0.00 1.00 2.00 3.00 4.00 5.00 6.00 7.00 8.00 9.00 10.00 2005 2011 2017 2023 2029 2035 2041 2047 2053 2059 2065 2071 2077 2083 2089 2095 2101 2107 ano IDEB Esforço:0,056 anos para convergência -IDEB2005 Brasil = 3,8 -Meta Brasil 2021 = 6 -Tempo para a Meta = 16 Esforço = ? =>Tempo de convergência = ?
- 33. Redução da Desigualdade IDEB BR: 6.0 IDEB_1: 5.0 IDEB_2: 6.8 0 1 2 3 4 5 6 7 8 9 10 2005 2010 2015 2020 2025 2030 2035 2040 2045 2050 2055 2060 2065 2070 2075 2080 2085 2090 2095 ano IDEB Brasil Estado 1 Estado 2