4. Avaliação Educacional
Avaliação segundo os dicionários:
Avaliar é o ato de atribuir valor ou mérito a
alguma coisa.
A avaliação está imbuída de juízo de valor.
Envolve um julgamento conclusivo em termos
de bom ou ruim, melhor ou pior.
5. Avaliação Educacional
Avaliação educacional: expressa uma conclusão
normativa acerca da qualidade (ou sucesso) de
estudantes, professores, escolas, programas,
políticas ou sistemas educacionais.
A avaliação educacional está associada a idéia
medir e julgar resultados educacionais.
6. Avaliação X Indicadores Educacionais
Indicadores não são, necessariamente, avaliações.
Enquanto avaliação educacional exprime julgamento,
indicadores podem ter um caráter mais descritivo. Mas,
eles auxiliam na formação de um juízo avaliativo. Na
verdade, essa é a principal utilidade dos indicadores
educacionais.
Embora usualmente chamados de avaliação, o
desempenho de estudantes em exames padronizados é,
mais precisamente, um indicador de resultado educacional.
8. Indicadores Educacionais
Indicador Educacional: uma medida ou estatística
sobre alguma dimensão do processo educacional.
Principais Tipos de Indicadores:
Indicadores de Resultados
Indicadores de Insumos e Processos
Indicadores Compostos
9. Indicadores de Resultados Educacionais
Indicadores de resultados educacionais dizem
respeito às realizações educacionais alcançadas
por estudantes, escolas, sistemas educacionais
etc. No caso de estudantes:
O Montante acumulado (conhecimentos, habilidades, séries
completadas etc.)
A eficiência (tempo necessário)
10. Indicadores de Resultados Educacionais
Indicadores de resultados: desempenho dos ex-
alunos no mercado de trabalho, resultados de
exames externo, grau de satisfação dos alunos
etc.
11. Indicadores de Resultados Educacionais
Duas medidas de interesse
Aferir o aprendizado do estudante (medida direta)
Aferir a contribuição da escola / curso para o
aprendizado (medida indireta)
Base para os Modelos de
Valor Adicionado
12. Indicadores de Insumos e Processos
Educacionais
Indicadores de Insumos e processos: titulação dos
docentes, indicadores de infra-estrutura, razão docente-
aluno, método de alfabetização etc.
Se conhecêssemos precisamente como os resultados
educacionais são produzidos com base nos insumos e
processos utilizados, indicadores de insumos e
processos seriam preferidos. Geram mais informações
sobre o que precisa ser feito.
Infelizmente, diversos estudos têm apontado para a fraca
correlação entre as variáveis de insumos e processos
usualmente disponíveis e o desempenho dos estudantes
em exames padronizados.
13. Existem dois motivos para se querer juntar diferentes
indicadores em um indicador composto:
1. Considerar diferentes dimensões → envolve juízo de valor (e.g.
função utilidade, função bem estar, IDH).
2. Juntar diferentes medidas imperfeitas de determinado fator não
observado, de modo a minimizar o erro de medida → não envolve
juízo de valor (é essa a “nossa abordagem”).
Obs – Nem sempre é claro qual das duas abordagens é a mais
apropriado
Indicador Composto
14. Indicadores Compostos
Combinar diferentes dimensões de qualidade ou
desempenho educacional em um único indicador. Nesse
caso é preciso arbitrar pesos para as diferentes
dimensões. (envolve juízo avaliativo sobre o que vale
mais) E.g. IDEB que combina proficiência com fluxo
escolar. A escola é “multiproduto”!
Se eu tenho diversos indicadores imperfeitos da
qualidade da escola eu posso, ao invés de escolher entre
eles, encontrar uma forma de combiná-los, de modo a
obter um indicador “menos imperfeito”. (não envolve
juízo avaliativo). Eg. CPC no ensino superior
15. Debate sobre Indicadores
Independente de se usar indicadores de
aprendizagem ou indicadores de insumos e
processos, a discussão sobre avaliação
educação se dá em dois níveis de análise:
Conceitual: o que medir, ou seja, quais são os
principais resultados que devemos esperar da
escola.
Técnico-operacional: como medir, ou seja,
como obter os indicadores para medir tais
resultados.
16. “Avaliação” do Aprendizado e Erros de Medida
Características
Individuais e
Familiares Nota nos
Exames
Contexto
Social
Escola
Aprendizado
Medida Imperfeita
de Aprendizado
17. “Avaliação” do Aprendizado e Erros de Medida
Kane e Staiger (2001 e 2002) notaram que os
resultados de exames padronizados são
medidas sujeitas a muito ruído em virtude da
grande variância do termo erro,
particularmente entre as pequenas escolas.
18. Panel SAEB 1999-2001-2003: Frequencies in top or
bottom 20 percent produced by different rankings
Certainty
Levels
Lottery
Actual
Ajusted by
SES
( 1 ) ( 2 ) ( 3 ) ( 4 )
Painel A: Number of times school appears in the top 20 percent:
Never 80.0 51.2 68.1 55.0
1 year 0.0 38.4 12.0 32.4
2 year 0.0 9.6 10.8 9.3
All 3 year 20.0 0.8 9.1 3.3
Painel B: Number of times school appears in the bottom 20 percent:
Never 80.0 51.2 64.1 52.9
1 year 0.0 38.4 16.8 33.8
2 year 0.0 9.6 12.5 12.0
All 3 year 20.0 0.8 6.6 1.2
Source: SAEB - Inep/MEC
19. Maiores variações absolutas de posições entre os
anos de 2008 e 2010 (SARESP) – 1.567 escolas
Nota matemática VA Efeito fixo
matemática
VA Efeito between
matemática
1a 1463 1465 1547
2a 1441 1448 1503
3a 1386 1447 1479
4a 1384 1441 1479
5a 1383 1423 1470
10a 1292 1319 1404
100a 837 917 1050
média (100
maiores)
1032 1103 1207
média (total) 315 360 441
21. O Índice de Desenvolvimento da Educação
Índice de Desenvolvimento da Educação
Básica - IDEB
Básica - IDEB
Indicador que combina o desempenho na Prova Brasil com
as taxas de aprovação.
Introduzido em no início de 2007.
O objetivo foi o de ancorar um sistema de metas.
A preocupação foi a de reduzir o risco que um programa de
accountability, baseado apenas em exames padronizados,
viesse a contribuir para agravar o já dramático quadro de
repetência e evasão escolar no país.
22. O Índice de Desenvolvimento da Educação
Índice de Desenvolvimento da Educação
Básica - IDEB
Básica - IDEB
Indicador sintético que combina informações de
desempenho e de fluxo escolar
N = proficiência média (leitura e matemática) dos alunos na
Prova Brasil
P = taxa média de aprovação na etapa de ensino
0 < N > 10; 0 < P > 1 e 0 < IDEB > 10
j
j
j P
N
IDEB
23. O Índice de Desenvolvimento da Educação
Básica - Ideb
Sob certas hipóteses, a taxa de aprovação em determinada
série é igual ao inverso do tempo médio para se concluir a
série. Então,
Tji = tempo médio para que os alunos da unidade j concluam
a série
ji
ji
ji
T
N
Ideb
24. O IDEB e a Nota de Corte para a Aprovação
Um aumento da nota de corte eleva a média condicional a aprovação E(N|Nota>a), mas aumenta a repetência. Se a distribuição de notas for normal, o IDEB cai.
Se a reprovação for produtiva, a taxa de reprovação ótima é diferente de zero.
Se a reprovação for produtiva, a taxa de reprovação
24
a Proficiência
Nota de corte (a)
26. Meta do IDEB para o Brasil
Objetivo Geral:
Atingir até 2021 os resultados educacionais da
OCDE relativos a:
Desempenho em Leitura e Matemática
Taxa de repetência
IDEB e suas projeções procura materializar
esse objetivo
27. Meta do IDEB para o Brasil
Meta do IDEB para 2021:
Taxa de promoção = 96% → Moda dos países das
OCDE
E a Proficiência?
28. Distribuição de proficiências do Brasil no
Pisa
28
Proficiência
média OCDE
Se o Desempenho médio da OCDE encontra-se no percentil
P de desempenho do Brasil, então a meta do Brasil é ter, em
2021, um desempenho equivalente ao percentil P de 2005.
29. Fixação de uma META para o BRASIL: IDEB=6
IDEB atual
3.5 6 6.5 7
Média no SAEB 239.5 308.6 325.7 342.8
Média correspondente no PISA* - OCDE Reino Unido Holanda
Posição correspondente no PISA* 42º 25º 19º 4º
Tempo para Convergência (IDEB=9.9) - 102 85 71
* PISA 2003
Meta para IDEB (2025)
IDEB - 2a fase do Ensino Fundamental
Proficiência em Matemática
Obs – Na realidade esse procedimento gerou um
IDEB ≈ 6,25. Entre 6 e 6,5 optou-se por 6.
30. Metas do IDEB para Estados, Municípios e
Escolas e Metas Intermediárias
32. Projeção para o Brasil
4a Série do Ensino Fundamental
IDEB 2021: 6.0
IDEB 2095: 9.90
0.00
1.00
2.00
3.00
4.00
5.00
6.00
7.00
8.00
9.00
10.00
2005
2011
2017
2023
2029
2035
2041
2047
2053
2059
2065
2071
2077
2083
2089
2095
2101
2107
ano
IDEB
Esforço:0,056
anos para convergência
-IDEB2005 Brasil = 3,8
-Meta Brasil 2021 = 6
-Tempo para a Meta = 16
Esforço = ?
=>Tempo de convergência = ?
33. Redução da Desigualdade
IDEB BR: 6.0
IDEB_1: 5.0
IDEB_2: 6.8
0
1
2
3
4
5
6
7
8
9
10
2005
2010
2015
2020
2025
2030
2035
2040
2045
2050
2055
2060
2065
2070
2075
2080
2085
2090
2095
ano
IDEB
Brasil Estado 1 Estado 2
