Panorama das Avaliações e Indicadores Educacionais no Brasil Reynaldo Fernandes Universidade de São Paulo.

Apresentação em tema: "Panorama das Avaliações e Indicadores Educacionais no Brasil Reynaldo Fernandes Universidade de São Paulo."— Transcrição da apresentação:

1 Panorama das Avaliações e Indicadores Educacionais no Brasil Reynaldo Fernandes Universidade de São Paulo

2 Indicadores e Avaliação na Educação Básica: Funções do Governo Federal  Avaliação Diagnóstica: Apenas oferecendo instrumentos (ex: provinha Brasil).  Avaliação Somativa:  Grandes Exames (SAEB, Prova Brasil, Enem e Pisa)  Indicadores de Fluxo (aprovação, reprovação e abandono)  IDEB – Principal Indicador  Não há indicadores de valor adicionado para a educação básica  Avaliação Formativa: Não há  Fonte de dados: Exames e Censo Educacional

3  SINAES  Sistema que envolve três tipos de avaliações:  Avaliação dos estudantes – ENADE  Avaliação de cursos  Avaliação de instituições  Auto-avaliação interna  Avaliação externa Avaliação das IES no Brasil

4 Principais Indicadores  Enade  IDD  CPC  Conceito do Curso Obs – Há também o censo da educação superior com informações por alunos, professores etc.

5 20 Anos de SAEB/Prova Brasil: Uma Avaliação de Seus Resultados

6 O IDEB decresce nos anos 90 e cresce a partir de 2003/2005

7 IDEB - Anos Iniciais EF

8 IDEB – Anos Finais EF

9 IDEB – Ensino Médio

10 Na evolução do IDEB o desempenho no SAEB/Prova Brasil é o dominante

11 Desempenho – Série Histórica SAEB/Prova Brasil

12

13

14

15

16

17 1) Por que as notas do SAEB caem nos anos 90? 2) O que determinou, a partir de 2003, o crescimento das notas do SAEB/Prova Brasil nos anos iniciais do ensino fundamental? 3) Por que esse crescimento não se confirmou (ao menos na mesma intensidade) para as outras fases do ensino básico? Perguntas Chaves

18 A queda das notas do SAEB nos anos 90

19  Explicação mais comum: universalização do ensino, com inclusão dos alunos mais carentes  Queda de desempenho em exames padronizados em períodos de expansão de matrículas tem sido observado em outros lugares  Por exemplo, nos EUA, a pontuação média do SAT (em expressão verbal) caiu cerca de meio desvio padrão entre 1963 e 1980, período de forte expansão da proporção de jovens que completam a high school (Hanushek, 1986). Por que o SAEB “despenca” entre 1995 e 2001?

20  Expansão de matrículas e queda de desempenho  Hip 1: a expansão piora a qualidade de ensino (e.g. as matrículas crescem mais rápido do que os recursos)  Hip 2: efeito de composição: o perfil dos alunos que fazem a prova muda. Por que o SAEB “despenca” entre 1995 e 2001? (continuação)

21  A redução no atraso escolar e da evasão (para as séries mais avançadas) é muito mais significativa do que a inclusão para explicar a mudança de composição dos alunos que fazem o SAEB.  Em 1995, 93,9% das crianças de 10 anos de idade freqüentavam a escola. Esse número sobe para 97,6% em 1999  Nesse período a pontuação do SAEB cai 10 pontos em matemática e 17,5 pontos em leitura. Por quê o SAEB “despenca” entre 1995 e 2001? (continuação)

22  Com a queda da repetência há um “desrepresamento” de alunos atrasados, o que tende a provocar uma onda. No caso, um movimento de redução e posterior aumento nas notas do SAEB  Passada a onda, o nível da proficiência deveria ser inferior ao inicial. O fluxo, no entanto, seria melhor  Para as séries mais avançadas a composição dos alunos muda também devido a redução da evasão Por quê o SAEB “despenca” entre 1995 e 2001? (continuação)

23  Três possibilidades: 1) Comparar o desempenho de determinada série ao longo do tempo, independentemente da idade dos alunos (e.g. SAEB/Prova Brasil). 2) Comparar o desempenho de gerações sucessivas em determinada idade, independentemente da série cursada (e.g. PISA). 3) Comparar o desempenho de gerações sucessivas em determinada série, independentemente do ano que o aluno é testado. Como avaliar se o desempenho dos estudantes está melhorando ao longo do tempo?

24 Fluxo escolar Fonte: PNAD – IBGE - vários anos

25 Desempenho no SAEB: Série X Geração (Fernandes e Natenzon, 2003)

26 O Crescimento do IDEB na Fase Inicial do EF a partir de 2003

27  A proficiência dos alunos tem um crescimento expressivo entre 2005 e 2013: 29 pontos em matemática e 24 pontos em leitura  Entre o 5º e o 9º ano a variação na proficiência é em torno de 50 pontos  Assim, os alunos avançaram (entre 2005 e 2013) aproximadamente 1,9 ano de estudo em leitura e 2,3 anos em matemática Aspectos de Destaque

28  Inflação de Notas  Melhora das condições familiares – educação dos pais.  Aumento da educação infantil  Ênfase na alfabetização e “numeramento”  Ensino Fundamental de nove anos O Crescimento Após 2005: Explicações

29 Minas Gerais: Introdução do EF de 9 Anos em 2004

30 Ribeirão Preto: Introdução do EF de 9 Anos em 2007

31  Pablo A. Peña (2014)  Impacto em Matemática: 4,43 pontos (0,09DP)  Impacto em LP: 5,11 pontos (0,1 DP)  Isso explicaria 11% do crescimento em matemática e 14% do crescimento em LP, entre 2007 e 2011 Impacto da Introdução do Ensino de 9 anos ao final da 1ª Etapa do EF

32 O Crescimento do IDEB na Fase Inicial do Ensino Fundamental e a “Teoria da Onda”

33  Esperava-se que o crescimento do IDEB na primeira fase do ensino fundamental, observada a partir de 2007, fosse observada também :  a partir de 2011 nos anos finais do ensino fundamental; e  a partir 2015 no ensino médio  Isso não ocorreu em 2011 para os anos finais do EF e não se espera que ocorra em 2015 para o EM  Questão: Por que? “Teoria da Onda”

34 Evolução do desempenho no SAEB/Prova Brasil na Fase Final do EF: 2005 a 2013

35  A proficiência dos alunos tem um crescimento razoável entre 2005 e 2013: 12 pontos em matemática (0,24 DP) e 13,9 pontos em leitura (0,28 DP)  Não há estudos sobre efeito de composição para a 2ª fase do EF, mas temos o PISA (pessoas com 15 anos – escolaridade ideal 1º ano do EM)  Os resultados do PISA são compatíveis com os resultados do SAEB/Prova Brasil. Aspectos de Destaque

36 Desempenho Brasil - PISA MédiaLeituraMatemáticaCiências 2012 2009 402 401 410 412 391 386 405 2006384393370390 2003383403356390 2000 12- 00 368 34 396 14 334 57 375 30 Resultado por área de conhecimento

37 Desempenho Latino Americano no PISA – Média Geral 2000200320062009201212-0012-06 OCDE49649849349649714 COLÔMBIA--381399393-12 BRASIL3683833844014023418 ARGENTINA401-382396397-415 MÉXICO41039740942041778 CHILE403-431439436335 URUGUAI-432422427412--10 PANAMÁ---369--- PERU317--36937558-

38  Em tese o PISA mede o desempenho entre gerações sucessivas.  Para o Brasil, no entanto, isso não ocorre em virtude de parte da geração de referência já estar fora da escola ou abaixo do 8º ano (7ª série) do EF.  Em 2012, a proporção de jovens da geração de referência elegível para o PISA foi de 72,7%. Em 2000 essa proporção era em torno de 60%  Assim, o PISA também está sujeito a efeitos de composição Desempenho Brasil - PISA

39  A geração de referência e a data da realização da prova tem mudado entre diferentes edições do PISA no Brasil. Desempenho Brasil - PISA EdiçãoPopulação de Referência - 15 anos completos em: Dada do Exame 200030 de junhooutubro 200330 de abrilagosto 200630 de abrilagosto 200931 de dezembro 2008maio 201231 de dezembro 2011maio

40  A mudança da geração de referência e a data da realização da prova tem dois impactos: 1) Eleva a proporção de alunos nas séries mais elevadas (efeito positivo sobre as notas) 2) Para cada série, reduz o tempo de exposição (efeito negativo sobre as notas) Desempenho Brasil - PISA

41  Nascidos entre junho a dezembro (Klein, 2001) Desempenho Brasil: considerando apenas que satisfazem qualquer dos critérios MédiaLeituraMatemáticaCiências 2009398408382403 2006385394370390 2003382403354389 2000 09-00 371 27 397 11 340 42 375 28

42 Evolução do desempenho no SAEB/Prova Brasil no Ensino Médio: 2005 a 2013

43  Hipóteses: 1. Como não ocorreu mudança no ensino após o EF1 e, especialmente no EM, os ganhos iniciais vão sendo perdido (decay) 2. Problemas com integração vertical da escala (uma única escala para diferentes níveis de ensino) 3. Um ano a mais de escolaridade no início vai se tornando menos importante nas séries mais avançadas (relacionado com o item 1) 4. Efeitos de composição Por Que o Avanço no EF1 não Alcançou o EM?

44  Decay tem sido observado em várias intervenções educacionais e em vários lugares.  Intervenções pontuais (positivas ou negativas) tendem a se dissipar se não houver continuidade  Esse é o pior cenário. Os ganhos iniciais seriam perdidos e, ao final, os alunos chegariam no mesmo lugar que chegariam na falta do crescimento de desempenho observado do EF1 Intervenção Educacional e Decay

45  Não há como garantir que a escala do SAEB seja uma escala de intervalos (10 pontos significa a mesma coisa em qualquer ponto da escala).  Ainda que seja uma escala de intervalos, pode ser mais difícil crescer quanto a pontuação vai aumentando. O conhecimento pode apresentar retornos decrescentes. Isso também é verificado na escalo do NAEP  A escala se limita a leitura e matemática e os principais ganhos nas séries mais avançadas podem se dar em outras dimensões (e.g. ciências, história etc) Os Menores Crescimentos nas Séries Finais do Ensino Básico e a Escala Vertical

46 Ensino Fundamental de 9 Anos  No 5º ano – Um ano a mais em 5 (20% a mais)  No 9º ano – Um ano a mais em 9 (11% a mais)  No fim do EM – Um ano a mais em 12 (8% a mais) O Impacto do EF de 9 Anos Pode Perder importância nas Séries Mais Avançadas

47  Da mesma forma que a mudança de composição de quem faz a prova foi importante para explicar a queda do desempenho no final do EF1 nos anos 90, ele pode ser importante hoje para explicar o pior desempenho apresentado no Ensino Médio.  Estão chegando alunos ao final do EM que há alguns anos atrás não chegariam e esses alunos tendem a ter um pior desempenho (queda da repetência e evasão) Evolução do Desempenho no Ensino Médio e o Efeito de Composição

48 Efeito de Composição no Ensino Médio

49 Evolução do desempenho no SAEB/Prova Brasil : 1995 a 2013  Como devemos interpretar o movimento das notas do SAEB/Prova Brasil ao longo do tempo?  O quadro apresentado deve ser considerado positivo ou negativo?

50 Perfil da escolaridade do brasileiro com 22 anos de idade