Marcio da Costa Universidade Federal do Rio de Janeiro.

Apresentação em tema: "Marcio da Costa Universidade Federal do Rio de Janeiro."— Transcrição da apresentação:

1 Marcio da Costa Universidade Federal do Rio de Janeiro

2  Ultrapassamos (quase) as polêmicas sobre a pertinência da coleta e divulgação de dados educacionais indicativos do desempenho de alunos  Foco principal sobre os alunos e seu aprendizado (parece óbvio, mas...)  Sistemas de informações incorporados à formulação de políticas e à gestão educacional  Informações em grande escala incorporadas às polêmicas cotidianas sobre educação

3  Na qualidade e riqueza das informações  Nos esforços do INEP e da sociedade civil  Na formação de quadros técnicos habilitados a lidar com tais informações (menos rapidamente – escala artesanal)  Nas iniciativas de disseminação das informações  Na apropriação das informações por parcelas da população (timidamente, exceto quando há mercado)  Na percepção de novos – e mais complexos - problemas

4  São mais duvidosos (ex: PISA)  Sujeitos a problemas de amadurecimento do sistema, efeito teste/reteste, aprendizado do jogo, etc. Fonte: tabulação a partir de proposta Prof. Chico Soares

5  Grandes saltos, resultados espetaculares  exercitar o ceticismo para dar passos seguros  Introdução de políticas de “alto impacto” gera “adaptações” que podem distorcer  Conhecer as reações diante de um quadro de informações relativamente novo  Ultrapassar os rankings  Aprimorar os recursos técnicos e a capacidade de comunicá-los  Preservar ao máximo a confiabilidade do sistema

6  Componentes do IDEB:  IDEB = desempenho*rendimento  Desempenho dos alunos: o nível médio da proficiência dos alunos da escola, obtido na Prova Brasil.  Rendimento: valor médio das taxas de aprovação da escola, obtido do Censo Escolar.

7 Limites usados para a padronização das proficiências

8

9  Proficiência padronizada = Média das proficiências padronizadas dos alunos  Médias variam menos do que as observações individuais

10

11 Série – Ano 01234 Taxa Aprovação82,479,178,497,188,4 Taxa aprovação em decimais0,8240,7910,7840,9710,884 Anos de estudo necessários1,211,261,281,031,13 Algoritmo de cálculo do indicador de rendimento de uma escola

12 Diferentes combinações dos indicadores de Rendimento e Proficiência Padronizada que produzem o mesmo IDEB de 6. - desempenho - seletividade + desempenho + seletividade

13  Objetivos: aprendizado e fluxo ◦ Qualidade e equidade  Três possíveis questões a observar ◦ Distribuição, para além das médias ◦ Aprendizado escolar (pontos de chegada) ◦ Escolas eficazes (considerando os pontos de partida – modelos de valor agregado)

14

15  Só alunos presentes ao teste são considerados.  Não se pode usar a metáfora da nota escolar para analisar o IDEB.  Proficiência em Matemática tem mais peso do que a proficiência em Leitura.  Reproduz o nível socioeconômico da escola.  Naturaliza baixos desempenhos para muitos alunos.  Assume substituições questionáveis entre indicadores.  Esconde baixos desempenhos de muitos alunos.

16  A diretora que não perde alunos  O acesso diferenciado  A reprovação travestida  A expulsão doce (escola da praia)  A ecologia do quase-mercado escolar (homogeneização progressiva)  As críticas técnicas aos cálculos de valor agregado e eficácia escolar

17

18

19

20

21

22 © Koslinski e Carvalho

23

24 ESCOLAS DE 1o SEGMENTOESCOLAS DE 2o SEGMENTO Escolas % de alunos com alta escolaridad e dos pais Prova Brasil Padronizada (média 2005, 2007, 2009) Escola s % de alunos com alta escolaridad e dos pais Prova Brasil Padronizada (média 2005, 2007, 2000) A79,526,78I70,715,48 B66,766,54II58,205,40 C64,296,24 D63,146,57 E27,684,64E23,434,18 F23,884,87F25,124,49 G20,384,68G19,564,64

25

26

27  Prova Brasil e, por conseguinte, o IDEB não têm, ainda, proteção contra as transferências voluntárias e forçadas, contra a “ecologia escolar”.  Equidade fica em segundo plano, mas isso compromete a qualidade do conjunto.

28

29  Pontuação bruta nos testes não é bom indicador de desempenho da escola  Diferenças entre desempenhos ou ganhos de desempenho, entre escolas, controladas as características socioeconômicas dos alunos (resíduos), podem ser atribuídas a diferenças de eficácia das escolas em questão?  Modelos de estimação da eficácia escolar, VA e CVA, postos em questão, sob argumento da “propagação de erros” (Gorard, 2010)  Informações ausentes não são aleatórias (como as transferências).

30  Argumentos também quanto a erros na medição das proficiências (mesmo no UK), erros nas medidas associadas, quão mais complexos os modelos, maior sua indeterminação (não é possível alongar aqui)  Para defensores da ideia que escola faz diferença, que há eficácia escolar, desafios operacionais e técnicos severos no horizonte.  Melhorar a qualidade das informações, operar com modelos mais amplamente compreensíveis, confiáveis e transparentes.

31  Muito do que foi aqui exposto não é trivial.  Boa iniciativa do Todos Pela Educação, mas não podemos contar apenas com eventos pontuais.  Apreensão desses conhecimentos envolve esforço sistemático, árduo.  Temos um jornalismo educacional como temos jornalismo econômico?