Accountability Educacional Reynaldo Fernandes. Accountability Educacional  Processo de avaliar professores, escolas e sistemas educacionais com base.

Apresentação em tema: "Accountability Educacional Reynaldo Fernandes. Accountability Educacional  Processo de avaliar professores, escolas e sistemas educacionais com base."— Transcrição da apresentação:

1 Accountability Educacional Reynaldo Fernandes

2 Accountability Educacional  Processo de avaliar professores, escolas e sistemas educacionais com base em uma medida de desempenho dos estudantes.

3 Accountability Educacional  Os chamados programas de accountability educacional diferem em uma série de aspectos. Entretanto, alguns elementos comuns podem ser destacados: 1. Ênfase no aprendizado dos alunos, o qual pode ser aferido por testes padronizados. Os indicadores para accountability podem incluir outras informações (e.g. freqüência, evasão e alguma medida da qualidade e quantidade dos insumos escolares), mas o destaque é dado aos resultados dos testes padronizados.

4 Accountability Educacional 2. Professores, diretores e gestores são co- responsáveis pelos resultados de seus estudantes e, assim, eles devem, ao menos em parte, responder pelo desempenho dos estudantes nos exames.

5 Accountability Educacional 3. Presença de um sistema de incentivos para que os responsáveis pela educação dos estudantes moldem suas ações com o objetivo de que seus alunos obtenham bons resultados nos exames. Esse sistema de incentivos envolve, necessariamente, a publicidade dos resultados dos testes por unidade de accountability (sistemas educacionais, escolas e, em alguns casos, até por professores individuais). O sistema de incentivos pode conter, ou não, prêmios e punições atrelados aos resultados dos alunos.

6 Accountability Educacional  Hanushek e Raymond (2005) dividem os programas de accountability em dois tipos: i) Accountability fraca - aqueles que se limitam a divulgar os resultados dos estudantes por escolas e sistema educacional. ii) Accountability forte - aqueles que, além disso, atrelam prêmios, sanções e assistência a tais resultados.

7 A Racionalidade dos Programas de Accountability Educacional  Resolver um possível problema de agente- principal.  Stakeholders (pais, policy makers e contribuintes) podem ter dificuldades em monitorar as atividades das escolas, então educadores (gestores) podem se comportar de maneira diversa do interesse dos stakeholders.  A informação contida nos programas de accountability providenciaria um poderoso mecanismo para superar o problema potencial de agente-principal.

8 A Racionalidade dos Programas de Accountability Educacional  A idéia básica destes programas é que os responsáveis (professores, diretores e gestores) podem alterar suas condutas e, assim, proporcionar aos estudantes um melhor ensino.  Melhorar a qualidade de ensino pode exigir alterações em práticas e hábitos enraizados no processo escolar e, portanto, de difícil mudança.  Se os educadores já fazem o máximo, qualquer política de incentivos para eles seria, no mínimo, inócua.

9 A Racionalidade dos Programas de Accountability Educacional  No debate sobre accountability existe uma confusão entre responsabilidade (ter de prestar contas) e culpa (ato ou omissão repreensível).  Muitos críticos vêem os programas de accountability como uma forma de culpar professores e diretores de escola pela baixa qualidade do ensino.  Os educadores podem não alterar suas condutas por considerar demasiadamente custoso.

10 A Racionalidade dos Programas de Accountability Educacional  Tome-se como exemplo uma escola cujo diagnóstico para seu baixo desempenho reside no fato de uma parcela de seus professores não ser habilitada para a função.  Uma saída seria a troca desses professores.  Entretanto, processos de demissão podem ser desgastantes para quem os conduz e é possível que o diretor prefira evitá-los.

11 A Racionalidade dos Programas de Accountability Educacional  A presença de um programa de accountability, ao expor os resultados das escolas e ao atrelar prêmios e sanções a eles, pode gerar o incentivo necessário para que esse diretor efetive as demissões, inclusive com respaldo dos demais professores.  Para que os programas de accountability possam contribuir para mudar práticas e hábitos, é necessário que os agentes submetidos a eles possuam autonomia para fazê-lo.

12 A Racionalidade dos Programas de Accountability Educacional  E mais, prêmios e punições devem ser atrelados aos responsáveis pelas mudanças.  Por exemplo, diminuir os recursos de escolas ou redes de ensino com baixo desempenho, sem proporcionar os meios para qualquer mudança, pode, simplesmente, punir uma segunda vez os alunos já mais desfavorecidos.

13 A Racionalidade dos Programas de Accountability Educacional  Aqueles que acreditam que a qualidade da educação, pode melhorar, implicitamente admitem que alguns dos responsáveis pela educação (professores, diretores, gestores de rede ou governantes) podem fazer algo diferente do que vêm fazendo.  Nessa perspectiva, em algum nível (professores, escolas ou sistemas de ensino) a accountability pode ser necessária.

14 Accountability Educacional: Definição do Desenho  A definição do desenho envolve: 1. A escolha dos indicadores de accountability 2. A definição dos prêmios e/ou sanções atrelados aos resultados obtidos 3. A definição de critérios para exclusão de alunos das medidas de accountability Obs- Diferentes desenhos podem gerar diferentes incentivos

15 Accountability Educacional: A questão da Medida  A escolha dos indicadores: i. Cobertura → O número de disciplina avaliadas ii. O tipo de indicador tirado dos testes → média do desempenho, progresso médio, uma medida de valor adicionado, a proporção de alunos que ultrapassam determinado threshold (considerados proficientes) etc. iii. Como lidar com o erro de medida → medidas tiradas dos testes estão sujeitas a erros de medidas sistemáticos e/ou aleatótios iv. Incluir ou não alguma medida de fluxo escolar → taxa de aprovação, evasão, conclusão etc. Obs – Diferentes medidas podem gerar rankings bastante diversos

16 Indicadores Mais Usados para Avaliar a Qualidade da Escola 1. Média da pontuação dos estudantes em exames padronizados → Mostra mais o status socioeconômoico do que a qualidade da escola. 2. Score ajustado pelo status socioeconômico como uma medida de valor adicionado → Gera ruído e produz rankings instavéis 3. Variação da pontuação média entre dois períodos como uma medida de progresso → O mesmo problema do item 2.

17 Panel SAEB 1999-2001-2003: Frequencies in top or bottom 20 percent produced by different rankings Source: SAEB - Inep/MEC

18 Accountability Educacional: Prêmios e/ou Sanções  Conseqüências explicitas em programas de “accoutability” forte: Prêmios – aumento de recursos, mais autonomia, bônus para educadores etc. As recompensas são dadas para aqueles que atendem as expectativas do programa ou se dirigem rapidamente para atende-las. Sanções – perda de autonomia, opções de escolha para alunos em escolas de baixo desempenho, fechamento de escolas e demissão de professores. Apesar das ameaças, sanções drásticas são difíceis de se encontrar na prática.

19 Accountability Educacional: Prêmios e/ou Sanções  Programas de “accoutability” fraca não possuem conseqüências explicitas. A simples liberação de informações sobre a “qualidade” da escola mobilizaria pais e a comunidade para pressionar por melhorias.  Por exemplo, o preço de imóveis reflete os resultados dos testes divulgados pelo governo. Além disso, as doações para escolas públicas são afetadas pelos resultados divulgados.  Hanushek e Raymond (2005) apresentam evidências que conseqüências explicitas podem ser importantes.

20 Accountability Educacional: Exclusões  Todos os alunos devem ser considerados no resultados das escolas?  Alunos com necessidades especiais  Alunos transferidos  Por outro lado, as exclusões podem ser uma fonte para “gaming” e fraude.

21 Accountability Educacional: Limites e Riscos  Existem evidências sistemáticas de que educadores se preocupam com os resultados cobrados pelos programas de accountability. Isso não significa que eles sempre respondem na direção almejada pelos programas. 1. Os educadores podem não responder aos incentivos do programa por considerá-los pequenos ou por não saber como fazê-lo (falta de recursos e/ou capacidade)

22 Accountability Educacional: Limites e Riscos 2. Educadores podem adotar medidas que melhoram o desempenho no teste mas não melhoram os conhecimentos e habilidades desejadas (score inflation). Por exemplo, motivar e ensinar estratégias para melhorar o desempenho nos testes. Estudos mostram que o crescimento nos exames “high- stakes” são maiores do que nos “low-stakes”. 3. Estreitamento curricular. As escolas se concentrariam nos tópicos exigidos nos exames (“teaching to the test”). Isso não seria um problema se os testes cobrissem os conteúdos considerados fundamentais.

23 Accountability Educacional: Limites e Riscos 4. Exclusão de alunos com dificuldade de aprendizado. Hanushek e Raymond (2005) não encontram evidencias disso para os EUA. 5. Fraude: Ajudar os estudantes nos testes, selecionar os alunos que realizam os testes etc.

24 Accountability Educacional: Resultados sobre o Desempenho  Raymond e Hanushek (2003)  “As evidências existentes sobre sistemas estaduais de accountability indicam que seu uso leva a um aumento da proficiência dos estudantes. Estados que introduziram sistemas de accountability tendem a mostrar um aumento mais rápido na proficiência durante os anos 90, quando comparados aos estados que não introduziram tais medidas. (.....). Na comparação entre os estados, sabemos também que atrelar conseqüências à performance nos exames produz melhores resultados”.

25 Quais os Resultados dos Estudos sobre Accountability?  Exemplo 1: Chicago – Brian Jacob (2005)  Ano de implementação: 1996  Testes anuais de leitura e matemática aos alunos da 3a, 6a e 8a séries (Iowa Test of Basic Skills – ITBS).  Fim da “promoção social”: alunos da 3a, 6a e 8a séries são requeridos a atingir um padrão mínimo nos testes para serem promovidos.  Caso não atinjam o padrão mínimo, os alunos são obrigados a freqüentar seis semanas de curso de verão e, então, realizarem novos exames. Em caso de novo fracasso eles são retidos na série.

26 Quais os Resultados dos Estudos sobre Accountability?  Escolas com menos de 15% dos alunos com proficiência acima da média nacional são colocadas em “estágio de provação”, o que envolve um aumento da fiscalização.  Escolas em “estágio de provação” que não apresentem uma melhora suficiente podem ser reconstituídas, com professores e dirigentes sendo remanejados ou demitidos.

27 Figura 1 Fonte: Jacob (2005)

28 Figura 2 Fonte: Jacob (2005)

29 Figura 3 Fonte: Jacob (2005)

30 Outros resultados  O aumento da proficiência em outros testes não é tão grande como no ITBS (maior esforço dos alunos no ITBS? Estreitamento do currículo?)  Alguma evidência de aumento de exclusão (alunos em educação especial)

31 Quais os Resultados dos Estudos sobre Accountability?  Exemplo 2: Comparação entre Estados Americanos – Hanushek e Raymond (2005)  Verificam a variação de proficiência entre estados após a implementação do sistema de accountability (diferenças em diferenças)  Usam o NAEP, um exame não utilizado para fins de accountability.  Avalia o crescimento da proficiência entre a 4a e 8a série.

32 Figura 4. Accountability estadual - NAEP (1993-2002) Fonte: Hanushek e Raymond (2005)

33 Resultados  Accountability aumenta a proficiência em 0,22 desvios-padrão.  Accountability com conseqüências possui melhor resultado do que a simples divulgação dos resultados.  Não encontram evidências de exclusão

34 Figlio e Loeb (2011): Conclusão The chapter then summarizes the research literature on the effects of test-based accountability on students and teachers, concluding that the preponderance of evidence suggests positive effects of the accountability movement in the United States during the 1990s and early 2000s on student achievement, especially in math. The effects on teachers and on students' long-run outcomes are more difficult to judge. It is also clear that school personnel respond to accountability in both positive and negative ways, and that accountability systems run the risk of being counter-productive if not carefully thought out and monitored.

35 Bibliografia  Figlio, D. e Loeb, S. (2011) School Accountability. In Hanushek, E., Machin, S. e Woessmann, L. (Eds) Handbook of the Economics of Education, Volume 3, North-Holland, p. 383-421.  Fernandes, Reynaldo; Gremaud, Amaury (2009). Qualidade da educação básica: avaliação, indicadores e metas. In: VELOSO, Fernando et al. (Orgs.). Educação básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elseiver.  Hanushek, Eric. e Raymond, Margareth (2005) “Does school accountability lead to improved student performance?” Journal of Policy Analysis & Management, v. 24, n, 2: 297-327  Jacob, B.A. (2005). Accountability, incentives and behavior: The impact of high-stakes testing in the Chicago public schools. J. Public Econ. 89 (5–6), 761–796.