Propostas e Programas de Avaliação da Educação Básica

Apresentação em tema: "Propostas e Programas de Avaliação da Educação Básica"— Transcrição da apresentação:

1 Propostas e Programas de Avaliação da Educação Básica
Luiza Massae Uema Inep/MEC Fórum Permanente de Desafios do Magistério Campinas, setembro de 2006

2 Objetivo O que tem sido feito no campo da avaliação da educação básica
Avaliação em larga escala – uma perspectiva Reflexão sobre o uso de resultados – alcance e limitações

3 Perspectiva da Avaliação nas Escola
Em sala de aula Os estudantes são avaliados com base em exames preparados por seus professores Os professores utilizam tais exames para determinar aqueles que possuem condições de avançar no sistema O baixo desempenho do estudante é, freqüentemente, considerado de responsabilidade do estudante e de suas famílias

4 Outra perspectiva - avaliações em larga escala
Externas, com foco nos alunos, nas escolas, nas redes ou nos sistemas Metodologia e testes padronizados População de grande porte (em larga escala), representada por amostra, sub-populações Proporciona estudos que produzem macro informações Coleman (1966)

5 As Avaliações em Larga Escala
Brasil: especialmente nas décadas de 90 e atual – proliferação de avaliações em larga escala. Vários tipos de avaliação e objetivos: Auto avaliação Credenciamento Certificação Diagnóstico Accountability

6 As Avaliações em Larga Escala
Auto Avaliação Conhecer a situação da própria aprendizagem, possibilitando também, o posicionamento com relação a outros participantes do exame

7 Avaliações em larga escala
Exemplo: Exame Nacional do Ensino Médio - ENEM Em 2005 Dos participantes, 1,1 milhão são concluintes (52% dos concluintes do ensino médio) Das escolas de ensino médio que constam do Censo Escolar, tiveram ao menos um aluno concluinte que participou do exame (96,05%)

8 Avaliações em larga escala
Credenciamento Avaliação de resultados com vistas à classificação para seleção visando ao ingresso no mercado de trabalho ou em instituições ensino superior Exemplo: ENEM 490 instituições de ensino superior usam o resultado do Enem no critério de seleção de candidatos a seus cursos de graduação - ProUni

9 Avaliações em larga escala
Certificação Instrumento que visa a formalizar, conforme a legislação educacional vigente, as competências e habilidades individuais desenvolvidas Exemplo: Exame Nacional de Certificação de Competências da Educação de Jovens e Adultos – ENCCEJA Objetivo: aferir conhecimentos e habilidades referentes à conclusão do ensino fundamental e médio

10 Avaliações em larga escala
Diagnóstico Levantamento da situação em determinado momento com vistas à formulação, implementação e avaliação de processos ou políticas educacionais Exemplo: Sistema Nacional de Avaliação da Educação Básica – SAEB Avaliação Nacional do Rendimento Escolar - Prova Brasil

11 Avaliações em larga escala
Diagnóstico Brasil: Surgimento entre meados das décadas de 80. O MEC inicia as discussões sobre uma política de suporte à melhoria da qualidade do ensino. Promove algumas experiências piloto de avaliação dando ensejo para a implantação, pela então Secretaria de Educação Básica, do Sistema de Avaliação do Ensino Público de 1º Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliação da Educação Básica, em 1992.

12 SAEB Dois pressupostos básicos:
O rendimento dos alunos reflete a qualidade do ensino ministrado; Diferentes fatores “explicam” a qualidade do ensino. Avaliação do SAEB mais do que um teste sobre os alunos é a conjugação de testes de rendimento com questionários sobre fatores associados

13 SAEB Instrumentos padronizados e de caráter amostral.
Serve para acompanhar a evolução do desempenho dos estudantes ao longo tempo. Possibilita a comparação do desempenho médio dos estudantes entre diferentes estratos Proporciona estudos que buscam identificar os determinantes do desempenho dos estudantes. Relatório Coleman (1966)

14 A Institucionalização do SAEB
Com redemocratização – reflexos na educação Forte ampliação do acesso à escola, porém ao longo do processo: a impressão de que os resultados que estavam sendo gerados não pareciam ser exatamente o que se desejava. O País faz um grande esforço mas ainda é necessário investir em qualidade. Mas o que isto significa exatamente ? sistema nacional de avaliação poderia trazer informações úteis sobre o que estaria sendo gerado no sistema educacional e o que seria responsável pelos resultados obtidos

15 A Institucionalização do SAEB
No governo federal, ao final da década de 80, o MEC inicia as discussões sobre uma política de avaliação do ensino fundamental, promove algumas experiências pilotos, motivando a implantação, pela então Secretaria de Educação Básica, do Sistema de Avaliação do Ensino Público de 1º Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliação da Educação Básica, em 1992. Apesar de algumas dificuldades: Os preconceitos em relação a métodos e técnicas de avaliação de aprendizagem, especialmente os em larga escala. O escasso domínio de competência e raras oportunidades de formação acadêmica neste campo.

16 Evolução Após mais de uma década
Foram realizados sete ciclos de avaliação Avanços metodológicos importantes, como a introdução da TRI Teoria que permite comparabilidade Desenvolveram-se planos amostrais que conferem maior validade aos resultados O SAEB consolida-se como um instrumento que garante qualidade e a confiabilidade das avaliações realizadas.

17 Forma dos Resultados Público alvo: governantes e pesquisadores
Publicações com caráter muito técnico, o que inviabilizava a apropriação dos resultados no contexto do quotidiano das escolas Na ausência de uma proposta curricular completa e objetiva: utilização das matrizes de referência do SAEB como grade curricular Demanda por resultados das escolas e dos alunos individualmente

18 Avaliações em larga escala - SAEB
Proficiência Média por Série e Disciplina – SAEB/INEP Língua Portuguesa

19 Avaliações em larga escala - SAEB
Proficiência Média por Série e Disciplina – SAEB/INEP Matemática

20 Alcance Para além dos números Instrumento de gestão
Desempenho – variável dependente Fatores associados Efeito escola Instrumento de gestão

21 Contribuição Avaliação evoluiu favoravelmente nos últimos anos
Percebe-se a consolidação de uma importante cultura depois das resistências ocorridas nos momentos iniciais Dissemina-se a compreensão dos alcances, limites e complementaridade entre os diferentes tipos de avaliação em larga escala debate iniciado nos últimos anos é dar um salto, agregando à perspectiva da avaliação em larga escala o estabelecimento de padrões mínimos de desempenho a fim de que a informação se torne mais útil e atinja mais a fundo os aspectos pedagógicos do desempenho.

22 Limites Não perfeito, vários aperfeiçoamentos possíveis e muitas limitações analíticas (o que é avaliado) Não poderia responder a todas as necessidades de informação, porque não foi construído para apreender toda a diversidade e singularidade das escolas e sistemas de ensino todos os requisitos informacionais necessários para apurar a qualidade, ou a evolução da qualidade do(s) sistema(s) educacional(is)

23 Perspectivas Com esse pano de fundo, dentro do INEP:
i) Aprimoramento metodológico ii) Comparações Internacionais : PISA, SERCE iii) estimulo a difusão do SAEB e avaliação: Oficinas iv) criação e fortalecimento de sistemas próprios de avaliação – parcerias (metodologia, itens, aplicações etc.) e rede nacional de avaliação v) aprimoramento de pesquisas sobre fatores associados: Condições de oferta Gestão e processos pedagógicos, Condições de alfabetização etc.

24 Avaliações em larga escala
Accountability Avaliação universal com divulgação dos resultados por escolas (accountability) O objetivo é tornar escolas, professores, dirigentes do sistema e estudantes responsáveis pelo desempenho dos alunos. E, assim, mobilizar dirigentes educacionais, professores, estudantes, pais e a sociedade em geral na busca da melhoria da qualidade de ensino.

25 Avaliação universal com divulgação dos resultados por escolas (accountability)
Marco nos sistemas de accountability: Inglaterra (1988) Centralização de currículo, maior liberdade para escolha da escola, maior liberdade para a escola gerir os recursos, definição de critérios de desempenho nacional, divulgação dos resultados.

26 Accountability nas Escolas
Um sistema de accountability envolve: Exames padronizados em caráter universal Ampla divulgação dos resultados Pode ter, ou não, recompensas e sanções atreladas aos resultados. Diferentes sistemas diferem no tipo de exame utilizado, na forma de divulgação dos resultados e nos esquemas de prêmios/sanções subjacentes.

27 Accountability nas Escolas
Polêmica Defensores: avaliação da eficiência melhora efetiva e rapidamente a qualidade do ensino. Críticos: pode ter “efeitos” indesejáveis pela pressão demasiada sobre todos os segmentos envolvidos no processo de ensino.

28 Argumentos favoráveis
Ao tornar os resultados das escolas mais transparentes, accountability gera um sistema de incentivos para a melhoria da qualidade de ensino. Melhorar a qualidade de ensino pode exigir mudanças de práticas e hábitos enraizados no processo escolar e, portanto, de difícil mudança. Maior transparência aumenta a pressão social pelas mudanças.

29 Argumentos favoráveis
A divulgação dos resultados pode desfazer certas percepções equivocadas sobre o desempenho da escola e mobilizar o corpo de professores e dirigentes na busca de melhorias. Um sistema de prêmios/sanções pode aumentar os incentivos para a melhoria.

30 Argumentos contrários
Os indicadores de desempenho são medidas imperfeitas da qualidade da escola: efeito aluno X efeito escola. Responsabilizar a escola por algo que ela não tem “culpa” pode gerar desânimo e piorar o desempenho. No caso de simples divulgação de resultados, tal argumento supõe uma incapacidade, por parte do público interessado, em resolver de forma adequada o problema de “extração de sinal”. No caso de sistemas com prêmios/sansões, o resultado depende muito do desenho.

31 Argumentos contrários
Os indicadores de desempenho são medidas imperfeitas da qualidade da escola: efeito aluno X efeito escola. Responsabilizar a escola por algo que ela não tem “culpa” pode gerar desânimo e piorar o desempenho. No caso de simples divulgação de resultados, tal argumento supõe uma incapacidade, por parte do público interessado, em resolver de forma adequada o problema de “extração de sinal”. No caso de sistemas com prêmios/sansões, o resultado depende muito do desenho.

32 Argumentos contrários
Uma vez que as escolas são cobradas pelo desempenho dos alunos, elas podem buscar meios não desejados de aumentar a proficiência nos exames: Estreitamento do currículo Exclusão dos alunos de baixo rendimento

33 Avaliação e Rendição de Contas
Estudos mostram que: Sistemas de rendição de contas em si levam a aumentos na proficiência de alunos Sistemas de incentivo – dependem dos desenhos Não evidencias conclusivas sobre exclusão Por outro lado Responsabilização Envolvimento da sociedade no debate/definição políticas públicas Transparência – A Informação é um direito do cidadão diminuição de posicionamento paternalista

34 A Prova Brasil Experiência Nova em termos de amplitude nacional: Prova Brasil (ANRESC) (existem experiências similares nos sistemas) amplia o escopo da avaliação, deixa de ser o sistema e passa a ser unidade de ensino, Possibilidade de mudar o foco: apesar de diagnóstico ainda ser ponto chave, a ele pode ser agregada uma nova e importante dimensão – rendição de contas (accountability) Prova Brasil aplicada em 2005 Universal (não amostral) – todas as escolas publicas, urbanas com mais de 30 alunos na serie Metodologia igual a SAEB – comparabilidade. Cada unidade recebe seu resultado de modo a ser possível se comparar com outras escolas Questionário simplificado (só alunos)

35 Divulgação dos resultados
As escolas participantes recebem: seus próprios resultados, com a média geral de proficiência de seus alunos e a distribuição dos alunos ao longo da escala médias do próprio município, estado e do país, referente às escolas que participaram da Prova Brasil livreto com informações técnicas sobre a Prova Brasil

36 Material de Divulgação
cartaz com informações gerais sobre o exame e a escala para avaliação dos resultados em conjunto com a comunidade escolar informativo, com indicadores específicos da escola extraídos do Censo Escolar, e médias das demais escolas que participaram do Prova Brasil Cada gestor municipal e estadual também recebe os mesmos dados

37 Material de Divulgação

38

39

40

41

42

43

44

45