Propostas e Programas de Avaliação da Educação Básica Luiza Massae Uema Inep/MEC Fórum Permanente de Desafios do Magistério Campinas, setembro de 2006

Objetivo O que tem sido feito no campo da avaliação da educação básica Avaliação em larga escala – uma perspectiva Reflexão sobre o uso de resultados – alcance e limitações

Perspectiva da Avaliação nas Escola Em sala de aula Os estudantes são avaliados com base em exames preparados por seus professores Os professores utilizam tais exames para determinar aqueles que possuem condições de avançar no sistema O baixo desempenho do estudante é, freqüentemente, considerado de responsabilidade do estudante e de suas famílias

Outra perspectiva - avaliações em larga escala Externas, com foco nos alunos, nas escolas, nas redes ou nos sistemas Metodologia e testes padronizados População de grande porte (em larga escala), representada por amostra, sub-populações Proporciona estudos que produzem macro informações Coleman (1966)

As Avaliações em Larga Escala Brasil: especialmente nas décadas de 90 e atual – proliferação de avaliações em larga escala. Vários tipos de avaliação e objetivos: Auto avaliação Credenciamento Certificação Diagnóstico Accountability

As Avaliações em Larga Escala Auto Avaliação Conhecer a situação da própria aprendizagem, possibilitando também, o posicionamento com relação a outros participantes do exame

Avaliações em larga escala Exemplo: Exame Nacional do Ensino Médio - ENEM Em 2005 Dos 2.199.637 participantes, 1,1 milhão são concluintes (52% dos concluintes do ensino médio) Das 22.918 escolas de ensino médio que constam do Censo Escolar, 22.014 tiveram ao menos um aluno concluinte que participou do exame (96,05%)

Avaliações em larga escala Credenciamento Avaliação de resultados com vistas à classificação para seleção visando ao ingresso no mercado de trabalho ou em instituições ensino superior Exemplo: ENEM 490 instituições de ensino superior usam o resultado do Enem no critério de seleção de candidatos a seus cursos de graduação - ProUni

Avaliações em larga escala Certificação Instrumento que visa a formalizar, conforme a legislação educacional vigente, as competências e habilidades individuais desenvolvidas Exemplo: Exame Nacional de Certificação de Competências da Educação de Jovens e Adultos – ENCCEJA Objetivo: aferir conhecimentos e habilidades referentes à conclusão do ensino fundamental e médio

Avaliações em larga escala Diagnóstico Levantamento da situação em determinado momento com vistas à formulação, implementação e avaliação de processos ou políticas educacionais Exemplo: Sistema Nacional de Avaliação da Educação Básica – SAEB Avaliação Nacional do Rendimento Escolar - Prova Brasil

Avaliações em larga escala Diagnóstico Brasil: Surgimento entre meados das décadas de 80. O MEC inicia as discussões sobre uma política de suporte à melhoria da qualidade do ensino. Promove algumas experiências piloto de avaliação dando ensejo para a implantação, pela então Secretaria de Educação Básica, do Sistema de Avaliação do Ensino Público de 1º Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliação da Educação Básica, em 1992.

SAEB Dois pressupostos básicos: O rendimento dos alunos reflete a qualidade do ensino ministrado; Diferentes fatores “explicam” a qualidade do ensino. Avaliação do SAEB mais do que um teste sobre os alunos é a conjugação de testes de rendimento com questionários sobre fatores associados

SAEB Instrumentos padronizados e de caráter amostral. Serve para acompanhar a evolução do desempenho dos estudantes ao longo tempo. Possibilita a comparação do desempenho médio dos estudantes entre diferentes estratos Proporciona estudos que buscam identificar os determinantes do desempenho dos estudantes. Relatório Coleman (1966)

A Institucionalização do SAEB Com redemocratização – reflexos na educação Forte ampliação do acesso à escola, porém ao longo do processo: a impressão de que os resultados que estavam sendo gerados não pareciam ser exatamente o que se desejava. O País faz um grande esforço mas ainda é necessário investir em qualidade. Mas o que isto significa exatamente ? sistema nacional de avaliação poderia trazer informações úteis sobre o que estaria sendo gerado no sistema educacional e o que seria responsável pelos resultados obtidos

A Institucionalização do SAEB No governo federal, ao final da década de 80, o MEC inicia as discussões sobre uma política de avaliação do ensino fundamental, promove algumas experiências pilotos, motivando a implantação, pela então Secretaria de Educação Básica, do Sistema de Avaliação do Ensino Público de 1º Grau - SAEP, que passou a denominar-se Sistema Nacional de Avaliação da Educação Básica, em 1992. Apesar de algumas dificuldades: Os preconceitos em relação a métodos e técnicas de avaliação de aprendizagem, especialmente os em larga escala. O escasso domínio de competência e raras oportunidades de formação acadêmica neste campo.

Evolução Após mais de uma década Foram realizados sete ciclos de avaliação Avanços metodológicos importantes, como a introdução da TRI Teoria que permite comparabilidade Desenvolveram-se planos amostrais que conferem maior validade aos resultados O SAEB consolida-se como um instrumento que garante qualidade e a confiabilidade das avaliações realizadas.

Forma dos Resultados Público alvo: governantes e pesquisadores Publicações com caráter muito técnico, o que inviabilizava a apropriação dos resultados no contexto do quotidiano das escolas Na ausência de uma proposta curricular completa e objetiva: utilização das matrizes de referência do SAEB como grade curricular Demanda por resultados das escolas e dos alunos individualmente

Avaliações em larga escala - SAEB Proficiência Média por Série e Disciplina – SAEB/INEP Língua Portuguesa

Avaliações em larga escala - SAEB Proficiência Média por Série e Disciplina – SAEB/INEP Matemática

Alcance Para além dos números Instrumento de gestão Desempenho – variável dependente Fatores associados Efeito escola Instrumento de gestão

Contribuição Avaliação evoluiu favoravelmente nos últimos anos Percebe-se a consolidação de uma importante cultura depois das resistências ocorridas nos momentos iniciais Dissemina-se a compreensão dos alcances, limites e complementaridade entre os diferentes tipos de avaliação em larga escala debate iniciado nos últimos anos é dar um salto, agregando à perspectiva da avaliação em larga escala o estabelecimento de padrões mínimos de desempenho a fim de que a informação se torne mais útil e atinja mais a fundo os aspectos pedagógicos do desempenho.

Limites Não perfeito, vários aperfeiçoamentos possíveis e muitas limitações analíticas (o que é avaliado) Não poderia responder a todas as necessidades de informação, porque não foi construído para apreender toda a diversidade e singularidade das escolas e sistemas de ensino todos os requisitos informacionais necessários para apurar a qualidade, ou a evolução da qualidade do(s) sistema(s) educacional(is)

Perspectivas Com esse pano de fundo, dentro do INEP: i) Aprimoramento metodológico ii) Comparações Internacionais : PISA, SERCE iii) estimulo a difusão do SAEB e avaliação: Oficinas iv) criação e fortalecimento de sistemas próprios de avaliação – parcerias (metodologia, itens, aplicações etc.) e rede nacional de avaliação v) aprimoramento de pesquisas sobre fatores associados: Condições de oferta Gestão e processos pedagógicos, Condições de alfabetização etc.

Avaliações em larga escala Accountability Avaliação universal com divulgação dos resultados por escolas (accountability) O objetivo é tornar escolas, professores, dirigentes do sistema e estudantes responsáveis pelo desempenho dos alunos. E, assim, mobilizar dirigentes educacionais, professores, estudantes, pais e a sociedade em geral na busca da melhoria da qualidade de ensino.

Avaliação universal com divulgação dos resultados por escolas (accountability) Marco nos sistemas de accountability: Inglaterra (1988) Centralização de currículo, maior liberdade para escolha da escola, maior liberdade para a escola gerir os recursos, definição de critérios de desempenho nacional, divulgação dos resultados.

Accountability nas Escolas Um sistema de accountability envolve: Exames padronizados em caráter universal Ampla divulgação dos resultados Pode ter, ou não, recompensas e sanções atreladas aos resultados. Diferentes sistemas diferem no tipo de exame utilizado, na forma de divulgação dos resultados e nos esquemas de prêmios/sanções subjacentes.

Accountability nas Escolas Polêmica Defensores: avaliação da eficiência melhora efetiva e rapidamente a qualidade do ensino. Críticos: pode ter “efeitos” indesejáveis pela pressão demasiada sobre todos os segmentos envolvidos no processo de ensino.

Argumentos favoráveis Ao tornar os resultados das escolas mais transparentes, accountability gera um sistema de incentivos para a melhoria da qualidade de ensino. Melhorar a qualidade de ensino pode exigir mudanças de práticas e hábitos enraizados no processo escolar e, portanto, de difícil mudança. Maior transparência aumenta a pressão social pelas mudanças.

Argumentos favoráveis A divulgação dos resultados pode desfazer certas percepções equivocadas sobre o desempenho da escola e mobilizar o corpo de professores e dirigentes na busca de melhorias. Um sistema de prêmios/sanções pode aumentar os incentivos para a melhoria.

Argumentos contrários Os indicadores de desempenho são medidas imperfeitas da qualidade da escola: efeito aluno X efeito escola. Responsabilizar a escola por algo que ela não tem “culpa” pode gerar desânimo e piorar o desempenho. No caso de simples divulgação de resultados, tal argumento supõe uma incapacidade, por parte do público interessado, em resolver de forma adequada o problema de “extração de sinal”. No caso de sistemas com prêmios/sansões, o resultado depende muito do desenho.

Argumentos contrários Os indicadores de desempenho são medidas imperfeitas da qualidade da escola: efeito aluno X efeito escola. Responsabilizar a escola por algo que ela não tem “culpa” pode gerar desânimo e piorar o desempenho. No caso de simples divulgação de resultados, tal argumento supõe uma incapacidade, por parte do público interessado, em resolver de forma adequada o problema de “extração de sinal”. No caso de sistemas com prêmios/sansões, o resultado depende muito do desenho.

Argumentos contrários Uma vez que as escolas são cobradas pelo desempenho dos alunos, elas podem buscar meios não desejados de aumentar a proficiência nos exames: Estreitamento do currículo Exclusão dos alunos de baixo rendimento

Avaliação e Rendição de Contas Estudos mostram que: Sistemas de rendição de contas em si levam a aumentos na proficiência de alunos Sistemas de incentivo – dependem dos desenhos Não evidencias conclusivas sobre exclusão Por outro lado Responsabilização Envolvimento da sociedade no debate/definição políticas públicas Transparência – A Informação é um direito do cidadão diminuição de posicionamento paternalista

A Prova Brasil Experiência Nova em termos de amplitude nacional: Prova Brasil (ANRESC) (existem experiências similares nos sistemas) amplia o escopo da avaliação, deixa de ser o sistema e passa a ser unidade de ensino, Possibilidade de mudar o foco: apesar de diagnóstico ainda ser ponto chave, a ele pode ser agregada uma nova e importante dimensão – rendição de contas (accountability) Prova Brasil aplicada em 2005 Universal (não amostral) – todas as escolas publicas, urbanas com mais de 30 alunos na serie Metodologia igual a SAEB – comparabilidade. Cada unidade recebe seu resultado de modo a ser possível se comparar com outras escolas Questionário simplificado (só alunos)

Divulgação dos resultados As escolas participantes recebem: seus próprios resultados, com a média geral de proficiência de seus alunos e a distribuição dos alunos ao longo da escala médias do próprio município, estado e do país, referente às escolas que participaram da Prova Brasil livreto com informações técnicas sobre a Prova Brasil

Material de Divulgação cartaz com informações gerais sobre o exame e a escala para avaliação dos resultados em conjunto com a comunidade escolar informativo, com indicadores específicos da escola extraídos do Censo Escolar, e médias das demais escolas que participaram do Prova Brasil Cada gestor municipal e estadual também recebe os mesmos dados

Material de Divulgação http://provabrasil.inep.gov.br http://172.25.0.31/apache2-default/desenv/provabrasil/