Guia de apropriação de resultados Saepe 2012

Função do Guia Este guia busca apresentar caminhos para facilitar a apropriação dos resultados do Saepe 2012. Ele deve ser utilizado como um norte para o melhor aproveitamento das informações que professores, gestores e profissionais envolvidos com a educação, receberão no processo de divulgação destes resultados, através de materiais impressos e disponibilizados no site do programa. O objetivo é orientar a leitura dos resultados expostos nas revistas.

OBJETIVOS Analisar e interpretar os resultados do SAEPE 2012, para, assim, (re)planejar as ações pedagógicas implementadas em sala de aula e as ações da gestão da escola, a serem definidas pelos profissionais envolvidos no processo de avaliação.

Pontos fundamentais É sempre importante relembrar os principais elementos envolvidos com a avaliação educacional em larga escala, como é o caso do Saepe. Diante disso, vamos revisar, brevemente, as noções de Matriz de Referência, item, descritor, resultados de proficiência, participação e distribuição dos alunos por padrão de desempenho.

Matriz de Referência para Avaliação Elemento base de origem dos testes utilizados no SAEPE. Garante legitimidade e transparência à avaliação. É formada por um conjunto de descritores que, agrupados em tópicos/temas, apresentam as habilidades consideradas básicas e possíveis de serem aferidas por meio do instrumento utilizado em avaliações em larga escala. Não abarca todo currículo escolar. Por isso, não pode ser confundida com parâmetros curriculares, Base Curricular Comum - BCC, procedimentos ou estratégias de ensino ou Orientações Teórico-Metodológicas - OTM, nem com o conteúdo a ser trabalhado pelo professor em sala de aula.

Como a Matriz de Referência dá origem aos testes? Constitui um parâmetro de orientação; Apresenta o objeto da avaliação; Caráter de universalidade; Orienta a elaboração de itens.

Descritores Os descritores têm origem na associação entre os conteúdos curriculares e as operações mentais desenvolvidas pelo aluno que se traduzem em certas habilidades. Constituem uma sumária “descrição” das habilidades esperadas ao final de cada período escolar avaliado.

Das Matrizes aos itens dos testes de proficiência Agrupa as habilidades passíveis de avaliação em um teste de proficiência. Tema Tópico Representa uma subdivisão de acordo com o conteúdo, competências de área e habilidades. Descritor Descreve cada uma das habilidades da Matriz. Item Avalia apenas uma única habilidade.

O QUE É UM ITEM? Características: É uma questão do teste de larga escala. Avalia uma única habilidade, portanto o item é unidimensional. Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele.

Exemplo de um item de Língua Portuguesa Enunciado Suporte Comando Gabarito Distratores

Estatísticas do item – apresentação nas revistas de divulgação

Análise dos resultados dos itens nas revistas Características: É uma questão do teste de larga escala. Avalia uma única habilidade, portanto o item é unidimensional. Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele.

Considerações acerca das características de um item bem elaborado Um bom item: enfoca uma única situação-problema; contém no suporte informações relevantes através de gêneros familiares aos estudantes com textos, figuras, ou recortes de notícias e anúncios; apresenta o enunciado de forma clara, precisa e concisa; utiliza vocabulário adequado ao nível de escolaridade do estudante; é redigido de acordo com as normas da ABNT na apresentação de textos e figuras; apresenta exclusivamente um gabarito; apresenta distratores plausíveis.

Considerações acerca das características de um item com problemas de elaboração Um item inadequado: Contém referência discriminatória quanto a etnia, religião, gênero ou orientação sexual; contém imagens de produtos e marcas registradas; se vale de “pegadinhas” e “dicas”; utiliza termos como “sempre”, “nunca”, “todo”, “totalmente”.

Componentes da Matriz de Referência TÓPICO OU TEMA DESCRITORES

Exemplo de resultados de percentual de acerto por descritor

Percentual de acerto por descritor Sobre este tipo de resultado : Este resultado é produzido com base na Teoria Clássica dos Testes – TCT; Ele é produzido para cada série e cada etapa de escolaridade; É um resultado importante para os professores, que podem identificar, através dos percentuais, quais são os conteúdos que possuem itens com maiores percentuais de acerto e com maiores percentuais de erros; isso oferece um diagnóstico importante para alterar práticas pedagógicas, reforçando os conteúdos nos quais os estudantes apresentaram maiores dificuldades.

Os resultados da avaliação educacional em larga escala Proficiência média Participação Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho

Os resultados da avaliação educacional Cada um destes resultados possui sua importância dentro do processo de avaliação educacional. Por isso, é fundamental que todos eles sejam observados, em conjunto. A visão precisa ser do todo: observar as médias de proficiência, do estado, das gerências regionais, dos municípios, das escolas, das turmas e dos estudantes; o mesmo deve ser feito em relação à participação nos testes de proficiência e à distribuição dos estudantes pelos padrões de desempenho.

Exemplo de resultado na revista

Exemplo de resultado na revista O modelo anteriormente apresentado está exposto nas revistas de divulgação de resultados do Saepe 2012. Ele envolve os três tipos de resultado dos quais falamos anteriormente: Resultados de participação; Resultados de proficiência; Resultados de distribuição dos estudantes por padrões de desempenho..

Exemplo de resultado na revista Resultados de participação: - A participação é muito importante para a avaliação educacional. Tendo em vista que a avaliação é um instrumento para a garantia de um direito fundamental do estudante, o direito de aprender, o objetivo é que o maior número de estudantes participe da avaliação. Sendo assim, busca-se sempre que o número de estudantes previstos para serem avaliados seja o mesmo número de estudantes que, efetivamente, participaram do processo de avaliação. Assim, nos resultados de participação, estão expostos o número de estudantes previstos para participarem dos testes, o número de estudantes que fizeram os testes e o percentual de participação, conforme modelo abaixo:

Exemplo de resultado na revista Resultados de proficiência: A proficiência é uma maneira de indicar a capacidade dos estudantes de desenvolverem habilidades e competências previstas no currículo e que dão base às Matrizes de Referência da avaliação. Mais do que um número, a proficiência indica, através da interpretação da Escala de Proficiência, as habilidades que os estudantes desenvolveram e o grau em que o fizeram. A proficiência deve ser entendida a partir dos padrões de desempenho. A média de proficiência indica em que padrão de desempenho o estudante se encontra. Nas revistas do Saepe 2012, a média de proficiência é divulgada para cada uma das últimas três edições do programa (2010 a 2012), permitindo a análise da evolução da escala neste período.

Exemplo de resultado na revista Resultados por padrões: O percentual de estudantes em cada padrão de desempenho oferece um panorama geral da concentração dos estudantes nestes padrões, permitindo observar onde está posicionada, em termos de desempenho estudantil, a maioria dos estudantes. Esta informação é muito importante para corrigir desigualdades, não observando apenas a média de proficiência, mas a concentração dos estudantes, principalmente nos padrões mais baixos, que exigem maior atenção do profissional que trabalha com educação. Vale notar que a distribuição dos estudantes por padrão também é informada para o último triênio.

Exemplo de resultado na revista Habilidades dos estudantes em cada padrão

A importância dos padrões de desempenho Padrões de desempenho estudantil Estabelecimento e monitoramento das metas de qualidade educacional Caracterização do desempenho escolar Grau de realização das ações educacionais Políticas públicas voltadas à promoção da equidade Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

Uso dos Resultados 1. Gestor O uso dos resultados da avaliação Uso dos Resultados 1. Gestor De Rede: Planejamento e execução de políticas públicas; Criação de metas de qualidade e equidade educacionais; Implementação de medidas de responsabilização; Políticas de incentivos diretos ou indiretos; Ações de formação continuada de professores. De Escola: Elaboração do projeto da escola; Monitoramento da qualidade de ensino; Subsídio para avaliação institucional.

Uso dos Resultados 2 . Professor O uso dos resultados da avaliação Uso dos Resultados 2 . Professor Intervenção pedagógica Elaboração de projetos especiais Foco nos estudantes com dificuldades Ações de reforço escolar Planejamento das ações de sala de aula Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica

Uso dos Resultados 3. Estudante O uso dos resultados da avaliação Uso dos Resultados 3. Estudante Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares Informações sobre a qualidade dos serviços educacionais oferecidos

Acesso aos resultados As revistas de divulgação de resultados chegarão, em formato impresso, em todas as escolas que fizeram parte do Saepe 2012. Elas estão dispostas, também, no site do projeto. Acesse: http://www.saepe.caedufjf.net Lá estão expostos os resultados e as revistas, além de outras informações sobre o projeto.