Oficina de Apropriação de Resultados – Saethe 2014 Módulo I Contextualização e Conceitos da Avaliação em Larga Escala

Avaliação da rede municipal de Teresina Objetivos Criar uma cultura de avaliação voltada para o êxito do aluno. Oportunizar a reflexão sobre o desempenho dos alunos e a interpretação das causas e efeitos das deficiências e avanços revelados pela avaliação. Propor alternativas para a tomada de decisão levando em consideração os resultados obtidos.

Avaliação da rede municipal de Teresina Desde 1995, a Secretaria Municipal de Educação (Semec) executou diversos projetos de avaliação da rede, em parceira com institutos de pesquisa e avaliação. As experiências de avaliação podem ser organizadas em quatro momentos.

Avaliação da rede municipal de Teresina Evolução da experiência 1° momento – 1995 a 1997 Iniciou-se a organização de um sistema de avaliação institucional a partir de um projeto intermunicipal de iniciativa da União Nacional dos Dirigentes Municipais de Educação (Undime), financiado pelo MEC/FNDE. Projeto “Qualidade da Educação Básica e Avaliação de Rede”. Os resultados circulavam apenas na Secretaria.

Avaliação da rede municipal de Teresina Evolução da experiência 2º Momento – 1998 a 2000 O Projeto foi assumido integralmente pela PMT, que contratou professores da UFPI para elaborar os testes. A Semec assumiu a execução das demais etapas. Eram divulgados resultados gerais (médias) por escola e série.

Avaliação da rede municipal de Teresina Evolução da experiência 3º Momento – de 2001 a 2010 A avaliação ganhou novo formato. Foi criado um núcleo de avaliação, que assumiu a coordenação do projeto. Os testes passaram a ser construídos a partir de habilidades e categorias de conteúdo, baseados nos PCN/ Proposta Curricular da Rede.

Avaliação da rede municipal de Teresina Evolução da experiência 3º Momento – de 2001 a 2010 Os resultados informam percentual de acerto por habilidade e categoria de conteúdos de escola, turma, disciplina e aluno, para: professores, pais, alunos, conselhos escolares e divulgação ampla na mídia . Os relatórios são quanti-qualitativos contendo informações sobre o desempenho do aluno (desenvolvimento de habilidades cognitivas).

Avaliação da rede municipal de Teresina Evolução da experiência 3º Momento – de 2001 a 2010 2007 - Avaliação de Desempenho /Prêmio Professor Alfabetizador. 2010 - Avaliação externa do desempenho dos alunos de 5º e 9º anos, nas áreas de Língua Portuguesa e Matemática, em 147 escolas da Rede Municipal de Teresina. Utiliza a metodologia da Teoria de Resposta ao Item (TRI), tomando como referência a escala do SAEB/PROVA BRASIL.

Avaliação da rede municipal de Teresina Saethe Evolução da experiência 4º Momento – a partir de 2014 Parceria com o CAEd/UFJF. Avaliação de habilidades em Língua Portuguesa e Matemática para 2º, 3º (saída), 4º e 8º anos do Ensino Fundamental. Avaliações de entrada e saída de todos os alunos matriculados na rede nas etapas avaliadas. Uso de TRI e escala do Saeb para o 8º ano. (Demais etapas: escala de Alfabetização).

O que é avaliar? O processo de avaliação está relacionado à produção de informações sobre determinada realidade e é algo que está bastante presente no cotidiano escolar.

Como funciona o processo? Coletar Diagnosticar Decidir Agir Dados e informações sobre determinada realidade. Traçar estratégias de uma ação sobre o objeto avaliado. Produzir algum julgamento sobre a realidade. Em função de um objetivo que se deseja alcançar.

O que é avaliar? Observações, Registros, Provas etc. Professores Aferição de Aprendizagem O que precisa ser feito para que os alunos avancem?

Avaliação educacional em larga escala Nas últimas décadas, paralelo às avaliações tradicionais, outro procedimento de avaliação educacional tem ganhado espaço: são as avaliações externas, geralmente em larga escala, que têm objetivos e procedimentos diferenciados das avaliações realizadas pelos professores nas salas de aula.

Por que avaliamos? Informação Ação Qualidade e Equidade

Tipos de Avaliação Pequena escala Larga escala Avaliação Diagnóstica Formativa Somativa Interna Escola Externa Sistemas Interna Escola Externa Sistemas Interna Escola Externa Sistemas Pequena escala Larga escala

Tipos de Avaliação Diagnóstica Definição: Ocorre no início de um processo para obter informações sobre os conhecimentos dos estudantes. Objetivo: Identificar características dos alunos com finalidade de escolher o tipo de trabalho mais adequado. Características: Aspecto preventivo; capacidade de determinar causas de dificuldades de aprendizagem permanentes. Resultados: Possibilitam planejamento de intervenções iniciais e novos procedimentos.

Tipos de Avaliação Formativa Definição: Tem foco no processo de ensino/ aprendizagem e caráter essencialmente pedagógico. Objetivo: Melhorar o processo de ensino/ aprendizagem a partir das informações coletadas pelo processo avaliativo. Características: Geração rápida de informações sobre etapas vencidas; feedback contínuo; diálogo entre professor e aluno. Resultados: Permitem planejamento, ajuste e redirecionamento de práticas pedagógicas.

Tipos de Avaliação Somativa Definição: Modalidade avaliativa pontual que ocorre ao final de um processo. Objetivo: Fazer um balanço somatório de uma ou várias sequências do trabalho de formação. Características: Além de informar, situar e classificar o avaliado, tendo a perspectiva de conclusão em evidência. Resultados: Permitem registrar o que parece ter sido assimilado pelos alunos ao longo do processo.

Tipos de Avaliação Interna Definição: Realizada pelo professor em sala de aula; corresponde à verificação da aprendizagem dos alunos. Objetivo: Verificar o processo de ensino e aprendizagem, fornecendo informações sobre o trabalho do professor. Características: Refletir resultados do trabalho do professor, bem como o desempenho dos alunos. Utiliza a teoria clássica dos testes (TCT). Resultados: Permitem reformular práticas pedagógicas ou retomar alguma dificuldade apresentada pelos alunos.

Tipos de Avaliação Externa Definição: Um dos principais instrumentos para a elaboração de políticas públicas dos sistemas de ensino e redirecionamento das metas das unidades escolares. Objetivo: Assegurar a qualidade da Educação; diagnosticar a realidade do ensino. Características: Podem ser censitárias ou amostrais. Avalia as redes ou os sistemas de ensino, indo além da sala de aula. Utiliza a teoria da resposta ao item (TRI) Resultados: Fornecem subsídios para a tomada de decisões; permitem acompanhar o desenvolvimento das redes e sistemas de ensino.

Avaliação Educacional Provas abertas Provas objetivas Observação/Registro Portfólio TEORIA CLÁSSICA TEORIA DA RESPOSTA AO ITEM Avaliação Interna/Escola Processo da aprendizagem Avaliação Externa/Sistemas Testes de proficiência Questionários contextuais Desempenho dos alunos

Linha do tempo das avaliações

Linha do Tempo | Avaliações 1990 Sistema de Avaliação da Educação Básica (Saeb). 1997 Adoção da escala de proficiência do Saeb. 1998 Estabelecimento das matrizes de referência.

Linha do Tempo | Avaliações 2000 Uso das escalas de proficiência estaduais. 2005 Prova Brasil. 2007 Índice de Desenvolvimento da Educação Básica (Ideb) / Metas estaduais.

Linha do Tempo | Avaliações (Alicerces) 1990-7 Ceará/Minas Gerais (1992); Mato Grosso do Sul; São Paulo/Paraná; Rio Grande do Sul/Teresina. (Expansão) 1997-2007 Acre; Pernambuco/Espírito Santo/Rio de Janeiro; Tocantins/Alagoas/Bahia/Goiás; Amazonas. (Presente) 2007-Hoje Piauí; Pará; Rondônia/Paraíba (2012).

Sistemas próprios de Avaliação SEAPE SADEAM SAEPI SARESP SIMAVE SAERJ SAERO PAEBES SAEMS SAEGO AREAL AVALIE SISPAE SALTO SPAECE SAEPE SAEMI SAERS SAEP Sistema de Av. da Educ. da Paraíba AVALIA BH ALFABETIZA RIO SAETHE

Vantagens dos sistemas próprios de Avaliação Desenho próprio (definição de séries e áreas do conhecimento), adequado às necessidades da rede. Alinhamento entre currículo, ensino e avaliação. Menor periodicidade entre os ciclos avaliados.

Etapas básicas dos programas de avaliação 1 Determinação da população a ser avaliada. 2 Elaboração da Matriz ou utilização da Matriz de Referência do SAEB. Construção de itens. Pré-testagem dos itens. Análise estatística e pedagógica dos itens. 3 Montagem dos cadernos de testes (BIB). Elaboração dos testes padronizados. Elaboração dos questionários contextuais.

Etapas básicas dos programas de avaliação 4 Aplicação dos instrumentos. Processamento e constituição da base de dados da avaliação. 5 Análise dos resultados: utilização da TCT e da TRI. Produção dos resultados. Construção e interpretação das Escalas de Proficiência. Divulgação dos resultados.

O que a avaliação externa possibilita?

Possibilidades dos Sistemas próprios de Avaliação Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

Possibilidades dos Sistemas próprios de Avaliação Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

Evolução da proficiência média em Matemática Rede Estadual – Minas Gerais Fonte: Proeb 2006/2010

Evolução da distribuição por Padrões de Desempenho em Matemática - Rede Estadual - MG Fonte: Proeb 2010/2012

Possibilidades dos Sistemas próprios de Avaliação Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito de política pública implementada PAIC: programa de cooperação entre Governo do estado e municípios com a finalidade de apoiar os municípios para alfabetizar os alunos da rede pública de ensino até o final do segundo ano do ensino fundamental. Programa propõe uma intervenção sistêmica que é executada através de cinco eixos: Alfabetização Gestão Municipal Educação Infantil Literatura e Formação do Leitor Avaliação Externa  

Mapa de Alfabetização do Estado do Ceará SPAECE-Alfa 2007 Fonte: Spaece-Alfa 2007

Mapa de Alfabetização do Estado do Ceará SPAECE-Alfa 2008 Fonte: Spaece-Alfa 2008

Mapa de Alfabetização do Estado do Ceará SPAECE-Alfa 2009 Fonte: Spaece-Alfa 2009

Mapa de Alfabetização do Estado do Ceará SPAECE-Alfa 2010 Fonte: Spaece-Alfa 2010

Mapa de Alfabetização do Estado do Ceará SPAECE-Alfa 2011 Fonte: Spaece-Alfa 2011

Possibilidades dos Sistemas próprios de Avaliação Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

Resultados Estaduais Transversais ou Longitudinais Estado Regionais Municípios Escola Turma Aluno

Resultados Estaduais Transversais ou Longitudinais Coleta periódica Amostras representativas de escolas e alunos. Amostras diferentes em cada aplicação. Permite comparações ao longo do tempo no conjunto. Longitudinais Coleta com período contínuo definido. Amostras selecionadas de escolas e alunos. Mesma amostra em cada aplicação. Permite acompanhamento do valor agregado de cada aluno.

Uso dos Resultados Gestor da Rede Planejamento e execução de políticas públicas. Criação de metas de qualidade e equidade educacionais. Implementação de medidas de responsabilização. Políticas de incentivos diretos ou indiretos. Ações de formação continuada de professores. da Escola Elaboração do projeto da escola. Monitoramento da qualidade de ensino. Subsídio para avaliação institucional.

Uso dos Resultados Professor Projetos de intervenção pedagógica. Elaboração de projetos especiais. Foco nos alunos com dificuldades. Ações de reforço escolar. Planejamento das ações de sala de aula. Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica.

Uso dos Resultados Aluno e família Acompanhamento individual do desempenho escolar pelos alunos e seus familiares. Informações sobre a qualidade dos serviços educacionais oferecidos.

Possibilidades dos Sistemas próprios de Avaliação Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

Padrões de desempenho estudantil Estabelecimento e monitoramento das metas de qualidade educacional Caracterização do desempenho escolar Grau de realização das ações educacionais Políticas públicas voltadas à promoção da equidade Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

Descrição geral dos Padrões de Desempenho Abaixo do Básico Os alunos que apresentam este padrão de desempenho revelam ter desenvolvido competências e habilidades muito aquém do que seria esperado para o período de escolarização em que se encontram. Por isso, esse grupo de alunos necessita de uma intervenção focada de modo a progredirem com sucesso em seu processo de escolarização. Básico Os alunos que apresentam este padrão de desempenho demonstram já terem começado um processo de sistematização e domínio das habilidades consideradas básicas e essenciais ao período de escolarização em que se encontram. Para esse grupo de alunos, é importante o investimento de esforços para que possam desenvolver habilidades mais elaboradas.

Descrição geral dos Padrões de Desempenho Adequado Os alunos que apresentam este padrão de desempenho demonstram ter ampliado o leque de habilidades tanto no que diz respeito à quantidade quanto no que se refere à complexidade dessas habilidades, as quais exigem um maior refinamento dos processos cognitivos nelas envolvidos. Avançado Os alunos que apresentam este padrão de desempenho revelam ser capazes de realizar tarefas que exigem habilidades mais sofisticadas. Eles desenvolveram habilidades que superam aquelas esperadas para o período de escolaridade em que se encontram.

Projetos de intervenção pedagógica a partir dos Padrões de Desempenho Abaixo do Básico Recuperação Básico Reforço Adequado Aprofundamento Avançado Desafio

Avaliação em larga escala: Em que avançamos e quais os desafios?

Sistemas Estaduais de Avaliação Em que avançamos? Maior transparência no processo de avaliação e divulgação dos resultados. Ampliação das oportunidades educacionais e o reconhecimento do direito de aprender. Debate sobre as responsabilidades. Atenção especial aos alunos de baixo desempenho.

Sistemas Estaduais de Avaliação Em que avançamos? Discussão sobre os fatores que interferem no desempenho escolar, eficácia de práticas, programas e políticas educacionais. Discussão sobre a construção de propostas curriculares inovadoras, bem desenhadas e de fácil compreensão por diferentes públicos. Participação dos acadêmicos e pesquisadores das universidades, gestores e professores da educação básica no debate sobre o direito à educação.

Canais de divulgação Material Impresso Ações de formação Portal da Avaliação

Fatores Associados ao Desempenho Fatores Extraescolares Fatores Intraescolares Fatores socioeconômicos Gestão e administração Fatores familiares Prática pedagógica Fatores individuais Condições de infraestrutura Qualificação dos profissionais

Em que consiste considerar os fatores associados ao Desempenho? Investigação de fatores intra e extraescolares específicos de cada sistema. Avaliação do impacto dos programas implementados pelas Secretarias. Estudo de casos de sucesso (escolas eficazes). Correlações entre fatores de desigualdade educacionais.

Sistemas Estaduais de Avaliação Desafios Maior participação dos gestores e professores nas discussões sobre apropriação e utilização dos resultados pelas escolas. Melhor alinhamento entre as propostas curriculares e avaliação e participação dos professores na definição dos Padrões de Desempenho. Canais de comunicação efetivos e constantes com gestores, professores, pais, alunos e sociedade sobre a qualidade da educação e responsabilidade de todos.

Vídeo para discussão Os Simpsons e as avaliações externas