Oficina de Apropriação dos Resultados da Avaliação Palestrante: Luiz Vicente Fonseca Ribeiro Equipe de Análises Educacionais - EAE Coordenação de Análises e Publicações - CAP

O que é avaliar? Coletar Decidir Agir Diagnosticar Decidir Agir Dados e informações sobre determinada realidade. Produzir algum julgamento sobre a realidade. Tomar decisão em função de um objetivo que se deseja alcançar. Traçar estratégias de uma ação sobre o objeto avaliado.

Tipos de Avaliação Pequena escala Larga escala Avaliação Diagnóstica Formativa Somativa Interna Escola Externa Sistemas Interna Escola Externa Sistemas Interna Escola Externa Sistemas Pequena escala Larga escala

Avaliação Educacional Provas abertas Provas objetivas Observação/Registro Portfólio TEORIA CLÁSSICA TEORIA DA RESPOSTA AO ITEM Avaliação Interna/Escola Processo da aprendizagem Avaliação Externa/Sistemas Testes de proficiência Questionários contextuais Desempenho dos alunos

Linha do tempo da Avaliação

Sistemas próprios de Avaliação SEAPE SADEAM SAEPI SARESP SIMAVE SAERJ SAERO PAEBES SAEMS SAEGO AREAL AVALIE SISPAE SALTO SPAECE SAEPE SAEMI SAERS SAEP Sistema de Av. da Educ. da Paraíba AVALIA BH ALFABETIZA RIO

Vantagens dos sistemas próprios de Avaliação Desenho próprio (definição de séries e áreas do conhecimento), adequado às necessidades da rede. Alinhamento entre currículo, ensino e avaliação. Menor periodicidade entre os ciclos avaliados.

Etapas básicas dos programas de avaliação 1 Determinação da população a ser avaliada 2 Elaboração da Matriz ou utilização da Matriz de Referência do SAEB Construção de itens Pré-testagem dos itens Análise estatística e pedagógica dos itens 3 Montagem dos cadernos de testes (BIB) Elaboração dos testes padronizados Elaboração dos questionários contextuais 4 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação 5 Análise dos resultados: utilização da TCT e da TRI Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados

Como funciona a avaliação em larga escala?

O que é avaliado?

INSERIR TABELA COM CORTES DE PADRÕES Matriz de Referência @@@@@ INSERIR TABELA COM CORTES DE PADRÕES

Como os testes são montados? Distribuídos em vários cadernos Itens Organizados em blocos

Alternativas de reposta O item e suas partes Enunciado Suporte Comando Gabarito Alternativas de reposta Distratores

Como os testes são corrigidos? Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd.

Uso da TRI na produção de medidas A TRI nos permite: Comparar resultados de diferentes avaliações, como o SAEB. Avaliar com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes. Comparar os resultados entre diferentes séries, como o início e fim do Ensino Médio.

Como os valores de proficiência são gerados? Exemplo hipotético: Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer. Possíveis questões: Você consegue guardar as malas no bagageiro interno de um ônibus? Quando dorme à noite, seus pés ficam do lado de fora? Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?

Exemplo de escala para a altura de uma pessoa Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo? Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo

Exemplo de escala para a altura de uma pessoa Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo Carolina Priscila Leonardo 1,5 1,6 1,7 1,8 1,9 Item 1 Item 2 Item 3 Como as questões estão associadas à altura da pessoa, podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

Escala de Proficiência A nossa “régua” para o desempenho @@@@@ INSERIR CÓPIA DA ESCALA

Como os valores de proficiência são gerados? A escala de proficiência: Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência. Isso permite colocar numa mesma “régua” – escala – todas as habilidades. Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades, segundo sua complexidade, e ordená-las nessa “régua” comum para estimar o desempenho.

O que a avaliação externa possibilita?

Possibilidades dos Sistemas próprios de Avaliação Monitoramento da qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais

Possibilidades dos Sistemas próprios de Avaliação Monitoramento da qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais

Evolução da Proficiência Média

Evolução da Distribuição por Padrão de Desempenho

Possibilidades dos Sistemas próprios de Avaliação Monitoramento da qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais

Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito de política pública implementada Programa de cooperação, entre estado e municípios, implantado em 2005 com a finalidade de apoiar os municípios ,para alfabetizar os alunos da rede pública de ensino até o final do segundo ano do ensino fundamental. Programa propõe uma intervenção sistêmica que é executada através de cinco eixos: Alfabetização Gestão Municipal Educação Infantil Avaliação Externa  

Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito de política pública implementada

Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito de política pública implementada

Possibilidades dos Sistemas próprios de Avaliação Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais

Resultados Estaduais Transversais ou Longitudinais Estado Regionais Municípios Escola Turma Aluno

Uso dos Resultados Gestor da Rede Planejamento e execução de políticas públicas. Criação de metas de qualidade e equidade educacionais. Implementação de medidas de responsabilização. Políticas de incentivos diretos ou indiretos. Ações de formação continuada de professores . da Escola Elaboração do projeto da escola. Monitoramento da qualidade de ensino. Subsídio para avaliação institucional.

Uso dos Resultados Professor Projetos de intervenção pedagógica. Elaboração de projetos especiais. Foco nos alunos com dificuldades. Ações de reforço escolar. Planejamento das ações de sala de aula. Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica.

Uso dos Resultados Aluno e família Acompanhamento individual do desempenho escolar pelos alunos e seus familiares. Informações sobre a qualidade dos serviços educacionais oferecidos.

Possibilidades dos Sistemas próprios de Avaliação Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

Padrões de desempenho estudantil Estabelecimento e monitoramento das metas de qualidade educacional Caracterização do desempenho escolar Grau de realização das ações educacionais Políticas públicas voltadas à promoção da equidade Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

Descrição geral dos Padrões de Desempenho Abaixo do Básico Neste Padrão de Desempenho, o aluno demonstra carência de aprendizagem do que é previsto para a sua etapa de escolaridade. Ele fica abaixo do esperado, na maioria das vezes, tanto no que diz respeito à compreensão do que é abordado, quanto na execução de tarefas e avaliações. Por isso, é necessária uma intervenção focada para que o aluno possa progredir em seu processo de aprendizagem. Básico O aluno que se encontra neste Padrão de Desempenho demonstra ter aprendido o mínimo do que é proposto para o seu ano escolar. Neste nível ,ele já iniciou um processo de sistematização e domínio das habilidades consideradas básicas e essenciais ao período de escolarização em que se encontra. Adequado Neste Padrão de Desempenho, o aluno demonstra ter adquirido um conhecimento apropriado e substancial ao que é previsto para a sua etapa de escolaridade. Neste nível, ele domina um maior leque de habilidades, tanto no que diz respeito à quantidade, quanto à complexidade, as quais exigem um refinamento dos processos cognitivos nelas envolvidos. Avançado O aluno que atingiu este Padrão de Desempenho revela ter desenvolvido habilidades mais sofisticadas e demonstra ter um aprendizado superior ao que é previsto para o seu ano escolar. O desempenho desses alunos, nas tarefas e avaliações propostas, supera o esperado e, ao serem estimulados, podem ir além das expectativas traçadas.

Projetos de intervenção pedagógica a partir dos Padrões de Desempenho Abaixo do Básico Recuperação Básico Reforço Adequado Aprofundamento Avançado Desafio

Seape 2013 Gestão, desempenho escolar e cumprimento de normas

Fatores Associados ao Desempenho Fatores Extraescolares Fatores Intraescolares Fatores socioeconômicos Gestão e administração Fatores familiares Prática pedagógica Fatores individuais Condições de infraestrutura Qualificação dos profissionais

Em que consiste considerar os fatores associados ao Desempenho? Investigação de fatores intra e extra escolares específicos de cada sistema. Avaliação do impacto dos programas implementados pelas Secretarias. Estudo de casos de sucesso (escolas eficazes). Correlações entre fatores de desigualdade educacionais.

Análises Contextuais – Seape 2013 Dados considerados Questionários de alunos, professores e diretores aplicados no Seape 2012. Ênfases Dimensão normativa do clima escolar. Práticas de gestão.

Clima Escolar O clima escolar pode ser entendido como um conjunto de características sociais, culturais e psicológicas da escola, que, se relacionando continuamente influencia, substancialmente, a aprendizagem e o desempenho dos estudantes. É composto por uma série de elementos estruturais, pessoais e organizativos da escola, que interagem através de um processo dinâmico. O resultado das interações deste processo é o clima escolar, um ambiente próprio, uma espécie de estilo singular da escola, que influencia, significativamente, a forma como a escola desenvolve e conduz seus processos educativos.

O clima escolar pode ser decomposto em quatro contextos: Contextos do clima escolar O clima escolar pode ser decomposto em quatro contextos: Contexto imaginativo: envolve a percepção do ambiente escolar no que diz respeito ao incentivo, à criatividade e à imaginação, percebendo ou não a escola como um local onde os agentes escolares se sentem estimulados a compreender e a experimentar o mundo a partir de suas próprias percepções e concepções. Contexto instrucional: envolve as percepções dos atores acerca da orientação acadêmica no contexto da instrução do ensino. No caso dos estudantes, acerca de como eles percebem o interesse ou o desinteresse dos professores pela aprendizagem, e também se o ambiente é propício para atingir os objetivos educativos e adquirir habilidades.

Contextos do clima escolar Contexto inter-relacional: este contexto está relacionado à percepção da qualidade e da frequência com que as relações, entre os atores, são estabelecidas no ambiente escolar, bem como a percepção acerca da preocupação, no nível dos estudantes, que professores e diretores têm diante de seus problemas e dificuldades. Ou seja, diz respeito ao contexto de qualidade interpessoal, de confiança e bem estar entre os agentes. Contexto normativo: envolve as percepções acerca do nível de participação dos agentes no estabelecimento das regras que coordenarão suas ações, além da percepção sobre o efetivo cumprimento das normas na escola.

Clima Normativo e Desempenho O índice de percepção do contexto normativo foi construído com base nas seguintes questões: os professores favorecem alguns alunos mais do que outros; os alunos desconhecem as normas da escola; os alunos são punidos frequentemente por ações que não fizeram; as punições da escola são sempre justificadas; os alunos são punidos por qualquer motivo; perdemos muitas aulas porque o professor falta com frequência; os professores têm dificuldade para fazer os alunos entrarem na sala para o início das aulas; muitos alunos durante as aulas ficam do lado de fora da sala fazendo barulho; por qualquer motivo, os alunos são colocados para fora da sala de aula.

Clima Normativo e Desempenho Para facilitar a análise, as escolas foram divididas em três grupos, de acordo com o valor que agregaram a seus estudantes. O valor agregado de cada escola foi estabelecido pela diferença entre o desempenho médio esperado para a escola, tendo em vista a condição socioeconômica média de seus alunos, e o desempenho de fato obtido pela escola.

Clima Normativo e Desempenho Os grupos de escolas por valor agregado são: Escolas sem valor agregado: são aquelas cujo desempenho esperado é menor ou igual ao desempenho que elas, efetivamente, obtiveram nas avaliações. No gráfico a seguir, estão representadas pela cor azul. Escolas com baixo valor agregado: são aquelas cuja diferença entre o desempenho observado e o desempenho esperado é maior do que zero e menor do que 12,5 pontos de proficiência (um quarto do desvio padrão). No gráfico a seguir, estão representadas pela cor vermelha. Escolas com alto valor agregado: são aquelas cuja diferença entre o desempenho observado e o desempenho esperado é maior do que 12,5 pontos de proficiência (um quarto do desvio padrão).

Análises Contextuais Percepção do contexto imaginativo do clima escolar, segundo os alunos, e do valor agregado Fonte: Seape 2012

Clima Normativo e Desempenho Entre as escolas que mais agregam valor a seus estudantes, o maior percentual se concentra no grupo de escolas que tiveram seu clima escolar avaliado como bom, por parte dos estudantes. Estes resultados mostram a importância da efetivação das normas escolares para o desempenho dos alunos. Como parte integrante do clima escolar, o contexto normativo pode ser um importante aliado da gestão da escola para que melhores resultados educacionais sejam alcançados. O gestor não é o único responsável pelo estabelecimento de um bom clima escolar, mas, não resta dúvida, é figura central para que o mesmo seja constituído.

Aspectos Contextuais e Desempenho Escolar: Podemos observar que tanto na literatura quanto nos resultados, com informações objetivas sobre as escolas, encontramos fatores que podem melhorar o aprendizado dos estudantes. Esses fatores são conhecidos da realidade escolar, e tanto gestores quanto professores e comunidade escolar sabem que é possível interferir diretamente sobre eles. Como as avaliações em larga escala são sensíveis a esses aspectos, podemos monitorar as modificações ao longo do tempo e verificar a eficácia das ações e políticas implementadas no sistema.

Avaliação em larga escala: em que avançamos e quais os desafios?

Sistemas Estaduais de Avaliação Em que avançamos? Maior transparência no processo de avaliação e divulgação dos resultados. Ampliação das oportunidades educacionais e o reconhecimento do direito de aprender. Debate sobre as responsabilidades. Atenção especial aos alunos de baixo desempenho.

Sistemas Estaduais de Avaliação Em que avançamos? Discussão sobre os fatores que interferem no desempenho escolar, eficácia de práticas, programas e políticas educacionais. Discussão sobre a construção de propostas curriculares inovadoras, bem desenhadas e de fácil compreensão por diferentes públicos. Participação dos acadêmicos e pesquisadores das universidades e dos gestores e professores da educação básica no debate sobre o direito à educação.

Transferência de tecnologia Canais de divulgação Material Impresso Revista do Sistema – Rede Estadual Revista do Sistema – Rede Municipal Revista do Gestor Revista Pedagógica Ações de formação Oficinas Vídeos Kits instrucionais Portal da Avaliação Integração dos dados Resultados das escolas Mídias sociais Transferência de tecnologia Cursos a distância Curso presencial Acompanhamento técnico/pedagógico

Sistemas Estaduais de Avaliação Desafios Maior participação dos gestores e professores nas discussões sobre apropriação e utilização dos resultados pelas escolas. Melhor alinhamento entre as propostas curriculares e avaliação e sobre a participação dos professores na definição dos Padrões de Desempenho. Canais de comunicação efetivos e constantes com gestores, professores, pais, alunos e sociedade sobre a qualidade da educação e responsabilidade de todos.

OBRIGADO! Mais informações: acesse os links abaixo. www.seape.caedufjf.net www.caed.ufjj.br eaecap@caed.ufjf.br