OFICINA DE DIVULGAÇÃO E APROPRIAÇÃO DE RESULTADOS SAEPI 2016

Objetivos da Oficina Compreender sobre o Saepi: seus limites e possibilidades. Usar, de modo eficaz, os diferentes materiais de divulgação e apropriação de resultados do Saepi (planilhas, site, revistas etc.). Analisar os resultados do Saepi, fazendo inferências de ordem qualitativa. Multiplicar as discussões realizadas nas oficinas junto à rede e às escolas.

Avaliação de Desempenho no Brasil QUALIDADE FLUXO ACESSO

Histórico da Avaliação no Brasil 1990 SAEB 1997 ESCALA SAEB 1998 MATRIZES DE REFERÊNCIA 2000 ESCALA SAEB ÂMBITO NACIONAL 2005 PROVA BRASIL 2007 IDEB/METAS

SISTEMA DE AVALIAÇÃO EDUCACIONAL DO PIAUÍ 2011 Língua Portuguesa e Matemática 9EF - 3EM 2012 Língua Portuguesa e Matemática 9EF - 1EM – 3EM 2013 Língua Portuguesa e Matemática 9EF - 1EM – 2EM -3EM 2014 Língua Portuguesa e Matemática 3EM

SISTEMA DE AVALIAÇÃO EDUCACIONAL DO PIAUÍ 2015 Língua Portuguesa e Matemática 9EF - 1EM- 2EM -3EM 2016 Língua Portuguesa e Matemática 6EF – 9EF- 1EM -2EM - 3EM

Avaliação do Desempenho Escolar Coletar Recolher dados e informações sobre determinada realidade. Diagnosticar Produzir algum julgamento sobre essa realidade. Decidir Tomar decisão em função de um objetivo que se deseja alcançar. Agir Traçar estratégias de uma ação sobre o objeto avaliado. O que é avaliar?

Organizar a turma em grupos de 5 participantes.

1° MOMENTO

Quais são as principais características das avaliações externas? Atividade 1 Quais são as principais características das avaliações externas? 1   2 3 4 5 6

Quais são as principais vantagens dos SISTEMAS PRÓPRIOS de avaliação, como o SAEPI? 1   2 3 4

  Quais são as diferenças e as semelhanças entre o SAEPI e as outras avaliações externas, como SAEB? SAEPI SAEB Semelhanças Diferenças

AVALIAÇÃO EXTERNA E AVALIAÇÃO INTERNA Provas abertas Provas objetivas Observação/Registro Portfólio TEORIA CLÁSSICA TEORIA DA RESPOSTA AO ITEM Avaliação Interna/Escola Processo da aprendizagem Avaliação Externa/Sistemas Testes de proficiência Questionários contextuais Desempenho dos alunos

AVALIAÇÃO EM LARGA ESCALA: OBJETIVOS Produzir um diagnóstico sobre o desempenho estudantil e os fatores que interferem nesse desempenho: estudante, turma, escola, município, estado e região. Acompanhar a qualidade da educação ao longo do tempo – monitoramento da qualidade da educação. Definir subsídios para a formulação de políticas educacionais/qualidade e equidade. Produzir informações sobre desempenho escolar: estudante, turma, escola, município, estado e região.

POR QUE CRIAR SISTEMAS PRÓPRIOS DE AVALIAÇÃO? Melhoria da qualidade da educação com promoção da equidade Realização de ciclos anuais de avaliação Rapidez no acesso às informações Desenho próprio da avaliação de acordo com necessidades específicas Estabelecimento de metas e de padrões de desempenho estudantil

AS PRINCIPAIS AVALIAÇÕES EXTERNAS NO BRASIL Internacionais Pisa Nacionais (SAEB) ANA Anresc – Prova Brasil ANEB Estaduais (SAEPI) Sistema Estadual de Avaliação da Aprendizagem

SAEB e SEAPE– semelhanças e diferenças CARACTERÍSTICAS SAEB 2015 SAEPI ANEB PROVA BRASIL ETAPAS AVALIADAS 5º e 9º anos do Ensino Fundamental e 3º ano do Ensino Médio 5º e 9º anos do Ensino Fundamental 6° e 9º ano do Ensino Fundamental e 1°, 2° e 3º anos do Ensino Médio INSTITUIÇÕES AVALIADAS Escolas públicas e privadas localizadas nas áreas urbana e rural. Escolas públicas localizadas nas áreas urbana e rural. Escolas públicas (estaduais) localizadas nas áreas urbana e rural. ÁREAS DO CONHECIMENTO AVALIADAS Leitura e Matemática ABRANGÊNCIA Nacional Estadual CARACTERÍSTICAS DA AVALIAÇÃO Amostral Censitária ABRANGÊNCIA DA DIVULGAÇÃO DOS RESULTADOS Brasil, grandes regiões e unidades da Federação. Brasil, grandes regiões, unidades da Federação, municípios e escolas. Estado, GRE, escolas, turmas e alunos. ESCALA DE PROFICIÊNCIA 0 a 500 (Saeb)

Objetivos do Saepi produzir diagnósticos periódicos acerca da qualidade do ensino público no Piauí; monitorar a educação pública ofertada pelo estado; oferecer subsídios para que políticas públicas educacionais possam ser desenhadas e implementadas; possibilitar aos gestores escolares redefinirem práticas de gestão e aos professores replanejar e rever as práticas pedagógicas.

Atividade 2 Qual é a importância e quais os principais desafios apresentados pela avaliação externa para cada um desses atores educacionais? Fator Gestor de Rede Gestor Escolar Professor Importância   Desafios

Uso dos Resultados Gestores Professores

Uso dos Resultados Gestores Planejamento e execução de políticas públicas. Criação de metas de qualidade e equidade educacionais. Implementação de medidas de responsabilização. Ações de formação continuada de professores .

Uso dos Resultados Gestores Elaboração do projeto da escola. Monitoramento da qualidade de ensino. Subsídio para avaliação institucional.

Uso dos Resultados Professores Intervenção pedagógica. Elaboração de projetos especiais. Foco nos estudantes com dificuldades. Ações de recuperação, reforço, aprofundamento e desafio. Planejamento das ações de sala de aula. Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica. Professores

Metodologia da Avaliação

Etapas da avaliação externa Determinação da população a ser avaliada 1 Elaboração da Matriz de Referência Construção de itens Pré-testagem dos itens Análise estatística e pedagógica dos itens 2 Montagem dos cadernos de testes Elaboração dos testes Elaboração dos questionários contextuais 3 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação 4 Análise dos resultados: TCT e TRI Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados 5

Matriz de Referência

Item

Resultados Teoria Clássica dos Testes (TCT) É calculada de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor. Consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado. Teoria de Resposta ao Item (TRI) Produz uma medida mais robusta do desempenho dos estudantes porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes. A TRI é, portanto, um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o estudante respondeu no teste de proficiência.

Parâmetros da TRI Parâmetros Parâmetro de Discriminação – “a” É a capacidade do item de discriminar os alunos que desenvolveram aquela habilidade daqueles que não desenvolveram. Parâmetro de Dificuldade – “b” Está relacionado ao percentual de alunos que responderam corretamente ao item. Assim, quanto menor o percentual de acerto, maior a dificuldade do item. Parâmetro de probabilidade de acerto ao acaso – “c” Representa a probabilidade de indivíduos com baixo traço latente responderem corretamente um item.

Parâmetros da TRI Quanto maior a coerência nos acertos aos itens (fáceis e difíceis), maior a nota do estudante. Controle da resposta aleatória (provável chute). http://escolas.missu.com.br/nota-enem/

Possibilidades da TRI Comparação de resultados de diferentes avaliações, como SAEB. Avaliação com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-las a longos testes. Comparação de resultados entre diferentes série, como as do início e fim do ensino médio.

Padrões de Desempenho Abaixo do Básico Básico Adequado Avançado

Escala de Proficiência

Fatores Associados

Fatores Contextuais Atividade 3: “Quais fatores podem influenciar na aprendizagem do estudante e em seu desempenho na avaliação?”

Reflexão “Estudantes de escolas com índice socioeconômico abaixo da média tendem a ter desempenho pior do que estudantes de escolas com índice socioeconômico acima da média.”

Fatores Socioeconômicos Histórico Fatores Socioeconômicos Características socioeconômicas como importantes fatores para a explicação da proficiência – Relatório Coleman (1966). Escola A ação de frequentar a escola, como fator de proteção às adversidades associadas ao baixo nível socioeconômico. Explicar um pouco do histórico das investigações acerca dos fatores contextuais associados ao desempenho. Falar que um dos primeiros achados foi o do relatório Coleman, de que fatores socioeconômicos influenciam no desempenho do aluno. E que muitos acreditavam que a escola poderia vir como um fator de proteção a esta situação.

Histórico Nível socioeconômico Escola Explicar o erro em polarizar esta informação. A polaridade de “culpar” apenas a condição socioeconômica ou acreditar que, apenas colocar o estudante na escola pode solucionar todo o problema. Deve-se pensar no que perpassa este resultado. Se olharmos apenas para os dois extremos não conseguimos realizar muitas ações que estão ao nosso alcance. Acabamos por nos afastar da explicação do que pode influenciar o desempenho.

Fatores Contextuais Para além dos extremos, existem outras fatores contextuais que influenciam no desempenho dos alunos. Pesquisas sobre eficácia escolar comparam e analisam como diferentes fatores internos à escola influenciam no desempenho dos seus alunos, sob o pressuposto de que a escola também é um fator preponderante para o melhor desempenho por parte dos alunos.

Fatores Contextuais Soares, J.F. (2007). Melhoria do desempenho cognitivo dos alunos do ensino fundamental. Cadernos de Pesquisa. 37(130), p. 141.

Fatores Externos à Escola Fatores Extraescolares Características Individuais Características Familiares Política Educacional Nível Socioeconômico Entorno da Escola Expectativas Hábitos de Estudo

Fatores Internos à Escola Fatores Intraescolares Clima Escolar Atitudes e Práticas Pedagógicas Atitudes e Práticas de Gestão Expectativas Hábitos de Estudo Infraestrutura

Questionários Contextuais Uma vez que esses fatores são importantes para o melhor desempenho do estudante, como é possível capturar essas informações dos agentes escolares? Questionários contextuais Estudante Professor Diretor

Questionários Contextuais Avaliação Educacional Desempenho Escolar Testes Medidas de Proficiência Fatores Associados Questionário Índices Contextuais Dimensões Instrumentos Resultados

Escala de Concordância Operacionalização Os itens dos questionários contextuais são avaliados pelos respondentes em: Escala de Concordância Concordo Totalmente Concordo Discordo Discordo Totalmente Escala de Frequência Sempre Frequentemente Raramente Nunca

Operacionalização Concordo Totalmente Concordo Discordo Durante as aulas, muitos alunos ficam do lado de fora da sala fazendo barulho. Concordo Totalmente Concordo Discordo Discordo Totalmente Operacionalização 1 2 3 4 Explicar que, dependendo do item avaliado, a operacionalização do item modifica. Ex: o “concordo totalmente” possui o valor de 1 quando o item não vai de encontro ao construto (negativo).

A minha escola está sempre preparada para receber os alunos. Operacionalização A minha escola está sempre preparada para receber os alunos. Concordo Totalmente Concordo Discordo Discordo Totalmente Operacionalização 4 3 2 1 Explicar que, dependendo do item avaliado, a operacionalização do item modifica. Ex: o “concordo totalmente” possui o valor de 1 quando o item não vai de encontro ao construto (negativo).

Fatores Avaliados – SAEPI 2016 Dimensões Nível Socioeconômico Reprovação Expectativa Clima Escolar Práticas Pedagógicas Práticas de Gestão Dentre os fatores contextuais existentes, cinco foram avaliados no SAEMS 2016, com intuito de auxiliar na explicação do desempenho dos alunos, são eles ...

Condições Socioeconômicas dos Estudantes Recursos econômicos, culturais e sociais disponíveis aos estudantes que impactam em seu desempenho. No questionário contextual, as condições avaliadas são: Escolaridade dos pais/responsáveis Bens de consumo no domicílio Acesso a serviços públicos Atividades de lazer Os atores podem mudar de acordo com o projeto

Condições Socioeconômicas dos Estudantes – Estudante 9º EF

Expectativa Esta dimensão está relacionada as expectativas dos estudantes e professores acerca do futuro acadêmico e profissional. Eu vou conseguir passar na faculdade. Eu vou conseguir um bom emprego. Eu vou conseguir passar de ano sem dificuldade.

Expectativa – Estudante 9º EF

Expectativa - Professor Este é um exemplo de descritiva de uma das perguntas que compõem o índice de expectativas. Deve ser alterado o gráfico de acordo com o projeto.

Clima Escolar Este fator avalia a percepção dos estudantes, professores e diretores acerca do clima escolar na escola em que atuam. Quando o diretor ou os professores chamam a atenção dos alunos, nós obedecemos. Na minha escola, muitos alunos ficam do lado de fora da sala de aula fazendo barulho. Na minha escola, os alunos se dão bem com os professores.

Clima Escolar – Estudante 9º EF Este é um exemplo de descritiva de uma das perguntas que compõem o índice de clima escolar. Deve ser alterado o gráfico de acordo com o projeto.

Clima Escolar – Professor Este é um exemplo de descritiva de uma das perguntas que compõem o índice de clima escolar. Deve ser alterado o gráfico de acordo com o projeto.

Clima Escolar – Diretor Este é um exemplo de descritiva de uma das perguntas que compõem o índice de clima escolar. Deve ser alterado o gráfico de acordo com o projeto.

Práticas Pedagógicas As práticas pedagógicas são avaliadas pela percepção dos agentes escolares acerca do ambiente da sala de aula. Meus professores respondem às dúvidas que aparecem enquanto eles dão aula. Meus professores corrigem o dever de casa em sala de aula com os alunos. Meus professores utilizam livro didático.

Práticas Pedagógicas – Estudante 9º EF

Práticas Pedagógicas - Professor

O que esses resultados apontam? Atitudes, disposições e práticas dos professores podem fazer alguma diferença pelos resultados das escolas? A expectativa dos estudantes e dos professores podem influenciar o desempenho? E quando o Índice Socioeconômico dos estudantes nas escolas é alto? Em quantos pontos a proficiência média aumenta?

Atividade 4– O que a escola pode fazer? ASSERTIVA SITUAÇÃO IMPACTO NA APRENDIZAGEM POSSIBILIDADE DE INTERVENÇÃO PELA ESCOLA Nesta atividade serão apresentados aos gestores alguns aspectos avaliados pelos questionário para que eles pensem em situações concretas/reais da escola em que estes fatores aparecem. Além disso, os gestores deverão pensar em como essa situação pode impactar o aprendizado e desempenho do estudante e, por fim, verificar qual o potencial interventivo da escola nesta situação. O objetivo desta atividade é que os professores reconheçam algumas características das escolas que podem auxiliar no aprendizado do estudante (fator de proteção) e outros que podem ser modificados para obterem resultados positivos.

Assertivas 1- “A minha escola está sempre preparada para receber os alunos.” 2- “Na minha escola professores se dão bem com o gestor da escola.” 3- “Na minha escola, há uma boa interação entre professores e estudantes.” 4- “Meus professores utilizam diferentes recursos para apresentar a matéria.” 5- “Meus professores ajudam os alunos com dificuldades.”

Apropriação dos Resultados

Resultados Participação Proficiência (TRI) Distribuição por padrão de desempenho (TRI) Percentual de acerto por descritor (TCT)

Uso dos Resultados

Participação Entender que a participação nos testes mensura a garantia do aluno de ser avaliado, decorrência de seu direito de aprender. Acompanhar a participação dos estudantes nos testes, de modo a buscar a maior participação possível. Acreditar que, uma vez que a participação já esteja elevada, não é preciso realizar nenhuma ação para que o percentual aumente ainda mais.

Proficiência Comparar os resultados ao longo dos anos para a mesma etapa de escolaridade. Comparar os resultados de diferentes disciplinas. Analisar os resultados a partir da leitura da escala de proficiência, observando o significado pedagógico da média, tendo em vista o desenvolvimento de habilidades e competências. Tomar a média de proficiência de maneira isolada, sem analisá- la com a ajuda da escala.

Padrão de Desempenho Identificar, em cada componente curricular e etapa, os alunos que têm apresentado maiores dificuldades de aprendizagem. Entender que os alunos que se encontram em um padrão de desempenho em um componente curricular se encontram no mesmo padrão em outro. Entender que os padrões de desempenho são os mesmos para todas as etapas e componentes curriculares avaliados. Reconhecer que a cada padrão correspondem níveis diferentes de aprendizagem e usar essa informação para o planejamento pedagógico.

Percentual de Acerto por Descritor Observar as habilidades avaliadas no ciclo e associá-las ao conteúdo de sala de aula. Comparar os percentuais de acerto por descritor ano a ano (diferentes ciclos), ainda que a matriz de referência seja a mesma. Observar as habilidades e identificar a associação com outras não aferidas nos testes de desempenho. Analisar as habilidades segundo as avaliações internas – estou captando o desenvolvimento dessa habilidade/competência no instrumento que utilizo em sala?

Divulgação dos Resultados

Portal - http://www.saepi.caedufjf.net/

Planilhão

Coleção Revista do Sistema Revista do Gestor Escolar Revista do Professor

A leitura e a análise dos resultados correspondem aos primeiros passos para o uso das informações provenientes da avaliação, ou seja, do instrumento para diagnóstico e monitoramento da qualidade da educação ofertada. Para seguir contribuindo com a melhoria da qualidade da educação e testando o direito de aprender, de estudante inscrito na rede pública de ensino estadual, é preciso apropriar- se dos resultados.

A apropriação... perpassa conhecer e divulgar as informações. visa fortalecer a gestão democrática e valorizar o trabalho coletivo. propõe tomadas de decisão e compartilhamento de responsabilidades (papéis definidos).

ONDE ESTAMOS? AONDE QUEREMOS CHEGAR? COMO CHEGAREMOS?

2° MOMENTO Lendo e Analisando os Resultados

Elaborando a Agenda de Trabalho 3° MOMENTO Elaborando a Agenda de Trabalho

Muito Obrigada! capsaepi@caed.ufjf.br