Oficina de Apropriação de Resultados Saepi 2015 Oficina de Apropriação de Resultados

Objetivos da Oficina Compreender sobre o Saepi: seus limites e possibilidades. Usar, de modo eficaz, os diferentes materiais de divulgação e apropriação de resultados do Saepi (planilhas, site, revistas etc.). Analisar os resultados do Saepi, fazendo inferências de ordem qualitativa. Multiplicar as discussões realizadas nas oficinas junto à rede e as escolas.

Objetivos da Oficina Para que esses objetivos sejam alcançados, precisamos ter clareza sobre algo muito importante: por que avaliamos.

Importância da Avaliação externa e dos indicadores educacionais Por que avaliar? Reflexões sobre o tema.

Importância da Avaliação externa e dos indicadores educacionais Por que avaliar? Por que implementar o sistema próprio de avaliação? Quais são as principais dúvidas/desafios sobre os diagnósticos externos? Quais são as vantagens da avaliação educacional externa? Qual o lugar do profissional de educação nesse contexto? Reflexões sobre o tema.

Importância da Avaliação externa e dos indicadores educacionais Histórico da avaliação Reflexões sobre o tema.

Importância da Avaliação externa e dos indicadores educacionais SAEB Sistema de Avaliação da Educação Básica ANEB Avaliação Nacional da Educação Básica ANRESC/PROVA BRASIL Avaliação Nacional do Rendimento Escolar ANA Avaliação Nacional da Alfabetização SAEPI 2011 Reflexões sobre o tema.

Importância da Avaliação externa e dos indicadores educacionais Para responder a essas perguntas, precisamos retomar algumas das principais legislações educacionais voltadas para a garantia do direito a uma educação de qualidade para todos.

Contextualização Constituição Federal de 1988: Art. 205. A educação, direito de todos e dever do Estado e da família, será promovida e incentivada com a colaboração da sociedade, visando ao pleno desenvolvimento da pessoa, seu preparo para o exercício da cidadania e sua qualificação para o trabalho.

Contextualização LDB, 9394/96: Art. 9º. A união incumbir-se-á de: (...) V - coletar, analisar e disseminar informações sobre a educação; VI - assegurar processo nacional de avaliação do rendimento escolar no ensino fundamental, médio e superior, em colaboração com os sistemas de ensino, objetivando a definição de prioridades e a melhoria da qualidade do ensino.

CONTEXTUALIZAÇÃO O Plano Nacional de Educação (PNE) determina diretrizes, metas e estratégias para a política educacional dos próximos dez anos (2014-2024). A Base Nacional Comum Curricular (BNCC) lidera a escolha pela equidade e está expressa no artigo 26, do PNE.

Importância da Avaliação externa e dos indicadores educacionais Apenas a garantia legal de um direito, a elaboração e proposição de políticas garantem a efetivação desse direito? Quais instrumentos podem ser consultados para a elaboração e a implementação de ações adequadas à rede de ensino?

Avaliar é testar um direito fundamental de todos os estudantes matriculados nas redes de ensino do Brasil: o direito de aprender.

Importância da Avaliação externa e dos indicadores educacionais Monitorar não no sentido de “vigiar”, mas de buscar ferramentas e metodologias que permitam acompanhar se os objetivos de aprendizagem estão sendo alcançados; se estamos garantindo que um direito básico, como a educação, está se efetivando. Acompanhar a aprendizagem dos estudantes, observando as características do ensino ofertado e contribuindo para a tomada de decisões no âmbito das salas de aula, das Unidades Educativas e da rede de ensino. MONITORAMENTO

1º Momento – contexto da avaliação A avaliação permite a obtenção de diagnósticos educacionais e o acompanhamento da qualidade ao longo do tempo.

1º Momento – contexto da avaliação Etapas Abaixo do Básico Básico Adequado Avançado 9º EF até 200 200 a 250 250 a 300 acima de 300 EM até 225 225 a 275 275 a 325 acima de 325

1º Momento – contexto da avaliação Etapas Abaixo do Básico Básico Adequado Avançado 9º EF até 200 200 a 250 250 a 300 acima de 300 EM até 225 225 a 275 275 a 325 acima de 325

1º Momento – contexto da avaliação Etapa Abaixo do Básico Básico Proficiente Avançado 7º Ano EF até 175 175 a 225 225 a 275 acima de 275 8º Ano EF até 200 200 a 250 250 a 300 acima de 300 9º Ano EF 200 a 275 275 a 325 acima de 325

Foco da Avaliação externa Compreender e a interpretar as informações produzidas, com foco na escola, em cada turma e em cada estudante, em particular.

Como o Saepi pode ser aliado na gestão da rede e da escola Como o Saepi pode ser aliado na gestão da rede e da escola? Como os dados produzidos podem ajudar no trabalho de gestão da rede e da escola?

A utilização das avaliações externas como ferramenta para subsidiar tomadas de decisões no âmbito dos sistemas educacionais ou em cada escola está diretamente associada a redes e escolas com melhores resultados de aprendizagem.

Passo a passo para a apropriação dos resultados

1° passo Para compreender o Saepi, seus limites e possibilidades, e utilizar, de maneira eficaz, os resultados produzidos pela avaliação educacional externa, é importante conhecer, compreender e utilizar os materiais de divulgação do mesmo.

DIVULGAÇÃO www.saepi.caedufjf.net

DIVULGAÇÃO www.saepi.caedufjf.net

DIVULGAÇÃO www.saepi.caedufjf.net

DIVULGAÇÃO www.saepi.caedufjf.net

DIVULGAÇÃO www.saepi.caedufjf.net

DIVULGAÇÃO www.saepi.caedufjf.net

DIVULGAÇÃO Revista da Gestão Escolar Direcionada à equipe gestora da escola. Apresenta artigos e estudo de caso relacionados à gestão escolar. Informa o resultado da escola em todos os componentes e etapas de escolaridade avaliados.

DIVULGAÇÃO Revista Pedagógica Direcionadas aos professores do disciplina/etapa de escolaridade e à equipe pedagógica da escola. Apresentam informações pedagógicas, estudos de caso relacionados à prática pedagógica dos educadores e textos que tratam de temas da área avaliada. Os volumes são divididos por disciplina/etapa de escolaridade avaliadas.

DIVULGAÇÃO Revista do Sistema Direcionadas aos gestores de rede. Apresentam informações pedagógicas, estudos de caso relacionados à prática pedagógica dos educadores e textos que tratam de temas da área avaliada. Os volumes são divididos por disciplina/etapa de escolaridade avaliadas.

Outros passos Além disso, o que mais é importante fazer para que os resultados do Saepi possam contribuir com a melhoria da qualidade do ensino no Piauí? É fundamental conhecer como se dá o processo de avaliação. Vamos lá?

Etapas da avaliação externa Determinação da população a ser avaliada 1 Elaboração da Matriz de Referência Construção de itens Pré-testagem dos itens Análise estatística e pedagógica dos itens 2 Montagem dos cadernos de testes Elaboração dos testes Elaboração dos questionários contextuais 3 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação 4 Análise dos resultados: TCT e TRI Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados 5

Etapas da avaliação externa Esse é o caminho percorrido no processo da avaliação educacional externa. Ele é muito importante e precisa ser realizado de maneira precisa, cuidadosa. Mas, há uma etapa essencial, talvez a mais importante nesse processo: a apropriação das informações produzidas pela avaliação.

Matriz de Referência É formada por um conjunto de habilidades que tem como fonte as orientações curriculares nacionais, a Matriz do Saeb e as próprias orientações da rede. É a Matriz que dá origem aos itens que compõem os testes das avaliações em larga escala. Pode ser compreendida como um recorte do currículo e, por isso, não deve ser confundida com o mesmo. Os conhecimentos selecionados para a composição dos testes são escolhidos por serem considerados essenciais para o período de escolaridade avaliado e por serem passíveis de medição por meio de testes padronizados de desempenho, compostos, na maioria das vezes, apenas por itens de múltipla escolha. Há, entretanto, outros conhecimentos necessários ao pleno desenvolvimento do estudante que não se encontram na Matriz de Referência por não serem compatíveis com o modelo de teste adotado.

Matriz de Referência

Matriz de Referência Como é estruturada a Matriz de Referência?

Matriz de Referência TÓPICO: agrupamento de um conjunto de habilidades indicadas pelos descritores, que possuem afinidade entre si

DESCRITORES: detalhamento das habilidades Matriz de Referência DESCRITORES: detalhamento das habilidades

Itens Para cada descritor da Matriz de Referência são elaborados itens que compõem os testes. Mas, o que são os itens e quais as suas características?

(probabilidade de chute) Itens Avalia uma única habilidade, portanto o item é unidimensional. Obtém um resultado por estudante, que permite avaliar as hipóteses levantadas por ele. Na formulação de um item, deve-se considerar: Grau de Dificuldade (diz respeito à adequação entre a formulação do item e a capacidade de resposta do estudante) DISCRIMINAÇÃO (capacidade de o item de distinguir estudantes com diferentes níveis de habilidade) ACERTO AO ACASO (probabilidade de chute)

Estrutura do Item Enunciado: estímulo para que o aluno mobilize recursos cognitivos, visando solucionar o problema apresentado Suporte: texto, imagem e/ou outros recursos que servem de base para a resolução do item Comando: orientação dada ao estudante para a resolução do item Distratores: alternativas incorretas, mas plausíveis –devem referir-se a raciocínios possíveis Gabarito: alternativa corretas

Itens Isso quer dizer que... Um Item é mais que uma questão comum: ele precisa atender aos requisitos estatísticos da TRI. 2. Os Itens são independentes das características dos estudantes: sua discriminação e dificuldade não mudam quando os estudantes mudam. 4. Por meio das respostas aos itens é possível estimar a proficiência de um estudante.

Conhecendo os resultados do Saepi Participação Proficiência Padrões de Desempenho O que fazer em relação aos resultados de cada componente curricular?

Participação Por que é importante analisarmos, com atenção, a participação dos estudantes? Em uma avaliação censitária, pressupõe-se a integração de todo o universo investigado Isso garante a fidedignidade dos resultados como um retrato da rede Baixos índices de participação implicam em um retrato limitado àqueles que foram avaliados.

Participação – Língua Portuguesa Vamos olhar para a participação do Saepi 2015 Etapa Edição Estudantes Previstos Estudantes Efetivos % 9º ano EF 2013 12.337 8.891 72,1 2015 12.670 10.395 82,0 1º ano EM 17.138 10.674 62,3 44.453 31.111 70,0 2º ano EM 10.532 7.097 67,4 36.303 26.367 72,6 3º ano EM 2014 30.249 22.019 72,8 31.228 22.649 72,5 Qual etapa a participação foi menor em 2015? É a mesma dos anos anteriores? O que pode ter ocorrido? É importante que a rede reflita sobre esse resultado e busque estratégias para aumentar a participação nas próximas edições do Saepi.

Desempenho – Média de Proficiência e Padrões de Desempenho Como compreender os resultados do Saepi?

Desempenho – Média de Proficiência e Padrões de Desempenho Antes, porém, precisamos compreender o tipo de resultado que o Saepi fornece. As duas principais informações produzidas pelo Saepi são a proficiência e o percentual de acerto por descritor.

Desempenho – Média de Proficiência e Padrões de Desempenho Proficiência = Teoria da Resposta ao Item (TRI) Acerto por descritor = Teoria Clássica dos Testes (TCT)

Quais as diferenças básicas entre TRI e TCT? A medida de Desempenho Quais as diferenças básicas entre TRI e TCT?

A medida de Desempenho Teoria Clássica dos Testes: A Teoria Clássica dos Testes (TCT) é provavelmente a teoria mais conhecida e utilizada. O seu cálculo é o mesmo das avaliações realizadas pelo professor em sala de aula. As análises realizadas a partir da TCT têm como foco o escore obtido no teste. Assim, um estudante que responde a uma série de itens e recebe um ponto por cada item corretamente respondido, obtém, ao final, um escore total, que é a soma destes pontos. Ou seja, a TCT consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.

A medida de Desempenho Teoria de Resposta ao Item: Teoria de Resposta ao Item (TRI), responsável pelo cálculo não mais da média de acertos, mas da proficiência do estudante. O cálculo da proficiência pela TRI requer a utilização de modelos estatísticos para estimar a medida que revela a capacidade do estudante para responder aos itens que entram no teste. Esses itens entram no cálculo com valores já estabelecidos para os seus parâmetros.

Desempenho – Média de Proficiência e Padrões de Desempenho A proficiência é resultado da quantidade e da qualidade dos itens respondidos corretamente pelos estudantes. Nos testes de proficiência os estudantes respondem a itens com um valor/peso diferenciado. Em função disso, dois estudantes podem ter acertado o mesmo número de itens e apresentarem proficiências diferentes, devido às características dos itens respondidos corretamente por cada um deles.

Comprovando na prática http://blogs.estadao.com.br/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/

O que é proficiência Em termos técnicos, a proficiência é uma medida que representa um determinado traço latente de um estudante. Esse traço latente é a aptidão, o conhecimento de um estudante em relação a um determinado conteúdo de um componente curricular. Diferente do modelo clássico, para se chegar à proficiência recorre-se à Teoria de Resposta ao Item (TRI). A TRI é um conjunto de modelos matemáticos no qual a probabilidade de acerto a um item é calculada em função da proficiência do estudante. Para isso, o cálculo leva em consideração características importantes dos itens que compõem o teste, como o índice de dificuldade de cada um. Essas características são obtidas nos pré-testes.

TRI – itens e alunos na mesma métrica 17 16 9 4 15 7 20 18 12 11 10 14 5 13 6 3 2 19 8 1 100 200 300 400 500 item

O poder da comparabilidade – modelos da TRI

O poder da comparabilidade – modelos da TRI

PRINCIPAIS PRODUTOS DA TRI Comparabilidade de resultados: Entre diferentes avaliações em um mesmo período de tempo Entre diferentes avaliações em diferentes períodos de tempo Interpretação pedagógica da escala

TRI – itens e alunos na mesma métrica 17 16 9 4 15 7 20 18 12 11 10 14 5 13 6 3 2 19 8 1 100 200 300 400 500 item

TRI – itens e alunos na mesma métrica Escala de Proficiência

Escala de Proficiência Apresenta os resultados de um teste de larga escala em uma espécie de régua onde os valores obtidos são ordenados e categorizados em intervalos ou faixas que indicam o grau de desenvolvimento das habilidades para os estudantes que alcançaram determinado nível de desempenho. Traduz as medidas em diagnósticos qualitativos do desempenho estudantil.

Escala de Proficiência INTERVALOS OU NÍVEIS DA ESCALA

Escala de Proficiência Identificam o tema em textos menos familiares que exijam a realização de inferências. Esses estudantes já consolidaram essa habilidade. Ainda não desenvolveram a habilidade. Identificam o tema de um texto valendo-se de pistas textuais. Identificam o tema a partir da conjugação das pistas textuais e do conhecimento de mundo do leitor, desde que seja em textos de temática e gênero familiares. Começam a desenvolver a competência. Identificam o tema de textos curtos, de linguagem simples, cujo tema vem indicado no título.

Padrões de Desempenho Uma das formas mais simples e objetivas de se analisar os resultados da avaliação é através dos Padrões de Desempenho. Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes. Estes padrões representam recortes na Escala de Proficiência, definidos a partir dos objetivos e metas de aprendizagem de cada etapa e componente curricular avaliados, de cada rede de ensino.

Escala de Proficiência PADRÕES DE DESEMPENHO

Padrões de Desempenho

Padrão Abaixo do Básico – LP – 9 EF - até 200 • Localizar informação explícita em contos e reportagens. • Localizar informação explícita em propagandas com ou sem apoio de recursos gráficos e em instrução de jogo. • Identificar o assunto principal em reportagens e a personagem principal em fábulas. • Inferir características de personagem em fábulas. • Realizar inferência em textos não verbais e que conjugam linguagem verbal e não verbal como tirinhas. • Reconhecer a finalidade de receitas, manuais e regulamentos. • Inferir o sentido de palavra e o sentido de expressão em letra de música e o assunto em cartas, contos, tirinhas e histórias em quadrinhos com o apoio de linguagem verbal e não verbal. • Inferir a causa do comportamento de um personagem em fragmento de diário. • Reconhecer relação de causa e consequência em poemas, contos e tirinhas. • Depreender o efeito de sentido sugerido pelo ponto de exclamação em conto.

Item

Item Esse item avalia a habilidade de os estudantes localizarem uma informação que está explícita na superfície textual. Como suporte para a tarefa foi utilizada uma reportagem, voltada para o público infantojuvenil, que discorre sobre a origem da invenção do avião. Para satisfazer a proposta do item, os respondentes deveriam localizar, no segundo parágrafo do texto, a informação, que em conformidade com o texto, completa a sentença que serve de comando para resposta. Nesse sentido, aqueles que marcaram a alternativa B – o gabarito – demonstraram ser capazes de localizar informações explícitas em textos informativos (D1).

Padrões de Desempenho Abaixo do Básico Recuperação Básico Reforço Adequado Aprofundamento Avançado Desafio

Proficiências Médias LP – 9EF Abaixo do Básico Básico Adequado Avançado até 200 200 a 250 250 a 300 acima de 300

Distribuição de estudantes por Padrão de Desempenho

Proficiências Médias MT – 9EF Abaixo do Básico Básico Adequado Avançado até 225 225 a 275 275 a 325 acima de 325

Distribuição de estudantes por Padrão de Desempenho

Resultados de desempenho da rede e das escolas: como lê-los?

MÓDULO 3: A APROPRIAÇÃO Participação Proficiência Padrões de Desempenho

Canais de Divulgação: onde estão os resultados Componentes do Resultado por Escola (TRI) Identificação da Escola e do Resultado Escola Município GRE Etapa Níveis de Resultado Em cada agrupamento: Resultado Rede, de GRE e Escola Em cada coluna: 1. Proficiência Média, 2. Participação e 3. Evolução dos Padrões

Canais de Divulgação: onde estão os resultados Resultado - REDE

RESULTADO (TRI) Resultado - GRE

RESULTADO (TRI) Resultado - Escola

MÓDULO 3: A APROPRIAÇÃO Participação Proficiência Padrões de Desempenho

RESULTADO (TRI) Proficiência Média Resultado - REDE

Evolução do Percentual de Estudantes por Padrão de Desempenho RESULTADO (TRI) Evolução do Percentual de Estudantes por Padrão de Desempenho Resultado - REDE

RESULTADO (TRI) Proficiência Média Resultado - Escola

Evolução do Percentual de Estudantes por Padrão de Desempenho RESULTADO (TRI) Evolução do Percentual de Estudantes por Padrão de Desempenho Resultado - Escola

Percentual de Estudantes por Padrão de Desempenho RESULTADO (TRI) Componentes do Resultado por Escola (TRI) Percentual de Estudantes por Padrão de Desempenho Em cada agrupamento: Rede, GRE e escola Distribuição por Níveis de Desempenho (Intervalos) Distribuição por Padrões de Desempenho

RESULTADO (TRI) Etapa Abaixo do Básico Básico Adequado Avançado 1º Ano EM até 225 225 a 275 275 a 325 acima de 325

Canais de divulgação: onde estão os resultados Resultados de desempenho dos estudantes: como lê-los?

RESULTADO (TCT – PAINEL SITE) Descritores avaliados, número de acertos e número de itens apresentados no teste de cada estudante Percentual Médio de Acertos, Categoria de Desempenho, Proficiência e Padrão de Desempenho

RESULTADO (TCT – PAINEL SITE) ATENÇÃO, no painel de Resultados por Aluno (TCT), entenda: Categoria de Desempenho Identifica, por meio de cores diferentes, o quartil de categoria de desempenho em que o estudante está alocado – até 25% de acerto, de 25% até 50% de acerto, de 50% até 75% de acerto e acima de 75% de acerto. Padrão de Desempenho Identifica o Padrão de Desempenho em que o estudante está alocado, de acordo com Proficiência Média alcançada por ele. Os Padrões possuem nomenclaturas próprias, conforme os cortes na Escala de Proficiência.

Quais são os outros resultados produzidos pela avaliação em larga escala?

O que é avaliado por esses instrumentos? DIMENSÕES Fatores Associados ao Desempenho Desempenho dos Estudantes INSTRUMENTOS Testes Cognitivos Questionários Contextuais RESULTADOS Fatores Contextuais Medidas de Proficiência

O que é considerado nos questionários contextuais? Fatores Extraescolares Fatores Intraescolares Fatores socioeconômicos Gestão escolar Fatores familiares Prática pedagógica Condições de infraestrutura Fatores individuais Qualificação dos profissionais Clima escolar

Por que avaliar os fatores associados ? Investigar os fatores intra e extraescolares que impactam no desempenho Avaliar o impacto dos programas implementados pelas Secretarias Analisar estudo de casos de sucesso (escolas eficazes) Identificar fatores de desigualdade educacionais

Qual o papel das características individuais? E da família? Eles nos ajudam a responder O que influencia o aprendizado dos estudantes? Quais elementos podem proporcionar um melhor aprendizado? Qual o papel das características individuais? E da família? O que as escolas podem fazer para promover um ensino de qualidade e minimizar os efeitos dos fatores externos? Que influências as escolas recebem?

Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação O processo de ensino e aprendizagem é mediado por diversos fatores. Grande parte dos trabalhos se preocupa em destacar a forte influência que os fatores extraescolares têm sobre os resultados dos alunos dentro das escolas. Informações de qualidade sobre os atores escolares e as características do sistema escolar são um importante subsídio para a formulação e verificação da efetividade de políticas públicas educacionais e de outras intervenções nos processos escolares.

Por que é tão importante considerar esses fatores em relação ao desempenho dos estudantes? São nos contextos administrativos e pedagógicos das instituições escolares em que podemos interferir de maneira mais objetiva. Torna-se, então, fundamental verificar em quais circunstâncias encontramos resultados escolares mais eficazes.

É importante que busquemos responder às seguintes perguntas: Atitudes e posturas positivas de gestão escolar podem fazer diferença no sucesso das instituições? Diferentes contextos de clima escolar fazem diferença nos resultados dos alunos? As expectativas dos alunos e professores em relação ao futuro escolar têm efeito sobre os resultados? Como as práticas pedagógicas afetam os resultados dos alunos? As relações e os tipos de interação dentro da escola impactam no desempenho dos estudantes? Mensurando e identificando essas dimensões, relacionadas ao desempenho dos estudantes, podemos minimizar os efeitos dos fatores externos.

ROTEIRO PARA APROPRIAÇÃO DOS RESULTADOS DO SAEPI 2015

Descrição dos Passos 1º Passo: O objetivo desse primeiro passo é contribuir com um levantamento das informações produzidas sobre a Unidade Educativa, bem como de toda a rede. Trata-se de uma caracterização, um diagnóstico da Unidade Educativa.  

Descrição dos Passos 1º Passo: Identifique, nos resultados que você recebeu, a participação da rede, da GRE e da escola. Discuta com seus pares e preencha a TABELA 1.

A APROPRIAÇÃO Selecione alguns questionamentos, do material, em conjunto à turma, e procure discuti-los.

Descrição dos Passos 2º Passo: observe os resultados de desempenho (proficiência e distribuição dos estudantes pelos padrões de desempenho) e preencha a TABELA 2. Faça isso para a rede, a GRE e a escola.

A APROPRIAÇÃO

Descrição dos Passos 4° Passo: Observe nos resultados de TCT (percentual de acertos por descritor e preencha a TABELA 3). Converse com seus pares sobre as análises que forem feitas.

A APROPRIAÇÃO

A APROPRIAÇÃO Após caracterizar a rede e a escola e analisar os dados da avaliação, planeje as ações para o futuro dos estudantes do Piauí. Na apostila, preencha as TABELAS 4 e 5.

ATIVIDADE 5

ATIVIDADE 5

Dúvidas?

Obrigada! Equipe Saepi/CAEd! capsaepi@caed.ufjf.br