Avaliação educacional em larga escala

Apresentação em tema: "Avaliação educacional em larga escala"— Transcrição da apresentação:

1 Avaliação educacional em larga escala
Contribuições e possibilidades

2 O que é avaliar? Coletar Decidir Agir
Diagnosticar Decidir Agir Dados e informações sobre determinada realidade. Produzir algum julgamento sobre essa realidade. Tomar decisão em função de um objetivo que se deseja alcançar. Traçar estratégias de uma ação sobre o objeto avaliado.

3 Tipos de avaliação Pequena escala Larga escala Avaliação Diagnóstica
Formativa Somativa Interna Escola Externa Sistemas Interna Escola Externa Sistemas Interna Escola Externa Sistemas Pequena escala Larga escala

4 Avaliação educacional
Provas abertas Provas objetivas Observação/Registro Portfólio TEORIA CLÁSSICA TEORIA DE RESPOSTA AO ITEM Avaliação Interna/Escola Processo da aprendizagem Avaliação Externa/Sistemas Testes de proficiência Questionários contextuais Desempenho dos alunos

5 Linha do tempo da avaliação

6 Sistemas próprios de avaliação
SEAPE SADEAM SAEPI SARESP SIMAVE SAERJ SAERO PAEBES SAEMS SAEGO AREAL AVALIE SISPAE SALTO SPAECE SAEPE SAEMI SAERS SAEP Sistema de Av. da Educ. da Paraíba AVALIA BH ALFABETIZA RIO

7 Vantagens dos sistemas próprios de avaliação
Desenho próprio (definição de séries e áreas do conhecimento) adequado às necessidades da rede. Alinhamento entre currículo, ensino e avaliação. Menor periodicidade entre os ciclos avaliados.

8 Etapas básicas dos programas de avaliação
1 Determinação da população a ser avaliada 2 Elaboração da Matriz ou utilização da Matriz de Referência do SAEB Construção de itens Pré-testagem dos itens Análise estatística e pedagógica dos itens 3 Montagem dos cadernos de testes (BIB) Elaboração dos testes padronizados Elaboração dos questionários contextuais 4 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação 5 Análise dos resultados: utilização da TCT e da TRI Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados

9 Como funciona a avaliação em larga escala?

10 O que é avaliado?

11 INSERIR TABELA COM CORTES DE PADRÕES
Matriz de Referência INSERIR TABELA COM CORTES DE PADRÕES

12 Como os testes são montados?
Distribuídos em vários cadernos Itens Organizados em blocos

13 Alternativas de reposta
O item e suas partes Enunciado Suporte Comando Gabarito Alternativas de reposta Distratores

14 Como os testes são corrigidos?
Parâmetros da Teoria de Resposta ao Item (TRI) utilizada para correção dos testes aplicados pelo CAEd

15 Como os testes são corrigidos? – Ilustrando o parâmetro C
2 + 2 2 x 3 2/7³ 2² x (√3)

16 Uso da TRI na produção de medidas
A TRI nos permite: Comparar resultados de diferentes avaliações, como o SAEB. Avaliar, com alto grau de precisão, a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes. Comparar os resultados entre diferentes séries, como o início e fim do Ensino Médio.

17 Como os valores de proficiência são gerados?
Exemplo hipotético: Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer. Possíveis questões: Você consegue guardar as malas no bagageiro interno de um ônibus? Quando dorme à noite, seus pés ficam do lado de fora? Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?

18 Exemplo de escala para a altura de uma pessoa
Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo? Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo

19 Exemplo de escala para a altura de uma pessoa
Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo Carolina Priscila Leonardo 1,5 1,6 1,7 1,8 1,9 Item 1 Item 2 Item 3 Como as questões estão associadas à altura da pessoa, podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

20 Escala de Proficiência A nossa “régua” para o desempenho
INSERIR CÓPIA DA ESCALA

21 Como os valores de proficiência são gerados?
A Escala de Proficiência: Cada item mede algo que o aluno sabe fazer. Todos eles associados à proficiência. Isso permite colocar numa mesma “régua” – escala – todas as habilidades. Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar essas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.

22 O que a avaliação externa possibilita?

23 Possibilidades dos sistemas próprios de avaliação
Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

24 Possibilidades dos sistemas próprios de avaliação
Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

25 Evolução da proficiência média em Matemática rede estadual

26 Evolução da distribuição por Padrões de Desempenho em Matemática - rede estadual

27 Possibilidades dos sistemas próprios de avaliação
Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

28 Possibilidades dos sistemas próprios de avaliação
Diagnóstico do efeito de política pública implementada Programa de cooperação entre Governo do Estado e municípios com a finalidade de apoiá-los para alfabetizar os alunos da rede pública de ensino até o final do segundo ano do Ensino Fundamental. Programa propõe uma intervenção sistêmica que é executada por meio de cinco eixos: Alfabetização Gestão municipal Educação infantil Literatura e formação do leitor Avaliação externa

29 Possibilidades dos sistemas próprios de avaliação
Diagnóstico do efeito de política pública implementada Níveis e Padrões de Desempenho em Língua Portuguesa Etapa de Escolaridade Não Alfabetizado Alfabetização Incompleta Intermediário Suficiente Desejável 2º Ano EF até 75 75 a 100 100 a 125 125 a 150 acima de 150

30 2008 Regional 1 148,83 Regional 2 144,41 Regional 3 124,62 Regional 4 141,07 Regional 5 135,88 Regional 6 122,74 Regional 7 123,30 Regional 8 124,11 Regional 9 133,26 Regional 10 107,62 Regional 11 125,44 Regional 12 126,33 Regional 13 127,01 Regional 14 121,14 Regional 15 118,81 Regional 16 128,95 Regional 17 116,77 Regional 18 126,77 Regional 19 122,95 Regional 20 114,71 Regional 21 Regional 22 Regional 23 Regional 24 122,26 Regional 25 Regional 26 Regional 27

31 2008 2009 Regional 1 148,83 162,51 Regional 2 144,41 176,67 Regional 3 124,62 170,64 Regional 4 141,07 158,54 Regional 5 135,88 184,11 Regional 6 122,74 150,85 Regional 7 123,30 158,95 Regional 8 124,11 145,2 Regional 9 133,26 152,59 Regional 10 107,62 147,85 Regional 11 125,44 135,27 Regional 12 126,33 130,73 Regional 13 127,01 132,13 Regional 14 121,14 133,15 Regional 15 118,81 131,89 Regional 16 128,95 139,08 Regional 17 116,77 132,46 Regional 18 126,77 137,3 Regional 19 122,95 144,6 Regional 20 114,71 134,13 Regional 21 115,68 Regional 22 136,92 Regional 23 128,34 Regional 24 122,26 118,52 Regional 25 116,56 Regional 26 115,05 Regional 27 116,35

32 2008 2009 2010 Regional 1 148,83 162,51 204,02 Regional 2 144,41 176,67 198,73 Regional 3 124,62 170,64 197,77 Regional 4 141,07 158,54 191,95 Regional 5 135,88 184,11 201,32 Regional 6 122,74 150,85 187,84 Regional 7 123,30 158,95 198,68 Regional 8 124,11 145,2 160,22 Regional 9 133,26 152,59 167,72 Regional 10 107,62 147,85 169,75 Regional 11 125,44 135,27 160,61 Regional 12 126,33 130,73 157,11 Regional 13 127,01 132,13 150,49 Regional 14 121,14 133,15 149,16 Regional 15 118,81 131,89 144,2 Regional 16 128,95 139,08 150,99 Regional 17 116,77 132,46 147,42 Regional 18 126,77 137,3 152,2 Regional 19 122,95 144,6 149,92 Regional 20 114,71 134,13 137,93 Regional 21 115,68 132,67 Regional 22 136,92 130,18 Regional 23 128,34 133,39 Regional 24 122,26 118,52 131,73 Regional 25 116,56 132,98 Regional 26 115,05 131,48 Regional 27 116,35 128,56

33 2008 2009 2010 2011 Regional 1 148,83 162,51 204,02 218,9 Regional 2 144,41 176,67 198,73 218,0 Regional 3 124,62 170,64 197,77 212,8 Regional 4 141,07 158,54 191,95 208,1 Regional 5 135,88 184,11 201,32 207,5 Regional 6 122,74 150,85 187,84 201,2 Regional 7 123,30 158,95 198,68 194,1 Regional 8 124,11 145,2 160,22 186,9 Regional 9 133,26 152,59 167,72 182,2 Regional 10 107,62 147,85 169,75 175,9 Regional 11 125,44 135,27 160,61 Regional 12 126,33 130,73 157,11 174,2 Regional 13 127,01 132,13 150,49 172,9 Regional 14 121,14 133,15 149,16 171,5 Regional 15 118,81 131,89 144,2 167,4 Regional 16 128,95 139,08 150,99 167,0 Regional 17 116,77 132,46 147,42 166,1 Regional 18 126,77 137,3 152,2 165,4 Regional 19 122,95 144,6 149,92 163,6 Regional 20 114,71 134,13 137,93 158,9 Regional 21 115,68 132,67 145,6 Regional 22 136,92 130,18 145,5 Regional 23 128,34 133,39 144,3 Regional 24 122,26 118,52 131,73 140,3 Regional 25 116,56 132,98 139,8 Regional 26 115,05 131,48 138,1 Regional 27 116,35 128,56 134,5

34 Possibilidades dos sistemas próprios de avaliação
Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

35 Resultados estaduais Transversais ou Longitudinais
Estado Regionais Municípios Escola Turma Aluno

36 Uso dos resultados pelo gestor
da Rede Planejamento e execução de políticas públicas Criação de metas de qualidade e equidade educacionais Implementação de medidas de responsabilização Políticas de incentivo diretas ou indiretas Ações de formação continuada de professores da Escola Elaboração do projeto da escola Monitoramento da qualidade de ensino Subsídio para avaliação institucional

37 Uso dos resultados pelo professor
Projetos de intervenção pedagógica Elaboração de projetos especiais Foco nos alunos com dificuldades Ações de reforço escolar Planejamento das ações de sala de aula Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica

38 Uso dos resultados pelo aluno e pela família
Acompanhamento individual do desempenho escolar pelos alunos e seus familiares. Informações sobre a qualidade dos serviços educacionais oferecidos.

39 Possibilidades dos sistemas próprios de avaliação
Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

40 Padrões de desempenho estudantil
Estabelecimento e monitoramento das metas de qualidade educacional Caracterização do desempenho escolar Grau de realização das ações educacionais Políticas públicas voltadas à promoção da equidade Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

41 Descrição geral dos Padrões de Desempenho
Elementar I Os alunos que apresentam esse padrão de desempenho revelam ter desenvolvido competências e habilidades muito aquém do que seria esperado para o período de escolarização em que se encontram. Por isso, esse grupo de alunos necessita de uma intervenção focada de modo a progredirem com sucesso em seu processo de escolarização. Elementar II Os alunos que apresentam esse padrão de desempenho demonstram já terem começado um processo de sistematização e domínio das habilidades consideradas básicas e essenciais ao período de escolarização em que se encontram. Para esse grupo de alunos, é importante o investimento de esforços para que possam desenvolver habilidades mais elaboradas. Básico Os alunos que apresentam esse padrão de desempenho demonstram ter ampliado o leque de habilidades tanto no que diz respeito à quantidade quanto no que se refere à complexidade dessas habilidades, as quais exigem um maior refinamento dos processos cognitivos nelas envolvidos. Desejável Os alunos que apresentam esse padrão de desempenho revelam ser capazes de realizar tarefas que exigem habilidades mais sofisticadas. Eles desenvolveram habilidades que superam aquelas esperadas para o período de escolaridade em que se encontram.

42 Projetos de intervenção pedagógica a partir dos Padrões de Desempenho
Elementar I Recuperação Elementar II Reforço Básico Aprofundamento Desejável Desafio

43 A experiência de Pernambuco
Parâmetros Curriculares da Educação Básica e os Padrões de Desempenho Estudantil A experiência de Pernambuco Estabelecimento dos padrões envolveu mais de 400 professores da rede pública de Pernambuco, gestores da SEE e especialistas do CAEd. Projeto apostou na capacidade do diálogo e na construção coletiva e permitiu aos professores participarem enquanto atores no processo de construção de uma política pública.

44 A experiência de Pernambuco
Parâmetros Curriculares da Educação Básica e os Padrões de Desempenho Estudantil A experiência de Pernambuco Proposta da Secretaria de Educação de Pernambuco baseada na compreensão da importância de se articular os processos de avaliação em larga escala do desempenho estudantil e a elaboração de propostas curriculares. Projetos voltados para o estabelecimento das expectativas de aprendizagem dos estudantes em todas as etapas da Educação Básica, com o intuito de auxiliar o professor em sua prática docente e assegurar o direito de todo estudante a aprender.

45 Parâmetros Curriculares da Educação Básica e os Padrões de Desempenho Estudantil
Orientam a formulação de uma proposta curricular que articule o nível ideal de aprendizagem e o desempenho real alcançado pelos estudantes nas avaliações externas. Resultados alcançados pelos estudantes nos processos de avaliação Torna possível avaliar o nível de aprendizagem dos estudantes, relacionando-o com as diretrizes curriculares anteriormente estabelecidas. Implantação do currículo

46 Avaliação em larga escala:
em que avançamos e quais os desafios?

47 Sistemas estaduais de avaliação Em que avançamos?
Maior transparência no processo de avaliação e divulgação dos resultados. Ampliação das oportunidades educacionais e o reconhecimento do direito de aprender. Debate sobre as responsabilidades. Atenção especial aos alunos de baixo desempenho.

48 Sistemas estaduais de avaliação Em que avançamos?
Discussão sobre os fatores que interferem no desempenho escolar, eficácia de práticas, programas e políticas educacionais. Discussão sobre a construção de propostas curriculares inovadoras, bem desenhadas e de fácil compreensão por diferentes públicos. Participação dos acadêmicos e pesquisadores das universidades, gestores e professores da educação básica no debate sobre o direito à educação.

49 Transferência de tecnologia
Canais de divulgação Material Impresso Revista do Sistema Revista do Gestor Revista Pedagógica Revista Contextual Caderno de Gestão Caderno de Pesquisa Ações de formação Oficinas Vídeos Kits instrucionais Portal da Avaliação Integração dos dados Resultados das escolas Mídias sociais Transferência de tecnologia Cursos a distância Curso presencial Acompanhamento técnico/pedagógico

50 Fatores associados ao desempenho
Fatores Extraescolares Fatores Intraescolares Fatores socioeconômicos Gestão e administração Fatores familiares Prática pedagógica Fatores individuais Condições de infraestrutura Qualificação dos profissionais

51 Em que consiste considerar os fatores associados ao desempenho?
Investigação de fatores intra e extraescolares específicos de cada sistema. Avaliação do impacto dos programas implementados pelas Secretarias. Estudo de casos de sucesso (escolas eficazes). Correlações entre fatores de desigualdade educacionais.

52 Sistemas estaduais de avaliação Desafios
Maior participação dos gestores e professores nas discussões sobre apropriação e utilização dos resultados pelas escolas. Melhor alinhamento entre as propostas curriculares, avaliação e participação dos professores na definição dos Padrões de Desempenho. Canais de comunicação efetivos e constantes com gestores, professores, pais, alunos e sociedade sobre a qualidade da educação e responsabilidade de todos.

53 Avaliação educacional em larga escala