DEVOLUTIVA E UTILIZAÇÃO DOS RESULTADOS DO SAEPE 2015

Apresentação em tema: "DEVOLUTIVA E UTILIZAÇÃO DOS RESULTADOS DO SAEPE 2015"— Transcrição da apresentação:

1 DEVOLUTIVA E UTILIZAÇÃO DOS RESULTADOS DO SAEPE 2015

2 Organização da Oficina
1° MOMENTO: Avaliação Externa em Larga Escala e Características escolares associadas ao desempenho; 2° MOMENTO: Apresentação dos resultados gerais; 3° MOMENTO Como utilizar os resultados: elaborando planos de ação;

3 Objetivos – 3° MOMENTO Possibilitar, aos participantes:
a compreensão dos resultados da avaliação; a observação dos resultados que servem como orientação na elaboração dos cursos de formação para os professores; um possível trabalho de formação nas escolas.

4 Etapas do Sistema de Avaliação em Larga Escala
Para compreender o SAEPE, seus limites e possibilidades, e utilizar, de maneira eficaz, os resultados produzidos pela avaliação, é importante conhecer e entender as etapas que constituem todo o processo de avaliação educacional em larga escala.

5 Etapas do Sistema de Avaliação em Larga Escala
Determinação da população a ser avaliada 1 Elaboração da Matriz de Referência Construção de itens Pré-testagem dos itens Análise estatística e pedagógica dos itens 2 Montagem dos cadernos de testes (BIB) Elaboração dos testes Elaboração dos questionários contextuais 3 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação 4 Análise dos resultados: TCT e TRI Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados 5

6 Quais os instrumentos utilizados?
Matriz de Referência Itens Escala de Proficiência Padrões de Desempenho Níveis de Desempenho

7 Atividade Como esses instrumentos estão relacionados? Pensem, para isso, nas diferentes etapas e disciplinas avaliadas. Matriz de Referência Itens Escala de Proficiência Padrões de Desempenho Níveis de Desempenho Alguns instrumentos estão mais próximos do contexto da escola: quais seriam? Busquem exemplificar. Em grupo, com até 5 pessoas, elaborem um texto apresentando essa relação. Essa atividade possibilita, aos participantes, refletir sobre os instrumentos da avaliação. Assim, os especialistas do CAEd apresentam os instrumentos a partir do que o grupo conhece.

8 Instrumentos Matriz de Referência Itens Escala de Proficiência
Padrões de Desempenho Níveis de Desempenho Até o slide 29, o especialista só apresenta o que o grupo apresentar dúvida.

9 Matriz de Referência É formada por um conjunto de habilidades que tem como fonte as Orientações Curriculares da rede e dá origem aos itens que compõem os testes das avaliações em larga escala. Pode ser compreendida como um recorte do currículo e, por isso, não deve ser confundida com o mesmo.

10 Matriz de Referência

11 Matriz de Referência TÓPICO: agrupamento de um conjunto de habilidades indicadas pelos descritores, que possuem afinidade entre si

12 DESCRITORES: detalhamento das habilidades
Matriz de Referência DESCRITORES: detalhamento das habilidades

13 Itens Matriz de Referência Itens Escala de Proficiência
Padrões de Desempenho Níveis de Desempenho Alguns instrumentos estão mais próximos do contexto da escola: quais seriam?

14 Itens É uma “questão” do teste.
Avalia uma única habilidade, portanto o item é unidimensional.

15 Itens

16 Itens Enunciado: estímulo para que o aluno mobilize recursos
cognitivos, visando solucionar o problema apresentado

17 Itens Suporte: texto, imagem e/ou outros recursos que servem
de base para a resolução do item

18 Itens Comando: texto relacionado à habilidade que se deseja avaliar, delimitando com clareza a tarefa a ser realizada

19 Itens Distratores: alternativas incorretas, mas plausíveis –devem referir-se a raciocínios possíveis

20 Itens Gabarito: alternativa correta

21 Escala de Proficiência
Matriz de Referência Itens Escala de Proficiência Padrões de Desempenho Níveis de Desempenho Alguns instrumentos estão mais próximos do contexto da escola: quais seriam?

22 Escala de Proficiência
DOMÍNIOS

23 Escala de Proficiência
COMPETÊNCIAS

24 Escala de Proficiência
INTERVALOS

25 Padrões de Desempenho Matriz de Referência Itens
Escala de Proficiência Padrões de Desempenho Níveis de Desempenho Alguns instrumentos estão mais próximos do contexto da escola: quais seriam?

26 Padrões de Desempenho Constituem uma caracterização de competências e habilidades desenvolvidas pelos estudantes de determinada etapa de escolaridade, em uma disciplina/área do conhecimento específica. São agrupamentos a partir da proficiência obtida nas avaliações em larga escala por meio da Teoria de Resposta ao Item (TRI). São intervalos maiores de Níveis de Desempenho.

27 Padrões de Desempenho CORRIGIR NOME

28 Padrões de Desempenho ALUNOS: Demonstram um desenvolvimento ainda incipiente das principais habilidades associadas à etapa de escolaridade, de acordo com a Matriz de Referência. Nos testes, tendem a acertar apenas aqueles itens que avaliam as habilidades consideradas basilares, respondidos corretamente pela maior parte dos alunos e, portanto, com maior percentual de acertos.

29 Padrões de Desempenho ALUNOS: Ainda não demonstram o desenvolvimento considerado apropriado das habilidades básicas avaliadas pela Matriz de Referência, para a etapa de escolaridade em que se encontram. Contudo, respondem a itens com menor percentual de acerto e que avaliam habilidades mais complexas, quando comparados com o verificado no padrão anterior.

30 Padrões de Desempenho ALUNOS: Demonstram o desenvolvimento das habilidades básicas e essenciais para a etapa de escolaridade avaliada, baseadas na Matriz de Referência. Demonstram atender às condições mínimas para que avancem em seu processo de escolarização, ao responder aos itens que exigem maior domínio quantitativo e qualitativo de competências, em consonância com o seu período escolar.

31 Padrões de Desempenho ALUNOS: Demonstram ir além do que é considerado básico para a sua etapa escolar. Costumam responder corretamente, com base na Matriz de Referência, a um maior quantitativo de itens, englobando aqueles que avaliam as habilidades consideradas mais complexas e, portanto, com menor percentual de acertos, o que sugere a sistematização do processo de aprendizagem de forma consolidada para aquela etapa de escolaridade.

32 Padrões de Desempenho Elementar I Recuperação Elementar II Reforço
Básico Aprofundamento Desejável Desafio

33 Níveis de Desempenho Matriz de Referência Itens Escala de Proficiência
Padrões de Desempenho Níveis de Desempenho Alguns instrumentos estão mais próximos do contexto da escola: quais seriam?

34 Níveis de Desempenho Como vimos, os Padrões de Desempenho são intervalos maiores de Níveis de Desempenho. A descrição das habilidades, por Níveis de Desempenho, provê mais detalhamento para a interpretação pedagógica dos resultados.

35 Níveis de Desempenho 5° ano EF LP

36 Níveis de Desempenho 5° ano EF LP Elementar I NÍVEIS DE DESEMPENHO

37 Níveis de Desempenho 5° ano EF LP Elementar I PADRÃO DE DESEMPENHO

38 Níveis de Desempenho Entenda a diferença:
EXEMPLO – 5º ANO DO ENSINO FUNDAMENTAL – LÍNGUA PORTUGUESA PADRÃO DE DESEMPENHO

39 Níveis de Desempenho EXEMPLO – 5º ANO DO ENSINO FUNDAMENTAL – LÍNGUA PORTUGUESA NÍVEIS DE DESEMPENHO

40 Metodologia da Avaliação
A compreensão e a interpretação dos resultados da avaliação educacional externa em larga escala requer o entendimento das informações coletadas pelo instrumento.

41 Metodologia da Avaliação
Atualmente, há duas formas de produzir a medida de desempenho de alunos submetidos aos testes. Você sabe quais são elas?

42 Metodologia da Avaliação
TCT Teoria Clássica dos Testes TRI Teoria de Resposta ao Item

43 Por que utilizar a TCT e a TRI nos sistemas de avaliação?
Atividade Reservamos esse momento para uma atividade em grupo. Formem grupos de até 5 pessoas. Levantem as principais dúvidas, tendo como referência a seguinte questão: Por que utilizar a TCT e a TRI nos sistemas de avaliação? 3. Selecionem uma das dúvidas apresentadas e redijam fichas com os questionamentos. Após a redação, entreguem as fichas para os organizadores. Faremos uma discussão para responder às dúvidas. Nosso objetivo é que os participantes façam perguntas para que possamos responder as principais dúvidas.

44 Metodologia da Avaliação
Os resultados analisados a partir da TCT são calculados de uma forma muito próxima às avaliações realizadas pelo professor em sala de aula. Consistem, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando, também, o percentual de acerto para cada descritor avaliado. Até o slide 50, o especialista só retoma o que os participantes apresentarem dúvidas.

45 Metodologia da Avaliação
A TRI, por sua vez, permite produção de uma medida mais robusta do desempenho dos alunos, porque leva em consideração um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o aluno respondeu no teste de proficiência e, com isso, estimar o que o aluno é capaz de fazer, tendo em vista os itens respondidos corretamente.

46 Metodologia da Avaliação

47 Metodologia da Avaliação
A TRI nos permite: Comparar os resultados, com outras avaliações, inclusive. Avaliar com alto grau de precisão a proficiência de alunos em diversas áreas do conhecimento sem submetê-los a longos testes. Comparar os resultados entre diferentes etapas de escolaridade.

48 Metodologia da Avaliação

49 Metodologia da Avaliação
Como isso funciona? A proficiência é estimada considerando o padrão de respostas dos alunos, de acordo com o grau de dificuldade e com os demais parâmetros dos itens.

50 Metodologia da Avaliação
DISCRIMINAÇÃO: Capacidade de um item de discriminar os alunos que desenvolveram as habilidades avaliadas daqueles que não as desenvolveram. DIFICULDADE: Mensura o grau de dificuldade dos itens. ACERTO AO ACASO: Análise das respostas dos alunos para verificação do acerto ao acaso.

51 Divulgação A apropriação dos resultados requer conhecimento sobre os canais de divulgação Você sabe onde estão/são divulgados os resultados do SAEPE?

52 Atividade Na escola, qual o material seria importante e necessário para gestores e para professores receberem? Em grupo, com até 5 pessoas, façam apontamentos... ...vamos buscar respondê-los durante a apresentação do material! Fazemos essa pergunta, para reflexão dos participantes, eles não precisam apresentar a resposta. A resposta será “encontrada”, por eles, ao longo da apresentação dos produtos e dos resultados, que será feita em seguida

53 Divulgação dos resultados
PARA A ESCOLA

54 www.saepe.caedufjf.net Divulgação
Atualmente, a Secretaria em parceria com o CAEd divulga informações para a interpretação dos resultados na Revista da Gestão e na Revista Pedagógica, da Coleção SAEPE, presente no site. APENAS NO SITE Mencionar a Revista do Sistema. Apresentar toda a Coleção.

55 Divulgação REVISTA DA GESTÃO Direcionada à equipe gestora da escola.
Apresenta artigos e estudo de caso relacionados à gestão escolar. Informa o resultado da escola em todas as disciplinas e etapas de escolaridade avaliadas.

56 Divulgação REVISTA PEDAGÓGICA
Direcionadas aos professores da disciplina/etapa de escolaridade e à equipe pedagógica da escola. Apresentam informações pedagógicas, estudos de caso relacionados à prática pedagógica dos educadores e textos que tratam de temas da área avaliada. Veiculam o resultado da escola: os volumes são divididos por disciplina/etapa de escolaridade avaliada.

57 www.saepe.caedufjf.net Divulgação
Os resultados, de cada escola, também podem ser acessados pelo mesmo endereço.

58 Divulgação Os Resultados por Escola (TRI) e os Resultados por Aluno (TCT) estão disponíveis no site.

59 Divulgação Para acessá-los, clique em “Resultados”. Resultados

60 Identificação da Escola e do Resultado
Divulgação Componentes do Resultado por Escola (TRI) Identificação da Escola e do Resultado Escola Município GRE Etapa Disciplina Níveis de Resultado Em cada agrupamento: Resultado Rede, Resultado GRE e Resultado Escola Em cada coluna: 1. Proficiência Média, 2. Participação e 3. Evolução Atenção, o segundo nível traz dados do município em que a escola se encontra.

61 Percentual de Estudantes por Padrão de Desempenho
Divulgação Componentes do Resultado por Escola (TRI) Percentual de Estudantes por Padrão de Desempenho Em cada agrupamento: Rede, GRE e Escola Distribuição por Níveis de Desempenho (Intervalos) Distribuição por Padrões de Desempenho

62 Divulgação Proficiência Média Resultado - Escola

63 Divulgação Participação Resultado - Escola

64 Evolução do Percentual de Estudantes por Padrão de Desempenho
Divulgação Evolução do Percentual de Estudantes por Padrão de Desempenho Resultado - Escola

65 Cada unidade escolar visualiza apenas o próprio resultado!
Divulgação Resultados por Aluno (TCT) Acesso por senha. Cada unidade escolar visualiza apenas o próprio resultado!

66 Divulgação

67 Divulgação Descritores avaliados, número de acertos e número de itens apresentados no teste de cada estudante Percentual Médio de Acertos, Categoria de Desempenho, Proficiência e Padrão de Desempenho

68 Categoria de Desempenho
Divulgação ATENÇÃO, no painel de Resultados por Aluno (TCT), entenda: Categoria de Desempenho Identifica, por meio de cores diferentes, o quartil de categoria de desempenho em que o estudante está alocado – até 25% de acerto, de 25% até 50% de acerto, de 50% até 75% de acerto e acima de 75% de acerto. Padrão de Desempenho Identifica o Padrão de Desempenho em que o estudante está alocado, de acordo com Proficiência Média alcançada por ele. Os Padrões possuem nomenclaturas próprias, conforme os cortes na Escala de Proficiência.

69 Atividade Agora, para a equipe técnica, qual seria o material importante e necessário de receber? Em grupo façam apontamentos... ...vamos buscar respondê-los durante a apresentação do material! Somente uma reflexão. As “respostas” estarão ao longo da apresentação.

70 Divulgação dos resultados
PARA A EQUIPE TÉCNICA

71 Divulgação Dados em formato Excel também estão/são divulgados à equipe da Secretaria. Com as informações, pode-se fazer análises diversas.

72 Divulgação Planilha de Resultados TRI Resultado - TRI
Aqui, vamos ressaltar as possibilidades da equipe técnica conhecer os resultados das escolas e organizar a formação, por grupos, por exemplo. Esses grupos podem ser organizados com base em resultados semelhantes, ou por regiões. Em cada região, por exemplo, o técnico pode observar o desempenho alcançado em cada escola. Resultado - TRI

73 Em cada aba, os níveis de resultados de cada componente curricular
Divulgação Planilha de Resultados TRI Em cada aba, os níveis de resultados de cada componente curricular

74 Divulgação Planilha de Resultados TRI PROFICIÊNCIA

75 % ESTUDANTES POR PADRÃO
Divulgação Planilha de Resultados TRI % ESTUDANTES POR PADRÃO

76 Divulgação Planilha de Resultados TRI PARTICIPAÇÃO

77 Divulgação Planilhas de Resultados TCT Resultado - TCT

78 Divulgação Planilhas de Resultados TCT
Em cada planilha, dados de cada componente curricular, com filtros de “Rede” e “Etapa”.

79 Divulgação Planilhas de Resultados TCT REDE

80 Divulgação Planilhas de Resultados TCT ETAPA

81 % DE ACERTO POR DESCRITOR e % TOTAL DE ACERTO, em relação à etapa
Divulgação Planilhas de Resultados TCT % DE ACERTO POR DESCRITOR e % TOTAL DE ACERTO, em relação à etapa

82 Apropriação Análise de Resultados por Escola (TRI)

83 Apropriação 1º PASSO: O objetivo desse primeiro passo é contribuir com um levantamento das informações produzidas sobre uma escola ou um conjunto delas. Trata-se de uma caracterização da escola com base nos resultados da avaliação nas ultimas edições do SAEPE. Encarte

84 Apropriação Sabemos que existem diferentes causas/razões. Pontue aquelas que você/professor/ gestor poderá utilizar para realizar intervenções! Atenção, essa tabela serve para definir quais são as possíveis causas/razões.

85 Apropriação 2º PASSO: Após o primeiro passo, cujo objetivo foi caracterizar a(s) escola(s), tendo em vista os resultados alcançados na avaliação, é hora de compreender as possíveis razões que a levaram a escola a alcançar tais resultados. É preciso fazer algumas reflexões sobre o desempenho da escola. Para tanto, deve-se reunir e discutir, coletivamente, sobre os resultados em cada etapa e disciplinas avaliadas no SAEPE.

86 Apropriação A Proficiência Média está crescendo, diminuindo ou se manteve estável ao longo das edições do SAEPE? Essa análise se refere à qualidade da educação. Essa média é condizente com os resultados de desempenho nas avaliações internas? Como são as taxas de aprovação nessa etapa de escolaridade? Há muitos alunos nos Padrões mais baixos? Quantos? Essa tarefa refere-se à análise da equidade na educação. Todos os alunos participaram da avaliação externa? Quais foram os que não fizeram? os que apresentam maiores ou menores dificuldades em sala de aula? Esses questionamentos vão estar disponíveis no site, no MATERIAL ENCARTE.

87 Apropriação A escola consegue identificar quem são os alunos que estão nesses Padrões mais baixos? São os mesmos alunos que apresentam dificuldades de aprendizagem na escola? Cada professor consegue identificar quem são esses alunos, nas suas turmas? Eles apresentam dificuldades de aprendizagem em sala de aula? Esses alunos foram aprovados para a etapa de escolaridade seguinte àquela em que ele foi avaliado pela avaliação externa? Considerando o número de alunos que se encontram nos Padrões mais baixos, procure identificar, de acordo com cada padrão, quais habilidades esses alunos desenvolveram. De acordo com a etapa de escolaridade em que eles se encontram, quais habilidades eles já deveriam ter desenvolvido? Para isso, considere os Padrões mais avançados para identificar quais habilidades já deveriam ter sido desenvolvidas por esses alunos. Esses questionamentos vão estar disponíveis no site, no MATERIAL ENCARTE.

88 Apropriação 3º PASSO: Por fim, é hora de planejar o futuro. De posse de todas as informações sobre a escola na avaliação do SAEPE, nas últimas edições, sugerimos um roteiro de planejamento que poderá ajudá-lo na elaboração e organização de estratégias para que a, escola como um todo, e cada aluno, em particular, possam apresentar melhor desempenho nas próximas edições do SAEPE.

89 Apropriação Como elaborar e organizar estratégias?
Na escola, o PPP deve ser o instrumento a ser consultado. Quais as informações que podem orientar na elaboração e organização de estratégias? Metas: não podem ser ideais se não forem executáveis. Não podem, também, ser de fácil alcance, subestimando o trabalho da equipe técnica, gestora ou pedagógica.

90 Apropriação

91 Apropriação Análise dos Resultados por Aluno (TCT)

92 Apropriação Após caracterizarmos a escola – 1º PASSO –, compreendermos quais são as possíveis causas do desempenho da escola – 2º PASSO – , e analisarmos os Resultados por Escola (TRI) – 3º PASSO, associamos as informações dos Resultados por Aluno (TCT). São informações sobre o percentual de acerto para cada descritor apresentado no teste. Essas informações são divulgadas por aluno, turma, escola e para a rede em geral. O foco de análise devem ser, sobretudo, os resultados de cada aluno, cada turma e de sua escola, em particular.

93 Apropriação Como elaborar e organizar estratégias?
Vamos retomar as orientações curriculares, observando quais são os conteúdos relacionados às habilidades os estudantes apresentam maiores dificuldades. Metas: não podem ideais se não forem executáveis. Não podem, também, ser de fácil alcance, subestimando o trabalho da equipe técnica, gestora ou pedagógica.

94 Apropriação Sobre o desempenho de cada turma:
Qual foi o percentual de acerto, de cada turma, em cada descritor avaliado? Como está o desempenho de cada turma em relação às demais turmas da escola? Olhe para cada turma, individualmente, e depois compare o seu desempenho com o das demais. Quais foram os descritores que apresentaram menor percentual de acerto, em cada turma? Procure relacionar as habilidades avaliadas por esses descritores aos conteúdos trabalhados em sala de aula. Trata-se de habilidades que já deveriam ter sido desenvolvidas em etapas anteriores àquela avaliada? Esses descritores, com menor percentual de acerto, estão relacionados a uma mesma competência? Na avaliação interna, os alunos apresentam dificuldades nos conteúdos relacionados a esses descritores?

95 Apropriação Sobre o desempenho de cada aluno:
Observe os descritores que cada aluno errou. Os alunos que erraram mais itens em relação aos descritores apresentados são os mesmos que apresentam dificuldades de aprendizagem em sala de aula? Nas avaliações internas, esses alunos demonstram dificuldades nos conteúdos relacionados a esses descritores? Faça a mesma reflexão levando em consideração os descritores que foram mais acertados.

96 Reflexões Neste momento, vamos dinamizar as análises indicadas nas tabelas. Propomos o intercâmbio entre participantes. Para começar, retome a pergunta inicial, em relação às expectativas sobre a oficina e se o exercício de apropriação de resultados é comumente realizado no contexto da escola.

97 Contato