Oficina de Apropriação de Resultados – Saethe 2014

Apresentação em tema: "Oficina de Apropriação de Resultados – Saethe 2014"— Transcrição da apresentação:

1 Oficina de Apropriação de Resultados – Saethe 2014
Módulo II Uso dos resultados

2 Avaliação interna e Avaliação externa
Avaliação da aprendizagem. Desempenho dos alunos. Permite o acompanhamento da aprendizagem, carência e necessidade de ajuda de cada estudante em sua formação. Permite retratar como uma população está em relação à qualidade do ensino e à efetividade do seu modelo educacional. Teoria Clássica dos Testes. Teoria de Resposta ao Item.

3 AVALIAÇÃO EM LARGA ESCALA: OBJETIVOS
Produção de um diagnóstico sobre o desempenho dos alunos e os fatores que interferem nesse desempenho. O acompanhamento da qualidade da educação ao longo do tempo – monitoramento da qualidade da educação. A definição de subsídios para a formulação de políticas educacionais/qualidade e equidade. A produção de informações capazes de fomentar relações significativas entre unidades escolares e órgãos centrais ou distritais das secretarias, bem como a iniciativa dentro das escolas.

4 apenas na avaliação de saída, realizada no final de 2014
Canais de divulgação Material Impresso Revista do Sistema Revista do Gestor Revista Pedagógica Caderno de Gestão Caderno de Pesquisa Ações de formação Oficinas Kits instrucionais Portal da Avaliação Integração dos dados Resultados das escolas Mídias sociais apenas na avaliação de saída, realizada no final de 2014

5 Como funciona a avaliação em larga escala?

6 O que é avaliado?

7 Matriz de Referência

8 Matriz de Referência O conteúdo de uma avaliação é algo importante a ser definido. Isso tem implicações para os instrumentos da avaliação. A elaboração de uma Matriz de Referência é fundamentada pelas noções de competências e habilidades.

9 Matriz de Referência A Matriz de Referência tem como fonte as diretrizes curriculares da rede avaliada (estado ou município). Em uma avaliação em larga escala, priorizamos competências e habilidades basilares/essenciais dos currículos: selecionamos habilidades muito importantes e passíveis de serem medidas pelo formato dos testes.

10 Matriz de Referência Então quer dizer que...
A Matriz é uma parte do Currículo. Ela não substitui o Currículo, apenas o resume. A Matriz contém apenas competências e habilidades essenciais que podem ser medidas em testes padronizados. As escolas e sistemas ensinam muito mais do que os conteúdos contemplados nas Matrizes. O desenvolvimento dos estudantes é muito mais amplo.

11 Alternativas de reposta
O item e suas partes Enunciado Suporte Comando Gabarito Alternativas de reposta Distratores

12 A Medida de Desempenho A produção da medida de desempenho dos estudantes pode ser feita de duas formas: Teoria Clássica dos Testes (TCT). Teoria de Resposta ao Item (TRI).

13 Teoria Clássica dos Testes.
A Medida de Desempenho Teoria Clássica dos Testes. É calculado de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor. Consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.

14 Teoria de Resposta ao Item:
A Medida de Desempenho Teoria de Resposta ao Item: Produz uma medida mais robusta do desempenho dos estudantes, porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes. A TRI é, portanto, um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o estudante respondeu no teste de proficiência.

15 Como os testes são corrigidos?
Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd

16 Como os testes são corrigidos? – Ilustrando o parâmetro C
2 + 2 2 x 3 2/7³ 2² x (√3)

17 Como são montados os testes Distribuídos em vários
cadernos Itens Organizados em blocos

18 Como são montados os testes
Blocos Incompletos Balanceados (BIB) Itens organizados em blocos. Cada bloco se combina com todos os outros, formando cadernos. Conteúdo do caderno deve abranger toda a escala de dificuldade. Caderno Bloco 1 Bloco 2 001 1 2 002 3 003 4 004 5 005 6

19 Como são montados os testes

20 Como são montados os testes
200 400 600 800 1000

21 Como são montados os testes
200 400 600 800 1000

22 Como são montados os testes
200 400 600 800 1000

23 Como são montados os testes
200 400 600 800 1000

24 Como são montados os testes
200 400 600 800 1000

25 Como são montados os testes
Então quer dizer que... Um Item é mais que uma questão comum: ele precisa atender aos requisitos estatísticos da TRI. Os Itens são independentes das características dos estudantes: sua discriminação, dificuldade e acerto ao acaso não mudam quando os alunos mudam. Cada estudante nos responde sobre apenas uma pequena parte em relação ao total da Matriz de Referência, e a contribuição de cada um deles é importante para sabermos a qualidade do ensino no sistema ou rede avaliados.

26 Como os valores de proficiência são gerados?
Exemplo hipotético: Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer. Possíveis questões: Você consegue guardar as malas no bagageiro interno de um ônibus? Quando dorme à noite, seus pés ficam do lado de fora? Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?

27 Exemplo de escala para a altura de uma pessoa
Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo? Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo

28 Exemplo de escala para a altura de uma pessoa
Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo Carolina Priscila Leonardo 1,5 1,6 1,7 1,8 1,9 Item 1 Item 2 Item 3 Como as questões estão associadas à altura da pessoa... podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

29

30 Como os valores de proficiência são gerados?
A escala de proficiência: Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência. Isso permite colocar numa mesma “régua” – escala – todas as habilidades. Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar essas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.

31 Escala de Proficiência
Traduz as medidas em diagnósticos qualitativos do desempenho escolar. Régua de ordenamento dos valores dos testes, relacionados simultaneamente com as habilidades desenvolvidas pelos estudantes para alcançar determinados valores de proficiência.

32 Padrões de Desempenho Os Padrões de Desempenho são grandes intervalos de valores dentro da Escala de Proficiência. Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes.

33 Padrões de desempenho estudantil
Estabelecimento e monitoramento das metas de qualidade educacional Caracterização do desempenho escolar Grau de realização das ações educacionais Políticas públicas voltadas à promoção da equidade Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

34 Projetos de intervenção pedagógica a partir dos Padrões de Desempenho
Abaixo do Básico Recuperação Básico Reforço Adequado Aprofundamento Avançado Desafio

35 Escala de Proficiência e Padrões de Desempenho
Então quer dizer que... Valores na Escala de Proficiência e Itens estão diretamente relacionados: cada item tem uma proficiência associada a ele. Logo, a Proficiência é um número com relação direta ao conhecimento: seu valor tem interpretação pedagógica. Os Padrões de Desempenho auxiliam não apenas na interpretação pedagógica, mas também na obtenção de metas, na verificação da efetividade de políticas educacionais, e no planejamento pedagógico.

36 Quais são os resultados que chegam até a escola?

37 Tipos de resultados disponíveis nas revistas e no portal da avaliação
participação; médias de proficiência comparadas; distribuição por padrões de desempenho.

38 Resultados da escola Resultados

39 Como interpretar e analisar os resultados que chegam à escola?

40 Resultados de participação
Município Zona Escola

41 Médias comparadas

42 Distribuição por Padrões
Médias e distribuição por padrão Proficiências médias Distribuição por Padrões

43 Resultados comparados
Resultados de participação Proficiência média Distribuição dos alunos por Padrões de Desempenho

44 Resultados da escola por níveis
Percentual de alunos em cada nível de desempenho

45 Canais de divulgação

46 Canais de divulgação Selecionar o projeto

47 Aguardando aprovação pela equipe da secretaria
Canais de divulgação Aguardando aprovação pela equipe da secretaria

48 Canais de divulgação

49 Canais de divulgação