AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO:

Apresentação em tema: "AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO:"— Transcrição da apresentação:

1 AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO:
DESAFIOS E POSSIBILIDADES Módulo I – 1º Encontro – 14/08/2010

2 1º MOMENTO: APRESENTAÇÃO DO CURSO
OBJETIVOS DO CURSO Conhecer os fundamentos teóricos e metodológicos que norteiam a avaliação de larga escala (externa) na Rede Municipal de São Paulo; Favorecer processos de leitura e de interpretação dos resultados da Prova São Paulo e da Prova da Cidade; Estimular possíveis intervenções pedagógicas.

3 CRONOGRAMA Encontros do Módulo I:
14/08/2010 – das 9h às 12h e das 13h às 16h 28/08/2010 – das 9h às 12h e das 13h às 16h 11/09/2010 – das 9h às 12h e das 13h às 16h Encontros do Módulo II: 18/09/2010 – das 9h às 12h e das 13h às 16h 23/10/2010 – das 9h às 12h e das 13h às 16h 06/11/2010 – das 9h às 12h e das 13h às 16h

4 HORÁRIOS DO MÓDULO 1 Avaliação externa Matrizes TRI DATA 14/08/2010
28/08/2010 11/09/2010 TURNO Manhã Tarde HORÁRIO 9h às 12h 13h às 16h Grupo 1 Avaliação externa Matrizes TRI Grupo 2 Grupo 3

5 AVALIAÇÃO DO PARTICIPANTE
Conceito mínimo para aprovação no Curso: Satisfatório Frequência mínima exigida no curso: 85% O conceito Satisfatório está vinculado ao cumprimento da frequência mínima e à realização e entrega de todos os trabalhos solicitados nos encontros, incluindo a elaboração de itens de múltipla escolha e de resposta construída, de acordo com os critérios discutidos. Farão jus ao certificado aqueles que obtiverem frequência e conceito mínimos.

6 O NÚCLEO DE AVALIAÇÃO EDUCACIONAL – SME/ATP
OBJETIVOS Planejar, elaborar, executar, analisar e divulgar as Avaliações Externas propostas pela SME; Favorecer a interpretação dos resultados; Orientar a utilização dos resultados para tomadas de decisão; Realizar cursos de formação sobre avaliação; Elaborar Relatórios Pedagógicos sobre as Avaliações Externas.

7 FORMADORES AVALIAÇÃO EXTERNA Ailton Carlos Santos
Rosana Aparecida Argento TRI Érica Maria Toledo Catalani Fernando Gonsales Matriz de Avaliação e Matriz Curricular, Escala de Proficiência e Análise Pedagógica de resultados Claudio Maroja Marcela Cristina Evaristo

8 PAUTA 1° MOMENTO: 30 min – 9h30 às 10h Apresentação do Curso Objetivo: Apresentar os objetivos e o formato do curso, os formadores e as expectativas em relação ao processo. 2° MOMENTO: 30 min – 10h às 10h30min Dinâmica de grupo Objetivo: Levantar os conhecimentos prévios do grupo em relação às concepções de avaliação. 3° MOMENTO: 90 min – 10h30min às 12h Sistematização de conceitos Objetivo:Definir o perfil de uma avaliação externa e em larga escala. Atividade 1- 10h30min às 11h15min Atividade 2- 11h15min às 12h ALMOÇO – 12h às 13h

9 4° MOMENTO: 30 min – 13h às 13h30min Exposição Objetivo: Conhecer o processo histórico da avaliação externa e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP ° MOMENTO: 90 min – 13h30min às 15h Leitura e Reflexão Objetivo: Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade educacional 6° MOMENTO: 30 min – 15h às 15h30min Avaliação do encontro 7° MOMENTO: 30 min – 15h30min às 16h Tarefa Objetivo: Refletir sobre os tópicos estudados nesse encontro a partir da análise das práticas avaliativas da unidade.

10 Módulo I Tema: Avaliação externa e de larga escala
OBJETIVOS Refletir sobre o perfil da avaliação externa e de larga escala e da avaliação interna; Entender as avaliações externas e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP; Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade escolar.

11 CONTEXTO DE SURGIMENTO
CONTEÚDOS AVALIAÇÃO EXTERNA E DE LARGA ESCALA CONCEITOS CARACTERÍSTICAS CONTEXTO DE SURGIMENTO IMPLICAÇÕES NA QUALIDADE DO ENSINO E PROJETO PEDAGÓGICO DA UNIDADE

12 2º MOMENTO: DINÂMICA OBJETIVO Levantar os conhecimentos prévios do grupo em relação às concepções de avaliação

13 O trecho a seguir é de uma carta de uma coordenadora pedagógica a outra. Leia-o para responder as questões a seguir. "Alguns dos alunos da 8ª série que estão com notas vermelhas em História me procuraram para dizer que as provas são fogo! As perguntas exigem informações nem sempre trabalhadas em aula. Observando as atividades de sala, percebi que eram questionários com respostas transcritas do livro didático, exigindo a localização de informações - e não uma reflexão decorrente da análise ou comparação entre os fatos e os conceitos trabalhados. E as provas continham perguntas abertas que exigiam estabelecimento de relações entre fatos, conceitos e dados da realidade. Como o professor pretende que os alunos possam responder a tais questões se as habilidades necessárias para respondê-las não são trabalhadas regularmente? Esses acontecimentos têm me feito pensar: por que será que é tão difícil aceitar que os resultados obtidos por nossos alunos dependem, em boa parte, do trabalho que desenvolvemos em sala de aula?" Trecho adaptado da publicação Cartas aos Professores Coordenadores Pedagógicos: Dilemas da Prática Cotidiana, São Paulo, SE/CENP, 1999.

14 3º MOMENTO: SISTEMATIZAÇÃO
Atividade 1 a) Identifique as concepções de avaliação presentes no texto e comente-as. O professor aposta no desenvolvimento de conteúdos(produto demonstrado pelo aluno em situações definidas pelo professor e materializado na nota), e o coordenador no de habilidades(preocupação com a apropriação do saber (aprendizagem). O primeiro focalizou o trabalho em uma habilidade que está mais relacionada ao acúmulo de informações. O professor foca atividades transcritas do livro e não estimula a reflexão. (avaliação voltada para o controle de atividades , não necessariamente geradora de conhecimento)

15 O professor acredita que a aprendizagem de conteúdos vai garantir a aprendizagem de determinadas habilidades. A avaliação escolar deve servir para verificar o que o aluno aprendeu daquilo que foi ensinado.(avaliação como verificação) O que caracteriza melhor uma avaliação externa e em larga escala é o foco em habilidades que deveriam ter sido consolidadas ao longo da escolaridade.

16 b) O que norteou o planejamento da prova do professor?
O professor treinou uma habilidade mais relacionada à aquisição do conteúdo,menos complexa, e planejou a prova considerando habilidades mais complexas.

17 c) O que é possível avaliar em uma prova?
Habilidades cognitivas (competência + conteúdo) intermediados pela leitura e pela escrita. É importante compreender que a avaliação tem restrições. (procedimentos e atitudes não observáveis em provas escritas)

18 d) Como saber se uma prova é difícil ou fácil demais?
(C) A maioria dos alunos faz a prova no tempo estimado e acerta boa parte das questões. O grau de dificuldade e de desafio adequado está no equilíbrio entre habilidades, nível de dificuldade, número e extensão das questões relacionados ao tempo de realização da prova.

19 UMA BOA PROVA Está pautada em habilidades cognitivas. Tem questões com grau de dificuldade e desafios adequados à etapa de escolaridade. Considera a relação entre a quantidade de questões e o tempo de realização da prova. PORTANTO... é preciso PLANEJAMENTO

20 Atividade 2 CONCEPÇÕES DE AVALIAÇÃO
AVALIAÇÃO COMO EXAMES E PROVAS AVALIAÇÃO COMO MEDIDA AVALIAÇÃO COMO INSTRUMENTO PARA CLASSIFICAÇÃO E REGULAÇÃO DO DESEMPENHO DO ALUNO (SOMATIVA E FORMATIVA) AVALIAÇÃO COMO INSTRUMENTO QUALITATIVO

21 4º MOMENTO - O contexto de surgimento das avaliações externas e em larga escala
OBJETIVO Conhecer o processo histórico das avaliações externas e de larga escala da Rede Municipal e suas relações com PISA, Prova Brasil e SARESP.

22 Segundo Menezes Filho (2007) no Brasil:
Dos anos 1970 até meados dos anos 1990, aumentou o acesso dos alunos a escola. Em 1990, ocorre a necessidade de avaliações externas e em larga escala para acompanhar a evolução da qualidade do ensino – SAEB. Detectou-se que a qualidade do ensino oferecido na escola pública é muito baixa.

23 As avaliações externas e em larga escala
PISA - O programa de avaliação começou em 2000 com o objetivo de fornecer aos países participantes indicadores educacionais que possam ser comparados internacionalmente. SAEB – Realizado a cada dois anos e avalia uma amostra representativa dos alunos regularmente matriculados nas 4ª e 8ª séries do ensino fundamental e 3º ano do ensino médio, de escolas públicas e privadas, localizadas em área urbana ou rural. A partir de 1995, muda a metodologia permitindo a comparabilidade entre os anos – utilização da TRI.

24 Prova Brasil – Criada em 2005, avalia todos os alunos dos 4º e 8º anos do Ensino Fundamental, utiliza os mesmos parâmetros do SAEB. SARESP – Criado em 1996 para obter informações consistentes, periódicas e comparáveis ao longo do tempo, porém somente a partir da prova de 2008 adota a TRI.

25 Prova São Paulo – Criada em 2007, para avaliar o sistema de ensino da Cidade de São Paulo e o desempenho dos alunos nas disciplinas de Matemática e de Língua Portuguesa, desde a sua primeira edição utiliza a metodologia da TRI. Prova da Cidade – Criada em 2009, instrumento pedagógico para professores e para gestores das escolas realizarem um diagnóstico do processo de aprendizagem do 1º semestre de cada ano letivo em que a prova se realiza e que possa fornecer subsídios para o replanejamento do 2º semestre sem finalidades classificatórias e sem pretensão de utilização de seus resultados para composição de índices ou indicadores de desenvolvimento educacional

26 5° MOMENTO: LEITURA E REFLEXÃO
Objetivo Relacionar a avaliação externa e de larga escala ao projeto pedagógico da unidade escolar. Atividades Realizar a leitura compartilhada do artigo “Avaliação não é ameaça”, de Luis Carlos de Menezes Assistir ao vídeo “Zea”

27 A avaliação externa e em larga escala permite a classificação de habilidades cognitivas da escola e pode oferecer parâmetros novos (olhar distanciado), ao passo que a avaliação interna detém a dimensão processual e permite a análise mais abrangente das habilidades, tanto daquelas que podem ser avaliadas em provas quanto daquelas que não podem (atitudinais, procedimentais, conceituais). Elas podem ser complementares ou não? Como?

28 Devem ser complementares, porque a avaliação externa permite outro olhar e, como qualquer outra prova, não é um instrumento suficiente por si só para a apreensão da complexidade do processo de aprendizagem.

29 6° MOMENTO: AVALIAÇÃO DO ENCONTRO
Elaborar, por grupo, até três perguntas sobre este encontro.

30 7° MOMENTO: TAREFA Objetivo
Refletir sobre os tópicos estudados nesse encontro a partir da análise das práticas avaliativas da unidade. Atividade Produzir um registro reflexivo sobre como os resultados de uma avaliação externa e de larga escala podem ser utilizados para a melhoria do processo de ensino e de aprendizagem em sua escola, a partir da questão: Como os resultados da avaliação interna e da Prova São Paulo estão contemplados nos planos de ensino e no projeto pedagógico da escola?

31 Bibliografia CHUEIRI, M. S. F. Concepções sobre a Avaliação Escolar. Estudos em Avaliação Educacional. v. 19, nº 39, jan/abr Disponível em: Acesso em 10/08/2010. MENEZES, L. C. Avaliação não é ameaça. Revista Nova Escola. Disponível em: Acesso em: 29/07/2010.

32 MENEZES FILHO, N. (São Paulo). Ibmec e Fea SP
MENEZES FILHO, N. (São Paulo). Ibmec e Fea SP. Os determinantes do desempenho escolar do Brasil. Disponível em: Acesso em: 04 ago PERRENOUD, P. Sucesso na escola: só o currículo, nada mais que o currículo! Cadernos de pesquisa, nº 119, p. 9-27, julho/2003. Disponível em: Acesso em: 29/07/2010.

33 AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO:
DESAFIOS E POSSIBILIDADES Módulo I – 1º Encontro – 14/08/2010

34 PAUTA 1° MOMENTO: Apresentação do Curso Objetivo: Apresentar os objetivos e o formato do curso, os formadores e as expectativas em relação ao processo. 2° MOMENTO: Problematização Objetivo: Identificar e analisar competências e habilidades cognitivas e sua importância no processo de ensino e de aprendizagem. 3° MOMENTO: Sistematização Objetivo: Consolidar as noções de competências e habilidades estabelecidas no documento Matrizes de Referência para a Avaliação do Rendimento Escolar. 4° MOMENTO: Desafios Objetivo: Diferenciar matriz de avaliação de matriz curricular. ALMOÇO

35 5° MOMENTO: Explanação Objetivo: Conhecer a escala de proficiência (Anexo 3) e sua importância na avaliação, na interpretação e na análise dos resultados. 6° MOMENTO: Oficina Objetivo: Reconhecer a importância da análise pedagógica dos resultados a partir da escala de proficiência. 7° MOMENTO: Avaliação do encontro 8° MOMENTO: Tarefa Objetivo: Refletir sobre os tópicos estudados nesse encontro a partir da análise das práticas avaliativas da unidade.

36 Módulo I Tema: Matriz de Avaliação e Matriz Curricular, Escala de Proficiência e Análise Pedagógica de resultados OBJETIVOS Conhecer as concepções de competências e habilidades que norteiam a avaliação externa e em larga escala na Rede Municipal; Compreender a noção de matriz curricular e de matriz de avaliação;

37 OBJETIVOS Utilizar a escala de proficiência como referência para interpretação dos resultados da avaliação externa e de larga escala; Reconhecer a importância da interpretação e da análise dos resultados da avaliação externa e de larga escala para intervenções pedagógicas.

38 CONTEÚDOS Competências e habilidades cognitivas; Matriz de Referência para a Avaliação do Rendimento Escolar; Escala de proficiência; Análise pedagógica de resultados.

39 2° MOMENTO: Problematização
OBJETIVOS Identificar e analisar competências e habilidades cognitivas e sua importância no processo de ensino e de aprendizagem.

40 Atividade A Ler o texto “Introdução” (O problema de Roberto), de Raths (1977), para responder as questões propostas a seguir: Quais são os problemas apresentados nas respostas dadas pelo aluno Roberto? Como é que você poderia começar a mostrar a Roberto que as situações que ele via como semelhantes na realidade não tinham relação entre si?

41 RESPOSTAS Roberto não era capaz de aplicar princípios de lógica em seu trabalho escolar. Não tinha experiência de pensamento. (RATHS: 1977, 55). Se tivesse feito muitos exercícios que exigissem comparação, talvez fosse capaz de ver as diferenças entre norte e sul dos Estados Unidos e norte e sul da África. Se tivesse tido muitas experiências em que precisasse sugerir hipóteses, talvez tivesse outras razões para explicar por que a pia estava entupida. Se tivesse mais habilidade para observar e classificar, talvez pudesse ter compreendido a relação entre carne e protozoários, a relação entre dinossauros, lagartos e répteis. (RATHS: 1977, 55).

42 Atividade B Ler outro trecho extraído do livro de Raths sobre as respostas de professores a respeito de como ensinar a raciocinar. Professor A – Acredita que o pensamento deve ser desenvolvido dentro do assunto, através de emprego de técnicas específicas que acentuem o pensamento. Questionamento de Raths: Quais as técnicas para promover o pensamento dentro do assunto?

43 Atividade B Ler outro trecho extraído do livro de Raths sobre as respostas de professores a respeito de como ensinar a raciocinar. Professor A – Acredita que o pensamento deve ser desenvolvido dentro do assunto, através de emprego de técnicas específicas que acentuem o pensamento. Questionamento de Raths: Quais as técnicas para promover o pensamento dentro do assunto?

44 Professor B – Acredita que, quando realiza um trabalho eficiente para ensinar determinada habilidade, a maior capacidade para pensar ocorre mais ou menos simultaneamente, à medida que a criança aprende a habilidade ensinada. Questionamento de Raths: Se o bom ensino nas várias disciplinas aumenta automaticamente a capacidade para pensar, o que terá ocorrido com esse menino e com outros na mesma situação?

45 Professor C – Acredita que, durante o ensino, surgem alguns momentos em que se promove o pensamento. Usualmente, tais momentos não são planejados. Questionamento de Raths: Episódios não planejados de ensino, por mais eficientes e inspirados que sejam, podem ser considerados adequados para o desenvolvimento de habilidades? Professor D – Acredita que as habilidades para pensar se desenvolvem na criança apenas porque são humanas e, por isso, o professor não precisa se preocupar com a focalização do currículo no pensamento (do pensamento no currículo). Questionamento de Raths: Será que esse professor pode explicar a imaturidade de pensamento de Roberto?

46 3° MOMENTO: Sistematização
Objetivo Consolidar as noções de competências e habilidades estabelecidas no documento Matrizes de Referência para a Avaliação do Rendimento Escolar

47 Sistematização Percebe-se que operações de pensamento estão relacionadas às competências cognitivas, como: identificar, observar, comparar, classificar, levantar hipóteses, relacionar, interpretar, inferir, resumir, entre outras.

48 Competências cognitivas – conjunto de ações e operações mentais que o sujeito utiliza para estabelecer relações (pensamento). As habilidades cognitivas traduzem as associações entre conteúdos e competências e funcionam como indicadores ou descritores do que o aluno deve demonstrar como desempenho, além de possibilitar que se verifique se houve de fato aprendizagem e em que grau (nível) de complexidade ela ocorreu.

49 Mayer e Salovey (apud PRIMI: 2001) fazem uma distinção importante entre habilidade (referindo-se a ela como aptidão) e competência. Os autores argumentam que a habilidade representa o potencial que se expressa, concretamente, em realizações ou desempenhos, envolvendo a apresentação de respostas corretas para problemas e conhecimento de determinado conteúdo. A competência, nesta concepção, indicaria um nível padronizado de realização, o que implicaria em dizer que a realização atingiu um determinado nível. Esta distinção relaciona os conceitos: habilidade, conteúdo e nível de realização.

50 A habilidade, no sentido utilizado por Carroll (apud PRIMI: 2001), pressupõe a idéia de potencial de realização, ou seja, a existência de uma relativa facilidade em lidar com informações e com problemas de uma determinada classe ou conteúdo. O investimento deste potencial em experiências de aprendizagem pode conduzir à maestria, que envolve um conhecimento organizado sobre um determinado tema.

51 4° MOMENTO: Desafios OBJETIVO Diferenciar matriz de avaliação de matriz curricular

52 4° MOMENTO: Desafios Atividade
Propor que cada grupo solucione os desafios seguintes, criando diferentes propostas: Que tarefa cognitiva o aluno deve realizar para responder o item? 2. A qual conteúdo essa tarefa está relacionada?

53 EXEMPLO DE ITENS DE MATEMÁTICA – ANEXO 2
QUAL A DIFERENÇA ENTRE O NÚMERO DO SALGADO MAIS VENDIDO E O NÚMERO DO MENOS VENDIDO? A) 350. B) 500. C) 850. D) TAREFA COGNITIVA: LER E INTERPRETAR DADOS EM GRÁFICOS CONTEÚDO: GRÁFICO (REPRESENTAÇÃO NO PLANO CARTESIANO) COMPETÊNCIA: LER E INTERPRETAR

54 O RESULTADO DE É: A) 117. B) 127. C) 123. D) 163. TAREFA COGNITIVA: CALCULAR O RESULTADO DA SUBTRAÇÃO CONTEÚDO: SUBTRAÇÃO COMPETÊNCIA: CALCULAR

55 EXEMPLO DE ITENS DE LÍNGUA PORTUGUESA – ANEXO 2
Leia o texto e responda à questão. Meu cardápio Café da manhã Leite e pão com manteiga. Almoço Feijão, arroz, carne e batata. Jantar Sopa e cachorro quente. O texto é A) um anúncio. B) uma carta. C) uma lista.

56 TAREFA COGNITIVA: Classificar os gêneros textuais, considerando aspectos de sua diagramação, gráficos e textuais. CONTEÚDO: COMPOSIÇÃO DOS GÊNEROS TEXTUAIS COMPETÊNCIA: CLASSIFICAR

57 Leia o texto e responda à questão.
AVIÃOZINHO Esse texto serve para A) convidar as crianças para um passeio. B) dar instruções para fazer um brinquedo. C) estimular a compra de um brinquedo. D) informar sobre os meios de transporte. TAREFA COGNITIVA: Reconhecer a finalidade dos gêneros textuais das diferentes esferas de circulação. CONTEÚDO: finalidade dos gêneros textuais COMPETÊNCIA: reconhecer

58 A Matriz Curricular direciona o currículo de uma instituição de ensino, leva em conta as concepções de ensino e de aprendizagem da área e apresenta objetivos, conteúdos, metodologias e processos de avaliação. A Matriz de Referência para Avaliação também leva em conta as concepções de ensino e aprendizagem da área, mas é composta apenas por um conjunto delimitado de competências e habilidades definidas em unidades denominadas “descritores” que, na disciplina de Matemática, estão agrupadas por áreas temáticas, e, em Língua Portuguesa, por blocos de conteúdos.

59 A Matriz Curricular é um documento prescritivo, que direciona o ensino, insere-se no Projeto Pedagógico da instituição e é construída coletivamente pela comunidade escolar, com base em orientações curriculares da área indicadas por órgãos oficiais. A Matriz de Referência de Avaliação é um documento descritivo, no geral, escrito por técnicos, que leva em consideração documentos curriculares oficiais. É um “recorte” de uma Matriz Curricular que não direciona o ensino, mas que delimita o que vai ser avaliado na prova a ser realizada em um programa de avaliação em larga escala (externa).

60 A Matriz de Referência para Avaliação tem a finalidade de embasar itens de avaliação que usem contextos que possibilitem aos estudantes explorar, de modo significativo, conceitos, procedimentos e habilidades considerados básicos para o final de uma etapa da escolaridade do Ensino Fundamental. Uma limitação da Matriz de Referência para Avaliação ocorre no momento em que ela dá origem a itens em forma de teste de múltipla escolha. Nem sempre todos os conteúdos conceituais, procedimentais e atitudinais importantes de serem desenvolvidos pelos professores em sala de aula e apontados em Matrizes Curriculares podem ser abordados em forma de testes de múltipla escolha.

61 Matriz curricular e matriz de avaliação
Proposição de expectativas de aprendizagem Preocupação com a metodologia de trabalho didático Definição de um campo de possibilidades de abordagem de conteúdos Organização por eixos temáticos Matriz de Avaliação Proposição de parâmetros de avaliação Preocupação com determinadas tarefas cognitivas Definição de conteúdos a serem avaliados Diálogo dos conteúdos com os eixos temáticos

62 ALMOÇO

63 5° MOMENTO: Explanação OBJETIVO Conhecer a escala de proficiência e sua importância na avaliação, na interpretação e na análise dos resultados

64 ESCALA/NÍVEIS DE PROFICIÊNCIA
2007 0... 100 125 150 175 200 500 2008 Não Satisfatório 2009 Abaixo do Básico Básico Adequado Avançado

65 PROVA SÃO PAULO - EVOLUÇÃO DAS DESCRIÇÕES DAS PROFICIÊNCIAS
ESCALA SAEB 100 125 150 175 200 225 250 275 300 325 350 375 2007 2008 L P / M A T 2ºCI 4º CI 2º CII 4º CII 2009 115 135 165 185 190 210 215 240 265 290 Í N G U O R T. 2º CI 3º CI 1º CII 3º CII E Á I C LEGENDA Pontos Descritos Não Satisfatório Níveis Abaixo do básico Básico Adequado Avançado

66 NÍVEIS DE PROFICIÊNCIA
indicam um conjunto de habilidades correspondentes a um intervalo maior de pontos da escala de proficiência do SAEB; recebem uma denominação que qualifica o conjunto de habilidades.

67 Os quatro níveis de proficiência
Abaixo do básico – os alunos neste nível demonstram domínio insuficiente dos conteúdos, competências e habilidades desejáveis para o ano escolar em que se encontram. Básico – os alunos neste nível demonstram desenvolvimento parcial dos conteúdos, competências e habilidades requeridas para o ano em que se encontram. Adequado – os alunos neste nível demonstram domínio dos conteúdos, competências e habilidades desejáveis para o ano escolar em que se encontram. Avançado – os alunos neste nível demonstram conhecimentos e domínio dos conteúdos, competências e habilidades acima do requerido no ano escolar em que se encontram.

68 Níveis de Proficiência Língua Portuguesa
Ano / Ciclo Abaixo do Básico Básico Adequado Avançado 2º ano Ciclo I <115 de 115 a < 150 de 150 a < 200 ≥200 3º ano Ciclo I <135 de 135 a < 175 de 175 a < 225 ≥225 4º ano Ciclo I <150 de 200 a < 250 ≥250 1º ano Ciclo II <165 de 165 a < 215 de 215 a < 265 ≥265 2º ano Ciclo II <175 de 225 a < 275 ≥275 3º ano Ciclo II <185 de 185 a < 250 de 250 a < 300 ≥300 4º ano Ciclo II <200 de 200 a < 275 de 275 a < 325 ≥325

69 Níveis de Proficiência Matemática
Ano / Ciclo Abaixo do Básico Básico Adequado Avançado 2º ano Ciclo I <125 de 125 a < 175 de 175 a < 225 ≥ 225 3º ano Ciclo I <150 de 150 a <200 de 200 a < 250 ≥ 250 4º ano Ciclo I <175 de 225 a < 275 ≥ 275 1º ano Ciclo II <190 de 190 a < 240 de 240 a < 290 ≥ 290 2º ano Ciclo II <200 de 250 a < 300 ≥ 300 3º ano Ciclo II <210 de 210 a < 275 de 275 a < 325 ≥ 325 4º ano Ciclo II <225 de 225 a < 300 de 300 a < 350 ≥ 350

70 6° MOMENTO: Oficina OBJETIVO Reconhecer a importância da análise pedagógica dos resultados a partir da escala de proficiência.

71 Atividade Identificar na escala o que deve ser trabalhado com o aluno a partir da sua proficiência.

72 7° MOMENTO: Tarefa Atividade
Selecionar e analisar o 3º item de Matemática e o 3º item de Língua Portuguesa (ANEXO 2), considerando: tarefa cognitiva exigida; grau de dificuldade; ponto na escala de proficiência; nível de proficiência; uma possível intervenção pedagógica, levando em conta a matriz curricular e a matriz de referência para avaliação.

73 8° MOMENTO: Avaliação do encontro
Elaborar, por grupo, até três perguntas sobre este encontro.

74 Bibliografia PERRENOUD, P. Sucesso na escola: só o currículo, nada mais que o currículo! Cadernos de Pesquisa, n. 119, p julho/2003. Disponível em: Acesso em 10/08/2010. PRIMI, R. et al. Competências e habilidades cognitivas: diferentes definições dos mesmos construtos. Psicologia: teoria e pesquisa. Brasília, mai-ago 2001, vol. 17, nº 2, pp RATHS, Louis E. et al. Ensinar a pensar: teoria e aplicação. 2ª ed. São Paulo: E.P.U., 1977. São Paulo (SP). Secretaria Municipal de Educação. Matrizes de referência para avaliação do rendimento escolar/ Secretaria Municipal de Educação. São Paulo: SME, 2007. Secretaria Municipal de Educação. Relatório de Análises Técnico-Pedagógicas. São Paulo: SME, 2009.

75 AVALIAÇÃO DE LARGA ESCALA EM EDUCAÇÃO:
DESAFIOS E POSSIBILIDADES Módulo I – 1º Encontro – 14/08/2010

76 PAUTA 1° MOMENTO: 30 min – 9h às 9h30min Apresentação do Curso 2° MOMENTO: 60 min – 9h30min às 10h30min Estudo de caso 3° MOMENTO: 60 min – 10h30min às 11h30min Estudo de caso 4° MOMENTO: 30 min – 11h30min às 12h Sistematização de conceitos 5° MOMENTO: 90 min – 13h às 15h Oficina 6° MOMENTO: 30 min – 15h às 15h30min Avaliação do encontro 7° MOMENTO: 30 min – 15h30min às 16h Tarefa

77 Tema: TEORIA DA RESPOSTA AO ITEM
OBJETIVOS Compreender os limites da TCT e por que a TRI é considerada um instrumento poderoso nos processos quantitativos da avaliação educacional em larga escala, embora seja um modelo matemático; Entender as informações obtidas com esses processos – escala de proficiência, item calibrado etc.

78 Tema: TEORIA DA RESPOSTA AO ITEM
CONTEÚDOS Limites da Teoria Clássica dos Testes; Teoria da Resposta ao Item; Item calibrado; Escala de proficiência.

79 SÍNTESE DOS ESTUDOS DE CASO 1
Comparar acertos nas provas com e sem peso: Davi=> Omar => Lia => Pedro => Igor => somente erra uma fácil Neide =>acerta fáceis e uma difícil Jo=> acerta difíceis e erra fáceis O processo de avaliação envolve sempre um julgamento que pode ser dado por definição (conceitos) ou subentendido, quando conhecemos o valor inicial e final do intervalo; Como avaliamos conhecimentos, os resultados devem retratar os níveis de conhecimentos dos alunos, que se apresentam de forma hierárquica: escores/notas ou conceitos;

80 SÍNTESE DOS ESTUDOS DE CASO 2
Quando valorizamos a qualidade do acerto, os alunos que acertam a questão difícil recebem notas diferentes, As mesmas questões recebem nível de dificuldade diferenciados nas turmas. Para poder comparar as duas turmas, a professora tem que montar uma única tabela, considerando cada questão fácil ou difícil, a partir das respostas das duas populações; Mostrar anexo 4; Ainda não permite identificar acertos e erros aleatórios. LEITURA COMPARTILHADA DO ANEXO 3

81 TEORIA DA RESPOSTA AO ITEM
A Teoria da Resposta ao Item (TRI) é um conjunto de modelos matemáticos que relacionam um ou mais traços latentes (não observáveis) de um indivíduo com a probabilidade deste dar uma certa resposta a um item; O que pode ser um traço latente: habilidade/proficiência em Matemática, grau de satisfação do consumidor, grau de maturidade de uma empresa em Gestão pela Qualidade, Indicadores etc.; Item: questão (prova), pergunta (questionário sobre qualidade de vida);

82 TEORIA DA RESPOSTA AO ITEM
A partir de um conjunto de itens (questionário, prova...) deseja-se: estimar os parâmetros dos itens (calibração) “estimar” a habilidade, proficiência, grau de satisfação, grau de maturidade... Exemplos: prova de matemática para alunos de uma determinada turma, questionário sobre os recursos físicos e pedagógicos da escola (Censo Escolar do INEP/MEC), questionário sobre qualidade de vida de pacientes que foram submetidos a determinado tratamento médico...) etc.

83 TEORIA DA RESPOSTA AO ITEM
A TRI considera que a proficiência do aluno é uma variável latente são variáveis que não podem ser diretamente observadas, mas inferidas através de outras variáveis que podem ser mensuradas; Coloca itens e pessoas na mesma escala de desempenho; cada aluno só responde a um número razoável de questões que não cobre todo o currículo previsto para a sua série diferentes cadernos de provas, organizados de acordo com o planejamento em blocos balanceados procedimentos que permitem uma abrangência significativa do currículo ensinado

84 TEORIA DA RESPOSTA AO ITEM
É um modelo estruturado para determinar escores que não dependam da dificuldade do teste para descrever a habilidade dos alunos: a proficiência do aluno é independente dos itens respondidos, apesar de ser estimada a partir dos itens respondidos; quanto maior o número de itens e mais diversificadas as suas tipologias, melhor a estimativa da proficiência; exige grande variabilidade de desempenhos para a estimativa das habilidades.

85 Modelo Logístico de 3 parâmetros
Dependem do tipo de item Item de múltipla escolha (corrigido como certo/errado) Logístico (unidimensional) com 1, 2 ou 3 parâmetros

86 Modelo Logístico de 3 parâmetros
a: discriminação ou inclinação do item b: dificuldade (medido na mesma métrica do traço latente) c: acerto casual (probabilidade)

87

88 Teoria Clássica dos Testes - TCT Teoria de resposta ao Item - TRI
Utiliza o total de pontos (brutos ou padronizados) no teste. Aplica métodos e técnicas da Estatística Descritiva → trabalha com proporções e coeficientes de correlação para medir a qualidade das questões/testes. Estima a proficiência (desempenho) dos alunos pela probabilidade de acerto ao item. Hipótese da TRI: existe uma função de regressão não linear que descreve a relação entre a probabilidade de dar uma resposta correta ao item e o nível de habilidade do aluno.

89 Teoria Clássica dos Testes - TCT Teoria de resposta ao Item - TRI
Os resultados dependem do conjunto de itens que compõe a prova e das características dos alunos. Estima, entre outros, os seguintes índices/parâmetros: percentual de acerto; índice de discriminação (bisserial); percentual de acerto no item, dos alunos de pior desempenho; percentual de acerto no item, dos alunos de melhor desempenho. Utiliza o Modelo Logístico de 3 parâmetros. poder de discriminação do item; dificuldade de cada questão; probabilidade de acerto ao acaso. Permite a construção de uma escala de proficiência.

90 Teoria Clássica dos Testes - TCT Teoria de resposta ao Item - TRI
Sua principal desvantagem no caso de uma avaliação em larga escala e periódica: Os dados gerados por uma prova ou conjunto de itens podem variar quando aplicados a outra população. Não permite a comparação entre os resultados de alunos que não foram submetidos à mesma prova/teste. Sua principal vantagem no caso de uma avaliação em larga escala e periódica: Fornece resultados independentes da amostra utilizada e dos testes aplicados, permitindo comparabilidade entre anos e séries avaliadas Permite a comparação entre os resultados de alunos submetidos a outra prova/teste do mesmo tipo.

91 PERCENTUAIS DE RESPOSTAS COEFICIENTES BISSERIAIS
Para cada questão é apresentada uma tabela: PERCENTUAIS DE RESPOSTAS COEFICIENTES BISSERIAIS HABILIDADE: o item refere-se à habilidade de número 13 na matriz. NÍVEL: a questão em foco está no conjunto de itens da prova que definem o nível 300 de proficiência. GAB: gabarito da questão - alternativa correta. HAB. NÍVEL GAB DIFI DISCR ABAI ACIM BISE 13 300 B 0.27 0.34 0.12 0.46 0.37 A B C D c 0.17 0.27 0.46 0.09 0,22 0.01 0.37 -0.21 -0.25

92 PERCENTUAIS DE RESPOSTAS COEFICIENTES BISSERIAIS
DIFI: índice de dificuldade (facilidade) - definido pela porcentagem de alunos que acertaram a questão. Se este índice é maior que 0,70, o item é considerado fácil; se for menor que 0,30, um item difícil e, entre estes dois valores, uma questão de nível de dificuldade médio. HAB. NÍVEL GAB DIFI DISCR ABAI ACIM BISE 13 300 B 0.27 0.34 0.12 0.46 0.37 A B C D c 0.17 0.27 0.46 0.09 0,22 0.01 0.37 -0.21 -0.25

93 PERCENTUAIS DE RESPOSTAS COEFICIENTES BISSERIAIS
DISCR: índice de discriminação – mede se o item separou bem os alunos de melhores daqueles de piores desempenhos. Uma questão com índice de discriminação maior do que 0,25 separa bem estes grupos; é um bom item. HAB. NÍVEL GAB DIFI DISCR ABAI ACIM BISE 13 300 B 0.27 0.34 0.12 0.46 0.37 A B C D c 0.17 0.27 0.46 0.09 0,22 0.01 0.37 -0.21 -0.25

94 PERCENTUAIS DE RESPOSTAS COEFICIENTES BISSERIAIS
ABAI: indica o percentual de acerto no item dos alunos de pior desempenho. ACIM: indica o percentual de acerto no item, dos alunos de melhor desempenho. BISE: coeficiente bisserial entre o número de acertos na prova e o número de acertos no item. Para um item ser considerado bom, seu coeficiente bisserial deve ser maior do que 0,30. HAB. NÍVEL GAB DIFI DISCR ABAI ACIM BISE 13 300 B 0.27 0.34 0.12 0.46 0.37 A B C D c 0.17 0.27 0.46 0.09 0,22 0.01 0.37 -0.21 -0.25

95 PERCENTUAIS DE RESPOSTAS COEFICIENTES BISSERIAIS
c: índice de acerto casual: probabilidade de acerto ao acaso, que indica a chance de acerto do item ao acaso, sem o conhecimento e a construção da habilidade requerida (acerto pelo "chute"). COEFICIENTES BISSERIAIS DAS ALTERNATIVAS: na alternativa correta, este coeficiente deve ser positivo, e, nos distratores, negativo. HAB. NÍVEL GAB DIFI DISCR ABAI ACIM BISE 13 300 B 0.27 0.34 0.12 0.46 0.37 A B C D c 0.17 0.27 0.46 0.09 0,22 0.01 0.37 -0.21 -0.25

96 Escala Nacional de Proficiência – INEP/MEC
250 250 225 275 “Régua” (métrica) criada a partir dos resultados do SAEB Média 250 (rendimento médio dos alunos da 8ª Série em 1997); Desvio padrão 50 – intervalos com metade do valor do desvio padrão; Interpretação pedagógica da escala.

97 TRI alunos itens Mais fáceis Menos proficientes Mais difíceis
1 2 3 4 5 . 256 Rui Ana Ari Nei Bia . 330mil Mais fáceis Menos proficientes Mais difíceis Mais proficientes

98 POSICIONAMENTO DO ITEM DE ACORDO COM ACERTO DOS ALUNOS
CALIBRAÇÃO DO ITEM POSICIONAMENTO DO ITEM DE ACORDO COM ACERTO DOS ALUNOS ITEM CALIBRADO 125 ITEM CALIBRADO 130 ITEM CALIBRADO 225

99 6° MOMENTO: Avaliação do encontro 30 min – 15h às 15h30min
Elaborar, em grupos de 5 pessoas, até três perguntas sobre este encontro.

100 7° MOMENTO: Tarefa 30 min – 15h30min às 16h
Objetivo Refletir sobre os tópicos estudados neste encontro, a partir da análise das práticas avaliativas da unidade. Atividade Trazer para o próximo encontro dois relatos de prática de professores da unidade sobre como organizam os instrumentos de avaliação e categorizam os níveis de conhecimento dos alunos de turmas/classes diferentes (precisam ser diferentes no método).

101 Bibliografia ANDRADE, D. F; TAVARES, H. R.; VALLE, R. da C.Teoria da Resposta ao Item: Conceitos e Aplicações. SINAPE, Disponível em: Acesso em: 02/08/2010. PASQUALI, L. e PRIMI, R. Fundamentos da Teoria da Resposta ao Item – TRI, Avaliação Psicológica, 2003, 2, pp Esforço na resposta vale mais no ENEM. Jornal Zero Hora. RS. Disponível em: Acesso em: 30/07/2010.