Avaliação do Desempenho Escolar

Apresentação em tema: "Avaliação do Desempenho Escolar"— Transcrição da apresentação:

1 Avaliação do Desempenho Escolar
PROVA FLORIPA 2015

2 Agir Decidir Diagnosticar O que é avaliar? Coletar
Dados e informações sobre determinada realidade. Diagnosticar Produzir algum julgamento sobre a realidade. Decidir Tomar decisão em função de um objetivo que se deseja alcançar. Agir Traçar estratégias de uma ação sobre o objeto avaliado.

3 Como funciona a avaliação em larga escala?
PROVA FLORIPA 2015 Como funciona a avaliação em larga escala?

4 Breve Histórico da Avaliação
A avaliação de desempenho é uma preocupação desde o final dos anos 1980. No início dos anos 1990, já havia uma forte preocupação em avaliar os alunos assim que eles completassem as etapas do Ensino Fundamental, anos iniciais (4ª/5º) e anos finais (8ª/9º).

5 Breve Histórico da Avaliação
1990 Sistema de Avaliação da Educação Básica (Saeb). 1997 Adoção da escala de proficiência do Saeb. 1998 Estabelecimento das Matrizes de Referência.

6 Breve Histórico da Avaliação
2000 Uso das escalas do Saeb em âmbito nacional. 2005 Prova Brasil. 2007 Índice de Desenvolvimento da Educação Básica (Ideb) / Metas estaduais.

7 Breve Histórico da Avaliação
2007 Prova Floripa (TCT)

8 Breve Histórico da Avaliação
(Implantação) 1990-7 Ceará/Minas Gerais (1992); Mato Grosso do Sul; São Paulo/Paraná; Rio Grande do Sul. (Expansão) Acre; Pernambuco/Espírito Santo/Rio de Janeiro; Tocantins/Alagoas/Bahia/Goiás; Amazonas. (Consolidação) 2007-Hoje Piauí; Pará; Rondônia/Paraíba (2012); Florianópolis (2015).

9 Sistemas próprios de Avaliação
Por que criar um sistema de avaliação do município? Constituição Federal de 1988: Art A educação, direito de todos e dever do Estado e da família (...) LDB, 9394/96: Art. 9º. A união incumbir-se-á de: (...) V - coletar, analisar e disseminar informações sobre a educação; VI - assegurar processo nacional de avaliação do rendimento escolar no ensino fundamental, médio e superior, em colaboração com os sistemas de ensino, objetivando a definição de prioridades e a melhoria da qualidade do ensino. Meta 7 PNE fomentar a qualidade da educação básica em todas as etapas e modalidades, com melhoria do fluxo escolar e da aprendizagem (...) 7.32) fortalecer, com a colaboração técnica e financeira da União, em articulação com o sistema nacional de avaliação, os sistemas estaduais de avaliação da educação básica, com participação, por adesão, das redes municipais de ensino, para orientar as políticas públicas e as práticas pedagógicas, com o fornecimento das informações às escolas e à sociedade.

10 Vantagens de um sistema próprio de avaliação
PROVA FLORIPA 2015 Por quê? Melhorar a qualidade da educação com promoção da equidade Desenho próprio da avaliação com vistas ao atendimento das necessidades específicas Rapidez no acesso às informações (menor tempo de processamento da base de resultados) Menor periodicidade entre os ciclos avaliativos (ciclos anuais de avaliação)

11 Contribuição da Avaliação em Larga Escala para a Educação
Diagnóstico do desempenho e fatores que interferem nesse desempenho no universo avaliado. Acompanhamento / monitoramento da qualidade da educação ao longo do tempo. Definição de subsídios para a formulação de políticas educacionais - foco qualidade e equidade. Promoção de melhorias na relação com orgãos centrais e escolas, e no ensino ofertado pela rede como um todo.

12 Etapas básicas dos programas de avaliação
1 Determinação da população a ser avaliada 2 Elaboração da Matriz ou utilização da Matriz de Referência do SAEB Construção de itens Pré-testagem dos itens Análise estatística e pedagógica dos itens 3 Montagem dos cadernos de testes Elaboração dos testes padronizados Elaboração dos questionários contextuais 4 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação 5 Análise dos resultados: utilização da TCT e da TRI Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados

13 Tipos de Avaliação Pequena escala Larga escala Avaliação Diagnóstica
Formativa Somativa Interna Escola Externa Sistemas Interna Escola Externa Sistemas Interna Escola Externa Sistemas Pequena escala Larga escala

14 Avaliação Interna X Avaliação Externa
Provas abertas Provas objetivas Observação/Registro Portfólio TEORIA CLÁSSICA TEORIA DA RESPOSTA AO ITEM Avaliação Interna/Escola Processo da aprendizagem AVALIAÇÃO EDUCACIONAL Avaliação Externa/Sistemas Testes de proficiência Questionários contextuais Desempenho dos alunos

15 PROVA FLORIPA 2015 Como é calculado e analisado o desempenho dos estudantes nas avaliações em larga escala?

16 ANÁLISE DE DESEMPENHO Um dos resultados mais importantes de uma avaliação educacional é a medida do desempenho dos estudantes. Existem, principalmente, duas formas de produzir essa medida: Teoria Clássica dos Testes (TCT) Teoria de Resposta ao Item (TRI)

17 Teoria Clássica dos Testes (TCT)
o resultado via TCT é calculado de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor em sala de aula. as análises realizadas a partir da TCT têm como foco o escore obtido no teste. Assim, um estudante que responde a uma série de itens e recebe um ponto por cada item corretamente respondido, obtém, ao final, um escore total, que é a soma destes pontos. consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado. em 2014, a Prova Floripa utilizou a Teoria Clássica dos Testes (TCT) para analisar e divulgar os resultados de desempenho dos estudantes.

18 Teoria Clássica dos Testes (TCT)
quando se utiliza a TCT, espera-se que estudantes obtenham notas mais altas em testes fáceis e notas mais baixas em testes difíceis.

19 Teoria de Resposta ao Item (TRI)
a TRI é um conjunto de modelos matemáticos no qual a probabilidade de acerto a um item é calculada em função da proficiência do estudante. a proficiência é uma medida que representa um determinado traço latente (aptidão) de um estudante. o conhecimento de um estudante em determinada disciplina é uma aptidão que pode ser medida por meio de itens de testes. leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes.

20 Teoria de Resposta ao Item (TRI)
a proficiência resulta da quantidade e qualidade dos itens respondidos corretamente. nos testes de proficiência, os estudantes respondem a itens com um valor/peso diferenciado. dois estudantes podem ter acertado o mesmo número de itens e apresentarem proficiências diferentes, devido às características dos itens respondidos corretamente por cada um deles.

21 Teoria de Resposta ao Item (TRI)
através dos modelos matemáticos da TRI, é estabelecida a relação entre a proficiência e a probabilidade do estudante acertar o item.

22 Uso da TRI A TRI nos permite:
PROVA FLORIPA 2015 Uso da TRI A TRI nos permite: Comparar resultados de diferentes avaliações ao longo do tempo. Avaliar com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes. Comparar os resultados entre diferentes etapas, como o início e fim da Educação Básica.

23 Como os testes são corrigidos?
PROVA FLORIPA 2015 Como os testes são corrigidos? Parâmetros da Teoria de Resposta ao Item (TRI), que é utilizada para correção dos testes aplicados pelo CAEd.

24 Como são corrigidos os testes
2 + 2 2 x 3 2/7³ 2² x (√3)

25 Como são corrigidos os testes

26 O que é avaliado nas avaliações em larga escala?
PROVA FLORIPA 2015 O que é avaliado nas avaliações em larga escala?

27 O que é avaliado nas avaliações em larga escala?
PROVA FLORIPA 2015 O que é avaliado nas avaliações em larga escala?

28 PROVA FLORIPA 2015 A Matriz de Referência É formada por um conjunto de habilidades que tem como fonte as diretrizes curriculares da rede avaliada (estado ou município), e é ela que dá origem aos itens que compõem os testes das avaliações em larga escala. Pode ser compreendida como um recorte do currículo e, por isso, não deve ser confundida com o mesmo. Os conhecimentos selecionados para a composição dos testes são escolhidos por serem considerados essenciais para o período de escolaridade avaliado e por serem passíveis de medição por meio de testes padronizados de desempenho, compostos, na maioria das vezes, apenas por itens de múltipla escolha. Há, entretanto, outros conhecimentos necessários ao pleno desenvolvimento do estudante que não se encontram na Matriz de Referência, por não serem compatíveis com o modelo de teste adotado.

29 Matriz de Referência

30 Matriz de Referência PROVA FLORIPA 2015

31 PROVA FLORIPA 2015 Matriz de Referência

32 Itens ENUNCIADO SUPORTE GABARITO COMANDO DISTRATORES

33 Os itens que compõem os testes
Então quer dizer que... Um Item é mais que uma questão comum: ele precisa atender aos requisitos estatísticos da TRI. Os Itens são independentes das características dos estudantes: sua discriminação, dificuldade e acerto ao acaso não mudam quando os alunos mudam. Cada estudante responde sobre apenas uma pequena parte em relação ao total da Matriz de Referência, e a contribuição de cada um deles é importante para saber a qualidade do ensino no sistema ou rede avaliados.

34 Interpretação dos resultados: Escala de Proficiência
PROVA FLORIPA 2015 Interpretação dos resultados: Escala de Proficiência Tem como objetivo traduzir medidas em diagnósticos qualitativos do desempenho escolar. Apresenta os resultados de um teste de larga escala em uma espécie de régua, onde os valores obtidos são ordenados e categorizados em intervalos ou faixas que indicam o grau de desenvolvimento das habilidades para os estudantes que alcançaram determinado nível de desempenho.

35 Como os valores de proficiência são gerados?
Exemplo hipotético: Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer. Possíveis questões: Você consegue guardar as malas no bagageiro interno de um ônibus? Quando dorme à noite, seus pés ficam do lado de fora? Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?

36 Exemplo de escala para a altura de uma pessoa
Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo? Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo

37 Exemplo de escala para a altura de uma pessoa
Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo Carolina Priscila Leonardo 1,5 1,6 1,7 1,8 1,9 Item 1 Item 2 Item 3 Como as questões estão associadas à altura da pessoa, podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

38 Vamos, agora, calcular a altura de alguém aqui da sala? Questionário

39 Escala de Proficiência
PROVA FLORIPA 2015 Escala de Proficiência

40 Como os valores de proficiência são gerados?
A Escala de Proficiência: Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência. Isso permite colocar numa mesma “régua” – escala – todas as habilidades. Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.

41 Como ler a Escala de Proficiência
PROVA FLORIPA 2015

42 Como ler a Escala de Proficiência
PROVA FLORIPA 2015

43 Como ler a Escala de Proficiência
Identificam o tema em textos menos familiares que exijam a realização de inferências. Esses estudantes já consolidaram essa habilidade. Ainda não desenvolveram a habilidade. Começam a desenvolver a competência. Identificam o tema de textos curtos, de linguagem simples, cujo tema vem indicado no título. Identificam o tema de um texto valendo-se de pistas textuais. Identificam o tema a partir da conjugação das pistas textuais e do conhecimento de mundo do leitor, desde que seja em textos de temática e gênero familiares.

44 Como ler e interpretar os resultados de proficiência?
Uma das formas mais simples e objetivas de se analisar os resultados da avaliação é através dos Padrões de Desempenho. Os Padrões de Desempenho são grandes intervalos de valores dentro da Escala de Proficiência. Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes. Estes padrões representam recortes na Escala de Proficiência, definidos a partir dos objetivos e metas de aprendizagem de cada etapa e disciplina avaliada, de cada rede de ensino.

45 Características dos Padrões
Abaixo do Básico Básico Os alunos que se encontram no Padrão de Desempenho Abaixo do Básico demonstram um desenvolvimento ainda incipiente das principais habilidades associadas à sua etapa de escolaridade, de acordo com a Matriz de Referência. Nos testes de proficiência, tendem a acertar apenas aqueles itens que avaliam as habilidades consideradas basilares, respondidos corretamente pela maior parte dos alunos e, portanto, com maior percentual de acertos. A localização neste padrão indica carência de aprendizagem em relação ao que é previsto pela Matriz de Referência e aponta, à equipe pedagógica, para a necessidade de planejar um processo de recuperação com esses alunos, a fim de que se desenvolvam em condições de avançar aos padrões seguintes. Neste Padrão de Desempenho, os alunos ainda não demonstram o desenvolvimento considerado apropriado das habilidades básicas avaliadas pela Matriz de Referência, para a etapa de escolaridade em que se encontram. Contudo, respondem itens com menor percentual de acerto e que avaliam habilidades mais complexas, quando comparados com o verificado no padrão anterior. A equipe pedagógica deve elaborar um planejamento em caráter de reforço para os alunos que se encontram neste padrão, de modo a consolidar aquilo que eles já aprenderam, sistematizando esse conhecimento e dando suporte para uma aprendizagem mais ampla e densa.

46 Características dos Padrões
Adequado Avançado As habilidades básicas e essenciais para a etapa de escolaridade avaliada, baseadas na Matriz de Referência, são demonstradas pelos alunos que se encontram neste Padrão de Desempenho. Esses alunos demonstram atender às condições mínimas para que avancem em seu processo de escolarização, ao responder aos itens que exigem maior domínio quantitativo e qualitativo de competências, em consonância com o seu período escolar. É preciso estimular atividades de aprofundamento com esses alunos, para que possam avançar ainda mais em seus conhecimentos. Quando o aluno demonstra, nos testes de proficiência, ir além do que é considerado básico para a sua etapa escolar, como ocorre com os alunos que se encontram neste Padrão de Desempenho, é necessário proporcionar desafios a esse público, para manter seu interesse pela escola e auxiliá-lo a aprimorar cada vez mais seus conhecimentos. Esses alunos costumam responder corretamente, com base na Matriz de Referência, a um maior quantitativo de itens, englobando aqueles que avaliam as habilidades consideradas mais complexas e, portanto, com menor percentual de acertos, o que sugere a sistematização do processo de aprendizagem de forma consolidada para aquela etapa de escolaridade. Entretanto, há que se considerar que o desenvolvimento cognitivo é contínuo, permitindo aprendizagens constantes, conforme os estímulos recebidos

47 Abaixo do Básico Recuperação Básico Reforço Adequado Aprofundamento
Possibilidades e necessidades de intervenção a partir dos Padrões de Desempenho Abaixo do Básico Recuperação Básico Reforço Adequado Aprofundamento Avançado Desafio

48 Distribuição dos estudantes pelos Padrões de Desempenho
Resultados Escola pela TRI: como analisá-los? Distribuição dos estudantes pelos Padrões de Desempenho Participação Proficiência Média

49 Proficiência Média da unidade educativa Resultados Escola pela TRI
Distribuição dos estudantes pelos Padrões de Desempenho

50 As dimensões avaliadas nas avaliações em larga escala
PROVA FLORIPA 2015 As dimensões avaliadas nas avaliações em larga escala

51 Fatores associados ao desempenho
PROVA FLORIPA 2015 Fatores Extraescolares Fatores Intraescolares Gestão e administração Fatores socioeconômicos Prática pedagógica Fatores familiares Condições de infraestrutura Fatores individuais Qualificação dos profissionais

52 Fatores intra e extraescolares
PROVA FLORIPA 2015

53 Nº de modelos de caderno Nº de modelos de caderno
O novo desenho da Prova Floripa a partir de 2015: Ciclo de alfabetização Língua Portuguesa Etapa Nº de itens por caderno Nº de modelos de caderno 1º ano 24 1 2º ano 3º ano Matemática Etapa Nº de itens por caderno Nº de modelos de caderno 1º ano 24 1 2º ano 3º ano

54 Língua Portuguesa e Matemática e Questionário Nº de modelos de caderno
O novo desenho da Prova Floripa a partir de 2015: 4º ao 9º anos – Língua Portuguesa e Matemática Língua Portuguesa e Matemática e Questionário Etapa Nº de itens por caderno Nº de modelos de caderno 4º ano 20 LP e 20 MT 1 5º ano 22 LP e 22 MT 6º ano 22 LP E 22 MT 7º ano 26 LP E 26 MT 8º ano 9º ano

55 O novo desenho da Prova Floripa a partir de 2015: 4º ao 9º anos – demais componentes curriculares
Ciências, História, Geografia, Ed. Física, Artes e Língua Estrangeira Etapa Nº de itens por caderno Total de itens por caderno Nº de modelos de caderno TRI TCT 6º ano 20 CI, 5 HIS, 5 GEO 5 ED, 5 AR, 5 LE 45 1 7º ano 8º ano 9º ano

56 Curso de Capacitação em Avaliação Educacional em larga escala: um olhar sobre a Prova Floripa
O objetivo desse curso é auxiliá-los na compreensão da avaliação em larga escala, suas principais características e metodologia, criando condições para que vocês possam analisar os resultados alcançados pelos alunos e apropriar-se deles como ferramentas importantes para o planejamento e desenvolvimento do trabalho pedagógico que se realiza em cada unidade educativa.

57 Curso de Capacitação em Avaliação Educacional em larga escala: um olhar sobre a Prova Floripa
Estrutura do curso Ambiente: Plataforma Moodle Carga horária: 16 horas Apoio e acompanhamento por meio de tutoria Material e recursos: fórum de discussões, recursos audiovisuais e conteúdos de aprofundamento

58 Curso de Capacitação em Avaliação Educacional em larga escala: um olhar sobre a Prova Floripa
Proposta Pedagógica Módulo I - A avaliação educacional em larga escala no contexto das políticas educacionais. Módulo II- A avaliação educacional em larga escala: características e instrumentos. Módulo III – Avaliação e Currículo.

59 Como os resultados da Prova Floripa 2014 foram divulgados?

60 Divulgação dos Resultados
Revistas Site

61 Canais de divulgação dos resultados - 2014
PROVA FLORIPA 2015 Canais de divulgação dos resultados Revista da Avaliação Revista da Unidade Educativa Oficinas e curso sobre avaliação educacional Canais de divulgação dos resultados – 2015 Revista da Gestão Escolar Revista Pedagógica Oficinas de Apropriação de Resultados

62 PROVA FLORIPA 2015 Site Além das informações trazidas nesses materiais impressos, a Unidade Educativa pode acessar o portal para obter maiores detalhes sobre os seus resultados.

63 PROVA FLORIPA 2015 Os resultados de Site

64 Os resultados de 2014 Resultados Escola

65 PROVA FLORIPA 2015 Os resultados de 2014

66 Os resultados de 2014

67 Resultados Até 25% de acertos De 25,1% a 50% de acertos
PROVA FLORIPA 2015 Resultados Até 25% de acertos De 25,1% a 50% de acertos De 50,1% a 75% de acertos Acima de 75% de acertos

68 Os resultados de 2014 - Revista
PROVA FLORIPA 2015 Os resultados de Revista

69 Resultados Gerais – rede, região e escola

70 Resultados gerais da rede

71 Resultados da região

72 Resultados da escola

73 Anexo às revistas – Resultados de Turma

74 Anexo às revistas – Resultados de Aluno

75 Atividades Com base nos resultados alcançados pelos estudantes na Prova Floripa, discuta com seus colegas sobre o desempenho dos estudantes e as possíveis intervenções de acordo com as dificuldades apresentadas por cada turma e por cada estudante, em particular. Para tanto, utilize o material de apoio disponibilizado e as orientações presentes na revista que a unidade educativa recebeu.

76 Orientações para interpretação e apropriação dos resultados de 2014
Com base nos resultados alcançados pelos estudantes na Prova Floripa 2014, discuta com seus colegas sobre o desempenho dos estudantes e as possíveis intervenções de acordo com as dificuldades apresentadas por cada turma e por cada estudante, em particular. Para tanto, utilize o roteiro disponibilizado e as orientações presentes na revista que a unidade educativa recebeu. Vamos discutir com os colegas como isso poderia ser feito?

77 Agradecemos a participação de todos!