A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Oficina de Apropriação dos Resultados da Avaliação Palestrante: Luiz Vicente Fonseca Ribeiro Equipe de Análises Educacionais - EAE Coordenação de Análises.

Apresentações semelhantes


Apresentação em tema: "Oficina de Apropriação dos Resultados da Avaliação Palestrante: Luiz Vicente Fonseca Ribeiro Equipe de Análises Educacionais - EAE Coordenação de Análises."— Transcrição da apresentação:

1 Oficina de Apropriação dos Resultados da Avaliação Palestrante: Luiz Vicente Fonseca Ribeiro Equipe de Análises Educacionais - EAE Coordenação de Análises e Publicações - CAP

2 O que é avaliar? Coletar Diagnosticar DecidirAgir Produzir algum julgamento sobre a realidade. Dados e informações sobre determinada realidade. Tomar decisão em função de um objetivo que se deseja alcançar. Traçar estratégias de uma ação sobre o objeto avaliado.

3 Diagnóstica Formativa Somativa Interna Escola Interna Escola Externa Sistemas Externa Sistemas Interna Escola Interna Escola Externa Sistemas Externa Sistemas Interna Escola Interna Escola Externa Sistemas Externa Sistemas Pequena escala Avaliação Larga escala Tipos de Avaliação

4 Provas abertas Provas objetivas Observação/Registro Portfólio TEORIA CLÁSSICA TEORIA DA RESPOSTA AO ITEM TEORIA DA RESPOSTA AO ITEM Avaliação Interna/Escola Processo da aprendizagem Avaliação Externa/Sistemas Testes de proficiência Questionários contextuais Testes de proficiência Questionários contextuais Desempenho dos alunos Avaliação Educacional

5 Linha do tempo da Avaliação

6 SEAPE SADEAM SAEPI SARESP SIMAVE SAERJ SAERO PAEBES SAEMS SAEGO AREAL AVALIE SISPAE SALTO SPAECE SAEPE SAEMI SAERS SAEP Sistema de Av. da Educ. da Paraíba AVALIA BH ALFABETIZA RIO Sistemas próprios de Avaliação

7 Desenho próprio (definição de séries e áreas do conhecimento), adequado às necessidades da rede. Alinhamento entre currículo, ensino e avaliação. Menor periodicidade entre os ciclos avaliados. Vantagens dos sistemas próprios de Avaliação

8 Etapas básicas dos programas de avaliação Determinação da população a ser avaliada 1 Elaboração da Matriz ou utilização da Matriz de Referência do SAEB Construção de itens Pré-testagem dos itens Análise estatística e pedagógica dos itens 2 Montagem dos cadernos de testes (BIB) Elaboração dos testes padronizados Elaboração dos questionários contextuais 3 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação 4 Análise dos resultados: utilização da TCT e da TRI Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados 5

9 Como funciona a avaliação em larga escala?

10 O que é avaliado?

11 Matriz de Referência INSERIR TABELA COM CORTES DE PADRÕES

12 Como os testes são montados? Itens Organizados em blocos Distribuídos em vários cadernos

13 SuporteEnunciado Comando Alternativas de reposta Gabarito Distratores O item e suas partes

14 Como os testes são corrigidos? Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd.

15 A TRI nos permite: Comparar resultados de diferentes avaliações, como o SAEB. Avaliar com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes. Comparar os resultados entre diferentes séries, como o início e fim do Ensino Médio. Uso da TRI na produção de medidas

16 Exemplo hipotético: Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer. Possíveis questões: Você consegue guardar as malas no bagageiro interno de um ônibus? Quando dorme à noite, seus pés ficam do lado de fora? Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados? Como os valores de proficiência são gerados?

17 Exemplo de escala para a altura de uma pessoa Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo? NomeItem 1Item 2Item 3 CarolinaSimNão PriscilaSim Não LeonardoSim

18 NomeItem 1Item 2Item 3 CarolinaSimNão PriscilaSim Não LeonardoSim 1,5 1,6 1,7 1,81,9 Item 1Item 2Item 3 CarolinaPriscilaLeonardo Exemplo de escala para a altura de uma pessoa Como as questões estão associadas à altura da pessoa, podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

19 Escala de Proficiência A nossa régua para o desempenho INSERIR CÓPIA DA ESCALA

20 A escala de proficiência: Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência. Isso permite colocar numa mesma régua – escala – todas as habilidades. Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades, segundo sua complexidade, e ordená-las nessa régua comum para estimar o desempenho. Como os valores de proficiência são gerados?

21 O que a avaliação externa possibilita?

22 Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar.. Monitoramento da qualidade da educação pública ofertada e a promoção da equidade. Estabelecimento de Padrões de Desempenho estudantis e metas educacionais

23 Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar.. Monitoramento da qualidade da educação pública ofertada e a promoção da equidade. Estabelecimento de Padrões de Desempenho estudantis e metas educacionais

24 Evolução da Proficiência Média

25 Evolução da Distribuição por Padrão de Desempenho

26 Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar.. Monitoramento da qualidade da educação pública ofertada e a promoção da equidade. Estabelecimento de Padrões de Desempenho estudantis e metas educacionais

27 Possibilidades dos Sistemas próprios de Avaliação Programa de cooperação, entre estado e municípios, implantado em 2005 com a finalidade de apoiar os municípios,para alfabetizar os alunos da rede pública de ensino até o final do segundo ano do ensino fundamental. Programa propõe uma intervenção sistêmica que é executada através de cinco eixos: Alfabetização Gestão Municipal Educação Infantil Avaliação Externa Diagnóstico do efeito de política pública implementada

28 Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito de política pública implementada

29 Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito de política pública implementada

30 Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar.. Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Estabelecimento de Padrões de Desempenho estudantis e metas educacionais

31 Resultados Estaduais Transversais ou Longitudinais Estado Regionais Municípios Escola Turma Aluno

32 da Rede Planejamento e execução de políticas públicas. Criação de metas de qualidade e equidade educacionais. Implementação de medidas de responsabilização. Políticas de incentivos diretos ou indiretos. Ações de formação continuada de professores. da Escola Elaboração do projeto da escola. Monitoramento da qualidade de ensino. Subsídio para avaliação institucional. Uso dos Resultados Gestor

33 Projetos de intervenção pedagógica. Elaboração de projetos especiais. Foco nos alunos com dificuldades. Ações de reforço escolar. Planejamento das ações de sala de aula. Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica. Uso dos Resultados Professor

34 Acompanhamento individual do desempenho escolar pelos alunos e seus familiares. Informações sobre a qualidade dos serviços educacionais oferecidos. Uso dos Resultados Aluno e família

35 Possibilidades dos Sistemas próprios de Avaliação Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar.. Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Estabelecimento de Padrões de Desempenho estudantis e metas educacionais.

36 Padrões de desempenho estudantil Estabelecimento e monitoramento das metas de qualidade educacional Caracterização do desempenho escolar Grau de realização das ações educacionais Políticas públicas voltadas à promoção da equidade Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

37 Descrição geral dos Padrões de Desempenho PadrõesDescrição Abaixo do Básico Neste Padrão de Desempenho, o aluno demonstra carência de aprendizagem do que é previsto para a sua etapa de escolaridade. Ele fica abaixo do esperado, na maioria das vezes, tanto no que diz respeito à compreensão do que é abordado, quanto na execução de tarefas e avaliações. Por isso, é necessária uma intervenção focada para que o aluno possa progredir em seu processo de aprendizagem. Básico O aluno que se encontra neste Padrão de Desempenho demonstra ter aprendido o mínimo do que é proposto para o seu ano escolar. Neste nível,ele já iniciou um processo de sistematização e domínio das habilidades consideradas básicas e essenciais ao período de escolarização em que se encontra. Adequado Neste Padrão de Desempenho, o aluno demonstra ter adquirido um conhecimento apropriado e substancial ao que é previsto para a sua etapa de escolaridade. Neste nível, ele domina um maior leque de habilidades, tanto no que diz respeito à quantidade, quanto à complexidade, as quais exigem um refinamento dos processos cognitivos nelas envolvidos. Avançado O aluno que atingiu este Padrão de Desempenho revela ter desenvolvido habilidades mais sofisticadas e demonstra ter um aprendizado superior ao que é previsto para o seu ano escolar. O desempenho desses alunos, nas tarefas e avaliações propostas, supera o esperado e, ao serem estimulados, podem ir além das expectativas traçadas.

38 Abaixo do Básico Recuperação Básico Reforço Adequado Aprofundamento Avançado Desafio Projetos de intervenção pedagógica a partir dos Padrões de Desempenho

39 Seape 2013 Gestão, desempenho escolar e cumprimento de normas

40 Fatores socioeconômicos Fatores familiares Fatores individuais Gestão e administração Prática pedagógica Condições de infraestrutura Qualificação dos profissionais Fatores Extraescolares Fatores Intraescolares Fatores Associados ao Desempenho

41 Investigação de fatores intra e extra escolares específicos de cada sistema. Avaliação do impacto dos programas implementados pelas Secretarias. Estudo de casos de sucesso (escolas eficazes).Correlações entre fatores de desigualdade educacionais. Em que consiste considerar os fatores associados ao Desempenho?

42 Análises Contextuais – Seape 2013 Dados considerados Questionários de alunos, professores e diretores aplicados no Seape Ênfases Dimensão normativa do clima escolar. Práticas de gestão.

43 O clima escolar pode ser entendido como um conjunto de características sociais, culturais e psicológicas da escola, que, se relacionando continuamente influencia, substancialmente, a aprendizagem e o desempenho dos estudantes. É composto por uma série de elementos estruturais, pessoais e organizativos da escola, que interagem através de um processo dinâmico. O resultado das interações deste processo é o clima escolar, um ambiente próprio, uma espécie de estilo singular da escola, que influencia, significativamente, a forma como a escola desenvolve e conduz seus processos educativos. Clima Escolar

44 O clima escolar pode ser decomposto em quatro contextos: Contexto imaginativo: envolve a percepção do ambiente escolar no que diz respeito ao incentivo, à criatividade e à imaginação, percebendo ou não a escola como um local onde os agentes escolares se sentem estimulados a compreender e a experimentar o mundo a partir de suas próprias percepções e concepções. Contexto instrucional: envolve as percepções dos atores acerca da orientação acadêmica no contexto da instrução do ensino. No caso dos estudantes, acerca de como eles percebem o interesse ou o desinteresse dos professores pela aprendizagem, e também se o ambiente é propício para atingir os objetivos educativos e adquirir habilidades. Contextos do clima escolar

45 Contexto inter-relacional: este contexto está relacionado à percepção da qualidade e da frequência com que as relações, entre os atores, são estabelecidas no ambiente escolar, bem como a percepção acerca da preocupação, no nível dos estudantes, que professores e diretores têm diante de seus problemas e dificuldades. Ou seja, diz respeito ao contexto de qualidade interpessoal, de confiança e bem estar entre os agentes. Contexto normativo: envolve as percepções acerca do nível de participação dos agentes no estabelecimento das regras que coordenarão suas ações, além da percepção sobre o efetivo cumprimento das normas na escola. Contextos do clima escolar

46 O índice de percepção do contexto normativo foi construído com base nas seguintes questões: os professores favorecem alguns alunos mais do que outros; os alunos desconhecem as normas da escola; os alunos são punidos frequentemente por ações que não fizeram; as punições da escola são sempre justificadas; os alunos são punidos por qualquer motivo; perdemos muitas aulas porque o professor falta com frequência; os professores têm dificuldade para fazer os alunos entrarem na sala para o início das aulas; muitos alunos durante as aulas ficam do lado de fora da sala fazendo barulho; por qualquer motivo, os alunos são colocados para fora da sala de aula. Clima Normativo e Desempenho

47 Para facilitar a análise, as escolas foram divididas em três grupos, de acordo com o valor que agregaram a seus estudantes. O valor agregado de cada escola foi estabelecido pela diferença entre o desempenho médio esperado para a escola, tendo em vista a condição socioeconômica média de seus alunos, e o desempenho de fato obtido pela escola. Clima Normativo e Desempenho

48 Os grupos de escolas por valor agregado são: Escolas sem valor agregado: são aquelas cujo desempenho esperado é menor ou igual ao desempenho que elas, efetivamente, obtiveram nas avaliações. No gráfico a seguir, estão representadas pela cor azul. Escolas com baixo valor agregado: são aquelas cuja diferença entre o desempenho observado e o desempenho esperado é maior do que zero e menor do que 12,5 pontos de proficiência (um quarto do desvio padrão). No gráfico a seguir, estão representadas pela cor vermelha. Escolas com alto valor agregado: são aquelas cuja diferença entre o desempenho observado e o desempenho esperado é maior do que 12,5 pontos de proficiência (um quarto do desvio padrão). Clima Normativo e Desempenho

49 Percepção do contexto imaginativo do clima escolar, segundo os alunos, e do valor agregado Análises Contextuais Fonte: Seape 2012

50 Entre as escolas que mais agregam valor a seus estudantes, o maior percentual se concentra no grupo de escolas que tiveram seu clima escolar avaliado como bom, por parte dos estudantes. Estes resultados mostram a importância da efetivação das normas escolares para o desempenho dos alunos. Como parte integrante do clima escolar, o contexto normativo pode ser um importante aliado da gestão da escola para que melhores resultados educacionais sejam alcançados. O gestor não é o único responsável pelo estabelecimento de um bom clima escolar, mas, não resta dúvida, é figura central para que o mesmo seja constituído. Clima Normativo e Desempenho

51 Aspectos Contextuais e Desempenho Escolar: Podemos observar que tanto na literatura quanto nos resultados, com informações objetivas sobre as escolas, encontramos fatores que podem melhorar o aprendizado dos estudantes. Esses fatores são conhecidos da realidade escolar, e tanto gestores quanto professores e comunidade escolar sabem que é possível interferir diretamente sobre eles. Como as avaliações em larga escala são sensíveis a esses aspectos, podemos monitorar as modificações ao longo do tempo e verificar a eficácia das ações e políticas implementadas no sistema.

52 Avaliação em larga escala: em que avançamos e quais os desafios?

53 Sistemas Estaduais de Avaliação Em que avançamos? Maior transparência no processo de avaliação e divulgação dos resultados. Debate sobre as responsabilidades. Ampliação das oportunidades educacionais e o reconhecimento do direito de aprender. Atenção especial aos alunos de baixo desempenho.

54 Sistemas Estaduais de Avaliação Em que avançamos? Discussão sobre os fatores que interferem no desempenho escolar, eficácia de práticas, programas e políticas educacionais. Discussão sobre a construção de propostas curriculares inovadoras, bem desenhadas e de fácil compreensão por diferentes públicos. Participação dos acadêmicos e pesquisadores das universidades e dos gestores e professores da educação básica no debate sobre o direito à educação.

55 Canais de divulgação Revista do Sistema – Rede Estadual Revista do Sistema – Rede Municipal Revista do Gestor Revista Pedagógica Material Impresso Oficinas Vídeos Kits instrucionais Ações de formação Integração dos dados Resultados das escolas Mídias sociais Portal da Avaliação Cursos a distância Curso presencial Acompanhamento técnico/pedagógico Transferência de tecnologia

56 Sistemas Estaduais de Avaliação Desafios Maior participação dos gestores e professores nas discussões sobre apropriação e utilização dos resultados pelas escolas. Melhor alinhamento entre as propostas curriculares e avaliação e sobre a participação dos professores na definição dos Padrões de Desempenho. Canais de comunicação efetivos e constantes com gestores, professores, pais, alunos e sociedade sobre a qualidade da educação e responsabilidade de todos.

57 OBRIGADO! Mais informações: acesse os links abaixo.


Carregar ppt "Oficina de Apropriação dos Resultados da Avaliação Palestrante: Luiz Vicente Fonseca Ribeiro Equipe de Análises Educacionais - EAE Coordenação de Análises."

Apresentações semelhantes


Anúncios Google