Oficina de Apropriação de Resultados da ADEPE-MT 18 e 19 de maio de 2016

Cronograma TURNO/DIA 18/05/16 – quinta-feira 19/05/16 – sexta-feira 8h Módulo 1 - Fundamentos da Avaliação Módulo 4 – Apropriação dos resultados II 11h COFFEE BREAK 12h30 Módulo 2 - O caminho da Avaliação 13h30 INTERVALO PARA ALMOÇO 15h30 Módulo 3 - Apropriação dos resultados I 16h 17h30 Módulo 3 – Apropriação dos resultados I

Módulo I: Fundamentos da Avaliação

Módulo 1 – Fundamentos da Avaliação Conceitos fundamentais sobre avaliação em larga escala. Objetivos; Estrutura; Metodologia; Tipologia; Vantagens e possibilidades; Limites e desafios; Fixação de conceitos Dinâmica de fixação de conceitos para garantir a correta multiplicação das informações. Obs.: Nosso movimento segue a partir do que os profissionais sabem, discutindo e revisitando conceitos, além de aprofundar conhecimentos, quando necessário.

Módulo 1 – Fundamentos da Avaliação O que é a ADEPE-MT? Qual o objetivo da ADEPE-MT? Como utilizar os resultados da ADEPE-MT? Vamos discutir!

Módulo 1 – Fundamentos da Avaliação O que é a ADEPE-MT? A Avaliação Diagnóstica do Ensino Público Estadual de Mato Grosso (ADEPE-MT) é uma ação estratégica do Estado de Mato Grosso, desencadeada pela Secretaria de Estado de Educação, Esporte e Lazer (Seduc-MT), em parceria com o Centro de Políticas Públicas e Avaliação da Educação da Universidade Federal de Juiz de Fora (CAEd/UFJF). Qual o objetivo da ADEPE-MT? O objetivo da ADEPE-MT é produzir e disseminar informações que subsidiem a reflexão do professor sobre a sua prática pedagógica e proporcionar aos gestores dados para a formulação, o monitoramento/acompanhamento e a reformulação de políticas educacionais. Como utilizar os resultados da ADEPE-MT? As informações produzidas a partir da ADEPE-MT têm papel fundamental para orientar as ações do sistema de ensino, e para isso é necessário alguns passos como: cuidar da fidedignidade das informações oferecidas, refletir sobre esses resultados e cuidar da melhoria dos mesmos.

Módulo 1 – Fundamentos da Avaliação Vamos observar os principais resultados da ADEPE-MT! Proficiência Média Desvio Padrão Padrão de Desempenho Abaixo do Básico Básico Proficiente Avançado N° de Estudantes Previstos N° de Estudantes Efetivos Participação 200,5 25,4 20% 40% 30% 10% 150 90 60%

Módulo 1 – Fundamentos da Avaliação I) Vamos conhecer cada um desses dados: O que representa a Proficiência Média? O que representa o Desvio Padrão? O que representa o Padrão de Desempenho? Qual o dado e qual a informação representados por cada Padrão de Desempenho (Abaixo do Básico, Básico, Proficiente, Avançado)? O que representa o Número de Estudantes Previstos? O que representa o Número de Estudantes Efetivos? Qual o dado e qual a informação representados pela Participação?

Módulo 1 – Fundamentos da Avaliação II) Qual o objetivo de aplicar esta avaliação externa em larga escala e apresentar esses dados para a rede de ensino? III) Qual o tipo de avaliação aplicada pela ADEPE-MT? IV) Quais tipos de metodologias podem ser aplicadas neste tipo de avaliação? V) Qual a metodologia aplicada na avaliação da ADEPE-MT? VI) Quais as vantagens dessa avaliação? VII) Quais são as possibilidades de uso dos resultados dessa avaliação? VIII) Quais os limites dessa avaliação?

Módulo 1 – Fundamentos da Avaliação II) Qual o objetivo de aplicar esta avaliação externa em larga escala e apresentar esses dados para a rede de ensino? Acompanhar a aprendizagem dos estudantes, observando as características do ensino ofertado e contribuindo para a tomada de decisões no âmbito das salas de aula, das escolas e da rede de ensino

Módulo 1 – Fundamentos da Avaliação III) Qual o tipo de avaliação aplicada pela ADEPE-MT? Diagnóstica Formativa Somativa Interna Escola Externa Sistemas Interna Escola Externa Sistemas Interna Escola Externa Sistemas Pequena escala Larga escala

Módulo 1 – Fundamentos da Avaliação IV) Quais tipos de metodologias podem ser aplicadas neste tipo de avaliação? Existem, principalmente, duas formas de produzir essa medida: Teoria Clássica dos Testes (TCT) Teoria de Resposta ao Item (TRI)

Módulo 1 – Fundamentos da Avaliação Teoria Clássica dos Testes (TCT) o resultado via TCT é calculado de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor em sala de aula; as análises realizadas a partir da TCT têm como foco o escore obtido no teste. Assim, um estudante que responde a uma série de itens e recebe um ponto por cada item corretamente respondido, obtém, ao final, um escore total, que é a soma destes pontos; consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado; quando se utiliza a TCT, espera-se que estudantes obtenham notas mais altas em testes fáceis e notas mais baixas em testes difíceis.

Módulo 1 – Fundamentos da Avaliação Teoria de Resposta ao Item (TRI) a TRI é um conjunto de modelos matemáticos no qual a probabilidade de acerto a um item é calculada em função da proficiência do estudante; a proficiência é uma medida que representa um determinado traço latente (aptidão) de um estudante; o conhecimento de um estudante em determinada disciplina é uma aptidão que pode ser medida por meio de itens de testes; leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes;

Módulo 1 – Fundamentos da Avaliação a proficiência resulta da quantidade e qualidade dos itens respondidos corretamente; nos testes de proficiência, os estudantes respondem a itens com um valor/peso diferenciado; dois estudantes podem ter acertado o mesmo número de itens e apresentarem proficiências diferentes, devido às características dos itens respondidos corretamente por cada um deles; através dos modelos matemáticos da TRI, é estabelecida a relação entre a proficiência e a probabilidade do estudante acertar o item.

Módulo 1 – Fundamentos da Avaliação Comparar resultados de diferentes avaliações ao longo do tempo; Avaliar com alto grau de precisão a proficiência de alunos em amplas áreas do conhecimento sem submetê-los a longos testes; Comparar os resultados entre diferentes etapas, como o início e fim da Educação Básica. A TRI nos permite:

Módulo 1 – Fundamentos da Avaliação

Módulo 1 – Fundamentos da Avaliação Como os testes são corrigidos?

Resultados da ADEPE-MT V) Qual a metodologia aplicada na avaliação da ADEPE-MT? Teoria de Resposta ao Item (TRI); Mas também são apresentados o percentual de acerto por descritor;

Resultados da ADEPE-MT VI) Quais as vantagens dessa avaliação? Desenho próprio (definição de séries e áreas do conhecimento), adequado às necessidades da rede. Alinhamento entre currículo, ensino e avaliação. Menor periodicidade entre os ciclos avaliados.

Resultados da ADEPE-MT VII) Quais são as possibilidades de uso dos resultados dessa avaliação? Monitoramento a qualidade da educação pública ofertada e a promoção da equidade. Diagnóstico do efeito das políticas públicas implementadas. Utilização dos resultados, com foco na identidade escolar. . Estabelecimento de Padrões de Desempenho estudantis e metas educacionais

Resultados da ADEPE-MT VII) Quais são as possibilidades de uso dos resultados dessa avaliação? GESTOR da Rede Planejamento e execução de políticas públicas; Criação de metas de qualidade e equidade educacionais; Implementação de medidas de responsabilização; Políticas de incentivos diretos ou indiretos; Ações de formação continuada de professores; da Escola Elaboração do projeto da escola; Monitoramento da qualidade de ensino; Subsídio para avaliação institucional.

Resultados da ADEPE-MT VII) Quais são as possibilidades de uso dos resultados dessa avaliação? PROFESSOR Projetos de intervenção pedagógica; Elaboração de projetos especiais; Foco nos alunos com dificuldades; Ações de reforço escolar; Planejamento das ações de sala de aula; Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica.

Resultados da ADEPE-MT VII) Quais são as possibilidades de uso dos resultados dessa avaliação? ALUNO e FAMÍLIA Acompanhamento individual do desempenho escolar pelos alunos e seus familiares; Informações sobre a qualidade dos serviços educacionais oferecidos.

Resultados da ADEPE-MT VIII) Quais os desafios dessa avaliação? Maior participação dos gestores e professores nas discussões sobre apropriação e utilização dos resultados pelas escolas. Melhor alinhamento entre as propostas curriculares e avaliação e participação dos professores na definição dos Padrões de Desempenho. Canais de comunicação efetivos e constantes com gestores, professores, pais, alunos e sociedade sobre a qualidade da educação e responsabilidade de todos.

Módulo II: O caminho da Avaliação

Módulo 2 – O caminho da avaliação Etapas da Avaliação Elaboração da Matriz de Referência; Características fundamentais dos itens; Análise pedagógica dos Itens; Pré-testagem; Montagem dos testes; Aplicação dos testes; Construção da escala de proficiência e padrões de desempenho; Produção e divulgação dos resultados; Resultados gerais; Apresentação dos resultados; Dinâmica de apropriação.

Módulo 2 – O caminho da avaliação Observe o item abaixo e a análise pedagógica: Esse item avalia a habilidade de os estudantes identificarem a localização de uma pessoa a partir dos referenciais linha/coluna de uma sala. (D01) Para acertar esse item, os estudantes devem identificar a localização da pessoa que está na posição (N, 1) da sala de convenções, ou seja, devem observar que a pessoa que está sentada na coluna N e na linha 1 dessa sala é a Taísa. Logo, aqueles que marcaram a alternativa A provavelmente desenvolveram a habilidade avaliada pelo item.

Módulo 2 – O caminho da avaliação Observe o item abaixo e a análise pedagógica: Esse item avalia a habilidade de reconhecer diferentes formas de abordar uma informação ao comparar textos que tratam do mesmo tema (D17). Para a realização da tarefa, os respondentes precisariam buscar o ponto comum nos dois textos que informam sobre a criação de um idioma específico em obras cinematográficas. Essa informação equivalente pode ser reconhecida pelos trechos “Em Avatar, o artifício mais engenhoso fica por conta do idioma concebido pelo linguista...”, no Texto 1, e “Já a língua Klingon, da clássica franquia, Jornada nas estrelas, ganhou até dicionário...”, no Texto 2. Os estudantes que conseguiram fazer essa relação intertextual marcaram a alternativa A.

Módulo 2 – O caminho da avaliação Qual a disciplina relacionada a este item? Qual(is) a(s) habilidade(s) avaliada(s) por este item? Em qual etapa de escolaridade os estudantes devem ser capazes de responder corretamente este item? Ao elaborar e aplicar um teste, estas e outras questões devem ser consideradas.  Até a etapa de elaboração deste item, muitas etapas foram concluídas. Quais são as etapas seguidas pela avaliação? O que avaliar? Como avaliar? Após a elaboração dos itens, o teste é montado e aplicado. Quais as etapas seguintes? Quais os resultados divulgados? Como os resultados podem ser utilizados?

Módulo 2 – O caminho da avaliação Elaboração da Matriz de Referência Itens Elaboração Pré-testagem Análise estatística e pedagógica 1 Determinação da população avaliada 3 Montagem dos cadernos de testes (BIB) Elaboração dos questionários contextuais Produção dos resultados Construção e interpretação das Escalas de Proficiência Divulgação dos resultados Análise dos resultados: TCT e TRI 5 4 Aplicação dos instrumentos Processamento e constituição da base de dados da avaliação

Módulo III: Apropriação de Resultados I

Módulo III – Apropriação de Resultados I Qual o diagnóstico sobre o desempenho alcançado pelos estudantes da rede estadual de Mato Grosso? – Língua Portuguesa

Módulo III – Apropriação de Resultados I Qual o diagnóstico sobre o desempenho alcançado pelos estudantes da rede estadual de Mato Grosso? – Matemática

Módulo III – Apropriação de Resultados I Em relação aos resultados de TRI: Esse desempenho se difere por tipo de ensino? Esse desempenho se difere por localização? Esse desempenho se difere em etapas de escolaridade específica? Esse desempenho se difere em relação a alguma disciplina específica?

Módulo III – Apropriação de Resultados I Busque preencher a tabela abaixo com as informações presentes nos resultados: Etapa de escolaridade Número de Estudantes Previstos Número de Estudantes Avaliados Percentual de Participação Frequência Escolar (busque aprofundar sua análise relacionando dados de frequência escolar da rede) - Como foi a participação dos estudantes na ADEPE-MT? Acima ou abaixo de 80%? - A participação na ADEPE-MT foi coerente com a frequência escolar dos estudantes dessa etapa? - Quais foram os estudantes que não participaram da avaliação externa? A escola consegue identificá-los? - Foram os mesmos que apresentam maiores dificuldades em sala de aula? - O que a rede tem feito em relação à frequência desses estudantes? - Como foi a mobilização da unidade educativa para a ADEPE-MT?

Módulo III – Apropriação de Resultados I a) A proficiência média (desempenho)/padrão de desempenho se difere por tipo de ensino ou localização? b) O padrão de desempenho se difere em etapas de escolaridade específicas? c) O padrão de desempenho se difere em relação a alguma disciplina específica? O que esse resultado pode representar? d) O padrão de desempenho em que se encontra a média da rede é o mesmo em que se encontra a maioria dos estudantes? e) O desempenho alcançado pela rede é coerente com os resultados das avaliações internas?

Módulo III – Apropriação de Resultados I f) A rede consegue identificar quem são os estudantes que estão nos padrões de desempenho mais baixos? g) Esses estudantes que se encontram nos padrões de desempenho mais baixos foram promovidos para a etapa de escolaridade seguinte àquela em que foram avaliados na ADEPE-MT? h) A rede enxerga-se nesses resultados? Por quê? i) Em relação à distribuição dos estudantes pelos Padrões de Desempenho, como está a rede de ensino? j) Há muitos estudantes nos Padrões de Desempenho mais baixos? Quantos? k) De modo geral, com base nas informações sobre a proficiência e a distribuição dos estudantes pelos Padrões de Desempenho, a escola consegue levantar hipóteses sobre os seus resultados? Liste-as, pois as mesmas serão úteis para a elaboração das metas e do plano de ação.

2

Módulo 3 – Apropriação dos resultados I Estudo sobre os resultados pelos técnicos: Acesso aos resultados; Leitura e compreensão dos resultados; Possibilidades de utilização: Planejamento de ações;

Módulo 4 – Apropriação dos resultados II Estudo sobre os resultados pelos professores e equipe pedagógica: Acesso aos resultados; Leitura e compreensão dos resultados; Possibilidades de utilização: Como os representantes da CEFAPRO e coordenadores podem capacitar profissionais em apropriação dos resultados da avaliação; Planejamento de ações pelos professores e equipe pedagógica;