Oficina de Apropriação de Resultados – SISPAE

Apresentação em tema: "Oficina de Apropriação de Resultados – SISPAE"— Transcrição da apresentação:

1 Oficina de Apropriação de Resultados – SISPAE
Avaliação em Larga Escala: Conceitos

2 Como funciona a avaliação em larga escala?

3 O que é avaliado?

4 Matriz de Referência

5 Matriz de Referência O conteúdo de uma avaliação é algo importante a ser definido. Isso tem implicações para os instrumentos da avaliação. A elaboração de uma Matriz de Referência é fundamentada pelas noções de competências e habilidades.

6 Matriz de Referência A Matriz de Referência tem como fonte as diretrizes curriculares da rede avaliada (estado ou município). Em uma avaliação em larga escala, priorizamos competências e habilidades basilares/essenciais dos currículos: selecionamos habilidades muito importantes e passíveis de serem medidas pelo formato dos testes.

7 Matriz de Referência Então quer dizer que...
A Matriz é uma parte do Currículo. Ela não substitui o Currículo, apenas o resume. A Matriz contém apenas competências e habilidades essenciais que podem ser medidas em testes padronizados. As escolas e sistemas ensinam muito mais do que os conteúdos contemplados nas Matrizes. O desenvolvimento dos estudantes é muito mais amplo.

8 Alternativas de reposta
O item e suas partes Enunciado Suporte Comando Gabarito Alternativas de reposta Distratores

9 A Medida de Desempenho A produção da medida de desempenho dos estudantes pode ser feita de duas formas: Teoria Clássica dos Testes (TCT). Teoria de Resposta ao Item (TRI).

10 Teoria Clássica dos Testes.
A Medida de Desempenho Teoria Clássica dos Testes. É calculada de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor. Consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.

11 Teoria de Resposta ao Item:
A Medida de Desempenho Teoria de Resposta ao Item: Produz uma medida mais robusta do desempenho dos estudantes, porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes. A TRI é, portanto, um conjunto de modelos estatísticos, capazes de determinar um valor/peso, diferenciado para cada item que o estudante respondeu no teste de proficiência.

12 Como os testes são corrigidos?
Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd

13 Como os testes são corrigidos?
2 + 2 2 x 3 2/7³ 2² x (√3)

14 Como os testes são corrigidos?

15 Como são montados os testes Distribuídos em vários
cadernos Itens Organizados em blocos

16 Como são montados os testes
Então quer dizer que... Um Item é mais que uma questão comum: ele precisa atender aos requisitos estatísticos da TRI. Os Itens são independentes das características dos estudantes: sua discriminação, dificuldade e acerto ao acaso não mudam quando os alunos mudam. Cada estudante nos responde sobre apenas uma pequena parte em relação ao total da Matriz de Referência, e a contribuição de cada um deles é importante para sabermos a qualidade do ensino no sistema ou rede avaliados.

17 Como os valores de proficiência são gerados?
Exemplo hipotético: Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer. Possíveis questões: Você consegue guardar as malas no bagageiro interno de um ônibus? Quando dorme à noite, seus pés ficam do lado de fora? Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados?

18 Exemplo de escala para a altura de uma pessoa
Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo? Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo

19 Exemplo de escala para a altura de uma pessoa
Nome Item 1 Item 2 Item 3 Carolina Sim Não Priscila Leonardo Carolina Priscila Leonardo 1,5 1,6 1,7 1,8 1,9 Item 1 Item 2 Item 3 Como as questões estão associadas à altura da pessoa... podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

20

21 Como os valores de proficiência são gerados?
A escala de proficiência: Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência. Isso permite colocar numa mesma “régua” – escala – todas as habilidades. Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho.

22 Escala de Proficiência
Traduz as medidas em diagnósticos qualitativos do desempenho escolar. Régua de ordenamento dos valores dos testes, relacionados simultaneamente, com as habilidades desenvolvidas pelos estudantes para alcançar determinados valores de proficiência.

23 Padrões de Desempenho Os Padrões de Desempenho são grandes intervalos de valores dentro da Escala de Proficiência. Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes.

24 Padrões de desempenho estudantil
Estabelecimento e monitoramento das metas de qualidade educacional Caracterização do desempenho escolar Grau de realização das ações educacionais Políticas públicas voltadas à promoção da equidade Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

25 Projetos de intervenção pedagógica a partir dos Padrões de Desempenho
Abaixo do Básico Recuperação Básico Reforço Adequado Aprofundamento Avançado Desafio

26 Escala de Proficiência e Padrões de Desempenho
Então quer dizer que... Valores na Escala de Proficiência e Itens estão diretamente relacionados: cada item tem uma proficiência associada a ele. Logo, a Proficiência é um número com relação direta ao conhecimento: seu valor tem interpretação pedagógica. Os Padrões de Desempenho auxiliam não apenas na interpretação pedagógica, mas também na obtenção de metas, na verificação da efetividade de políticas educacionais e no planejamento pedagógico.

27 Aspectos Contextuais e Desempenho Escolar

28 Fatores Associados ao Desempenho
Fatores Extraescolares Fatores Intraescolares Fatores socioeconômicos Gestão e administração Fatores familiares Prática pedagógica Fatores individuais Condições de infraestrutura Qualificação dos profissionais

29 Qual o papel das características individuais? E da família?
Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação O que influencia o aprendizado dos estudantes? Quais elementos podem proporcionar um melhor aprendizado? Qual o papel das características individuais? E da família? O que as escolas podem fazer para promover um ensino de qualidade? Que influências as escolas recebem?

30 Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação
Informações de qualidade sobre os atores escolares e as características do sistema escolar são um importante subsídio para a formulação e verificação da efetividade de políticas públicas educacionais e de outras intervenções nos processos escolares.

31 Avaliação em larga escala: alcances e limites
Medida de desempenho dos estudantes: Proficiência. Foco nos déficits e problemas da aprendizagem: competências e habilidades mínimas que podem ser medidas em testes padronizados. Índice Socioeconômico (ISE) dos Estudantes. Simplificação estratégica do currículo. Limitada para múltiplas funções atribuídas à escola.

32 Avaliação Externa – Dimensões avaliadas

33 Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação
Como as avaliações em larga escala podem nos ajudar a obter informações dessa natureza? Através dos questionários socioeconômicos aplicados a estudantes, professores, gestores, coordenadores, pais de estudantes etc.

34 A Análise Contextual O processo de ensino-aprendizagem é mediado por diversos fatores. Grande parte dos trabalhos se preocupa em destacar a forte influência que os fatores extraescolares têm sobre os resultados dos alunos dentro das escolas.

35 A Análise Contextual Enfatizamos a importância do clima escolar, das disposições e práticas de gestão, das disposições e práticas pedagógicas, das expectativas em relação ao futuro e das condições de oferta do ensino. A consideração dos fatores extraescolares servirá apenas para guiar comparações mais adequadas sobre os diferentes fatores intraescolares.

36 A Análise Contextual São nos contextos administrativos e pedagógicos das instituições escolares em que podemos interferir de maneira mais objetiva. Torna-se, então, fundamental verificar em quais circunstâncias encontramos resultados escolares mais eficazes.

37 As dimensões Condições socioeconômicas dos alunos. Clima Escolar.
Atitudes e Práticas Pedagógicas. Atitudes e Práticas de Gestão Democrática. Expectativas de Alunos e Professores. Condições de atendimento da escola.

38 As Cinco Dimensões Clima Escolar: Questionário de estudantes
Com base na sua experiência deste ano na escola, como você se sente em relação às seguintes afirmações (Concordo muito, Concordo mais que discordo, Discordo mais que concordo e Discordo muito): Tenho participado de atividades interessantes na escola. Acho que vale a pena estudar nesta escola. Estou sempre aprendendo atividades novas nesta escola.

39 As Cinco Dimensões Clima Escolar: Questionário dos professores
Com base na sua experiência deste ano, como você se posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): Gostaria de continuar lecionando nesta escola. Sinto que sou valorizado(a) nesta escola. Gosto de fazer parte da equipe desta escola.

40 As Cinco Dimensões Clima Escolar: Questionário dos diretores
Com base na sua experiência deste ano, como você se posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): Foi uma decisão acertada ter me candidatado a diretor(a) desta escola. Considero meu trabalho importante para o desenvolvimento desta escola. Ser diretor(a) de escola é gratificante.

41 Condições de Eficácia Escolar
Separamos em grupos as escolas com as melhores condições de clima escolar: Desenvolvimento acadêmico/profissional no ambiente escolar. Conforto e segurança na escola. Pertencimento e inclusão na escola. Satisfação e motivação nas atividades realizadas na escola. Respeito e diálogo entre os atores escolares.

42 Atitudes e Práticas Pedagógicas:
As Cinco Dimensões Atitudes e Práticas Pedagógicas: Questionário de estudantes Com base na sua experiência deste ano na escola, como você se sente em relação às seguintes afirmações (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): Nas aulas o(a) professor(a) ouve a opinião dos alunos. O(A) professor(a) sempre esclarece minhas dúvidas. Aprendo o conteúdo que o(a) professor(a) ensina.

43 Atitudes e Práticas Pedagógicas:
As Cinco Dimensões Atitudes e Práticas Pedagógicas: Questionário dos professores Com base na sua experiência deste ano de 2014, como você se posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): Atenho-me ao que está programado independente da turma. O aprendizado depende mais do estudante do que do professor. Não importa o nível de conhecimento do estudante, o professor deve fazê-lo aprender.

44 Condições de Eficácia Escolar
Separamos em grupos as escolas com as melhores condições pedagógicas: Atenção ao aluno. Avaliação da aprendizagem. Compromisso com a aprendizagem. Condições e práticas de ensino.

45 Atitudes e Práticas de Gestão Democrática:
As Cinco Dimensões Atitudes e Práticas de Gestão Democrática: Questionário dos professores Responda o quanto você concorda ou discorda das afirmações abaixo (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): O gestor desta escola só toma suas decisões depois de ouvir outros atores envolvidos com a escola. O planejamento anual das atividades é feito coletivamente. O diretor desta escola tem por hábito consultar o Colegiado da Escola e ouvir as pessoas interessadas pelas questões da escola.

46 Atitudes e Práticas de Gestão Democrática:
As Cinco Dimensões Atitudes e Práticas de Gestão Democrática: Questionário do diretor Responda o quanto você concorda ou discorda das afirmações abaixo (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): Tenho por norma consultar o Colegiado da Escola e ouvir as pessoas sobre as questões da escola. O diálogo e a participação da comunidade é a melhor maneira de administrar e conduzir as atividades da escola. Só tomo minhas decisões depois de ouvir outros atores envolvidos com a escola.

47 Condições de Eficácia Escolar
Criamos um índice de gestão contendo informações de professores e do gestor sobre: Atitudes e comportamento com relação à centralização ou descentralização da gestão escolar (incluindo ou não a participação do conselho escolar). A prestação de contas da gestão para a comunidade escolar. Diversas dimensões da capacidade discricionária e de iniciativa do gestor frente a imprevistos e esferas superiores de decisão.

48 Expectativas de Alunos e Professores:
As Cinco Dimensões Expectativas de Alunos e Professores: Questionário de estudantes Com base nas suas expectativas, você acredita que irá (Sim, Provavelmente sim, Provavelmente não, Não): Concluir o Ensino Médio. Ingressar numa universidade pública. Ingressar numa faculdade particular. Ingressar no ensino profissional.

49 Expectativas de Alunos e Professores:
As Cinco Dimensões Expectativas de Alunos e Professores: Questionário dos professores Com base na experiência com suas turmas nesta escola, qual o percentual de alunos que você acredita que (Até 25% da turma, De 26% a 50% da turma, De 51% a 75% da turma, Mais de 75% da turma, Não se aplica): Concluirá o Ensino Fundamental. Concluirá o Ensino Médio. Ingressará em uma universidade pública. Ingressará em uma universidade particular. Ingressará no ensino profissional.

50 Condições de Eficácia Escolar
Criamos um índice das expectativas: dos alunos em relação ao seu futuro; dos professores em relação ao futuro escolar e profissional dos seus alunos.

51 Condições de atendimento:
As Cinco Dimensões Condições de atendimento: Questionário da escola Estado de conservação de: computador, máquina fotográfica, data show etc. Nesta escola existe: Depredação de banheiros, depredação de dependências internas da escola? Depredação de dependências externas da escola? Existe área de lazer coberta nesta escola? Existe quadra poliesportiva nesta escola? Estado de conservação de: Livros de estudo, livros de literatura etc.

52 Condições de Eficácia Escolar
Criamos um índice das condições de atendimento da escola: conservação; depredação; existência de equipamento; conservação de material de leitura; utilização de biblioteca.

53 Características escolares associadas ao desempenho

54 Condições de Eficácia Escolar
Atitudes e posturas positivas de gestão escolar podem fazer diferença no sucesso das instituições? Diferentes contextos de clima escolar fazem diferença nos resultados dos alunos? As expectativas dos alunos e professores em relação ao futuro escolar têm efeito sobre os resultados? Como as práticas pedagógicas afetam os resultados dos alunos? Como mensurar essas dimensões?

55 Condições de Eficácia Escolar
Estratégia de análise para os resultados Medimos o sucesso escolar pelo percentual de estudantes dentro da escola que alcançaram padrão Adequado ou Avançado em Matemática. Com as informações dos questionários socioeconômicos de estudantes, professores e gestores, criamos índices que caracterizam diferentes condições das escolas submetidas às avaliações. Característica de controle: condição socioeconômica dos alunos.

56 Condições de Eficácia Escolar
O que esses resultados apontam?

57 Condições de Eficácia Escolar
Qual a importância das informações que os questionários trazem para os resultados das avaliações em larga escala? E quando o ISE dos estudantes nas escolas é alto: qual o sucesso escolar para diferentes condições de gestão, clima escolar, expectativas, atendimentos e práticas pedagógicas? Qual o significado desses resultados para a equidade educacional em nossas escolas?

58 Condições de Eficácia Escolar
Aspectos positivos

59 Condições associadas a melhores resultados escolares:
Condições de Eficácia Escolar Condições associadas a melhores resultados escolares: Atitudes e comportamentos relacionados à descentralização da gestão escolar. A prestação de contas da gestão para a comunidade escolar. O reforço às expectativas positivas dos estudantes, ou o alerta ao descompasso entre suas aspirações e seu desempenho. O zelo às condições e equipamentos da escola. Ambiente escolar em que todos se sintam bem é parte do processo. Atenção e compromisso com o aprendizado de todos os alunos.

60 Condições de Eficácia Escolar
Resultados são similares nos diversos sistemas de avaliação considerados e se sustentaram em diferentes contextos de condição socioeconômica, de clima escolar, e de condições pedagógicas na escola.

61 Condições de Eficácia Escolar
Aspectos negativos

62 Condições de Eficácia Escolar
Ponto negativo: resultados nos afastam de um sistema educacional equânime para os estudantes. As diferenças de sucesso estiveram relacionadas, principalmente, aos contextos de condição socioeconômica favorável, indicando que as atitudes e comportamentos considerados se desenvolvem de modo a reproduzir a desigualdade social através do sistema escolar.

63 Condições de Eficácia Escolar
O desafio, então, é incorporar, ao cotidiano da gestão escolar, não somente os elementos favoráveis ao desempenho dos estudantes (melhores condições de clima escolar, de políticas e práticas pedagógicas positivas, políticas e práticas de gestão favoráveis, estímulos às expectativas), mas também refletir como esses elementos se desenvolvem no contexto escolar. O contexto escolar, a partir das características consideradas, beneficiam mais os grupos com bons resultados nos demais índices. Essas dimensões associam-se e garantem uma boa frente para as escolas com as melhores características.