A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Oficina de Apropriação de Resultados – SISPAE Avaliação em Larga Escala: Conceitos.

Apresentações semelhantes


Apresentação em tema: "Oficina de Apropriação de Resultados – SISPAE Avaliação em Larga Escala: Conceitos."— Transcrição da apresentação:

1 Oficina de Apropriação de Resultados – SISPAE Avaliação em Larga Escala: Conceitos

2 Como funciona a avaliação em larga escala?

3 O que é avaliado?

4 Matriz de Referência

5 O conteúdo de uma avaliação é algo importante a ser definido. Isso tem implicações para os instrumentos da avaliação. A elaboração de uma Matriz de Referência é fundamentada pelas noções de competências e habilidades. Matriz de Referência

6 A Matriz de Referência tem como fonte as diretrizes curriculares da rede avaliada (estado ou município). Em uma avaliação em larga escala, priorizamos competências e habilidades basilares/essenciais dos currículos: selecionamos habilidades muito importantes e passíveis de serem medidas pelo formato dos testes. Matriz de Referência

7 Então quer dizer que... 1.A Matriz é uma parte do Currículo. 2.Ela não substitui o Currículo, apenas o resume. 3.A Matriz contém apenas competências e habilidades essenciais que podem ser medidas em testes padronizados. 4.As escolas e sistemas ensinam muito mais do que os conteúdos contemplados nas Matrizes. O desenvolvimento dos estudantes é muito mais amplo. Matriz de Referência

8 SuporteEnunciado Comando Alternativas de reposta Gabarito Distratores O item e suas partes

9 A Medida de Desempenho A produção da medida de desempenho dos estudantes pode ser feita de duas formas: 1)Teoria Clássica dos Testes (TCT). 2)Teoria de Resposta ao Item (TRI).

10 A Medida de Desempenho 1)Teoria Clássica dos Testes. – É calculada de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor. – Consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.

11 A Medida de Desempenho 2)Teoria de Resposta ao Item: – Produz uma medida mais robusta do desempenho dos estudantes, porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes. – A TRI é, portanto, um conjunto de modelos estatísticos, capazes de determinar um valor/peso, diferenciado para cada item que o estudante respondeu no teste de proficiência.

12  Parâmetros da Teoria de Resposta ao Item – TRI – utilizada para correção dos testes aplicados pelo CAEd Como os testes são corrigidos?

13 x 3 2/7³ 2² x (√3) Como os testes são corrigidos?

14 entender-o-calculo-da-nota-do-enem/

15 Como são montados os testes Itens Organizados em blocos Distribuídos em vários cadernos

16 Como são montados os testes Então quer dizer que... 1)Um Item é mais que uma questão comum: ele precisa atender aos requisitos estatísticos da TRI. 2)Os Itens são independentes das características dos estudantes: sua discriminação, dificuldade e acerto ao acaso não mudam quando os alunos mudam. 3)Cada estudante nos responde sobre apenas uma pequena parte em relação ao total da Matriz de Referência, e a contribuição de cada um deles é importante para sabermos a qualidade do ensino no sistema ou rede avaliados.

17 Exemplo hipotético: Construindo uma escala para medir altura Nossa altura afeta nossas ações e o que somos capazes de fazer. Possíveis questões:  Você consegue guardar as malas no bagageiro interno de um ônibus?  Quando dorme à noite, seus pés ficam do lado de fora?  Você consegue alcançar produtos que ficam na prateleira de cima dos supermercados? Como os valores de proficiência são gerados?

18 Exemplo de escala para a altura de uma pessoa Item 1 Você consegue guardar as malas no bagageiro interno de um ônibus? Item 2 Você consegue subir ou descer dois degraus de cada vez em uma escada? Item 3 Para conversar com as pessoas, você precisa olhar para baixo?

19 1,5 1,6 1,7 1,81,9 Item 1 Item 2 Item 3 CarolinaPriscilaLeonardo Exemplo de escala para a altura de uma pessoa Como as questões estão associadas à altura da pessoa... podemos estimar sua medida com base no que ela é capaz, ou não, de fazer.

20

21 A escala de proficiência: Cada item mede algo que o aluno sabe fazer, todos eles associados à proficiência. Isso permite colocar numa mesma “régua” – escala – todas as habilidades. Como há uma progressão no desenvolvimento de competências e habilidades, podemos ordenar estas habilidades segundo sua complexidade e ordená-las nessa “régua” comum para estimar o desempenho. Como os valores de proficiência são gerados?

22 Traduz as medidas em diagnósticos qualitativos do desempenho escolar. Régua de ordenamento dos valores dos testes, relacionados simultaneamente, com as habilidades desenvolvidas pelos estudantes para alcançar determinados valores de proficiência. Escala de Proficiência

23 Os Padrões de Desempenho são grandes intervalos de valores dentro da Escala de Proficiência. Conferem uma interpretação pedagógica mais ampla do resultado dos estudantes, agrupando-os segundo diferenças de aprendizado apresentadas pelos mesmos nos testes. Padrões de Desempenho

24 Padrões de desempenho estudantil Estabelecimento e monitoramento das metas de qualidade educacional Caracterização do desempenho escolar Grau de realização das ações educacionais Políticas públicas voltadas à promoção da equidade Identificação do percentual de alunos em risco pedagógico (evasão, reprovação ou abandono)

25 Projetos de intervenção pedagógica a partir dos Padrões de Desempenho Abaixo do Básico Recuperação Básico Reforço Adequado Aprofundamento Avançado Desafio

26 Escala de Proficiência e Padrões de Desempenho Então quer dizer que... 1)Valores na Escala de Proficiência e Itens estão diretamente relacionados: cada item tem uma proficiência associada a ele. 2)Logo, a Proficiência é um número com relação direta ao conhecimento: seu valor tem interpretação pedagógica. 3)Os Padrões de Desempenho auxiliam não apenas na interpretação pedagógica, mas também na obtenção de metas, na verificação da efetividade de políticas educacionais e no planejamento pedagógico.

27 Aspectos Contextuais e Desempenho Escolar

28 Fatores socioeconômicos Fatores familiares Fatores individuais Gestão e administração Prática pedagógica Condições de infraestrutura Qualificação dos profissionais Fatores Extraescolares Fatores Intraescolares Fatores Associados ao Desempenho

29 O que as escolas podem fazer para promover um ensino de qualidade? Que influências as escolas recebem? Qual o papel das características individuais? E da família? O que influencia o aprendizado dos estudantes? Quais elementos podem proporcionar um melhor aprendizado? Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação

30 Informações de qualidade sobre os atores escolares e as características do sistema escolar são um importante subsídio para a formulação e verificação da efetividade de políticas públicas educacionais e de outras intervenções nos processos escolares. Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação

31 Medida de desempenho dos estudantes: Proficiência. Foco nos déficits e problemas da aprendizagem: competências e habilidades mínimas que podem ser medidas em testes padronizados. Índice Socioeconômico (ISE) dos Estudantes. Simplificação estratégica do currículo. Limitada para múltiplas funções atribuídas à escola. Avaliação em larga escala: alcances e limites

32 Avaliação Externa – Dimensões avaliadas

33 Como as avaliações em larga escala podem nos ajudar a obter informações dessa natureza? Através dos questionários socioeconômicos aplicados a estudantes, professores, gestores, coordenadores, pais de estudantes etc. Aspectos Contextuais: um convite à reflexão sobre os resultados da avaliação

34 A Análise Contextual O processo de ensino-aprendizagem é mediado por diversos fatores. Grande parte dos trabalhos se preocupa em destacar a forte influência que os fatores extraescolares têm sobre os resultados dos alunos dentro das escolas.

35 A Análise Contextual Enfatizamos a importância do clima escolar, das disposições e práticas de gestão, das disposições e práticas pedagógicas, das expectativas em relação ao futuro e das condições de oferta do ensino. A consideração dos fatores extraescolares servirá apenas para guiar comparações mais adequadas sobre os diferentes fatores intraescolares.

36 A Análise Contextual São nos contextos administrativos e pedagógicos das instituições escolares em que podemos interferir de maneira mais objetiva. Torna-se, então, fundamental verificar em quais circunstâncias encontramos resultados escolares mais eficazes.

37 As dimensões Condições socioeconômicas dos alunos. Clima Escolar. Atitudes e Práticas Pedagógicas. Atitudes e Práticas de Gestão Democrática. Expectativas de Alunos e Professores. Condições de atendimento da escola.

38 As Cinco Dimensões Clima Escolar: Questionário de estudantes – Com base na sua experiência deste ano na escola, como você se sente em relação às seguintes afirmações (Concordo muito, Concordo mais que discordo, Discordo mais que concordo e Discordo muito): Tenho participado de atividades interessantes na escola. Acho que vale a pena estudar nesta escola. Estou sempre aprendendo atividades novas nesta escola.

39 As Cinco Dimensões Clima Escolar: Questionário dos professores – Com base na sua experiência deste ano, como você se posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): Gostaria de continuar lecionando nesta escola. Sinto que sou valorizado(a) nesta escola. Gosto de fazer parte da equipe desta escola.

40 As Cinco Dimensões Clima Escolar: Questionário dos diretores – Com base na sua experiência deste ano, como você se posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): Foi uma decisão acertada ter me candidatado a diretor(a) desta escola. Considero meu trabalho importante para o desenvolvimento desta escola. Ser diretor(a) de escola é gratificante.

41 Separamos em grupos as escolas com as melhores condições de clima escolar: – Desenvolvimento acadêmico/profissional no ambiente escolar. – Conforto e segurança na escola. – Pertencimento e inclusão na escola. – Satisfação e motivação nas atividades realizadas na escola. – Respeito e diálogo entre os atores escolares. Condições de Eficácia Escolar

42 As Cinco Dimensões Atitudes e Práticas Pedagógicas: Questionário de estudantes – Com base na sua experiência deste ano na escola, como você se sente em relação às seguintes afirmações (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): Nas aulas o(a) professor(a) ouve a opinião dos alunos. O(A) professor(a) sempre esclarece minhas dúvidas. Aprendo o conteúdo que o(a) professor(a) ensina.

43 As Cinco Dimensões Atitudes e Práticas Pedagógicas: Questionário dos professores – Com base na sua experiência deste ano de 2014, como você se posiciona em relação às seguintes afirmações sobre o seu cotidiano na escola (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): Atenho-me ao que está programado independente da turma. O aprendizado depende mais do estudante do que do professor. Não importa o nível de conhecimento do estudante, o professor deve fazê-lo aprender.

44 Separamos em grupos as escolas com as melhores condições pedagógicas: – Atenção ao aluno. – Avaliação da aprendizagem. – Compromisso com a aprendizagem. – Condições e práticas de ensino. Condições de Eficácia Escolar

45 As Cinco Dimensões Atitudes e Práticas de Gestão Democrática: Questionário dos professores – Responda o quanto você concorda ou discorda das afirmações abaixo (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): O gestor desta escola só toma suas decisões depois de ouvir outros atores envolvidos com a escola. O planejamento anual das atividades é feito coletivamente. O diretor desta escola tem por hábito consultar o Colegiado da Escola e ouvir as pessoas interessadas pelas questões da escola.

46 As Cinco Dimensões Atitudes e Práticas de Gestão Democrática: Questionário do diretor – Responda o quanto você concorda ou discorda das afirmações abaixo (Concordo muito, Concordo mais que discordo, Discordo mais que concordo, Discordo muito): Tenho por norma consultar o Colegiado da Escola e ouvir as pessoas sobre as questões da escola. O diálogo e a participação da comunidade é a melhor maneira de administrar e conduzir as atividades da escola. Só tomo minhas decisões depois de ouvir outros atores envolvidos com a escola.

47 Criamos um índice de gestão contendo informações de professores e do gestor sobre: – Atitudes e comportamento com relação à centralização ou descentralização da gestão escolar (incluindo ou não a participação do conselho escolar). – A prestação de contas da gestão para a comunidade escolar. – Diversas dimensões da capacidade discricionária e de iniciativa do gestor frente a imprevistos e esferas superiores de decisão. Condições de Eficácia Escolar

48 As Cinco Dimensões Expectativas de Alunos e Professores: Questionário de estudantes – Com base nas suas expectativas, você acredita que irá (Sim, Provavelmente sim, Provavelmente não, Não): Concluir o Ensino Médio. Ingressar numa universidade pública. Ingressar numa faculdade particular. Ingressar no ensino profissional.

49 As Cinco Dimensões Expectativas de Alunos e Professores: Questionário dos professores – Com base na experiência com suas turmas nesta escola, qual o percentual de alunos que você acredita que (Até 25% da turma, De 26% a 50% da turma, De 51% a 75% da turma, Mais de 75% da turma, Não se aplica): Concluirá o Ensino Fundamental. Concluirá o Ensino Médio. Ingressará em uma universidade pública. Ingressará em uma universidade particular. Ingressará no ensino profissional.

50 Criamos um índice das expectativas: – dos alunos em relação ao seu futuro; – dos professores em relação ao futuro escolar e profissional dos seus alunos. Condições de Eficácia Escolar

51 As Cinco Dimensões Condições de atendimento: Questionário da escola – Estado de conservação de: computador, máquina fotográfica, data show etc. – Nesta escola existe: Depredação de banheiros, depredação de dependências internas da escola? Depredação de dependências externas da escola? – Existe área de lazer coberta nesta escola? Existe quadra poliesportiva nesta escola? – Estado de conservação de: Livros de estudo, livros de literatura etc.

52 Criamos um índice das condições de atendimento da escola: – conservação; – depredação; – existência de equipamento; – conservação de material de leitura; – utilização de biblioteca. Condições de Eficácia Escolar

53 Características escolares associadas ao desempenho

54 Condições de Eficácia Escolar Atitudes e posturas positivas de gestão escolar podem fazer diferença no sucesso das instituições? Diferentes contextos de clima escolar fazem diferença nos resultados dos alunos? As expectativas dos alunos e professores em relação ao futuro escolar têm efeito sobre os resultados? Como as práticas pedagógicas afetam os resultados dos alunos? Como mensurar essas dimensões?

55 Estratégia de análise para os resultados Medimos o sucesso escolar pelo percentual de estudantes dentro da escola que alcançaram padrão Adequado ou Avançado em Matemática. Com as informações dos questionários socioeconômicos de estudantes, professores e gestores, criamos índices que caracterizam diferentes condições das escolas submetidas às avaliações. Característica de controle: condição socioeconômica dos alunos. Condições de Eficácia Escolar

56 O que esses resultados apontam? Condições de Eficácia Escolar

57 Qual a importância das informações que os questionários trazem para os resultados das avaliações em larga escala? E quando o ISE dos estudantes nas escolas é alto: qual o sucesso escolar para diferentes condições de gestão, clima escolar, expectativas, atendimentos e práticas pedagógicas? Qual o significado desses resultados para a equidade educacional em nossas escolas? Condições de Eficácia Escolar

58 Aspectos positivos Condições de Eficácia Escolar

59 1.Atitudes e comportamentos relacionados à descentralização da gestão escolar. 2.A prestação de contas da gestão para a comunidade escolar. 3.O reforço às expectativas positivas dos estudantes, ou o alerta ao descompasso entre suas aspirações e seu desempenho. 4.O zelo às condições e equipamentos da escola. 5.Ambiente escolar em que todos se sintam bem é parte do processo. 6.Atenção e compromisso com o aprendizado de todos os alunos. Condições associadas a melhores resultados escolares:

60 Resultados são similares nos diversos sistemas de avaliação considerados e se sustentaram em diferentes contextos de condição socioeconômica, de clima escolar, e de condições pedagógicas na escola. Condições de Eficácia Escolar

61 Aspectos negativos Condições de Eficácia Escolar

62 Ponto negativo: resultados nos afastam de um sistema educacional equânime para os estudantes. As diferenças de sucesso estiveram relacionadas, principalmente, aos contextos de condição socioeconômica favorável, indicando que as atitudes e comportamentos considerados se desenvolvem de modo a reproduzir a desigualdade social através do sistema escolar. Condições de Eficácia Escolar

63 O desafio, então, é incorporar, ao cotidiano da gestão escolar, não somente os elementos favoráveis ao desempenho dos estudantes (melhores condições de clima escolar, de políticas e práticas pedagógicas positivas, políticas e práticas de gestão favoráveis, estímulos às expectativas), mas também refletir como esses elementos se desenvolvem no contexto escolar. O contexto escolar, a partir das características consideradas, beneficiam mais os grupos com bons resultados nos demais índices. Essas dimensões associam-se e garantem uma boa frente para as escolas com as melhores características. Condições de Eficácia Escolar


Carregar ppt "Oficina de Apropriação de Resultados – SISPAE Avaliação em Larga Escala: Conceitos."

Apresentações semelhantes


Anúncios Google