Avaliação Formativa em Ambientes de EaD Joice Lee Otsuka Heloísa Vieira da Rocha IC e Nied - Unicamp

Estrutura Avaliação Formativa Relatos de Experiências Pesquisas Relacionadas Avaliação Formativa no TelEduc Suporte Atual Relato de Experiência Modelo de Suporte à Avaliação Formativa Considerações Finais 20/09/2018

Avaliação Três formas principais [Hadji 1989] Avaliação Prognóstica: precede a ação de formação Avaliação Somativa: ocorre depois da ação de formação Avaliação Formativa: está no centro da ação de formação Passando para o segundo domínio do trabalho, vamos falar um pouco sobre Avaliação: Existem 3 formas principais de avaliação: Prognóstico: que visa o ajuste recíproco aprendia/programa Somativa/Cumulativa: verificar a aprendizagem (certificação) Formativa: visa contribuir para uma boa regulação do processo de ensino-aprendizagem 20/09/2018

Avaliação Formativa “Avaliação contínua que visa auxiliar o aluno a aprender e a se desenvolver”. [Perrenoud 1999] Avaliação que possui função informativa e reguladora tanto para o professor quanto para o aprendiz. [Hadji 2001] Contínua – ao longo de todo o processo de ensino e aprendizagem Com o objetivo de auxiliar o aluno Observação formativa – busca de informações úteis à regulação do processo de ensino-aprendizagem “Avaliação formativa implica, por parte do professor, flexibilidade e vontade de adaptação, ajuste.” [Hadji 2001] 20/09/2018

Por meio da Avaliação Formativa Avaliação em EaD Três formas principais: Presencial Por meio de testes objetivos Por meio do acompanhamento contínuo No escopo da EaD temos 3 formas principais de avaliação - presencial - por meio de testes objetivos, sendo que há um grande número de pesquisas já desenvolvidas na área de suporte à geração e análise de testes objetivos - por meio do acompanhamento contínuo da atuação do aluno no ambiente de curso a distância (encontramos algumas pesquisas preocupadas em auxiliar o formador na análise das interações, no extração de padrões de comportamento e no acompanhamento do comportamento do aluno no curso) - o enfoque deste trabalho é no suporte à avaliação contínua, mais especificamente queremos apoiar a avaliação formativa que é um caso particular de avaliação contínua, na qual além do acompanhamento contínuo, temos a orientação contínua do processo de aprendizagem em busca de uma boa regulação desse processo. Por meio da Avaliação Formativa Acompanhamento e orientação (feedback) contínua do processo de aprendizagem 20/09/2018

Relatos de Experiências Diferentes ambientes de EaD têm apoiado a avaliação formativa exploração das ferramentas de comunicação acompanhamento dos registros das interações sobrecarga dos formadores alto custo 20/09/2018

Pesquisas Relacionadas Uso da tecnologia de agentes Análise das interações [Jacques 2000] Monitoração e detecção de problemas [Musa et al 2001] Mineração de Dados Extração de padrões de comportamento[Silva et al. 2001] [Zaïane 2001] 20/09/2018

Avaliação Formativa no TelEduc Material de Apoio InterMap Leituras Acessos ATIVIDADES Portfólio O TelEduc foi concebido tendo a ferramenta ATIVIDADES como elemento central do ambiente, enfatizando a aprendizagem a partir da resolução de problemas. O desenvolvimento das atividades propostas são apoiadas por um conjunto de ferramentas de disponibilização de material de apoio e comunicação e acompanhamento de dados quantitativos da participação do aprendiz no curso. Diário Fórum Bate-Papo Correio Mural 20/09/2018

Atividades 20/09/2018

Portfólio 20/09/2018

Acessos 20/09/2018

InterMap 20/09/2018

Relato de Experiência Projeto Proinesp Capacitação de professores Informática na educação especial Atendimento a professores de todas as regiões do Brasil 1a edição: 8 turmas de 24 alunos 2a edição: 18 turmas de 24 alunos 3 formadores por turma 20/09/2018

Relato de Experiência Projeto Proinesp Metodologia abordagem construcionista construção do conhecimento contextualizado no local de trabalho do aprendiz descontextualização por meio do compartilhamento dos conhecimentos avaliação formativa do processo de ensino-aprendizagem 20/09/2018

Relato de Experiência Projeto Proinesp Atividades desenvolvidas Projetos Discussões on line Fórum de Discussões Seminário Virtual Bate-Papo Relatos 20/09/2018

Relato de Experiência Projeto Proinesp Reflexões sobre a avaliação formativa em EaD Vantagem Toda a atuação do aprendiz no ambiente pode ser registrada para posterior análise Dificuldade Sobrecarga do formador  Alto custo A grande vantagem da EaD mediada por computadores é a possibilidade de se registrar toda a atuação dos aprendizes no ambiente, para posterior análise. A avaliação formativa requer uma observação formativa, que consiste em rastrear ... Orientar ... Gerando uma grande sobrecarga do formador (como pudemos observar em experiências em situação real de curso a distância usando esta abordagem de avaliação) e consequentemente um alto cuso 20/09/2018

Relato de Experiência Projeto Proinesp Reflexões (cont.) Principais tarefas do formador planejamento das atividades acompanhamento dos aprendizes análise das participações análise de aproveitamento detecção de possíveis problemas orientação das aprendizagens- feedback 20/09/2018

Modelo de suporte à avalição formativa Suporte flexível Acompanhamento das interações e avaliações Busca de informações relevantes Detecção de possíveis problemas Auxílio na definição dinâmica de critérios de avaliação Construção dinâmica do profile e do histórico de aprendizagem do aluno Geração de feedback para o aluno 20/09/2018

Modelo Proposto Arquitetura baseada em Agentes de Interface Agentes de Avaliação Agentes de Acompanhamento Agente de Desempenho 20/09/2018

Arquitetura baseada em Agentes  Agente de Desempenho ...       Um agente de avaliação e um agente de acompanhamento em cada ferramenta de comunicação Um agente de desempenho recebendo dados dos agentes locais de cada ferramenta Ag Aval Ag Acomp Ag Aval Ag Acomp Ag Aval Ag Acomp ... Ferramenta de Comunicação n Fórum Bate-Papo 20/09/2018

Agente de Avaliação  Observa e aprende os critérios de avaliação do Formador Auxilia na geração de feedback para o aprendiz sobre a avaliação de seu desenvolvimento Auxilia na avaliação de critérios não subjetivos Agente de Avaliação  Formador Observação, interação Cada ferramenta de comunicação deverá possuir uma interface de avaliação (para o formador registrar a avaliação do aluno em atividades desenvolvidas na ferramenta). O agente avaliação atua observando os critérios considerados pelo formador em suas avaliações na ferramenta em questão (alguns destes critérios podem ter sido definidos durante a criação da atividade), os quais devem poder variar dinamicamente, de acordo com as necessidades de ajuste intrínsicos do processo de avaliação formativa. Este agente auxilia na geração de feedback ao aluno sobre o seu desempenho em atividades desenvolvidas, conforme os critérios identificados. Estes agentes tbem poderão auxiliar o formador na avaliação de critérios não subjetivos( como número de msgs postadas, distribuição das mensagens postadas, etc) Interface de Avaliação Ferramenta de Comunicação 20/09/2018

Agente de Acompanhamento  Monitoramento dos aprendizes Acompanhamento do aprendiz em relação aos critérios de avaliação Identificação de possíveis problemas Auxilia na geração de feedback para o aprendiz sobre a sua participação Formador Relatório de Acompanhamento, Possíveis Problemas  Agente de Acompanhamento Este agente atua em parceria com o agente de avaliação. O agente de avaliação aprende os critérios de avaliação e o agente de acompanhamento monitora os registros de interações e de avaliações em busca e fornece dados relevantes à avaliação (de acordo com os critérios de avaliação considerados pelo formador) Este agente auxilia na identificação de problemas (critérios que não estão sendo atendidos satisfatoriamente) Auxilia tbem na geração de feedback ao aluno, informando sobre possíveis problemas. Acompanhamento, feedback Ferramenta de Comunicação Aprendizes 20/09/2018

Agente de Desempenho  ...    ... Visão geral do desempenho do aprendiz no curso Construção do Profile dos aprendizes Histórico do desenvolvimento dos aprendizes Formador  Agente de Desempenho Aprendizes ... Este agente recebe os dados coletados pelos agentes locais de cada ferramenta de comunicação e consolidam estes dados gerando uma visão geral do desempenho do aprendiz no curso e a criação do profile e histórico do aprendiz: - Profile do aprendiz - Histórico do aprendiz    Agentes de Avaliação e Acompanhamento Agentes de Avaliação e Acompanhamento Agentes de Avaliação e Acompanhamento ... Ferramenta de Comunicação 1 Ferramenta de Comunicação 2 Ferramenta de Comunicação 1 Ferramenta de Comunicação n 20/09/2018

Pesquisas Paralelas Uso de Agentes de Interface para o suporte à análise de sessões de bate-papo Ricardo Luís Lachi – ricardo_lachi@yahoo.com.br Modelo para prover o registro e recuperação de avaliações Thaisa Barbosa Ferreira – ethaisa@bol.com.br Ferramenta de Apoio à Avaliação Objetiva Carmen E. Freitas - carmen.freitas@ic.unicamp.br 20/09/2018

Considerações Finais Direções das pesquisas do grupo TelEduc exploração dos registros das interações e avaliações dos aprendizes ao longo do curso exploração da tecnologia de agentes de interface suporte flexível - adaptação aos interesses do formador ao longo do curso compartilhamento de “know how” entre agentes de diferentes formadores Falar do diferencial da pesquisa: prover suporte flexível (necessário no contexto da avaliação formativa) - ênfase na observação formativa de tudo o que acontece no curso a distância (por meio da análise dos registros das interações e avaliações) - ênfase na geração de feedback (colocar uma transparêcia sobre isso??) 20/09/2018

Joice Lee Otsuka joice@ic.unicamp.br Dúvidas ? Joice Lee Otsuka joice@ic.unicamp.br