UNICAMP Universidade Estadual de Campinas Instituto de Computação Uso de agentes de interface para auxiliar a avaliação formativa no ambiente TelEduc Ricardo Luís Lachi Joice Lee Otsuka Heloisa Vieira da Rocha

Tópicos Introdução Pesquisas em andamento Agente de seleção construído Avaliação formativa Pesquisas em andamento Suporte a avaliação formativa no ambiente TelEduc Agente de seleção construído Processo de aprendizagem Considerações finais

Introdução Avaliação formativa: Cursos a distância: Contínua Atua diretamente no processo de ensino-aprendizagem Cursos a distância: maior percepção do comportamento e desempenho do aluno autenticação da identidade do aluno: familiarização com o estilo e habilidades do mesmo

Análise demanda muito trabalho e tempo do professor Introdução Ambientes de EaD Compostos de diversas ferramentas de comunicação Todas as interações das ferramentas são registradas Extrair dados relevantes para a avaliação formativa Análise demanda muito trabalho e tempo do professor

Pesquisas em andamento Projetos do grupo TelEduc (escopo avaliação): Desenvolvimento de uma Ferramenta de suporte à Avaliação em Ambientes de Ensino a Distância thaisa.ferreira@ic.unicamp.br Desenvolvimento de uma Ferramenta de Testes Objetivos para Ambientes Computacionais de EaD carmen.freitas@ic.unicamp.br

Pesquisas em andamento O uso de agentes de interface no gerenciamento de informações em ambientes de EaD ricardo.lachi@ic.unicamp.br Um Modelo Baseado em Agentes de Interface para o Suporte à Avaliação Formativa em Ambientes de Educação a Distância joice@ic.unicamp.br

Pesquisas em andamento Utilização de agentes de interface: Aprendem observando e monitorando as ações dos usuários em uma interface, atuando como assistentes pessoais, colaborando com o usuário (Maes, 1995) Agente desenvolvido: Uma ferramenta baseada em agentes de interface, desenvolvida para diminuir a sobrecarga do professor na análise de registros de sessões bate-papo do TelEduc

Agente de interface construído Há inúmeras ferramentas de comunicação no TelEduc Construiu-se o agente focando a ferramenta de bate-papo É a ferramenta mais desestruturada dentre todas as existentes. Nas outras é possível algum tipo de estruturação

Ex.: no Fórum de Discussões é possível organizar as mensagens por tópicos

Descrição do problema Descrição do problema especificamente para a ferramenta de bate-papo: selecionar um conjunto de mensagens de uma sessão de bate-papo registrada no ambiente TelEduc que seja relevante para um determinado professor

Agente construído Processo de aprendizagem Inicialmente, é apresentado o registro de uma sessão de bate-papo ao usuário Não há nenhum dado na base de conhecimentos do agente O agente vai observar o usuário selecionando as mensagens Agente construído Processo de aprendizagem Tabela Status das mensagens mensagens

Agente construído Processo de aprendizagem Etapa 1: O usuário deverá selecionar o conjunto de mensagens que considera relevantes Clicando no link de status correspondente à mensagem que quer selecionar

Agente construído Processo de aprendizagem Ao clicar em uma mensagem para selecioná-la é aberta uma janela com os motivos que o usuário pode indicar como causa da seleção da mensagem

Agente construído Processo de aprendizagem Opções de seleção: Mensagem selecionada Opções de seleção: Remetente Entonação da fala Destinatário

Agente construído Processo de aprendizagem Palavras selecionadas da mensagem É apresentada a mensagem inteira Verificado se a palavra selecionada realmente consta na mensagem original (não foi alterada pelo usuário)

Agente construído Processo de aprendizagem A forma de relacionamento entre as palavras selecionadas Opções: Confirmar a seleção da mensagem Não confirmar a seleção da mensagem

Agente construído Processo de aprendizagem Mensagem foi selecionada: Cor de fundo da mensagem alterada Legenda indicando o número de mensagens selecionadas pelo usuário

Essa etapa 1 é denominada aprendizagem por observação Agente construído Processo de aprendizagem Fim da Etapa 1: seleção de uma mensagem por parte do usuário Ao final dessa etapa o agente armzenou os dados selecionados em sua base de conhecimentos Essa etapa 1 é denominada aprendizagem por observação

Agente construído Processo de aprendizagem E assim continua sucessivamente: O usuário vai selecionando as mensagens que considera interessantes até o momento em que resolve pedir para o agente selecionar as mensagens para ele

Técnica de classificação Bayesiana Agente construído Análise do agente Calcula uma probabilidade com base na freqüência das palavras presentes na base de conhecimentos Técnica de classificação Bayesiana Decide se seleciona ou Não uma mensagem P a l v r 1 2 3 m I n h Base de conhecimentos

Agente construído Interface O agente apresenta um conjunto de mensagens que analisou e considerou relevantes para o usuário com base nos dados que possui armazenados na sua base de conhecimentos Interface Nº mensagens selecionadas pelo usuário Nº mensagens selecionadas pelo agente Mensagem selecionada pelo usuário Mensagem selecionada pelo agente

Agente construído Processo de aprendizagem A partir desse momento, o usuário pode refinar a seleção apresentada pelo agente Etapa 2: O usuário refina a seleção apresentada pelo agente !

Agente construído Processo de aprendizagem Opções de seleção: Participante que selecionou a mensagem Opções de seleção: Remetente Entonação da fala Destinatário

Palavras que foram indicadas anteriormente pelo usuário Agente construído Processo de aprendizagem Palavras que foram indicadas anteriormente pelo usuário

Agente construído Processo de aprendizagem A essa etapa 2 é dado o nome de aprendizagem via feedback direto do usuário Pode-se pedir para o agente analisar novamente a sessão e assim segue o processo: usuário refina, agente re-analisa, usuário refina, agente re-analisa, ...

Considerações finais Grupo TelEduc (escopo avaliação): Testes preliminares apontam resultados positivos: Entre 65% a 75% das mensagens selecionadas pelo agente são relevantes para o usuário Pode ser estendido às outras ferramentas de comunicação Grupo TelEduc (escopo avaliação): Prover suporte ao professor na identificação, seleção e análise de dados relevantes à avaliação formativa

Contatos E-mails para contato: Ricardo Luís Lachi: ricardo.lachi@ic.unicamp.br Joice Lee Otsuka: joice@ic.unicamp.br Heloisa Vieira da Rocha: heloisa@ic.unicamp.br Grupo de pesquisa TelEduc: http://www.nied.unicamp.br/~grupoteleduc Ambiente TelEduc: http://teleduc.nied.unicamp.br