-- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas Filipe Wall Mutz

Agenda Motivação Revisão de Literatura A Interface de Correção Componentes do Software Experimentos O Framework Conclusão e Trabalhos Futuros

Motivação

“Para se tornar um bom piloto são necessárias muitas horas de vôo.” Para se tornar um aluno eficaz, é necessária muita prática

Responsabilidades Burocráticas e Cargos a desempenhar

Turmas maiores, com grupos heterogêneos

Proposta Criar uma ferramenta para auxiliar o especialista humano a corrigir respostas em menos tempo. Falar que as vantagens da Automatização

Revisão de Literatura

Sistema Online de Atividades de Classificação [1] Disciplina Representação Temática no curso de Biblioteconomia da UFES O Aluno deveria classificar notícias de jornal O sistema corrigia automaticamente as respostas dos alunos

Resultados Alunos motivados a realizarem mais exercícios Identificação de perfis por meio de relatórios gráficos Nivelamento do Aprendizado na Turma

Sistema Online de Atividades de Indexação [2] Disciplina Representação Temática II no curso de Biblioteconomia da UFES O aluno deveria preencher quadros de indexação com base na análise sistemática de textos Professor passou a corrigir grupos de respostas.

precisaram ser corrigidas manualmente! Resultados De 7009 respostas, apenas 6 precisaram ser corrigidas manualmente!

A Interface de Correção

10 10 10

Componentes do Software

O Modelo Vetorial de Representação de Documentos Objetivo: transformar textos em vetores (pontos no espaço) Como: Contando a frequência das palavras importantes

Pergunta: “Segundo o livro da disciplina, quais são os elementos básicos do modelo ER?” Resposta 1: “Itens de dados como = Entidade, atributo e relacionamento.” Resposta 2: “Entidades, relacionamentos e atributos.” Resposta 3: “Entre os elementos de um banco de dados podemos citar: a entidade, o relacionamento e os atributos.”

Resposta 1: “Itens dados Entidade atributo relacionamento” Resposta 2: “Entidades relacionamentos atributos.” Resposta 3: “Entre elementos banco dados podemos citar entidade relacionamento atributos.”

Palavra Resposta 1 Resposta 2 Resposta 3 Atributos 1 Banco Citar Dados Elementos Entidade Itens Relacionamentos

A Seleção da Ordem de Correção Corrigir primeiro respostas que provavelmente possuem notas diferentes Farthest Insertion usando as representações vetoriais das respostas

1 4 3 2

1 4 7 9 5 8 3 2 6

A Predição de Notas Respostas parecidas terão notas parecidas A Predição é atualizada a cada rodada de correções

Nota 10 8.40 4.90 5.78 2.39 3.70 Nota 5 3.55 Nota 0

Pontos de Parada A predição será boa quando se aproximar da nota dada pelo humano Uma variação de nota de mais ou menos 0.5 pontos é imperceptível

Erro Médio Estimado: 4.43 Nota Estimada: 4.89 Nota 10 Nota 5 Nota 0

Experimentos

Turma de SGBD da UFES 25 questões e 320 respostas

Turma de SGBD da UFES

Economia de 4h e 26min com uma taxa de acerto de 69.43% Turma de SGBD da UFES Tempo para correção manual: 5h 18min Tempo com uso do sistema: 54min Economia de 4h e 26min com uma taxa de acerto de 69.43%

Turma de Introdução à Computação da Universidade do Norte do Texas 80 questões e 2273 respostas

Turma de Introdução à Computação da Universidade do Norte do Texas

Turma de Introdução à Computação da Universidade do Norte do Texas Tempo para correção manual: 1d 13h 41min Tempo com uso do sistema: 5h 31min Economia de 1d 8h e 21min com uma taxa de acerto de 55.01%

Conclusão e Trabalhos Futuros

Contribuições Framework para estudo de ferramentas para auxílio à correção de questões com pequenas respostas discursivas Protótipo de ferramenta. Experimentos com bases de dados em português e em inglês.

Resultados O protótipo alcançou uma taxa de acerto satisfatória na base de dados em português e uma taxa de acerto baixa na base de dados em inglês Foi verificado que a utilização da ferramenta pode trazer economia de esforço para o especialista humano

Trabalhos Futuros Estudo de novos algoritmos de seleção, predição e de parada Estudo da possibilidade de uso das estruturas de similaridade entre as respostas para cálculo das notas Realização de experimentos Bases de Dados Ferramentas de Recuperação da Informação

Referências OLIVEIRA, M. et al. Uma Metodologia para Avaliação Formativa em um Ambiente de Ensino e Aprendizagem de Classificação em Biblioteconomia. XI ENACIB, 2008. OLIVEIRA, M. et al. Uma Tecnologia de Agrupamento de Respostas para Redução de Esforço de Correção de Atividades em Sistema Online de Apoio à Avaliação Formativa em Indexação. Proceedings of XI Encontro Nacional de Pesquisa em Ciência da Informação, 2010.