-- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas Filipe Wall Mutz.

Apresentação em tema: "-- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas Filipe Wall Mutz."— Transcrição da apresentação:

1 -- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas
Filipe Wall Mutz

2 Agenda Motivação Revisão de Literatura A Interface de Correção
Componentes do Software Experimentos O Framework Conclusão e Trabalhos Futuros

3 Motivação

4 “Para se tornar um bom piloto são necessárias muitas horas de vôo.”
Para se tornar um aluno eficaz, é necessária muita prática

5 Responsabilidades Burocráticas e Cargos a desempenhar

6 Turmas maiores, com grupos heterogêneos

7 Proposta Criar uma ferramenta para auxiliar o especialista humano a corrigir respostas em menos tempo. Falar que as vantagens da Automatização

8 Revisão de Literatura

9 Sistema Online de Atividades de Classificação [1]
Disciplina Representação Temática no curso de Biblioteconomia da UFES O Aluno deveria classificar notícias de jornal O sistema corrigia automaticamente as respostas dos alunos

10

11 Resultados Alunos motivados a realizarem mais exercícios
Identificação de perfis por meio de relatórios gráficos Nivelamento do Aprendizado na Turma

12

13 Sistema Online de Atividades de Indexação [2]
Disciplina Representação Temática II no curso de Biblioteconomia da UFES O aluno deveria preencher quadros de indexação com base na análise sistemática de textos Professor passou a corrigir grupos de respostas.

14

15 precisaram ser corrigidas manualmente!
Resultados De 7009 respostas, apenas 6 precisaram ser corrigidas manualmente!

16 A Interface de Correção

17

18

19

20

21 10 10 10

22

23

24 Componentes do Software

25

26 O Modelo Vetorial de Representação de Documentos
Objetivo: transformar textos em vetores (pontos no espaço) Como: Contando a frequência das palavras importantes

27 Pergunta: “Segundo o livro da disciplina, quais são os elementos básicos do modelo ER?”
Resposta 1: “Itens de dados como = Entidade, atributo e relacionamento.” Resposta 2: “Entidades, relacionamentos e atributos.” Resposta 3: “Entre os elementos de um banco de dados podemos citar: a entidade, o relacionamento e os atributos.”

28 Resposta 1: “Itens dados Entidade atributo relacionamento”
Resposta 2: “Entidades relacionamentos atributos.” Resposta 3: “Entre elementos banco dados podemos citar entidade relacionamento atributos.”

29 Palavra Resposta 1 Resposta 2 Resposta 3 Atributos 1 Banco Citar Dados Elementos Entidade Itens Relacionamentos

30

31

32 A Seleção da Ordem de Correção
Corrigir primeiro respostas que provavelmente possuem notas diferentes Farthest Insertion usando as representações vetoriais das respostas

33 1 4 3 2

34 1 4 7 9 5 8 3 2 6

35 A Predição de Notas Respostas parecidas terão notas parecidas
A Predição é atualizada a cada rodada de correções

36 Nota 10 8.40 4.90 5.78 2.39 3.70 Nota 5 3.55 Nota 0

37 Pontos de Parada A predição será boa quando se aproximar da nota dada pelo humano Uma variação de nota de mais ou menos 0.5 pontos é imperceptível

38 Erro Médio Estimado: 4.43 Nota Estimada: 4.89 Nota 10 Nota 5 Nota 0

39 Experimentos

40 Turma de SGBD da UFES 25 questões e 320 respostas

41 Turma de SGBD da UFES

42 Economia de 4h e 26min com uma taxa de acerto de 69.43%
Turma de SGBD da UFES Tempo para correção manual: 5h 18min Tempo com uso do sistema: 54min Economia de 4h e 26min com uma taxa de acerto de 69.43%

43 Turma de Introdução à Computação da Universidade do Norte do Texas
80 questões e 2273 respostas

44 Turma de Introdução à Computação da Universidade do Norte do Texas

45 Turma de Introdução à Computação da Universidade do Norte do Texas
Tempo para correção manual: 1d 13h 41min Tempo com uso do sistema: 5h 31min Economia de 1d 8h e 21min com uma taxa de acerto de 55.01%

46 Conclusão e Trabalhos Futuros

47 Contribuições Framework para estudo de ferramentas para auxílio à correção de questões com pequenas respostas discursivas Protótipo de ferramenta. Experimentos com bases de dados em português e em inglês.

48 Resultados O protótipo alcançou uma taxa de acerto satisfatória na base de dados em português e uma taxa de acerto baixa na base de dados em inglês Foi verificado que a utilização da ferramenta pode trazer economia de esforço para o especialista humano

49 Trabalhos Futuros Estudo de novos algoritmos de seleção, predição e de parada Estudo da possibilidade de uso das estruturas de similaridade entre as respostas para cálculo das notas Realização de experimentos Bases de Dados Ferramentas de Recuperação da Informação

50 Referências OLIVEIRA, M. et al. Uma Metodologia para Avaliação Formativa em um Ambiente de Ensino e Aprendizagem de Classificação em Biblioteconomia. XI ENACIB, 2008. OLIVEIRA, M. et al. Uma Tecnologia de Agrupamento de Respostas para Redução de Esforço de Correção de Atividades em Sistema Online de Apoio à Avaliação Formativa em Indexação. Proceedings of XI Encontro Nacional de Pesquisa em Ciência da Informação, 2010.