A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

-- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas Filipe Wall Mutz.

Apresentações semelhantes


Apresentação em tema: "-- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas Filipe Wall Mutz."— Transcrição da apresentação:

1 -- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas Filipe Wall Mutz

2 Agenda Motivação Revisão de Literatura A Interface de Correção Componentes do Software Experimentos O Framework Conclusão e Trabalhos Futuros

3 Motivação

4 Para se tornar um bom piloto são necessárias muitas horas de vôo. Para se tornar um aluno eficaz, é necessária muita prática

5 Responsabilidades Burocráticas e Cargos a desempenhar

6 Turmas maiores, com grupos heterogêneos

7 Proposta Criar uma ferramenta para auxiliar o especialista humano a corrigir respostas em menos tempo. Automatização

8 Revisão de Literatura

9 Sistema Online de Atividades de Classificação [1] Disciplina Representação Temática no curso de Biblioteconomia da UFES O Aluno deveria classificar notícias de jornal O sistema corrigia automaticamente as respostas dos alunos

10

11 Alunos motivados a realizarem mais exercícios Identificação de perfis por meio de relatórios gráficos Resultados Nivelamento do Aprendizado na Turma

12

13 Sistema Online de Atividades de Indexação [2] Disciplina Representação Temática II no curso de Biblioteconomia da UFES O aluno deveria preencher quadros de indexação com base na análise sistemática de textos Professor passou a corrigir grupos de respostas.

14

15 Resultados De 7009 respostas, apenas 6 precisaram ser corrigidas manualmente!

16 A Interface de Correção

17

18

19

20

21 10

22

23

24 Componentes do Software

25

26 O Modelo Vetorial de Representação de Documentos Objetivo: transformar textos em vetores (pontos no espaço) Como: Contando a frequência das palavras importantes

27 Resposta 1: Itens de dados como = Entidade, atributo e relacionamento. Resposta 2: Entidades, relacionamentos e atributos. Resposta 3: Entre os elementos de um banco de dados podemos citar: a entidade, o relacionamento e os atributos. Pergunta: Segundo o livro da disciplina, quais são os elementos básicos do modelo ER?

28 Resposta 1: Itens dados Entidade atributo relacionamento Resposta 2: Entidades relacionamentos atributos. Resposta 3: Entre elementos banco dados podemos citar entidade relacionamento atributos.

29 PalavraResposta 1Resposta 2Resposta 3 Atributos111 Banco001 Citar001 Dados101 Elementos001 Entidade111 Itens100 Relacionamentos111

30

31

32 A Seleção da Ordem de Correção Corrigir primeiro respostas que provavelmente possuem notas diferentes Farthest Insertion usando as representações vetoriais das respostas

33 1 23 4

34

35 A Predição de Notas Respostas parecidas terão notas parecidas A Predição é atualizada a cada rodada de correções

36 Nota 10 Nota 0 Nota

37 Pontos de Parada A predição será boa quando se aproximar da nota dada pelo humano Uma variação de nota de mais ou menos 0.5 pontos é imperceptível

38 Nota 10 Nota 0 Nota 5 Nota Estimada: 4.89 Nota Estimada: 7.59 Nota Estimada: 5.63 Erro Médio Estimado: 4.43

39 Experimentos

40 Turma de SGBD da UFES 25 questões e 320 respostas

41 Turma de SGBD da UFES

42 Tempo para correção manual: 5h 18min Tempo com uso do sistema: 54min Economia de 4h e 26min com uma taxa de acerto de 69.43%

43 Turma de Introdução à Computação da Universidade do Norte do Texas 80 questões e 2273 respostas

44 Turma de Introdução à Computação da Universidade do Norte do Texas

45 Tempo para correção manual: 1d 13h 41min Tempo com uso do sistema: 5h 31min Economia de 1d 8h e 21min com uma taxa de acerto de 55.01%

46 Conclusão e Trabalhos Futuros

47 Contribuições Framework para estudo de ferramentas para auxílio à correção de questões com pequenas respostas discursivas Protótipo de ferramenta. Experimentos com bases de dados em português e em inglês.

48 Resultados O protótipo alcançou uma taxa de acerto satisfatória na base de dados em português e uma taxa de acerto baixa na base de dados em inglês Foi verificado que a utilização da ferramenta pode trazer economia de esforço para o especialista humano

49 Trabalhos Futuros Estudo de novos algoritmos de seleção, predição e de parada Estudo da possibilidade de uso das estruturas de similaridade entre as respostas para cálculo das notas Realização de experimentos – Bases de Dados – Ferramentas de Recuperação da Informação

50 Referências 1.OLIVEIRA, M. et al. Uma Metodologia para Avaliação Formativa em um Ambiente de Ensino e Aprendizagem de Classificação em Biblioteconomia. XI ENACIB, OLIVEIRA, M. et al. Uma Tecnologia de Agrupamento de Respostas para Redução de Esforço de Correção de Atividades em Sistema Online de Apoio à Avaliação Formativa em Indexação. Proceedings of XI Encontro Nacional de Pesquisa em Ciência da Informação, 2010.


Carregar ppt "-- PNOTA -- Uma Aplicação para Correção Assistida de Questões Discursivas Filipe Wall Mutz."

Apresentações semelhantes


Anúncios Google