NILC - Brasil Avaliação de Corretores Gramaticais Quanto aos Critérios Gerais de Avaliação: (1) Adequação (adequacy evaluation): considera-se o contexto.

Apresentação em tema: "NILC - Brasil Avaliação de Corretores Gramaticais Quanto aos Critérios Gerais de Avaliação: (1) Adequação (adequacy evaluation): considera-se o contexto."— Transcrição da apresentação:

1 NILC - Brasil Avaliação de Corretores Gramaticais Quanto aos Critérios Gerais de Avaliação: (1) Adequação (adequacy evaluation): considera-se o contexto de uso, de acordo com o usuário-alvo. - Tempo de resposta; - Forma de interação; - Adequação do diagnóstico e das sugestões; - Etc.

2 NILC - Brasil Avaliação de Corretores Gramaticais (2) Diagnóstico (diagnostic evaluation): Visa identificar limitações, erros e deficiências: feita por desenvolvedores. - Nível computacional: o sistema roda? trava? - Nível operacional: ordem das sugestões - Nível ling.-computacional: (a) Em que medida o sistema intervém adequadamente? - % de verdadeiros positivos (intervém corretamente) - % de verdadeiros negativos (não intervém quando não deveria) - % de falsos positivos (intervém quando não deveria) - % de falsos negativos (não intervém quando deveria)

3 NILC - Brasil Avaliação de Corretores Gramaticais (b) Quais as causas dos falsos positivos e falsos negativos? - limitações do parser e/ou tagger e/ou dicionário? - ambiguidade léxica ou sintática? - falta de consenso quanto à norma? - falta de informação semântica? - limitações de abrangência (tipo de erro não tratado?)

4 NILC - Brasil Avaliação de Corretores Gramaticais (3) Desempenho (performance evaluation): avaliação dos custos computacionais de processamento: uso de memória e tempo de execução versus recursos e técnicas utilizadas.

5 NILC - Brasil Avaliação de Corretores Gramaticais Recursos para o Diagnóstico: - Corpus anotado de sentenças com e sem erros, que seja representativo, autêntico e balanceado quanto à frequência dos erros. - Tagset para a marcação do corpus. - Ferramenta para avaliação automática. Desafios: - Construção do corpus marcado; - Análise qualitativa das causas de mau desempenho.

6 NILC - Brasil Avaliação de Corretores Gramaticais Desafios para a Avaliação Conjunta: - Definição do tagset: dependente do conjunto de erros tratados; - Construção do corpus: balanceamento depende da frequência relativa, da tipologia e gênero textual (diferenças no caso de Brasil e Portugal?)

7 NILC - Brasil Avaliação de Corretores Gramaticais Avaliação do ReGra (Office 2000 e XP): Corpus etiquetado e formado de 11.624 sentenças reunidas de forma aleatória; 2.626 (22,5%) apresentam pelo menos um desvio em relação à norma-padrão da língua portuguesa, de acordo com a tipologia de problemas proposta pela ferramenta.