A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Modelo Geral, Novidades e Avaliação Paula Carvalho e Hugo Oliveira Diana Santos, Cláudia Freitas e Cristina Mota Encontro do Segundo HAREM Universidade.

Apresentações semelhantes


Apresentação em tema: "Modelo Geral, Novidades e Avaliação Paula Carvalho e Hugo Oliveira Diana Santos, Cláudia Freitas e Cristina Mota Encontro do Segundo HAREM Universidade."— Transcrição da apresentação:

1 Modelo Geral, Novidades e Avaliação Paula Carvalho e Hugo Oliveira Diana Santos, Cláudia Freitas e Cristina Mota Encontro do Segundo HAREM Universidade de Aveiro, 7 de Setembro de

2 Desafios HAREM clássico (seguindo genericamente o modelo de classificação proposto no Primeiro HAREM, mas refinando algumas distinções, quer ao nível da segmentação das EM quer da sua classificação) Pista para identificação e normalização de expressões temporais (Hagège et al., 2008) Pista ReRelEM, para a identificação de relações semânticas entre EM 2

3 Calendário do HAREM (2007) Primeira chamada para o Segundo HAREM Data-limite para registo no HAREM Data-limite para discussão sobre os moldes do Segundo HAREM Versão preliminar das directivas do Segundo HAREM 3

4 Calendário do HAREM (2008) Directivas finais e material de treino Colecção HAREM Primeira versão da Colecção Dourada Primeira versão da mini-CD do TEMPO e a versão final CD Primeira versão da mini-CD do ReRelEM Versão final da mini-CD do TEMPO Resultados preliminares do HAREM clássico Resultados preliminares da pista do TEMPO Versão final da mini- CD do ReRelEM Resultados da pista ReRelEM Relatórios de desempenho 4

5 Caracterização do HAREM EM em contexto 5 O acordo político quanto à revisão foi obtido durante a Presidência Alemã, tendo cabido a Portugal concluir o processo de revisão. Regressou então a Portugal, onde iniciou meteórica carreira na experimentação de novas formas de expressão Este debate passou completamente ao lado de Portugal «o problema do PSD é começar a ter só um Portugal ou dois dentro de si» Portugal perdeu com a Suíça por 2-0

6 Caracterização do HAREM EM vagas 6 Pela mão do ministro Freitas do Amaral, e sem necessidade alguma, Portugal foi enxovalhado, coberto de vergonha e de cobardia, por um dos mais tristes textos políticos que já alguém escreveu. Mais de 32 mil pessoas poderiam morrer se uma pandemia de gripe humana de origem aviária atingisse Portugal os dois reinos católicos, Portugal e Espanha, partiram à conquista do mundo e tornaram-se Impérios | Impérios marítimos do Novo Mundo

7 Caracterização do HAREM Análises alternativas (ALT) 7 Ambiguidade estrutural : aproximava a Igreja de Inglaterra | Igreja de Inglaterra do calvinismo. Possibilidade de uma expressão poder ser reconhecida como EM, ou não : Portugal e Espanha, partiram à conquista do mundo e tornaram-se Impérios | Impérios marítimos;

8 Novidades no Segundo HAREM Uso extensivo de ALT para representação sistemática da estrutura interna das EM constituídas por outras EM presidente da Câmara de Nova Iorque | presidente da Câmara de Nova Iorque | presidente da Câmara de Nova Iorque 8

9 Novidades no Segundo HAREM ALT sistematicamente aplicados 9 CATEGESTRUTURAEXEMPLO PESSOAPESSOA de LOCAL PESSOA de ORGANIZACAO PESSOA de ORG|LOCAL PESSOA de PESSOA Santo António de Lisboa Presidente do Parlamento Europeu Presidente dos Estados Unidos FCP de José Mourinho ORGANIZACAOORG de LOCAL ORG de ORG Associação Académica de Coimbra Conselho da UE LOCALLOCAL de LOCAL LOCAL de ORGANIZACAO Teatro Scala de Milão Centro de Eventos da Fiergs OBRAOBRA de PESSOA OBRA|LOCAL de LOCAL Sagrada Família de Gaudí Mosteiro de Santa Clara-a-Velha ACONTECIMENTOACONT de LOCAL ACONT de TEMPO Jogos Olímpicos de Barcelona Volta a Espanha de 1985 ABSTRACCAOABSTRACCAO de LOCALBlues do Delta COISACOISA de ORGANIZACAOiPhone da Apple

10 Novidades no Segundo HAREM Não reconhecimento de certas palavras em maiúsculas como EM 10 Quando ocorrem no âmbito de uma unidade lexical composta que não constitui, ela própria, uma EM pastéis de Belém; amêijoas à Bulhão Pato Se os restantes constituintes (grafados em minúscula) dessa unidade lexical integrarem a lista das minúsculas permitidas no âmbito desta avaliação, toda a unidade lexical deverá ser reconhecida como EM doença doença de Chagas

11 Novidades no Segundo HAREM Desaparecimento de algumas EM estruturalmente complexas 11 Moradas (anterior LOCAL CORREIO) Primeiro HAREM: Rua Augusta, nº 5, Lisboa Segundo HAREM: Rua Augusta, nº 5, Lisboa

12 Novidades no Segundo HAREM Desaparecimento de algumas EM estruturalmente complexas 12 Moradas (anterior LOCAL CORREIO) Referências bibliográficas (anterior OBRA PUBLICACAO) Primeiro HAREM: Segundo Calvino 1990 : 121 ), Segundo HAREM: Segundo Calvino ( 1990 : 121),

13 CATEGORIATIPOSUBTIPO ABSTRACCAOESTADO, DISCIPLINA, IDEIA, NOME OUTRO ACONTECIMENTOEFEMERIDE, EVENTO, ORGANIZADO OUTRO COISACLASSE, MEMBROCLASSE, OBJECTO SUBSTANCIA, OUTRO LOCAL FISICO HUMANO VIRTUAL OUTRO AGUACURSO, AGUAMASSA, ILHA, PLANETA, REGIAO, RELEVO, OUTRO CONSTRUCAO, DIVISAO, PAIS, REGIAO, RUA, OUTRO COMSOCIAL, OBRA, SITIO, OUTRO OUTRO OBRAARTE, PLANO, REPRODUZIDA, OUTRO ORGANIZACAO ADMINISTRACAO, EMPRESA, INSTITUICAO, OUTRO PESSOA CARGO, GRUPOCARGO, GRUPOIND, GRUPOMEMBRO, INDIVIDUAL, MEMBRO, POVO, OUTRO TEMPO DURACAO, FREQUENCIA, GENERICO TEMPO_CALEND OUTRO DATA, HORA, INTERVALO, OUTRO VALOR CLASSIFICACAO, MOEDA, QUANTIDADE, OUTRO OUTRO 13 X ESCOLA, OBRA, PLANO X SUB X PERIODO, CICLICO X VARIADO

14 Colecção HAREM 14 Distribuição dos documentos por género na CD DOCS: 1040 Parágrafos: Palavras:

15 CD em números (1) 15 DOCS: 129 Parágrafos: 2274 Palavras: Entidades:7836 Entidades vagas: 633 [52 classes] Distribuição de categorias

16 16 CD em números (2) Categorias associadas às entidades Classes de vagueza (21 mais frequentes)

17 Processo de anotação da CD Anotação da CD, usando o Etiquet(h)arem 17

18 Processo de anotação da CD Comparação automática das anotações, usando o Alinhador Análise e discussão das diferenças encontradas Validação da sintaxe, usando o validador desenvolvido para o efeito Revisão manual da CD Revisão sequencial dos documentos Revisão por categoria Revisão das análises alternativas (ALT) 18

19 Avaliação do HAREM clássico Melhorias em relação ao Primeiro HAREM Contabilização de entidades parcialmente identificadas como incorrectas Possibilidade de avaliação estrita dos ALT Casos conceptualmente distintos, representados de forma diferente: ignorância, certeza de ser diferente, erro Sistematização no tratamento das EM 19

20 Avaliação da classificação semântica N = número de diferentes classificações na CD de acordo com o cenário M = número de classificações espúrias enviadas pelo sistema α, β, γ = pesos das categorias (1), tipos (0.5) e subtipos (0.25) (c, t, st)_certo = 1, se estiver certo; caso contrário, (c, t, st)_certo = 0 (c, t, st)_espuria= 1, se for espuria; caso contrário, (c, t, st)_espuria= 0 20

21 Programas de avaliação do HAREM clássico: entradas … O Tour de França de 2009 | Tour de França de 2009 | Tour de França de 2009 vai começar no Mónaco com um contra-relógio de 15 quilómetros, numa etapa que também terminará no principado monegasco. O início do contra-relógio terá lugar precisamente no mesmo local do local de partida das provas de Fórmula 1. "O prestígio do principado, a filosofia que tem para o desporto e grandes eventos e a localização geográfrica" foram apontados por Christian Prudhomme como justificação para a decisão. … CDHAREM.xml … O Tour de França de 2009 vai começar no Mónaco com um contra- relógio de 15 quilómetros, numa etapa que também terminará no principado monegasco. O início do contra- relógio terá lugar precisamente no mesmo local do local de partida das provas de Fórmula 1. "O prestígio do principado, a filosofia que tem para o desporto e grandes eventos e a localização geográfrica" foram apontados por Christian Prudhomme como justificação para a decisão. participacao.xml

22 DOC Xyz Tour de França de > [ França, de 2009 ] Tour de França ---> [ França ] de > [ de 2009 ] Tour ---> [null] França ---> [ França ] de > [ de 2009 ] Mónaco ---> [ Mónaco ] 15 quilómetros ---> [ 15 quilómetros ] Fórmula 1 ---> [null] Christian Prudhomme ---> [ Christian Prudhomme ] Programas de avaliação do HAREM clássico: Alinhador Alinhador CDHAREM.xml participacao.xml EMs na CD EMs na participação

23 DOC Xyz Tour de França de > [ França, de 2009 ]::[Parcialmente_Correcto_por_Defeito(0.1; 0.9), Parcialmente_Correcto_por_Defeito(0.2; 0.8)] Tour de França ---> [ França ]::[Parcialmente_Correcto_por_Defeito( ; )] de > [ de 2009 ]::[Correcto] Tour ---> [null]::[Em_Falta] França ---> [ França ]::[Correcto] de > [ de 2009 ]::[Correcto] Mónaco ---> [ Mónaco ]::[Correcto] 15 quilómetros ---> [ 15 quilómetros ]::[Correcto] Fórmula 1 ---> [null]::[Em_Falta] Christian Prudhomme ---> [ Christian Prudhomme ]::[Correcto] Programas de avaliação do HAREM clássico: Avaliador de alinhamentos Alinhador CDHAREM.xml participacao.xml Avaliador de alinhamentos EM em falta Alinhamentos classificados como: Correctos, Espurios, Em Falta ou Parcialmente Correctos EMs parcialmente correctas são removidas na próxima fase

24 Tipos de cenário Cenário total: elenco completo de categorias, tipos e subtipos propostos para o Segundo HAREM. Cenário selectivo de avaliação: sub-conjunto de categorias, tipos e subtipos do cenário total que é alvo de avaliação. Cenário selectivo de participação: sub-conjunto de categorias, tipos e subtipos do cenário total que cada participante se propôs a utilizar. 24

25 #LOCAL(FISICO{ILHA,AGUACURSO,PLANETA,REGIAO,OUTRO,RELEVO,AGUAMASSA};HUMANO{PAIS,RUA,DIVISAO,REGIAO,CONSTRUCAO,OUTRO};OUTRO{OUTR O};VIRTUAL{COMSOCIAL,OUTRO,SITIO,OBRA}) DOC Xyz França ---> [ França ]::[Espurio] França ---> [ França ]::[Correcto] Mónaco ---> [ Mónaco ]::[Correcto] Programas de avaliação do HAREM clássico: Véus HAREM Alinhador CDHAREM.xml participacao.xml Avaliador de alinhamentos Véus (HAREM) Dentro desta alternativa, a EM é espúria Alinhamentos filtrados de acordo com o cenário pretendido Remoção de alinhamentos parcialmente correctos

26 #LOCAL(FISICO{ILHA,AGUACURSO,PLANETA,REGIAO,OUTRO,RELEVO,AGUAMASSA};HUMANO{PAIS,RUA,DIVISAO,REGIAO,CONSTRUCAO,OUTRO};OUTRO{OUTR O};VIRTUAL{COMSOCIAL,OUTRO,SITIO,OBRA}) DOC Xyz França ---> [ França ]::[Correcto]^1 Mónaco ---> [ Mónaco ]::[Correcto] Programas de avaliação do HAREM clássico: Organizador de ALTs Organizador de ALTs Alinhador CDHAREM.xml participacao.xml Avaliador de alinhamentos Véus (HAREM) - Remoção de alternativas vazias/duplicadas, surgidas depois da aplicação de véus - Remoção de EMs alinhadas mais do que uma vez dentro do mesmo ALT - Atribuição do peso1/total de ALT a cada EM dentro de um ALT Peso A EM espúria desapareceu porque alinhava correctamente com a alternativa seguinte

27 Programas de avaliação do HAREM clássico: Avaliador semântico #LOCAL(FISICO{ILHA,AGUACURSO,PLANETA,REGIAO,OUTRO,RELEVO,AGUAMASSA};HUMANO{PAIS,RUA,DIVISAO,REGIAO,CONSTRUCAO,OUTRO};OUTRO{OUTR O};VIRTUAL{COMSOCIAL,OUTRO,SITIO,OBRA}) DOC Xyz França ---> [ França ]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[] Espurio:[FISICO] Em_Falta:[HUMANO]) Subtipo(Correcto:[] Espurio:[] Em_Falta:[]) MaxCSC_CD( ) MaxCSC_S( ) CSC(0.875) PALT(1.0)}] Mónaco ---> [ Mónaco ]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[HUMANO] Espurio:[] Em_Falta:[]) Subtipo(Correcto:[PAIS] Espurio:[] Em_Falta:[]) MaxCSC_CD( ) MaxCSC_S( ) CSC( )}] Avaliador semântico Organizador de ALTs Alinhador CDHAREM.xml participacao.xml Avaliador de alinhamentos Véus (HAREM) Precisão Abrangência Medida-F - Avaliação dos atributos semânticos. Classificação máxima da EM na CD Classificação máxima da EM na participação Classificação efectiva Peso ALT

28 Programas de avaliação do HAREM clássico: Selector de ALTs #LOCAL(FISICO{ILHA,AGUACURSO,PLANETA,REGIAO,OUTRO,RELEVO,AGUAMASSA};HUMANO{PAIS,RUA,DIVISAO,REGIAO,CONSTRUCAO,OUTRO};OUTRO{OUTR O};VIRTUAL{COMSOCIAL,OUTRO,SITIO,OBRA}) DOC Xyz França ---> [ França ]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[] Espurio:[FISICO] Em_Falta:[HUMANO]) Subtipo(Correcto:[] Espurio:[] Em_Falta:[]) MaxCSC_CD( ) MaxCSC_S( ) CSC(0.875)}] Mónaco ---> [ Mónaco ]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[HUMANO] Espurio:[] Em_Falta:[]) Subtipo(Correcto:[PAIS] Espurio:[] Em_Falta:[]) MaxCSC_CD( ) MaxCSC_S( ) CSC( )}] Avaliador semântico Organizador de ALTs Alinhador CDHAREM.xml participacao.xml Avaliador de alinhamentos Véus (HAREM) Selector de ALTs Selecção da melhor alternativa (melhor medida-F e melhor classificação) Ficou a única alternativa que existia

29 Participação no Segundo HAREM Manifestações de interesse: 22 Sistemas inscritos: 16 Sistemas participantes: 10 Saídas: 27 (máx. 4 por participante) 29

30 Cenários selectivos de participação SistemaCEN PESORGLOCOBRACOABSCOITEMVAL Cage2Sel2CAT F + HCAT DobrEMPes PorTexTOTemp PriberamTot R3MSel3 REMBRANDTTot REMMASel4C/T SEI-GeoSel5F + H SeRELePTot XIP/L2F/XEROXSel6NORM Identificação Classificação 30 CAT – apenas CATEGORIA C/T – apenas CATEGORIA e TIPO F+H – apenas locais FISICOs e HUMANOs NORM – normalização das expressões temporais

31 Resultados Cenário total com avaliação estrita de ALTs 31

32 Resultados Cenário total com avaliação relaxada de ALTs 32

33 Resultados Cenário próprio com avaliação relaxada de ALTs 33

34 Avaliação por categorias (melhores sistemas) 34 PrecisãoAbrangência Medida-F

35 Agradecimentos A Linguateca e o HAREM são financiados através do contrato nº 339/1.3/C/NAC, financiado pelo governo português e pela União Europeia, e executado pela FCCN. 35


Carregar ppt "Modelo Geral, Novidades e Avaliação Paula Carvalho e Hugo Oliveira Diana Santos, Cláudia Freitas e Cristina Mota Encontro do Segundo HAREM Universidade."

Apresentações semelhantes


Anúncios Google