Encontro do Segundo HAREM

Encontro do Segundo HAREM
Modelo Geral, Novidades e Avaliação Paula Carvalho e Hugo Oliveira Diana Santos, Cláudia Freitas e Cristina Mota Encontro do Segundo HAREM Universidade de Aveiro, 7 de Setembro de 2008

Desafios HAREM clássico (seguindo genericamente o modelo de classificação proposto no Primeiro HAREM, mas refinando algumas distinções, quer ao nível da segmentação das EM quer da sua classificação) Pista para identificação e normalização de expressões temporais (Hagège et al., 2008) Pista ReRelEM, para a identificação de relações semânticas entre EM

Calendário do HAREM (2007) Data-limite para registo no HAREM
Versão preliminar das directivas do Segundo HAREM Primeira chamada para o Segundo HAREM Data-limite para discussão sobre os moldes do Segundo HAREM

Encontro do Segundo HAREM
Calendário do HAREM (2008) Primeira versão da mini-CD do TEMPO e a versão final CD Primeira versão da mini-CD do ReRelEM Versão final da mini-CD do TEMPO Resultados preliminares do HAREM clássico Resultados preliminares da pista do TEMPO Directivas finais e material de treino Primeira versão da Colecção Dourada Colecção HAREM Resultados da pista ReRelEM Relatórios de desempenho Encontro do Segundo HAREM Versão final da mini-CD do ReRelEM

Caracterização do HAREM
EM em contexto Regressou então a Portugal, onde iniciou meteórica carreira na experimentação de novas formas de expressão O acordo político quanto à revisão foi obtido durante a Presidência Alemã , tendo cabido a Portugal concluir o processo de revisão. Este debate passou completamente ao lado de Portugal «o problema do PSD é começar a ter só um Portugal ou dois dentro de si» Portugal perdeu com a Suíça por 2-0

EM vagas Pela mão do ministro Freitas do Amaral, e sem necessidade alguma, Portugal foi enxovalhado, coberto de vergonha e de cobardia, por um dos mais tristes textos políticos que já alguém escreveu. Mais de 32 mil pessoas poderiam morrer se uma pandemia de gripe humana de origem aviária atingisse Portugal os dois reinos católicos, Portugal e Espanha, partiram à conquista do mundo e tornaram-se <ALT> Impérios | Impérios </ALT> marítimos do Novo Mundo

Análises alternativas (ALT) Ambiguidade estrutural: aproximava a <ALT> Igreja de Inglaterra | Igreja de Inglaterra </ALT> do calvinismo. Possibilidade de uma expressão poder ser reconhecida como EM, ou não: Portugal e Espanha, partiram à conquista do mundo e tornaram-se <ALT> Impérios | Impérios </ALT> marítimos;

Novidades no Segundo HAREM
Uso extensivo de ALT para representação sistemática da estrutura interna das EM constituídas por outras EM <ALT> presidente da Câmara de Nova Iorque | presidente da Câmara de Nova Iorque Câmara de Nova Iorque </ALT>

ALT sistematicamente aplicados CATEG ESTRUTURA EXEMPLO PESSOA PESSOA de LOCAL PESSOA de ORGANIZACAO PESSOA de ORG|LOCAL PESSOA de PESSOA Santo António de Lisboa Presidente do Parlamento Europeu Presidente dos Estados Unidos FCP de José Mourinho ORGANIZACAO ORG de LOCAL ORG de ORG Associação Académica de Coimbra Conselho da UE LOCAL LOCAL de LOCAL LOCAL de ORGANIZACAO Teatro Scala de Milão Centro de Eventos da Fiergs OBRA OBRA de PESSOA OBRA|LOCAL de LOCAL Sagrada Família de Gaudí Mosteiro de Santa Clara-a-Velha ACONTECIMENTO ACONT de LOCAL ACONT de TEMPO Jogos Olímpicos de Barcelona Volta a Espanha de 1985 ABSTRACCAO ABSTRACCAO de LOCAL Blues do Delta COISA COISA de ORGANIZACAO iPhone da Apple

Não reconhecimento de certas palavras em maiúsculas como EM Quando ocorrem no âmbito de uma unidade lexical composta que não constitui, ela própria, uma EM pastéis de Belém; amêijoas à Bulhão Pato Se os restantes constituintes (grafados em minúscula) dessa unidade lexical integrarem a lista das minúsculas permitidas no âmbito desta avaliação, toda a unidade lexical deverá ser reconhecida como EM doença de Chagas Criar uma animação que mostre as diferenças de identificação/classificação destas expressões nas duas avaliações.

Desaparecimento de algumas EM estruturalmente complexas Moradas (anterior LOCAL CORREIO) Primeiro HAREM: Rua Augusta, nº 5 , Lisboa Segundo HAREM: Rua Augusta, nº 5, Lisboa

Desaparecimento de algumas EM estruturalmente complexas Moradas (anterior LOCAL CORREIO) Referências bibliográficas (anterior OBRA PUBLICACAO) Primeiro HAREM: Segundo Calvino 1990 : 121), Segundo HAREM: Segundo Calvino ( 1990 : 121),

CATEGORIA TIPO SUBTIPO X ESCOLA, OBRA, PLANO X SUB X PERIODO, CICLICO
ABSTRACCAO ESTADO, DISCIPLINA, IDEIA, NOME OUTRO ACONTECIMENTO EFEMERIDE, EVENTO, ORGANIZADO COISA CLASSE, MEMBROCLASSE, OBJECTO SUBSTANCIA, OUTRO LOCAL FISICO HUMANO VIRTUAL AGUACURSO, AGUAMASSA, ILHA, PLANETA, REGIAO, RELEVO, OUTRO CONSTRUCAO, DIVISAO, PAIS, REGIAO, RUA, OUTRO COMSOCIAL, OBRA, SITIO, OUTRO OBRA ARTE, PLANO, REPRODUZIDA, OUTRO ORGANIZACAO ADMINISTRACAO, EMPRESA, INSTITUICAO, OUTRO PESSOA CARGO, GRUPOCARGO, GRUPOIND, GRUPOMEMBRO, INDIVIDUAL, MEMBRO, POVO, OUTRO TEMPO DURACAO, FREQUENCIA, GENERICO TEMPO_CALEND DATA, HORA, INTERVALO, OUTRO VALOR CLASSIFICACAO, MOEDA, QUANTIDADE, OUTRO X ESCOLA, OBRA, PLANO X SUB Marcar as EMs q foram pedidas pelos participantes X PERIODO, CICLICO X VARIADO

Colecção HAREM DOCS: 1040 Parágrafos: 15737 Palavras: 670610
Sem ter em conta nem a vagueza nem as análises alternativas (tlz a fig. Tenha de ser modificada) Distribuição dos documentos por género na CD

CD em números (1) DOCS: 129 Parágrafos: 2274 Palavras: 147991
Entidades: 7836 Entidades vagas: 633 [52 classes] Sem ter em conta nem a vagueza nem as análises alternativas (tlz a fig. Tenha de ser modificada) Distribuição de categorias

CD em números (2) Classes de vagueza (21 mais frequentes)
Sem ter em conta nem a vagueza nem as análises alternativas (tlz a fig. Tenha de ser modificada) Categorias associadas às entidades

Processo de anotação da CD
Anotação da CD, usando o Etiquet(h)arem Anotação de cada texto por duas anotadoras, usando o Etiquet(h)arem Comparação automática das anotações, usando o Alinhador Análise e discussão das diferenças encontradas Correcção dos casos triviais Discussão dos casos problemáticos com os restantes membros da organização Revisão da CD Revisão sequencial dos documentos Revisão por categoria Revisão das análises alternativas (ALT)

Processo de anotação da CD
Comparação automática das anotações, usando o Alinhador Análise e discussão das diferenças encontradas Validação da sintaxe, usando o validador desenvolvido para o efeito Revisão manual da CD Revisão sequencial dos documentos Revisão por categoria Revisão das análises alternativas (ALT) Anotação de cada texto por duas anotadoras, usando o Etiquet(h)arem Comparação automática das anotações, usando o Alinhador Análise e discussão das diferenças encontradas Correcção dos casos triviais Discussão dos casos problemáticos com os restantes membros da organização Revisão da CD Revisão sequencial dos documentos Revisão por categoria Revisão das análises alternativas (ALT)

Avaliação do HAREM clássico
Melhorias em relação ao Primeiro HAREM Contabilização de entidades parcialmente identificadas como incorrectas Possibilidade de avaliação estrita dos ALT Casos conceptualmente distintos, representados de forma diferente: ignorância, certeza de ser diferente, erro Sistematização no tratamento das EM

Avaliação da classificação semântica
N = número de diferentes classificações na CD de acordo com o cenário M = número de classificações espúrias enviadas pelo sistema α, β, γ = pesos das categorias (1), tipos (0.5) e subtipos (0.25) (c, t, st)_certo = 1, se estiver certo; caso contrário, (c, t, st)_certo = 0 (c, t, st)_espuria= 1, se for espuria; caso contrário, (c, t, st)_espuria= 0

Programas de avaliação do HAREM clássico: entradas
<?xml version="1.0" encoding="ISO " ?> <colHAREM versao="SegundoHarem"> … <DOC DOCID="Xyz"> O <ALT> Tour de França de 2009 | Tour de França de 2009 | Tour de França de 2009 </ALT> vai começar no Mónaco com um contra-relógio de 15 quilómetros, numa etapa que também terminará no principado monegasco. O início do contra-relógio terá lugar precisamente no mesmo local do local de partida das provas de Fórmula 1. "O prestígio do principado, a filosofia que tem para o desporto e grandes eventos e a localização geográfrica" foram apontados por Christian Prudhomme como justificação para a decisão. </DOC> </colHAREM> CDHAREM.xml <?xml version="1.0" encoding="ISO " ?> <colHAREM versao="CD"> … <DOC DOCID="Xyz"> O Tour de França de 2009 vai começar no Mónaco com um contra-relógio de 15 quilómetros, numa etapa que também terminará no principado monegasco. O início do contra-relógio terá lugar precisamente no mesmo local do local de partida das provas de Fórmula 1. "O prestígio do principado, a filosofia que tem para o desporto e grandes eventos e a localização geográfrica" foram apontados por Christian Prudhomme como justificação para a decisão. </DOC> </colHAREM> participacao.xml

Programas de avaliação do HAREM clássico: Alinhador
CDHAREM.xml participacao.xml Programas de avaliação do HAREM clássico: Alinhador Alinhador EMs na CD DOC Xyz <ALT> <ALT1> Tour de França de 2009 ---> [França, de 2009] </ALT1> <ALT2> Tour de França ---> [França] de 2009 ---> [de 2009] </ALT2> <ALT3> Tour ---> [null] França ---> [França] de 2009 ---> [de 2009] </ALT3> </ALT> Mónaco ---> [Mónaco] 15 quilómetros ---> [15 quilómetros] Fórmula 1 ---> [null] Christian Prudhomme ---> [Christian Prudhomme] EMs na participação

Programas de avaliação do HAREM clássico: Avaliador de alinhamentos
CDHAREM.xml participacao.xml Programas de avaliação do HAREM clássico: Avaliador de alinhamentos Alinhamentos classificados como: Correctos, Espurios, Em Falta ou Parcialmente Correctos Avaliador de alinhamentos Alinhador DOC Xyz <ALT> <ALT1> Tour de França de 2009 ---> [França, de 2009]::[Parcialmente_Correcto_por_Defeito(0.1; 0.9), Parcialmente_Correcto_por_Defeito(0.2; 0.8)] </ALT1> <ALT2> Tour de França ---> [França]::[Parcialmente_Correcto_por_Defeito( ; )] de 2009 ---> [de 2009]::[Correcto] </ALT2> <ALT3> Tour ---> [null]::[Em_Falta] França ---> [França]::[Correcto] de 2009 ---> [de 2009]::[Correcto] </ALT3> </ALT> Mónaco ---> [Mónaco]::[Correcto] 15 quilómetros ---> [15 quilómetros]::[Correcto] Fórmula 1 ---> [null]::[Em_Falta] Christian Prudhomme ---> [Christian Prudhomme]::[Correcto] EMs parcialmente correctas são removidas na próxima fase EM em falta

Tipos de cenário Cenário total: elenco completo de categorias, tipos e subtipos propostos para o Segundo HAREM. Cenário selectivo de avaliação: sub-conjunto de categorias, tipos e subtipos do cenário total que é alvo de avaliação. Cenário selectivo de participação: sub-conjunto de categorias, tipos e subtipos do cenário total que cada participante se propôs a utilizar.

Programas de avaliação do HAREM clássico: Véus HAREM
CDHAREM.xml participacao.xml Programas de avaliação do HAREM clássico: Véus HAREM Alinhamentos filtrados de acordo com o cenário pretendido Véus (HAREM) Avaliador de alinhamentos Alinhador #LOCAL(FISICO{ILHA,AGUACURSO,PLANETA,REGIAO,OUTRO,RELEVO,AGUAMASSA};HUMANO{PAIS,RUA,DIVISAO,REGIAO,CONSTRUCAO,OUTRO};OUTRO{OUTRO};VIRTUAL{COMSOCIAL,OUTRO,SITIO,OBRA}) DOC Xyz <ALT> <ALT1> França ---> [França]::[Espurio] </ALT1> <ALT2> </ALT2> <ALT3> França ---> [França]::[Correcto] </ALT3> </ALT> Mónaco ---> [Mónaco]::[Correcto] Dentro desta alternativa, a EM é espúria Remoção de alinhamentos parcialmente correctos

Programas de avaliação do HAREM clássico: Organizador de ALTs
CDHAREM.xml participacao.xml Programas de avaliação do HAREM clássico: Organizador de ALTs Organizador de ALTs Véus (HAREM) Avaliador de alinhamentos Alinhador #LOCAL(FISICO{ILHA,AGUACURSO,PLANETA,REGIAO,OUTRO,RELEVO,AGUAMASSA};HUMANO{PAIS,RUA,DIVISAO,REGIAO,CONSTRUCAO,OUTRO};OUTRO{OUTRO};VIRTUAL{COMSOCIAL,OUTRO,SITIO,OBRA}) DOC Xyz <ALT> <ALT1> França ---> [França]::[Correcto]^1 </ALT1> </ALT> Mónaco ---> [Mónaco]::[Correcto] A EM espúria desapareceu porque alinhava correctamente com a alternativa seguinte Peso Remoção de alternativas vazias/duplicadas, surgidas depois da aplicação de véus Remoção de EMs alinhadas mais do que uma vez dentro do mesmo ALT - Atribuição do peso1/total de ALT a cada EM dentro de um ALT

Programas de avaliação do HAREM clássico: Avaliador semântico
CDHAREM.xml participacao.xml Programas de avaliação do HAREM clássico: Avaliador semântico Avaliador semântico Organizador de ALTs Véus (HAREM) Avaliador de alinhamentos Alinhador Precisão Medida-F Abrangência #LOCAL(FISICO{ILHA,AGUACURSO,PLANETA,REGIAO,OUTRO,RELEVO,AGUAMASSA};HUMANO{PAIS,RUA,DIVISAO,REGIAO,CONSTRUCAO,OUTRO};OUTRO{OUTRO};VIRTUAL{COMSOCIAL,OUTRO,SITIO,OBRA}) DOC Xyz <ALT> <ALT1> França ---> [França]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[] Espurio:[FISICO] Em_Falta:[HUMANO]) Subtipo(Correcto:[] Espurio:[] Em_Falta:[]) MaxCSC_CD( ) MaxCSC_S( ) CSC(0.875) PALT(1.0)}] </ALT1> </ALT> Mónaco ---> [Mónaco]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[HUMANO] Espurio:[] Em_Falta:[]) Subtipo(Correcto:[PAIS] Espurio:[] Em_Falta:[]) MaxCSC_CD( ) MaxCSC_S( ) CSC( )}] Avaliação dos atributos semânticos. Peso ALT Classificação máxima da EM na CD Classificação máxima da EM na participação Classificação efectiva

Programas de avaliação do HAREM clássico: Selector de ALTs
CDHAREM.xml participacao.xml Programas de avaliação do HAREM clássico: Selector de ALTs Avaliador semântico Organizador de ALTs Véus (HAREM) Avaliador de alinhamentos Alinhador Selecção da melhor alternativa (melhor medida-F e melhor classificação) Selector de ALTs #LOCAL(FISICO{ILHA,AGUACURSO,PLANETA,REGIAO,OUTRO,RELEVO,AGUAMASSA};HUMANO{PAIS,RUA,DIVISAO,REGIAO,CONSTRUCAO,OUTRO};OUTRO{OUTRO};VIRTUAL{COMSOCIAL,OUTRO,SITIO,OBRA}) DOC Xyz França ---> [França]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[] Espurio:[FISICO] Em_Falta:[HUMANO]) Subtipo(Correcto:[] Espurio:[] Em_Falta:[]) MaxCSC_CD( ) MaxCSC_S( ) CSC(0.875)}] Mónaco ---> [Mónaco]::[{Categoria(Correcto:[LOCAL] Espurio:[] Em_Falta:[]) Tipo(Correcto:[HUMANO] Espurio:[] Em_Falta:[]) Subtipo(Correcto:[PAIS] Espurio:[] Em_Falta:[]) MaxCSC_CD( ) MaxCSC_S( ) CSC( )}] Ficou a única alternativa que existia

Participação no Segundo HAREM
Manifestações de interesse: 22 Sistemas inscritos: 16 Sistemas participantes: 10 Saídas: 27 (máx. 4 por participante)

Cenários selectivos de participação
Sistema CEN PES ORG LOC OBR ACO ABS COI TEM VAL Cage2 Sel2 CAT F + H DobrEM Pes PorTexTO Temp Priberam Tot R3M Sel3 REMBRANDT REMMA Sel4 C/T SEI-Geo Sel5 SeRELeP XIP/L2F/XEROX Sel6 NORM confirmar CAT – apenas CATEGORIA C/T – apenas CATEGORIA e TIPO F+H – apenas locais FISICOs e HUMANOs NORM – normalização das expressões temporais Identificação Classificação

Resultados Cenário total com avaliação estrita de ALTs

Resultados Cenário total com avaliação relaxada de ALTs

Resultados Cenário próprio com avaliação relaxada de ALTs 33 33

Avaliação por categorias (melhores sistemas)
Precisão Abrangência Medida-F

Agradecimentos A Linguateca e o HAREM são financiados através do contrato nº 339/1.3/C/NAC, financiado pelo governo português e pela União Europeia, e executado pela FCCN.

Encontro do Segundo HAREM

Apresentações semelhantes

Apresentação em tema: "Encontro do Segundo HAREM"— Transcrição da apresentação:

Apresentações semelhantes

Sobre projeto

Feedback

Login

Autorizar-se através da rede social:

Encontro do Segundo HAREM

Apresentações semelhantes

Apresentação em tema: "Encontro do Segundo HAREM"— Transcrição da apresentação:

Apresentações semelhantes

Sobre projeto

Feedback