A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Gerência de Dados na Web: Especial Big Data ONDUXHadoop: Extração de dados em BigData Universidade Federal do Amazonas Instituto de Computação André Porto.

Apresentações semelhantes


Apresentação em tema: "Gerência de Dados na Web: Especial Big Data ONDUXHadoop: Extração de dados em BigData Universidade Federal do Amazonas Instituto de Computação André Porto."— Transcrição da apresentação:

1 Gerência de Dados na Web: Especial Big Data ONDUXHadoop: Extração de dados em BigData Universidade Federal do Amazonas Instituto de Computação André Porto

2 Roteiro Introdução Motivação ONDUX ONDUXHadoop Resultados Obtidos Conclusão Hands on

3 Introdução Abundância de registros não estruturados na Web em forma textual. Endereços postais. Citações Científicas. Anúncios de Imóveis. Artigos Científicos. Ofertas de produtos. Etc…

4 Desafios Enorme quantidade de dados Dados semi-estruturados Domínios diversificados Grande esforço humano

5 Pra que extrair isso tudo??

6

7

8

9

10 Motivação Informações Textuais Ricas de informações e não estruturadas Necessidade de recuperar informações Estruturar em bancos de dados Mineração de Dados. Comparação de Registros. Filtros Consulta complexas

11 Como extrair? Método de extração de informação Segmentação do texto. Método probabilístico. Utiliza Base de Conhecimento.

12 ONDUX Entradas Registros que se deseja classificar. Base de Conhecimento. Saídas Registros rotulados. Possibilidade de armazenamento em arquivos estruturados(CSV e XML).

13 Exemplo de registro Smartphone Moto G Colors Edition Dual Chip Desbloqueado 3G Câmera 5MP 16GB Android 4.3 R$ 799,00 Smartphone Dual Chip Samsung Galaxy Trend Lite Duos Desbloqueado Branco Android 4.1 3G/Wi-Fi Câmera 3MP R$ 579,00 Smartphone Nokia Lumia 520 Desbloqueado TIM Preto Windows Phone 8 Câmera 5MP 3G Wi-Fi Memória Interna 8G GPS R$ 499,00 Smartphone Samsung Galaxy S4 Zoom Preto Android 4.2 3G Desbloqueado - Câmera 16MP Câmera Wi-Fi GPS Memória 8GB R$ 1.499,00

14 Exemplo de Base de Conhecimento XML Par (Atributo, Exemplo de Valor) Conectividade USB Bluetooth 4.0 Wi-Fi bgn Processador Single Core Quad Core Android 4.3 Galaxy SIII I9300 Optimus Hub E510 Preto Nokia LG

15 Funcionamento

16 Blocking Smartphone Smartphone Samsung Galaxy Note III Branco Android 4.3 Câmera de 13 MP Wi-Fi 4G Por: R$ 2.899,00 SamsungGalaxy Note IIIBranco Android 4.3Câmera de 13MPWi-Fi 4GPor: R$ 2.899,00

17 Matching Smartphone Smartphone Samsung Galaxy Note III Quad Core Branco Android 4.3 Câmera de 13 MP Wi-Fi 4G Por: R$ 2.899,00 SamsungGalaxy Note IIIBranco Android 4.3Câmera de 13MP Wi-Fi4GPor: R$ 2.899,00 Categoria MarcaModeloCor ???CâmeraProcessador OutrosPreço Quad Core ???

18 Modelo PSM Categoria Marca Cor ??? Câmera Processado r Outros Preço Início Fim 90% 65% 82% 57% 35% 90% 12% 21% 55% 9% 45% 17% 67% 44% 8% 98% 78% 55% 94% 35% 13%

19 Reinforcement Smartphone Smartphone Samsung Galaxy Note III Quad Core Branco Android 4.3 Câmera de 13 MP Wi-Fi 4G Por: R$ 2.899,00 SamsungGalaxy Note IIIBranco Android 4.3Câmera de 13MP Wi-Fi4GPor: R$ 2.899,00 Categoria MarcaModeloCor SOCâmeraProcessador OutrosPreço Quad Core Outros

20 ONDUX Hadoop Possibilidade de utilizar BigData Melhoria na extração de dados Foco na etapa Matching e Reinforcement Geração de blocos Detectar Ambiguidade PSM sem ruídos

21 ONDUX Hadoop Hadoop Single Node Versão Framework MapReduce Entrada: Blocos rotulados Saída: Montagem de registros filtrados

22 ONDUX Hadoop Matching gera entrada do Hadoop smartphone-categoria-0-1:0 android 41-sistema_operacional :0 3g-atributos :1 proc quad core-processador :1 … valorBloco – atributo – posição – score : id_registro

23 MapReduce MAP IDRegistro : quádrupla Reduce ID Registro : Registro Filtrado Gera registro sem unmatch e maior que limiar(0.15) Remove ruídos no PSM

24 ONDUXHadoop ONDUX Dados Extraídos

25 MapReduce Reduce

26 Avaliação 150 registros 51 registros modificados como novo PSM Total de 164 rotulações 82 blocos por implementação Avaliação Manual Ganho de 65%! ImplementaçãoCorretosErrados Normal775 Hadoop2062

27 Trabalhos Futuros Gerar mais de um bloco por termo para detectar ambiguidades Construir vários PSM`s e utilizar um classificador capaz de escolher o melhor grafo para um registro específico. Realizar mais experimentos de acordo com a variação de limar e comparação de desempenho Desenvolver Matching dentro do Hadoop

28 Conclusão Grandes possibilidades de melhoria do ONDUX PSM sem ruído consegue melhorar a extração de dados Implementação em Hadoop possibilita utilização em grande escala de dados

29 Obrigado.

30 Hands On


Carregar ppt "Gerência de Dados na Web: Especial Big Data ONDUXHadoop: Extração de dados em BigData Universidade Federal do Amazonas Instituto de Computação André Porto."

Apresentações semelhantes


Anúncios Google