Gerência de Dados na Web: Especial Big Data

Apresentação em tema: "Gerência de Dados na Web: Especial Big Data"— Transcrição da apresentação:

1 Gerência de Dados na Web: Especial Big Data
ONDUXHadoop: Extração de dados em BigData Universidade Federal do Amazonas Instituto de Computação André Porto

2 Roteiro Introdução Motivação ONDUX ONDUXHadoop Resultados Obtidos
Conclusão Hands on

3 Introdução Abundância de registros não estruturados na Web em forma textual. Endereços postais. Citações Científicas. Anúncios de Imóveis. Artigos Científicos. Ofertas de produtos. Etc…

4 Desafios Enorme quantidade de dados Dados semi-estruturados
Domínios diversificados Grande esforço humano

5 Pra que extrair isso tudo??

6

7

8

9

10 Motivação Informações Textuais Ricas de informações e não estruturadas
Necessidade de recuperar informações Estruturar em bancos de dados Mineração de Dados. Comparação de Registros. Filtros Consulta complexas

11 Como extrair? ONDUX(Cortez@SIGMOD`10) Método de extração de informação
Segmentação do texto. Método probabilístico. Utiliza Base de Conhecimento.

12 ONDUX Entradas Registros que se deseja classificar.
Base de Conhecimento. Saídas Registros rotulados. Possibilidade de armazenamento em arquivos estruturados(CSV e XML).

13 Exemplo de registro Smartphone Moto G Colors Edition Dual Chip Desbloqueado 3G Câmera 5MP 16GB Android 4.3 R$ 799,00 Smartphone Dual Chip Samsung Galaxy Trend Lite Duos Desbloqueado Branco Android 4.1 3G/Wi-Fi Câmera 3MP R$ 579,00 Smartphone Nokia Lumia 520 Desbloqueado TIM Preto Windows Phone 8 Câmera 5MP 3G Wi-Fi Memória Interna 8G GPS R$ 499,00 Smartphone Samsung Galaxy S4 Zoom Preto Android 4.2 3G Desbloqueado - Câmera 16MP Câmera Wi-Fi GPS Memória 8GB R$ ,00

14 Exemplo de Base de Conhecimento
XML Par (Atributo, Exemplo de Valor) <outros> Conectividade USB Bluetooth 4.0 Wi-Fi bgn </outros> <processador> Processador Single Core </processador> <processador> Quad Core </processador> <sistema_operacional> Android 4.3 </sistema_operacional> <modelo> Galaxy SIII I9300 </modelo> <modelo> Optimus Hub E510 </modelo> <cor> Preto </cor> <marca> Nokia </marca> <marca> LG </marca>

15 Funcionamento

16 Blocking Smartphone Samsung Galaxy Note III Branco Android 4.3 Câmera de 13 MP Wi-Fi 4G Por: R$ 2.899,00 Smartphone Samsung Galaxy Note III Branco Android 4.3 Câmera de 13MP Wi-Fi 4G Por: R$ 2.899,00

17 Matching Smartphone Samsung Galaxy Note III Quad Core Branco Android 4.3 Câmera de 13 MP Wi-Fi 4G Por: R$ 2.899,00 Categoria Marca Modelo Cor Smartphone Samsung Galaxy Note III Branco ??? Câmera Processador Android 4.3 Câmera de 13MP Quad Core Outros ??? Preço 4G Wi-Fi Por: R$ 2.899,00

18 PSM Início Cor Marca Modelo Categoria Processador Câmera ??? Fim Preço
65% 35% 57% Início 12% Cor Marca 90% 90% Modelo Categoria 82% 13% 45% 55% 17% 21% Processador 9% Câmera ??? 78% 55% Fim 44% 67% 94% Preço 98% 35% Outros 8%

19 Reinforcement Smartphone Samsung Galaxy Note III Quad Core Branco Android 4.3 Câmera de 13 MP Wi-Fi 4G Por: R$ 2.899,00 Categoria Marca Modelo Cor Smartphone Samsung Galaxy Note III Branco SO Câmera Processador Android 4.3 Câmera de 13MP Quad Core Outros Outros Preço 4G Wi-Fi Por: R$ 2.899,00

20 ONDUX Hadoop Possibilidade de utilizar BigData
Melhoria na extração de dados Foco na etapa Matching e Reinforcement Geração de blocos Detectar Ambiguidade PSM sem ruídos

21 ONDUX Hadoop Hadoop Single Node Versão 1.2.1 Framework MapReduce
Entrada: Blocos rotulados Saída: Montagem de registros filtrados

22 ONDUX Hadoop Matching gera entrada do Hadoop
smartphone-categoria-0-1:0 android 41-sistema_operacional :0 3g-atributos :1 proc quad core-processador :1 … valorBloco – atributo – posição – score : id_registro

23 MapReduce MAP IDRegistro : quádrupla Reduce
ID Registro : Registro Filtrado Gera registro sem unmatch e maior que limiar(0.15) Remove ruídos no PSM

24 ONDUXHadoop ONDUX Dados Extraídos

25 MapReduce Reduce

26 Avaliação 51 registros modificados como novo PSM
Total de 164 rotulações 82 blocos por implementação Avaliação Manual Ganho de 65%! Implementação Corretos Errados Normal 7 75 Hadoop 20 62

27 Trabalhos Futuros Gerar mais de um bloco por termo para detectar ambiguidades Construir vários PSM`s e utilizar um classificador capaz de escolher o melhor grafo para um registro específico. Realizar mais experimentos de acordo com a variação de limar e comparação de desempenho Desenvolver Matching dentro do Hadoop

28 Conclusão Grandes possibilidades de melhoria do ONDUX
PSM sem ruído consegue melhorar a extração de dados Implementação em Hadoop possibilita utilização em grande escala de dados

29 Obrigado.

30 Hands On