Rodrigo Brandão Mansilha, Alan Mezzomo, Giovani Facchini, Luciano Paschoal Gaspary, Marinho Pilla Barcellos UFRGS - 2010 XXVIII Simpósio Brasileiro de.

Apresentação em tema: "Rodrigo Brandão Mansilha, Alan Mezzomo, Giovani Facchini, Luciano Paschoal Gaspary, Marinho Pilla Barcellos UFRGS - 2010 XXVIII Simpósio Brasileiro de."— Transcrição da apresentação:

1 Rodrigo Brandão Mansilha, Alan Mezzomo, Giovani Facchini, Luciano Paschoal Gaspary, Marinho Pilla Barcellos UFRGS - 2010 XXVIII Simpósio Brasileiro de Redes de Computadores e Sistemas Distribuídos Apresentação por Leandro Guadagnin Universidade Federal do Paraná Observando o Universo BitTorrent Através de Telescópios

2 Sumário Objetivo Motivação Introdução O Universo BitTorrent Arquitetura, estratégias, lentes do telescópio Avaliação Resultados Conclusão Trabalhos Futuros Análise Crítica 25/10/2010Observando o universo BitTorrent através de Telescópios2

3 Objetivo Propor uma arquitetura flexível para monitorar de forma eficiente o ”Universo BitTorrent” através da combinação de diferentes estratégias de observação de acordo com informações desejadas. 25/10/2010Observando o universo BitTorrent através de Telescópios3

4 Motivação Responsável por 45% a 78% de todo o compartilhamento P2P, dependendo da localização Pouco se sabe sobre o funcionamento do BitTorrent e padrões de comportamento de seus usuários Métodos de observação pobres em detalhe, exatidão e/ou cobertura Vantagens do BitTorrent: Campanhas de marketing baseadas em conteúdo, estimar perdas financeiras com cópias ilegais – pirataria, auxiliar Internet Service Providers na investigação de métodos que minimizem o custo de tráfego, combate a pedofilia, possibilidade de intercâmbio de informações entre comunidade científica 25/10/2010Observando o universo BitTorrent através de Telescópios4

5 Introdução Bram Cohen, 2003 O BitTorrent nasceu de uma implementação que foi incrementada, estendida e testada por usuários Escala: planetária. Milhões de usuários operando sobre uma camada de aplicação Dimensão, complexidade, heterogeneidade e incerteza Formado por milhões de ”pequenas” redes sobrepostas (overlays) desconexas chamadas de enxames. Desafio: chegar ao enxame desejado 25/10/2010Observando o universo BitTorrent através de Telescópios5

6 O Universo BitTorrent Constituído por: Enxames Pares Rastreadores (pontos de encontro) Conteúdos (conteúdo digital) Ex.: um par é um agente de usuário que executa o protocolo e participa de um ou mais enxames, de acordo com o conteúdo que deseja compartilhar 25/10/2010Observando o universo BitTorrent através de Telescópios6

7 O Universo BitTorrent Par: semeador ou sugador Para ingressar em um enxame o par contata um rastreador e recebe uma lista de ips dos pares participantes daquele enxame Para participar de um enxame um agente de usuário usa um arquivo de torrent que contém as informações sobre os fragmentos dos arquivos Para distribuir um conteúdo o par deve gerar um torrent e torná-lo público, geralmente publicando-o em websites chamados de comunidades. Comunidades: abertas ou fechadas; agregadoras Ex: BJ Share http://www.bj-share.net 25/10/2010Observando o universo BitTorrent através de Telescópios7

8 O Universo BitTorrent - Download 25/10/2010Observando o universo BitTorrent através de Telescópios8

9 Exemplo do Universo BitTorrent 25/10/2010Observando o universo BitTorrent através de Telescópios9

10 Estratégias para extração de informação 3 tipos de acordo com a fonte de informação Comunidades: conteúdo, rastreadores e pares Rastreadores: logs, listas de ips Pares: pacotes, conexão com pares Custo das estratégias O custo da combinação das estratégias é definido pelo produto do custo com relação a cobertura, riquesa de detalhe e exatidão. Métricas: uso de cpu, uso de memória e recursos de rede. 25/10/2010Observando o universo BitTorrent através de Telescópios10

11 Escolhendo as estratégias Monitoramento Comunidades: economia de recursos, não possui informação sobre os pares Rastreadores: população de pares, menor intrusividade e menor custo, ausência de informação sobre conteúdo Pares: riqueza de detalhes, maior custo Monitoramento ativo e passivo PROPOSTA: COMBINAÇÃO DE TODAS AS ESTRATÉGIAS 25/10/2010Observando o universo BitTorrent através de Telescópios11

12 Modelo de informações - TorrentU Modelo que fornece uma estruturação e ligação a respeito das comunidades, pares, rastreadores e demais elementos do universo BitTorrent 25/10/2010Observando o universo BitTorrent através de Telescópios12

13 Arquitetura TorrentU Observer Front-end ou gerente da aplicação Configuração do sistema Observação dos dados coletados Composto por: User Interface, Requester, Strategist e Observer Repository TorrentU Telescope Responsável pelo monitoramento do Universo BitTorrent Resposta ao Observer Composto por: Provider, Telescope Repository e Monitor Monitor: divido em ”lentes”: Community Lens Tracker Lens Peer Lens 25/10/2010Observando o universo BitTorrent através de Telescópios13

14 Exemplo de Arquitura 25/10/2010Observando o universo BitTorrent através de Telescópios14

15 Lentes do Telescópio Community lens Monitoramento da publicação de arquivos torrents em websites. Utilização de parsers específicos para as comunidades Estrutura clara para facilitar a elaboração dos parsers Crawler focado: utilizado para obter arquivos torrent de comunidades que possuem mecanismo de busca. 25/10/2010Observando o universo BitTorrent através de Telescópios15

16 Lentes do Telescópio Tracker Lens Monitoramento dos rastreadores Extração da quantidade de pares (sugadores e semeadores), endereços IP, portas e informações sobre os próprios rastreadores O tracker lens se anuncia ao rastreador que retorna um subconjunto de sua lista de pares Frequência de monitoramento de acordo com a carga e entrada de novos pares 25/10/2010Observando o universo BitTorrent através de Telescópios16

17 Lentes do Telescópio Peer lens Monitoramento dos pares Extração de informações como nível de popularidade de determinado agente de usuário, sua versão, taxas de download/upload, quantidade de fragmentos baixados Round Robin A cada rodada a lente tenta se comunicar com n pares dispostos em uma fila circular. Firewall: inalcançáveis. Aguarda a comunicação. 25/10/2010Observando o universo BitTorrent através de Telescópios17

18 Avaliação Protótipo em Java 1.6 SGBD MySQL Atendimento aos requisitos Escalabilidade: recursos X componentes utilizados Escalável verticalmente e horizontalmente Flexibilidade Parâmetros para definir a riqueze de detalhes, cobertura e exatidão 25/10/2010Observando o universo BitTorrent através de Telescópios18

19 Ocupação de Recursos 25/10/2010Observando o universo BitTorrent através de Telescópios19

20 Avaliação Estratégia vs. Eficiência Valores estimados Tam. arquivo torrent: 20 KB Número de pares por rastreador: 50 Tam. mensagem HAVE de um par: 7 bytes Tam. mensagem handshake: 136 bytes Tam. Mensagem bitfield de um par: 180 bytes. Cenário Total de pares: 100.000 Total de torrents: 100 Quantidade de peças por torrent: 500 25/10/2010Observando o universo BitTorrent através de Telescópios20

21 Avaliação Exemplo: Com base neste cenário, deseja-se saber ”quais os conteúdos compartilhados”. O custo possível varia de 2 MB a 384 MB Tamanho total em torrents das comunidades 2 MB = 100 arquivos de torrent * 20 KB = 2.000 KB Tamanho total em torrents + todas as msgs do protoc. 384 MB = 2 MB +.... Carga do monitoramento no decorrer de 2 dias Entre 0,09 kbps e 17,68kbps 25/10/2010Observando o universo BitTorrent através de Telescópios21

22 Avaliação Conclusão do exemplo Como o TorrentU é flexível na escolha de suas estratégias e, tomando-se o resultado dos cálculos anteriores, o custo é minimizado utilizando-se apenas a técnica Community Lens. Desta forma, serão baixados apenas 2 MB, economizando-se o tempo de download dos outros 382 MB. 25/10/2010Observando o universo BitTorrent através de Telescópios22

23 Avaliação Estudo de caso Agenda de lançamentos do seriado “Family Guy” Comunidades: BTJunkie IsoHunt TorrentDownloads Período de observação: pouco mais de 22 horas, iniciando 4 horas antes da estréia do episódio 25/10/2010Observando o universo BitTorrent através de Telescópios23

24 Avaliação 25/10/2010Observando o universo BitTorrent através de Telescópios24

25 Avaliação 25/10/2010Observando o universo BitTorrent através de Telescópios25 Amostras do monitoramento em diferentes horários de observação

26 Trabalhos Futuros Projeto e implementação do BitTorrent Observer Determinar a quantidade de telescópios, para onde ”apontarão” e quais estratégias usar para atender determinado objetivo de observação Implementação de múltiplas instâncias do protótipo e efetuar observações de longo prazo na Internet (Planet Lab) Estender a arquitetura do TorrentU 25/10/2010Observando o universo BitTorrent através de Telescópios26

27 Conclusão do Trabalho Além de definir o ”Universo BitTorrent” e seus elementos, este trabalho demonstra diferentes estratégias de extração de informações que, combinadas de acordo com a disponibilidade dos recursos, fornece resultados com diferentes graus de exatidão para a observação deste universo quase que imensurável, o BitTorrent. 25/10/2010Observando o universo BitTorrent através de Telescópios27

28 Análise Crítica É desenvolvido um protótipo e realizado um estudo de caso que validam a idéia do autor Necessidade de explicitar melhor os resultados com relação a observação das ”lentes” A solução é aplicável para quaisquer tipos de redes p2p. O que mudaria seria qual o tipo de lentes e serem utilizadas e como seriam utilizadas. 25/10/2010Observando o universo BitTorrent através de Telescópios28

29 OBRIGADO! 25/10/2010Observando o universo BitTorrent através de Telescópios29