Monitoramento da Rede Ipê (MonIPÊ): Visão Geral

Apresentação em tema: "Monitoramento da Rede Ipê (MonIPÊ): Visão Geral"— Transcrição da apresentação:

1 Monitoramento da Rede Ipê (MonIPÊ): Visão Geral
José Augusto Suruagy Monteiro

2 Objetivos do Serviço MonIPÊ
Monitorar e disponibilizar dados sobre o estado da Rede Ipê de modo a: Melhorar a percepção do usuário em relação à rede Ajuste das expectativas dos usuários Redução do custo de diagnósticos Identificação antecipada de problemas de desempenho Identificação eficiente de problemas de desempenho Gerentes de rede com acesso a dados fora do seu domínio administrativo (NRENs associadas) Transformar o projeto das aplicações: Que poderão se adaptar utilizando informações disponíveis sobre o estado da rede Baseado na apresentação “Performance Update” de Jeff Boote e Martin Swany no Spring 2008 Internet2 Member Meeting (

3 Visão Dados sobre desempenho: Disponível:
As pessoas podem encontrá-la. “Comunidade de confiança” permitindo o acesso em domínios administrativos diferentes. Ubíqua: Implantada amplamente (cobertura dos caminhos de interesse) Confiável (configuração consistente) Valiosa: Acionável (a análise sugere o procedimento a ser adotado) Automatizável (aplicações agem de acordo com os dados) Baseado na apresentação “Performance Update” de Jeff Boote e Martin Swany no Spring 2008 Internet2 Member Meeting (

4 Métricas Atraso de ida e volta (RTT – Round Trip Time)
Perdas de ida e volta Utilização Atraso em um sentido (One way delay) Variação do atraso em um sentido (jitter) Perdas em um sentido Reordenação de Pacotes Largura de banda alcançável (TCP, UDP) MOS (Mean Opinion Score) Fluxos (volume de pacotes, bytes, tipo de protocolo) MOS = Métrica derivada do atraso, variação do atraso e perdas.

5 Ferramentas Ping: Atraso de ida e volta (RTT – Round Trip Time)
Perdas de ida e volta SNMP: Utilização OWAMP: Atraso em um sentido (One way delay) Variação do atraso em um sentido (jitter) Perdas em um sentido Reordenação de Pacotes Iperf/BWCTL: Largura de banda alcançável (TCP, UDP) Netflow/Sflow Fluxos (volume de pacotes, bytes, tipo de protocolo) Requisitos diversos: instalação de servidores nos pontos de interesse, sincronização de relógios, habilitação de recursos nos roteadores.

6 The Wizard Gap On this graph the red line indicates the performance that a person will get from a computer and application from a system “fresh out of the box”. If a network wizard help to tune the system and eliminate performance problems, the black line can be achieved. The difference between the two Matt Mathis refers to as the “Wizard Gap” As you can see the Wizard Gap is growing over time.

7 Experiência Real Fim-a-fim
Percepção do usuário Aplicação Sistema Operacional Pilha IP do hospedeiro Placa de rede Rede Local Rede do backbone do campus Enlace do Campus para a rede regional/PoP Conexão do PoP ao backbone da Rede Ipê Conexões internacionais OLHO APLICAÇÃO PILHA CONECTOR REDE . . . In looking at application performance, more than just the network has to be considered. Performance can be affected by the network, the computer, operating system, and the application software. The problem can also be that the users expectations are not realistic, too high or too low. At times full performance may not be achieved because the user does not expect any faster even when it is possible.

8 Ei, isto não está funcionando direito!
O Problema Ei, isto não está funcionando direito! Outros estão chegando bem O problema não é nosso Desenvolvedor da Aplicação Desenvolvedor da Aplicação Administrador da LAN Fale com os outros Administrador da LAN Administrador do Sistema Está tudo OK Administrador do Sistema Rede do Campus Rede do Campus O computador está funcionando bem! Ninguém mais está reclamando Parece ok! PoP PoP Todas as luzes estão verdes No one claims that their cloud has a performance problem. Note that a majority of the clouds are on campus Backbone Não estamos vendo nada errado! Como você resolve um problema no meio do caminho? Todo mundo diz que está tudo funcionando bem! A rede está com baixa utilização

9 perfSONAR Infra-estrutura para a monitoração do desempenho de redes.
Facilita a solução de problemas de desempenho fim-a- fim em caminhos através de diversas redes. Contém um conjunto de serviços que disponibilizam medições de desempenho num ambiente federado. Estes serviços agem como uma camada intermediária entre as ferramentas de medição e as aplicações de diagnóstico ou de visualização. Utiliza protocolos bem definidos para a troca de dados de medições entre redes. Dados obtidos de

10 Arcabouço do perfSONAR

11 Testes através de Múltiplos Domínios
ESNet Internet2 Géant ... NREN NREN NREN . Clara Dar o exemplo do EELA: Testes entre a UFRJ e o CIEMAT. Infelizmente ainda não dispúnhamos de uma estrutura multidomínios! ... NREN RNP

12 perfSONAR www.perfsonar.net Participantes da Géant2:
Colaboração entre: ESNet Géant2 Internet2 RNP Participantes da Géant2: ARNES, BELNET, CARNET, CESNET, DANTE, DFN, FCCN, GARR, GRNET, IST, POZNAN, RedIRIS, Renater, SURFnet, SWITCH, UNINETT Participantes da Internet2: FERMIlab, GeorgiaTech, SLAC, University of Delaware, University of Indiana.

13 Arquitetura perfSONAR
Middleware interoperável de medições de redes: Modular Baseado em serviços Web Descentralizado Controlado localmente Integra: Ferramentas e arquivos de medições de redes Descoberta Autenticação e autorização Transformação de dados Topologia Baseado em: esquemas definidos pelo NMWG do OGF. NMWG = Network Measurement Working Group OGF = Open Grid Forum

14 Serviços do perfSONAR Ponto de medição (MP – Measurement Point):
CL-MP (Command Line MP), Ping, SNMP, etc. Arquivo de medições (MA – Measurement Archive): RRD-MA, SQL-MA, Flow SA-MA Descoberta (LS – Lookup Service) Em desenvolvimento a integração entre LSs de redes diferentes (dLS – distributed LS) Autenticação e Autorização (AS) AuthN, AuthR (em desenvolvimento), baseados no eduGAIN Topologia (TopS) Baseado em esquema em definição no NML-WG do OGF RRD = Round Robin Database Flow SA = Flow Service and Aggregation NML = Network Markup Language

15 Serviços do perfSONAR Transformação (TS)
Ex.: agregação, correlação, filtragem e tradução de dados. Proteção de Recursos (RP – Resource Protector) Limitar a utilização de recursos limitados, tais como largura de banda.

16 Interação multidomínio
Useful graph Fonte: Cliente Here is who I am, I’d like to access MA B Token MA Here is who I am, I’d like to access MA A a,b,c : Network A, MA A, AA A Token MB Where Link utilisation along - Path a,b,c? AA A Here you go Get Link utilisation a,b,c Get link utilisation c,d,e,f AA B Here you go a,b,c: Network A – LS A, c,d,e,f : Network B, MA B, AA B Where Link utilisation along - Path a,b,c,d,e,f? LS A LS B MA B MA A a b f e c d Rede A Rede B

17 perfSONAR-MDM-3.1 Lookup Service (LS) Authentication Service (AS)
RRD MA SQL MA perfSONAR Buoy MA (BWCTL Data) BWCTL MP Telnet/SSH MP Command Line MP (CL-MP) perfSONAR-OS Pinger MP e MA Disponibilizado em 21/01/09

18 Ferramentas de visualização
CNM (Customer Network Management) Desenvolvido pela DFN perfsonarUI Desenvolvido pela acad.bg VisualperfSONAR Desenvolvido pelo University Computing Centre em Zagreb. NEMO Em desenvolvimento pela UNNINET

19 perfsonarUI

20 Atividades de medições na RNP
GT-QoS ( ) Infra-estrutura de medições de fluxos (Netflow) GT-QoS 2 ( ) Análise de dados do Netflow Medições passivas com placas de captura Medições ativas com AMP e OWAMP GT-Medições ( ) Implantação do ambiente piPEs-BR Implantação de um ambiente de monitoramento de acordos de nível de serviço (nSLA).

21 Atividades de medições na RNP
GT-Medições 2 ( ) Refinamento do protótipo (compatibilização com o perfSONAR): CL-MP, ICE, CactiSONAR, Documentação e Testes Pilotos: Implantação de MPs na Rede Ipê Monitoração para o piloto do projeto EELA Integração com as ferramentas do GT-GV Disseminação: Workshop de Medições Curso no 13º SCI

22 MPs do Piloto do GT-Medições 2
2 servidores por localidade: OWAMP e BWCTL Ativos com GPS Ativos sem GPS

23 Testes Regulares - OWAMP
Malha de medição rede IPÊ – Full Mesh - OWD 23

24 Testes Regulares – BWCTL
Malha de medição rede IPÊ – Largura de banda alcançável – Janela TCP 32kbps 24

25 NDT:Teste de Acesso Network Diagnostic Tester

26

27 Ferramenta desenvolvida: ICE

28 Ferramenta desenvolvida: CactiSONAR
Controle do monitoramento fim-a-fim no contexto do perfSONAR Aumentar as possibilidades de gerenciamento Integra a infra-estrutura do perfSONAR ao CACTI Permite aos administradores: Observarem dados históricos Agregação e a composição de métricas Implementa o RRD-MA: Expõe dados coletados pelo ambiente Serviço configurável permitindo restrição sobre os dados publicados

29 CactiSONAR ambiente Integrado
Núcleo do CACTI Arq. RRD Conf. MySQL CACTI CACTISonar MP Roteador Switch Servidor G E R Ê N C I A Interface Admin M D perfSONAR-UI Usuário

30 Exemplos de Novos Gráficos do CactiSONAR
Variação de atraso unidirecional (OWAMP) Atraso bi-direcional (Ping) Largura de banda alcançável em UDP MOS baseado em atraso, variação do atraso e perdas (Ping)

31 Acesso ao RRD-MA do CACTISonar
perfSONARUI acessando alguns dados do CACTISonar

32 O Serviço Experimental MonIPÊ
Objetivo principal: prover informações de monitoramento a todos os tipos de usuários. Público Alvo: Usuários da RNP e das NRENs parceiras. Fase experimental: Infra-estrutura inicial implantada em pontos específicos da Rede Ipê.

33 Objetivos Específicos
Caracterização do tráfego através de medições de fluxos que atravessam os roteadores; Medições de alta precisão do desempenho da rede, por meio da obtenção das medidas de atraso, variação do atraso, perdas e largura de banda disponível; Testes regulares de conectividade; Medições de desempenho de última milha tendo em vista o usuário final; Um ambiente de verificação e acompanhamento do desempenho da rede.

34 Categorias de Usuários
Usuários em geral: visualização dos resultados obtidos com os testes regulares, utilização de ferramentas de aconselhamento e testes na rede de acesso. Usuários avançados: demandam a realização de testes personalizados e acompanhamento para experimentos colaborativos. GT Travel, GT-Overlay, CNPTEC, EELA 2, LHC, etc. Usuários de gerência: Administradores das redes institucionais, CEO, etc.

35 Infraestrutura em implantação
A infra-estrutura a ser implantada será baseada, em sua grande parte, na arquitetura do perfSONAR, de forma a permitir o monitoramento multidomínio.

36 Componentes Ponto de Medição de Linha de Comando (CL-MP) – realiza testes de medição através das ferramentas de monitoramento; Measurement Archive (MA) – módulo que realiza o armazenamento dos dados de medição; Ferramentas de visualização – permitem aos usuários acesso ao ambiente MonIPÊ; Lookup Service (LS) – permite a consulta aos serviços disponíveis no ambiente MonIPÊ; Authentication Service (AS) – fornece autenticação aos serviços disponíveis; NFDUMP – coleta dados dos roteadores e armazena numa base RRD. NFSEN – ferramenta web de visualização que faz acesso à base RRD do NFDUMP.

37 Localização dos MPs Implantados em 2008 A implantar em 2009
N = AM, PA e RR CO = MT e DF NE = BA, CE e PE SE = MG, RJ e SP S = PR, RS e SC Instituições alvo: - CPTEC, LNCC, SINAPAD (UNICAMP), UFRJ Implantados em 2008 A implantar em 2009

38 Equipamentos em cada Localidade (MPs)
Kit de sincronização com GPS {ndt| bwctl}.pop-XX.rnp.br HP DL320 G5p (2GB + 1x160GB; 1U) {owamp}.pop-XX.rnp.br

39 Servidores Centrais MA-SQL, LS e AS CactiSONAR e MA-RRD
Medições passivas (fluxos) DELL POWEREDGE 2950 III (8GB + 2x300GB; 2U) = MA-SQL, LS e AS DELL POWEREDGE 2950 III (8GB + 1x300GB; 2U) = CactiSONAR e MA-RRD DELL POWEREDGE 2950 III (8GB + 4x300GB; 2U) = Medições Passivas Está prevista a instalação de servidores de redundância ainda em 2009

40 Portal do Serviço MonIPÊ
Inserir Screenshot do portal

41 Wiki do Serviço MonIPÊ

42 Equipe Atual RNP: Ari Frazão Jr. (CEO) Leonardo Carneiro (CEO)
UFSC: Edison T. L. Melo André Durieux Marco Curi Jonatan Paulo Rodrigo Pescador UNIFACS: Herbert M. Souza José Suruagy Leobino Sampaio Patrícia Dourado Yuri Leal RNP: Ari Frazão Jr. (CEO) Leonardo Carneiro (CEO) Ana Lucia de Moura (DI)

43 Obrigado!