LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 1 A base de dados da experiência U Coimbra U Lisboa UBI Covilhã UCP Figueira da Foz INFN Bologna.

Apresentação em tema: "LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 1 A base de dados da experiência U Coimbra U Lisboa UBI Covilhã UCP Figueira da Foz INFN Bologna."— Transcrição da apresentação:

1 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 1 A base de dados da experiência U Coimbra U Lisboa UBI Covilhã UCP Figueira da Foz INFN Bologna Coimbra + Lisboa António Amorim, Vasco Amaral, Umberto Marconi, Tomé Pessegueiro, Stefan Steinbeck, António Tomé, Vincenzo Vagnoni e Helmut Wolters Hamburg

2 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 2 Sistema de informação em HERA-B O detector HERA-B A base de dados: requisitos e opções Caracterização da comunidade envolvida O desenho do sistema de gestão das bases de dados Os domínios: subdetectores, DAQ, alinhamento... Sistematização do esquema das bases de dados Conclusões

3 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 3 A ideia de HERA-B Uma colaboração de ~ 300 físicos de Alemanha, China, Dinamarca, Espanha, Estados Unidos, Holanda, Itália, Noruega, Portugal, Rússia, Eslovénia, Suécia, Suíça, Ucrânia.

4 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 4 Magnet Muon 1,3,4 SVD (não visível) O detector HERA-B ITR- OTR chambers TRD OTR ECAL RICH

5 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 5 Experiência HERA-B B/B-tagging B 0 /B 0 J/ K S Vertex Detector Si strip 12 m resolution RICH ( /K) multinode PMT TRD (e h) straw tubes +thin fibers ECAL( +e h) W/Pb scintillator shashlik MUON ( h) tube,pad and gas pixel chambers Tracking: - ITR(<20cm): MSGC-GEM - OTR(>20cm): 5+10mm drift cells Magnet: 2 Tm C 4 F 10 HiPt trigger pad/gas pixel

6 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 6 The Golden Decay:

7 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 7 O grande desafio: Seleccionar

8 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 8 Como seleccionar ? Time scale Input rate 10 s 10MHz 5ms 50 kHz 200ms 4 s 500 Hz50 Hz 20 Hz Pretrigger: ECAL, System, p T pads L1: e/ Tracking in 4 SL, p T cut, mass cut 1/200 L2: + drift times, magnet traversal, vertexing L3: full track & vertex fit, +SVD tracks, p. id 1/100 L4: + full reconstruction, physics selection TAPE 1/2.5 1/10

9 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 9 HERA-B DAQ 200 PCs 200 SHARC DSP Detector Front End Electronics FCS DSP SWITCH Event Control Trigger PC Trigger PC Trigger PC INTERNET SWITCH 4LT PC 4LT PC Logger PC SLT/TLT 4LT 240 PCs Linux L4-farm

10 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 10 A base de dados de HERA-B: o problema e os requisitos Disponibilizar a infra-estrutura e gestão para: DB da configuração dos detectores - desenvolvimento de um esquema uniformizado para todos os grupos (subdetectores) DB de calibrações e alinhamento Distribuição da informação aos farms de reconstrução e trigger Associar cada event com a informação correspondente na DB Disponibilizar acesso separado offline e online - replicação Gestão da actualização do slow control sem redundância dos dados Implementação de DBs para Run Bookkeeping e event tag

11 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 11 Finalidade do DB management system: O DBMS separa: a camada interna (ficheiros) da camada externa (requisitos) considerando o esquema de definição dos dados Desempenho: O DBMS devia optimizar as definições internas para responder aos pedidos comuns de forma rápida e eficiente Estrutura do sistema extremamente complexa Problema das bases de dados relacionais (na utilização geral): Todos os valores são atómicos (não há arrays, objectos nem pensar...) não há arrays ou associações repetidas: Calibração PMT -> identificador PMT para cada re-calibração

12 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 12 Object Oriented Database Managers? OODBMS: Objectos têm atributos (podem ser arrays !) Objectos podem ser associadas com outros objectos Crítica: mas isso deve ser lento. Efectuámos uma avaliação: Objectivity contra MIZZI (DBMS relacional «da casa»): Objectivity era tão rápido como MIZZI Verificámos que com optimizações podia até ser mais rápido Outro aspecto: atrair alunos (física ?, informática) Projectos com Objectivity (OO, industry standard) são muito mais interessantes do que MIZZI (local, artesanal, arcaico)

13 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 13 Talvez só queiramos buscas relativamente a intervalos de tempo ? pode-se seleccionar objectos pelo valor dos seus atributos a maioria dos nossos pedidos são relativamente a tempo ou versão excepção: Event Tag Database: seleccionar Tipo de Partícula, E, etc. Query on time => Object(Time) or Object(t1,t2) MIZZI fornece esta funcionalidade senão devia-se especializar o DBMS (exemplo: conditions database de BaBar e R&D45) t

14 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 14 Caracterização da comunidade HERA-B Os físicos em HERA-B gostam de resolver problemas escrevendo os seus próprios programas ou utilizando algo de um colega. Sabem bem programar em C/C++ e estão habituados aos conceitos de orientação por objectos. Fortran é «obsolete by default». Utilizam ARTE, uma ferramenta de simulação e reconstrução, estabelecida há muito tempo, que fornece um esquema com interfaces para C, C++ e Fortran. A geometria GEANT era utilizada para iniciar as bases de dados de configuração.

15 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 15 Caracterização da comunidade HERA-B (II) Por cima de ARTE, foi desenvolvido um simples formatador de objectos, utilizado por muitas pessoas. Nada sistemático! Cada subdetector tinha trabalho feito, sem coordenação MS Access, Oracle, MIZZI, ASCII, binários,... O DAQ estava bem avançado e tinha desenvolvido um sistema clientes/servidores que corre em UNIX e DSPs. Situação caótica. Falta um coordenador competente com autoridade de decidir o caminho a tomar LIP entra na colaboração. Fomos designados para organizar a DB.

16 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 16 Caracterização da comunidade HERA-B (II) Por cima de ARTE, foi desenvolvido um simples formatador de objectos, utilizado por muitas pessoas. Nada sistemático! Cada subdetector tinha trabalho feito, sem coordenação MS Access, Oracle, MIZZI, ASCII, binários,... O DAQ estava bem avançado e tinha desenvolvido um sistema clientes/servidores que corre em UNIX e DSPs. Situação caótica. Falta um coordenador competente com autoridade de decidir o caminho a tomar LIP entra na colaboração. Fomos designados para organizar a DB.

17 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 17 Então Objectivity ? Toda a gente conhece MIZZI (no DESY, no grupo de software) Objectivity => licenças, formação, falta de continuidade para muitas pessoas problema do manpower não conseguimos suporte suficiente nos subgrupos (detectores): Decisão então: MIZZI Desenvolvemos um sistema cliente/servidor: rpmdb por cima do MIZZI LEDA (Bologna): wrapper para incorporar objectos através de MIZZI organiza a distribuição da base de dados sobre muitos PCs encaixa a base de dados no sistema de informação do DAQ (rpm)

18 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 18 As camadas rpmdb/MIZZI /PM/ Descrip. field1 ; field 2;....2.5 -.1 5689256892... DB: /RICH/HV/ versions Camada HERA-B (MIZZI+LEDA) Camada SDB Key= name+ version Machine independent blub of DATA DB layer Indexed Files Camada HERA-B rpmdb Cliente / Servidor ~Berkley db DBMS independence

19 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 19 Um sistema de memorização por transacções, com protocolo capacidade de gravação ou cancelamento, de um grupo de modificações, numa só operação recuperação de desastres Desenhado para cargas muito altas de muitos acessos leitura/escrita em simultâneo aplicações que precisam de transacções e capacidade de recuperação. A camada Berkeley db http://www.bostic.com/db/index.html

20 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 20 Objectos e associações: Por cima da camada MIZZI LEDA (Bologna) key Key key Fornece associações entre objectos. Estas associações são simuladas por tabelas especiais para o efeito. Chaves funcionam como OIDs, assim simulam-se as classes. Classes de objectos são carregadas/guardadas explicitamente DBARTE: interface à ferramenta de simulação que fornece persistência para o ARTE memory scheme.

21 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 21 Retroactive calibration and alignment run Calibration for the previous run Calibration process Calibration for the new run Revision 0 Offline 1...

22 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 22 Um editor de base de dados em TCL/TK

23 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 23 O mecanismo da replicação DB server ONLINEOFFLINE firewall DB server Incremental dump files Offline DB server imported Send to tape Offline DB server

24 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 24 Bases de dados de configuração Integração das DBs de DAQ, Slow Control e FLT DBs dos Sub-detectores: TARGET VDS ITR OTR High Pt RICH TRD ECAL MUONS Relações com as DBs de alinhamento Validade em tempo (escalas diferentes!) Fontes dos dados: - ARTE + hardware + text-files + specific programs

25 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 25 DAQ (Software Components)

26 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 26 DAQ - Crate

27 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 27 VDS databases

28 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 28 OTR From ARTE

29 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 29 RICH databases I

30 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 30 RICH databases II

31 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 31 Manutenção do sistema Um processo slow control controla permanentemente o estado dos servidores da base de dados. Emite alarmes para o shift crew do detector. Ferramentas para start e stop da configuração dinâmica dos servidores da base de dados devem ser utilizados por um pequeno grupo de peritos. A configuração e o arranque do sistema distribuído dos servidores das bases de dados são efectuados através de uma base de dados especial de configuração para este sistema.

32 LIP Jornadas - Ericeira - 20-21 Dezembro 1999 Helmut Wolters 32 Conclusões 4Desenvolvemos um sistema cliente/servidor para gerir as DBs 3rpmbd: MIZZI rpm DAQ Subdetectores 3Funciona há um ano na experiência (test runs) 3Melhorámos o DBEDIT (editor TCL/Tk) uArrancámos o processo de sistematização: 3Esquema de diagramas como base de discussão GQuais as fontes da informação ? GQual a finalidade/utilidade desta informação ? GQual a gestão de versões apropriada ? GProcessamento Online / distribuição aos trigger farms GInteracção entre as bases de dados para cada subsistema: configuração / reconstrução / alinhamento / calibração / slow control èAinda há muito a fazer... èAperfeiçoar o sistema com a experiência ganha no dia a dia