Bio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular Departamento de Informática PUC-Rio Aluno: Luiz Fernando Bessa Seibel Orientador: Sérgio Lifschitz

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 2 Agenda Introdução Motivação Abordagens de integração – –no contexto da biologia molecular – –Trabalhos relacionados A solução proposta - via framework – –Funcionalidades – –Instanciação dos hot spots – –Modelo de dados da arquitetura Modelo conceitual de informações biológicas Comparação entre as arquiteturas de integração Implementação da solução proposta Estudos de caso Contribuições Trabalhos futuros

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 3 Introdução Proposta inicial do doutorado: Pesquisa na área de Bioinformática Proposta inicial do doutorado: Pesquisa na área de Bioinformática Primeiro contato com FioCruz: 97 Primeiro contato com FioCruz: 97 Resposta à questão: “que modelo de dados é apropriado ?” Resposta à questão: “que modelo de dados é apropriado ?” Importância de arquitetura de integração que atendesse requisitos da pesquisa Importância de arquitetura de integração que atendesse requisitos da pesquisa Importância de construção de índices para sequências (melhorar desempenho do BLAST) Importância de construção de índices para sequências (melhorar desempenho do BLAST) Poucos grupos de pesquisa na área de bancos de dados e bioinformática: S. Davidson, N. Paton, N. Goodman, V. Markowitz Poucos grupos de pesquisa na área de bancos de dados e bioinformática: S. Davidson, N. Paton, N. Goodman, V. Markowitz

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 4 Motivação Requisitos da Pesquisa em Bioinformática Desafios: – –Lidar com enormes volumes de dados de sequências e outras anotações biológicas, armazenadas em inúmeras fontes de dados heterogêneas, que estão distribuídas – –Desenvolver algoritmos de suporte à interpretação dos dados – –Novas descobertas precisam ser incorporadas às fontes de dados e podem exigir reconstrução dos algoritmos – –Novo ramo da ciência: Bioinformática

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 5 Motivação Requisitos da Pesquisa em Bioinformática Problemas a resolver: – –acesso eficiente e integrado às informações – –tratamento da evolução dos esquemas das fontes de dados – –tratamento da heterogeneidade das fontes de dados – –formulação de consultas complexas – –acesso a dados atualizados – –uso de estruturas de índices para acesso aos dados – –desenvolvimento de algoritmos específicos – –qualidade das informações armazenadas

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 6 Motivação Fontes de Dados de Biologia Molecular Arquivos texto Bancos de dados que usam modelos de dados distintos (relacional, orientado a objetos, relacional-objeto, semi-estruturados) Arquivos com formatos apropriados para a execução de algoritmos específicos (ex: FASTA, BLAST)

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 7 Motivação Fontes de Dados de Biologia Molecular Armazenam informações complementares do domínio do conhecimento – – sequências de nucleotídeos e de proteínas – – estruturas de proteínas – – microarrays de DNA – – anotações de fenômenos biológicos – – taxonomia – – publicações – – pessoas e centros de pesquisa

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 8 Motivação Fontes de Dados de Biologia Molecular Contém dados de: – –diversos organismos [GenBank, PIR, Swiss-Prot] – –um organismo [AceDB, TcruziDB] – –células específicas (ou partes de) [Mitomap] – –funções biológicas específicas [ExPASy] – –mutações [Human Mutation Databases]

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 9 Motivação Aplicações e Ferramentas Estão associadas às fontes de dados Cada fonte disponibiliza um conjunto reduzido de aplicações Podem exigir formatos específicos Existe código fonte público Exemplos: – – Depuração das sequências [LabBase] – – Sistema automático de submissão de sequências [LabBase] – – Montagem de fragmentos [Phred-Phrap] – – Pesquisa de genes [GeneFinder] – – Comparação de sequências [FAST, BLAST] – – Alinhamento de sequências [ClustalW] – – Visualização do mapa do cromossomo / fragmento [AceDB]

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 10 Abordagens de Integração no Contexto da Biologia Molecular Abordagens de Integração no Contexto da Biologia Molecular (Trabalhos Relacionados) Via SGBDDH Via multidatabase – – CPL/Kleisli por P. Buneman, S. Davidson et al. Via data warehouse – – GIMS por N. Paton, C. Goble et al. Via mediador – – proposto por P. Karp Outras formas de integração usadas em biologia – –Via navegação hipertexto entre registros de fontes de dados Entrez (NCBI) – –Via sistemas de links entre fontes de dados SRS (EBI)

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 11 Discussão das Abordagens de Integração da Biologia Molecular Ferramentas apresentam limitações: São pouco flexíveis – –adotam modelo de dados / esquema próprio – –tem dificuldades inerentes à alteração dos esquemas – –não permitem o uso das aplicações disponíveis Apresentam baixa performance Não são extensíveis – –não permitem incorporar aplicações existentes – –limitam o uso das fontes de dados envolvidas – –não permitem a instanciação de uma fonte de dados apropriada a uma pesquisa específica

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 12 Por que a integração via framework ? Definição: “Um Framework é uma arquitetura abstrata de software, flexível e extensível, que contém componentes pré-definidos (frozen spots) e outros que devem ser instanciados (hot spots) para a implementação de um desejado e particular sistema”

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 13 A Solução Proposta O framework proposto propicia: Flexibilidade, através da – –captura dos esquemas das fontes de dados da biologia – –definição e manutenção de um esquema próprio – –definição de um modelo de dados / ontologia efetivamente usada nas fontes de dados existentes – –utilização das aplicações disponíveis Alta performance no acesso aos dados Extensibilidade, através da – –incorporação de qualquer aplicação existente – –incorporação de qualquer fonte de dados de biologia – –instanciação de uma fonte de dados para uma pesquisa específica

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 14 A Solução Proposta O framework proposto também propicia: Tratar a evolução dos esquemas das fontes de dados – –detecta alteração de esquemas, via agente de monitoração – –informa ao usuário administrador que houve alteração – –usuário administrador procede a uma nova captura, no momento adequado => alteração dos esquemas é assíncrona ! Tratar a evolução dos esquemas específicos – –a qualquer momento, por ação do administrador

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 15 A Solução Proposta O framework propicia ainda: Tratar a atualização das instâncias de dados – –monitora atualização da fonte de dados – –procede à alteração de forma autônoma – –termina atualização por ação do administrador O framework é uma solução de integração mais geral do que as existentes e pode ser aplicado a outros domínios, desde que tenham os mesmos requisitos

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 16 Apresentação da Arquitetura

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 17 Fonte 1 Fontes de Dados da Biologia Fonte 2Fonte 3 Metadados Dados Wrapper 3 Wrapper 2 Wrapper 1 Conversor (Wrappers) Capturador Administrador Modelo da Biologia Drivers de Aplicação Driver 1 Driver 3 Driver 2 Aplic.1Aplic.2Aplic.3 Arquitetura do Framework Aplicações da Biologia Usuários

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 18 Funcionalidades

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 19 Fonte 1 Metadados Wrapper 1 Conversor (Wrappers) Capturador Administrador Arquitetura do Framework Usuário Administrador

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 20 Funcionalidades

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 21 Metadados Capturador Administrador Modelo da Biologia Arquitetura do Framework Usuário Administrador Identifica Objetos Relaciona Objetos Define Ontologia

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 22 Funcionalidades

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 23 Metadados Capturador Administrador Modelo da Biologia Arquitetura do Framework Usuário Administrador Seleciona objetos do modelo

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 24 Funcionalidades

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 25 Fonte 1 Fontes de Dados da Biologia Fonte 2 Metadados Dados Wrapper 2 Wrapper 1 Conversor (Wrappers) Capturador Administrador Modelo da Biologia Arquitetura do Framework Usuário Administrador

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 26 Funcionalidades

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 27 Metadados Dados Capturador Administrador Drivers de Aplicação Driver 1 Aplic.1 Arquitetura do Framework Usuário Administrador

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 28 Funcionalidades

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 29 Metadados Dados Capturador Administrador Arquitetura do Framework Usuário

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 30 Funcionalidades

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 31 Metadados Dados Capturador Administrador Arquitetura do Framework Usuário Modelo da Biologia

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 32 Funcionalidades

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 33 Fonte 1 Fontes de Dados da Biologia Fonte 2Fonte 3 Metadados Wrapper 3 Wrapper 2 Wrapper 1 Conversor (Wrappers) Capturador Administrador Arquitetura do Framework Usuário Administrador

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 34 Funcionalidades

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 35 Fonte 1 Fontes de Dados da Biologia Fonte 2 Metadados Wrapper 2 Wrapper 1 Conversor (Wrappers) Capturador Administrador Arquitetura do Framework Usuário Administrador Dados

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 36 Framework Instanciação de Wrappers

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 37 Framework Instanciação de Drivers

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 38 O uso de XML e XML Schema XML possui características voltadas para solução de problemas de bioinformática: XML possui características voltadas para solução de problemas de bioinformática: –flexível –orientada à Internet –usada para especificar padrões de dados –pode ser lida por qualquer editor de textos –Usada para troca de informações entre fontes de dados –Diversas ferramentas disponíveis

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 39 O uso de XML e XML Schema XML Schema é mais completo para a descrição de dados XML do que DTD XML Schema é mais completo para a descrição de dados XML do que DTD Existem geradores automáticos de XML Schema a partir de XML Existem geradores automáticos de XML Schema a partir de XML XML Schema tem as construções necessárias para descrever esquemas XML Schema tem as construções necessárias para descrever esquemas RDF é aplicado a outro tipo de problema RDF é aplicado a outro tipo de problema –XML representa uma estrutura hierárquica cujos nós estão presentes em um documento –RDF respresenta um grafo rotulado cujos nós são recursos que normalmente estão externos ao documento

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 40 Modelo da Biologia OMG apresenta propostas de parte do modelo da biologia (foco no genoma) OMG apresenta propostas de parte do modelo da biologia (foco no genoma) GIMS apresenta proposta incompleta do modelo da biologia (ex: estruturas de proteínas) GIMS apresenta proposta incompleta do modelo da biologia (ex: estruturas de proteínas) Modelos consideram aspectos não biológicos (ex: detalhes implementação - Corba) Modelos consideram aspectos não biológicos (ex: detalhes implementação - Corba) Modelos não identificam aspectos tecnológicos (ex: fragmentos, experimentos com microarrays, etc.) Modelos não identificam aspectos tecnológicos (ex: fragmentos, experimentos com microarrays, etc.)

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 41 Modelo Conceitual Genoma

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 42 Modelo Conceitual Genoma

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 43 Modelo Conceitual Genoma

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 44 Modelo Conceitual Genoma

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 45 Modelo Conceitual Proteoma

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 46 Comparação entre as Arquiteturas de Integração Critérios Permitir a formulação de consultas complexas, via web, também via interface amigável Permitir a formulação de consultas complexas, via web, também via interface amigável Permitir acesso a todas as fontes de dados Permitir acesso a todas as fontes de dados Lidar com o ambiente heterogêneo Lidar com o ambiente heterogêneo Permitir transparência de esquema e de localização Permitir transparência de esquema e de localização

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 47 Comparação entre as arquiteturas de integração Critérios Tratar atualização de esquemas e dados Tratar atualização de esquemas e dados Adotar esquema coerente com os das fontes de dados Adotar esquema coerente com os das fontes de dados Instanciar fonte específica para uma pesquisa biológica Instanciar fonte específica para uma pesquisa biológica Permitir execução de todos os aplicativos disponíveis Permitir execução de todos os aplicativos disponíveis Facilitar entendimento dos objetos biológicos Facilitar entendimento dos objetos biológicos

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 48 Comparação entre as arquiteturas de integração

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 49 Implementação da Arquitetura Proposta Implementada em Java Implementada em Java –Orientada a Objetos –Portabilidade –Reuso –Interface Web Persistência via Oracle 9i Persistência via Oracle 9i –Tipo de dados XMLType –Consultas: SQL e uso de expressões XPATH –Índices em elementos XML

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 50 Implementação da Arquitetura Proposta Implementação dos wrappers Implementação dos wrappers –Swiss-Prot: Construção do analisador gerando código XML Construção do analisador gerando código XML Geração do esquema (via SPY) Geração do esquema (via SPY) –GenBank: Uso do analisador READSEQ, que gera código XML Uso do analisador READSEQ, que gera código XML Geração do esquema (via SPY) Geração do esquema (via SPY) –PIR: Já disponibiliza dados em XML Já disponibiliza dados em XML Geração do esquema (via SPY) Geração do esquema (via SPY)

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 51 Implementação da Arquitetura Proposta Implementação do módulo Administrador Implementação do módulo Administrador –Construção do aplicativo de integração de esquemas, definição do esquema próprio e definição de ontologia, utilizando classe do Oracle para análise e visualização de esquemas em XML Schema (Jtree) Implementação de aplicativos Implementação de aplicativos –Externo: uso do BLAST (Gish) –Interno: uso do alinhamento ótimo (Meidanis)

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 52 Caso 1: Carga de Dados do Swissprot Caso 1: Carga de Dados do SwissprotCarga de Dados do SwissprotCarga de Dados do Swissprot Caso 2: Construção do Esquema da Biologia Caso 2: Construção do Esquema da BiologiaConstrução do Esquema da BiologiaConstrução do Esquema da Biologia Caso 3: Construção do Esquema Específico Caso 3: Construção do Esquema EspecíficoConstrução do Esquema EspecíficoConstrução do Esquema Específico Caso 4: Instanciação do Esquema Específico Caso 4: Instanciação do Esquema EspecíficoInstanciação do Esquema EspecíficoInstanciação do Esquema Específico Caso 5: Execução do BLAST Caso 5: Execução do BLASTExecução do BLASTExecução do BLAST Caso 6: Execução do Algoritmo de Alinhamento Caso 6: Execução do Algoritmo de AlinhamentoExecução do Algoritmo de AlinhamentoExecução do Algoritmo de Alinhamento Caso 7: Seleção de Dados Caso 7: Seleção de DadosSeleção de DadosSeleção de Dados Caso 8: Comparação de Keywords do Swissprot e PIR Caso 8: Comparação de Keywords do Swissprot e PIRComparação de Keywords do Swissprot e PIRComparação de Keywords do Swissprot e PIRContribuições

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 53 z Contribuições Proposta de integração via framework, que atende aos requisitos da pesquisa na área de biologia molecular: – –permite acesso a todas as fontes de dados – –permite execução de qualquer aplicação – –atende à performance exigida – –trata atualização de esquemas e dados – –Permite definir e instanciar um esquema específico Proposta de um esquema conceitual de informações puramente biológicas sobre o dogma central da biologia – –identificando aspectos tecnológicos – –isento de aspectos de implementação

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 54 z Contribuições Construção de um protótipo, que contempla algumas das funcionalidades necessárias, demonstrando: – – integração de esquemas e de dados – – definição de uma ontologia – – execução de aplicativos e de consultas – – criação de esquema específico para uma pesquisa – – instanciação do esquema específico Comparação entre as arquiteturas de integração existentes Proposta de definição de uma ontologia, que pode ser confrontada com as existentes

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 55 Trabalhos Publicados Seibel L.F.B., Lifschitz S., Lemos M., “Bancos de Dados de Genoma”,Procs. of the Brasilian Database Simposium Tutorials, pp , Lifschitz S., Seibel L.F.B., Uchôa E.M.A., “A Framework for Molecular Biology Data Integration”, Procs. Workshop on Information Integration on the Web (WIIW), pp 27-34, Seibel L.F.B., Lifschitz S., “A Genome Databases Framework”, Proc. 12th Database and Expert Systems Applications (DEXA), ed. T. Bench-Capon et all, Springer-Verlag, pp , 2001.

Bio AXS Luiz Fernando Bessa SeibelBio AXS: Uma Arquitetura para Integração de Fontes de Dados e Aplicações da Biologia Molecular 56 Trabalhos Futuros Implementação de novas funcionalidades ao protótipo – – wrappers e aplicações – – mediador – – ferramenta amigável para consultas Estudos com base no protótipo – – desempenho das consultas à base XML – – problemas reais da pesquisa em biologia molecular Complemento do modelo conceitual da biologia molecular Geração de descrições lógicas a partir da ontologia gerada, dotando a ferramenta da capacidade de inferir conhecimento, para investigação de comportamentos biológicos