Bases de Dados e Sistemas de Informação

Apresentação em tema: "Bases de Dados e Sistemas de Informação"— Transcrição da apresentação:

1 Bases de Dados e Sistemas de Informação
José Júlio Alferes Seminários de Informática 05/06

2 Sumário O que são Bases de Dados: Mais sobre Sistemas de Informação:
Sistemas de Gestão de Bases de Dados Exemplos de aplicação Modelos de dados Linguagens de Definição e de Manipulação de Dados Utilizadores de Bases de Dados Componentes de um Sistema de Bases de dados Mais sobre Sistemas de Informação: Data Warehousing (armazéns de dados) Data Mining Sistemas de Informação para a Web

3 Sistemas de Gestão de Bases de Dados (SGBDs)
Colecção de dados inter-relacionados (Base de Dados) Conjunto de programas para aceder aos dados São normalmente usados para gerir grandes quantidades de informação Devem fornecer um ambiente de utilização conveniente e eficiente. Dados P1 P2 P3 Pn ...

4 Exemplos de Aplicação Banca: todas as transacções e movimentos
Companhias aéreas: reservas, horários Universidades: inscrições, notas Vendas: clientes, produtos, compras Indústria: produção, inventário, pedidos, cadeia de fornecimento Recursos humanos: registos dos empregados, salários, impostos ...

5 Exemplo de uso de SGBD Um banco quer guardar a informação dos seus clientes. Precisa depois de programas para: Fazer débitos e créditos numa conta Abrir e fechar contas Ver saldos duma conta Fazer extractos periódicos das contas Como guardar a informação ? Uma conta pode ter vários clientes e um cliente várias contas! Não podem haver saldos negativos!

6 Os SGBDs devem: Evitar redundâncias Facilitar o acesso aos dados
Permitir acesso simultâneo à informação Garantir a segurança dos dados Garantir a integridade da informação de acordo com restrições pré-definidas Permitir vários níveis de abstracção

7 Vantagens do uso de SGBD
Dados centralizados versus por programas redundância dificuldades em garantir integridade Como garantir, por exemplo, que não há contas negativas? uniformidade na segurança e acesso simultâneo

8 Funções de um SGBD Inconvenientes dos sistemas de ficheiros no armazenamento de dados: Redundância e inconsistência de dados Múltiplos formatos, duplicação de informação em ficheiros diferentes Dificuldades no acesso aos dados Necessidade de escrever um novo programa para efectuar uma nova tarefa Isolamento de dados — múltiplos ficheiros e formatos Problemas de integridade Restrições de integridade (e.g. saldo da conta> 0) estão incluídas no código dos programas Difícil alterar ou adicionar novas restrições

9 Funções de um SGBD (Cont.)
Inconvenientes dos sistemas de ficheiros (cont.) Atomicidade das alterações Falhas podem colocar a base de dados num estado inconsistente com alterações parciais já efectuadas. E.g. transferência de dinheiro de uma conta para outra ou deve ser totalmente realizada ou nenhuma alteração deve ser efectuada Acessos concorrentes por diversos utilizadores Acessos concorrentes necessários por motivos de eficiência Os acessos concorrentes não controlados podem originar inconsistências E.g. duas pessoas a consultarem um saldo e a alterá-lo ao mesmo tempo Problemas de segurança Os sistemas de Bases de Dados pretendem oferecer soluções para todos estes problemas.

10 Níveis de Abstracção Nível físico: descreve como um registo (e.g., cliente) é armazenado. Nível lógico: descreve os dados armazenados na base de dados, assim como as relações entre os dados. Nível das vistas: as aplicações ocultam os detalhes dos tipos de dados. As vistas também podem esconder informação (e.g., salário) por motivos de segurança.

11 Modelos de Dados Ferramentas (± formais) para descrever:
os vários tipos de dados as relações entre eles o seu significado as restrições de integridade Modelo Entidade-Associação (ER – Entity Relationship) Modelo Relacional Outros modelos: Modelo orientado para objectos Modelos de dados semi-estruturados Modelo hierárquico Modelo em rede

12 Instâncias e Esquemas Instância de base de dados: Esquema de dados:
Informação armazenada num dado momento Esquema de dados: Design genérico da base de dados Independência física dos dados – a capacidade de modificar o esquema físico sem alterar o esquema lógico As aplicações dependem do esquema lógico Em geral, as interfaces entre os vários níveis e componentes devem estar bem definidas de modo a que alterações numa parte não influenciem grandemente outras partes. Independência lógica dos dados – a capacidade de modificar o esquema conceptual sem necessidade de mudar os programas

13 Modelo ER Exemplo de um esquema no modelo ER

14 Modelo ER (Cont.) Modelização ER do mundo
Entidades (objectos) E.g. customers, accounts, bank branch Associações entre entidades E.g., a conta A-101 pertence ao cliente Johnson O conjunto de associações depositante associa clientes a contas Amplamente utilizado no desenho de bases de dados O desenho de base de dados no modelo ER é normalmente convertido para o desenho no modelo relacional (a seguir) que é utilizado para processamento e armazenamento

15 Modelo Relacional Exemplo de conjunto de dados no modelo relacional
Atributos Exemplo de conjunto de dados no modelo relacional customer- name customer- street customer- city account- number Customer-id Johnson Smith Jones Alma North Main Palo Alto Rye Harrison A-101 A-215 A-201 A-217

16 Exemplo de Base de Dados Relacional

17 Modelo Relacional Modelização Relacional
Os dados encontram-se em relações (ou tabelas) Cada tabela tem um conjunto de atributos (colunas) cada uma das quais com um domínio A informação é “armazenada" em linhas Podem estabelecer-se restrições sobre os dados Chaves Eg: Não podem haver duas linhas em customer com o mesmo customer-id Chaves Estrangeiras (que estabelecem relações entre tabelas) Eg: No atributo customer-id da tabela depositor só podem aparecer valores que também apareçam na tabela customer Utilizado na grande maioria dos actuais sistemas de gestão de bases de dados

18 Linguagem de Definição de Dados (DDL)
Especificação da notação para definição do esquema da base de dados E.g. create table account ( account-number char(10), balance integer check (balance > 0), primary key account-number) O compilador da DDL gera um conjunto de tabelas armazenadas num dicionário de dados. O dicionário de dados contém metadados (dados sobre dados) Esquema de bases de dados Linguagem de definição de dados e armazenamento Linguagem onde se especificam as estruturas de armazenamento e métodos de acesso utilizados pela base de dados Normalmente uma extensão da linguagem da definição de dados

19 Ling. de Manipulação de Dados (DML)
Linguagem para aceder e manipular os dados organizados de acordo com o respectivo modelo de dados A DML também é conhecida por linguagem de consulta Duas classes de linguagens Procedimental – o utilizador especifica quais os dados que se pretendem assim como obter os dados Declarativa – o utilizador especifica quais os dados pretendidos sem especificar a maneira como os obter A SQL é a linguagem de consulta mais utilizada. É uma linguagem declarativa.

20 SQL SQL: linguagem não-procedimental (declarativa) de uso generalizado
E.g. encontrar o nome de cliente com customer-id select customer.customer-name from customer where customer.customer-id = ‘ ’ E.g. procurar os saldos de todas as contas detidas pelo cliente com customer-id select account.balance from depositor, account where depositor.customer-id = ‘ ’ and depositor.account-number = account.account-number As aplicações geralmente acedem a bases de dados por intermédio de: Extensões às linguagens permitindo SQL embebido: Interface de aplicações (e.g. ODBC/JDBC) permitindo o envio de consultas SQL para a base de dados

21 Utilizadores da Base de Dados
Os utilizadores diferenciam-se pela forma esperada de interacção com o sistema Programadores de aplicações– interagem com o sistema através de chamadas DML Utilizadores sofisticados – constróem pedidos numa linguagem de consulta a bases de dados Utilizadores especializados – escrevem aplicações de bases de dados especializadas que não se enquadram com no espírito do processamento de dados tradicional Utilizadores – chamam uma das aplicações que foi construída previamente E.g. pessoas a acederem a uma base de dados através da Web, caixas, pessoal de secretariado

22 Administrador da Base de Dados
Coordena todas as actividades do sistema de base de dados; o administrador da base de dados compreende bem dos recursos e necessidades de informação da empresa. As funções do administrador de bases de dados incluem: Definição do esquema Definição dos métodos de acesso e estrutura de armazenamento Modificação do esquema e da organização física Dar aos utilizadores autorizações de acesso à base de dados Especificar restrições de integridade Servir de ligação entre os utilizadores Monitorar a performace e responder a alterações nos requisitos.

23 Estrutura Genérica do Sistema

24 Gestão de Transacções Uma transacção é um conjunto de operações que efectuam uma função lógica na aplicação de base de dados A componente de gestão de transacções garante que a base de dados se mantém num estado consistente (correcto) apesar de falhas no sistema (e.g., falta de energia eléctrica e paragens abruptas do sistema operativo) e de transacções falhadas. O gestor de controlo de concorrência coordena a interacção entre transacções concorrentes para garantir a consistência da base de dados.

25 Gestão do Armazenamento
O gestor do armazenamento é um módulo de programa que fornece uma interface entre os dados de baixo nível armazenados na base de dados e as aplicações e consultas submetidas ao sistema. O gestor de armazenamento é responsável pelas seguintes tarefas: interacção com o gestor de ficheiros armazenamento, recuperação e alteração eficientes dos dados

26 Sistemas Operacionais
Até aqui vimos sobretudo sistemas OLTP – On Line Transaction Processing Sistemas que suportam o dia a dia do negócio ou actividade de uma empresa ou instituição Exemplo: Se alguém compra um produto numa loja o sistema retira uma unidade desse produto do stock existente, emite uma factura. Se chegam novas unidades do produto o sistema actualiza o stock Características Milhares ou milhões de transações (SABRE trans/s) Pequenas operações, repetidas e previsíveis Tempo real

27 Sistemas Analíticos OLAP – On Line Analytical Processing
Sistemas que permitem os utilizadores analisarem diferentes aspectos da actividade e desempenho da empresa Exemplo Como é que determinado produto se está a vender pelas diferentes regiões? Qual foi a evolução das suas vendas desde a sua introdução no mercado? Características de utilização Poucas interrogações (quando comparado com os sistemas OLTP) Grandes volumes de dados envolvidos em cada interrogação (para obter frequentemente um reduzido sumário) Grande variedade e pouca previsibilidade Consulta e exploração (não edição)

28 Os Sistemas Operacionais são substancialmente diferentes dos Analíticos
“The users of an OLTP system are running the wheels of the organization. The users of a data warehouse are watching the wheels of the organization” [Kimball] Diferentes sob vários aspectos [Kimball] Os utilizadores são diferentes O conteúdo é diferente As estruturas de dados são diferentes O Software é diferente O Hardware é muitas vezes diferente A sua administração é diferente A gestão de sistemas é diferente O ritmo diário de operação é diferente.

29 Data warehouse - Infra-estrutura para suporte à decisão -
“A data warehouse is an analytical database that is used as the foundation of a decision support system. It is designed for large volumes of read-only data, providing intuitive access to information that will be used in making decisions. A data warehouse is created as ongoing commitment by the organization to ensure the appropriate data is available to the appropriate end user at the appropriate time” [Vidette Poe, et all, 1997]

30 Arquitectura de Referência
Gestão e Operação Ad Hoc Query Tools Fontes OLTP . Data Warehouse Report Writers MetaData Data Marts Extracção Limpeza Transformação Carregamento Multidimensional Analysis Aplicações - DataMining - …. Fontes Externas Plataformas e Infra-estruturas de suporte Configuração, Gestão e Operação

31 Data Mining E depois de ter estes dados todos, eventualmente numa data warehouse, será que não há para lá relações entre partes de informação, que são interessantes? Como descobri-las? Como agrupar os dados? Como extrair conceitos? Como extrair regras? Isso é o que se estuda em Data Mining. Usam-se técnicas várias de aprendizagem automática para agrupar dados e descobrir relações entre eles Ao processo de Data Mining é também comum chamar-se Knowledge Discovery A todo o processo também se chama Business Intelligence

32 Sistemas de Informação na Web
Cada vez existe informação disponível pela Web. Pode ver-se a Web como um enorme sistema de informação, sobre o qual se podem desenvolver aplicações. Mas há muitas diferenças: Dados distribuídos Dados não estruturados Não há garantias de consistência Numa primeira fase, Web apenas de (hyper) texto (HTML) Nenhuma estrutura Difícil de perceber como lidar com páginas de forma automática

33 Dados semi-estruturados na Web
XML como forma de permitir dados semi-estruturados localmente Tags arbitrárias DTDs com descrição da estrutura, publicamente disponível XSLT para transformação (e visualização) de dados XML Existem linguagens (declarativas) para interrogação de dados XML XPath, XQuery, Xcerpt, XQL, etc Existem modelos de dados para XML Estrutura hierárquica Dados “armazenados em árvore” Existem sistemas que lidam com tudo isto Hoje em dia qualquer browser lida com XML e processa XSLT/XPath

34 O Futuro – Semantic Web Hoje em dia a Web está em máquinas mas é para ser usada por humanos Eu consigo à mão, através da Web marcar um Hotel para Munique de 1 a 3 de Maio. Como fazer um programa que consiga fazer isso por mim? Como é que o meu programa ia entender o que está nas páginas? Mesmo que estas estivessem em XML, como é que ia saber o significado de cada tag, havendo vários DTDs? A ideial da Semantic Web é o de fazer uma Web em máquinas, para humanos mas também para máquinas!

35 Semantic Web “The Semantic Web is an extension of the current web in which information is given well-defined meaning, better enabling computers and people to work in cooperation.” Tim Berners-Lee A ideia é que à informação se juntem também descrições do significado dos dados Existem já linguagens para descrição de conceitos e significados de dados na Web RDF, OWL (e, em desuso, DAML, OIL) Permitirá que máquinas, lendo os dados e os seus significados, possam de forma eficiente entender os conteúdos Exige: Repositórios com definições de conceitos Que as páginas tenham referência a significado

36 Disciplinas oferecidas pelo DI nesta área
Na Licenciatura em Engenharia Informática Bases de Dados 1 Bases de Dados 2 Bases de Dados e Data Warehousing Tecnologias de Sistemas de Informação baseados na Web No Mestrado em Engenharia Informática Text and Data Mining Tópicos de Representação do Conhecimento para a Web