INE5408 Estruturas de Dados Gerência de Arquivos -Técnicas utilizando Listas -Técnicas utilizando Árvores.

Apresentação em tema: "INE5408 Estruturas de Dados Gerência de Arquivos -Técnicas utilizando Listas -Técnicas utilizando Árvores."— Transcrição da apresentação:

1

2 INE5408 Estruturas de Dados Gerência de Arquivos -Técnicas utilizando Listas -Técnicas utilizando Árvores

3 Técnicas utilizando Listas Técnicas de indexação através de listas provêem uma solução excelente para a recuperação de chaves secundárias; exemplos típicos de chave secundária: CARGO, DEPARTAMENTO, IDADE, entre outros. Lista: estrutura de acesso inerentemente seqüencial. Não é adequada: para conjuntos de dados com somente um ou muito poucos registros por valor de chave. Situação ideal: poucos valores possíveis para uma chave e muitos registros possuindo este valor de chave.

4 Técnicas utilizando Listas Suportam os três tipos de solicitações de recuperação; se a aplicação possui uma chave tipicamente primária (ex.: nome, cpf, id), a melhor técnica é utilizar uma forma de indexação primária (ex.: árvore B) para a organização geral do arquivo e utilizar uma das duas técnicas de listas encadeadas a seguir para a indexação somente de chaves secundárias.

5 Atualização de arquivos com índices em Lista Independentemente do tipo de indexação por lista, dois aspectos são gerais: –um registro pode ser membro de duas ou mais listas; –marcar um registro como excluído é aqui muito mais prático do que atualizar diversas listas.

6 Multilista O arquivo multilista é a implementação mais intuitiva da idéia de se utilizar listas encadeadas para indexar chaves secundárias. Princípios básicos: –cada campo do arquivo de registros de dados a ser tratado como uma chave é encadeado como uma lista, possuindo além do campo com o valor de chave, também um campo com um apontador para o próximo registro com o mesmo valor de chave para este campo.

7 Multilista

8 Princípios básicos: –além desse encadeamento, o arquivo possuirá um diretório; –o diretório do arquivo multilista é constituído por um arquivo índice para cada campo indexado e um índice geral apontando para os índices-de- campo; –o arquivo-índice de um campo possui uma seqüência de cabeças-de-lista contendo: o valor de chave indexado, o número de elementos na lista e o endereço do primeiro elemento da lista. Em caso de chaves contínuas, o limite superior do intervalo representado pela entrada será dado.

9 Multilista

10 A próxima figura exibe uma visão "pictórica" do encadeamento provocado pelas listas dos gráficos anteriores (Claybrook 77); os endereços (1.5, 0.7, 2.7) referem-se a uma forma de endereçamento relativo mais antiga, onde um arquivo é dividido em "células".

11 Multilista

12 Formas de pesquisa A pesquisa é realizada através da criação de tabelas de resultados parciais, cuja união ou intersecção é calculada de acordo com o tipo de pesquisa (disjuntiva ou conjuntiva) que é realizado; uma lista é percorrida e todos os elementos (registros de dados desta lista) são colocados em uma tabela; em pesquisas simples (chave=valor) a primeira tabela gerada já é a resposta à pesquisa.

13 Formas de pesquisa Em pesquisas booleanas ou por intervalo o procedimento é mais complexo: –para todas as expressões conjuntivas escolhemos o valor de chave com o menor número de elementos para a geração da tabela inicial. Esta tabela é gerada copiando-se todos os registros correspondentes do arquivo de registros de dados para lá. Em seguida, todas as outras listas de valores-de-chave são percorridas e elementos da primeira tabela não encontrados nestas são eliminados.

14 Formas de pesquisa Em pesquisas booleanas ou por intervalo o procedimento é mais complexo: –para operações disjuntivas, o procedimento consiste em se iniciar com uma tabela gerada a partir da maior lista de elementos e incluir elementos das outras listas ainda não presentes; –para combinações de operações conjuntivas e disjuntivas a geração de tabelas intermediárias é necessária. Claybrook sugere aqui, que inicialmente se transforme a expressão-pergunta na forma disjuntiva normal, para depois iniciar o processo de busca.

15 Vantagens É um método relativamente simples e econômico em termos de espaço de se indexar arquivos por chave secundária; para pesquisas simples por chave secundária é o método mais econômico: O(m) : m < n, para devolver todos os registros que satisfazem uma condição simples; suporta todos os tipos de pesquisa, mesmo expressões booleanas complexas.

16 Desvantagens Chave Primária: é totalmente inadequado; operação de cópia: a técnica de pesquisa de se copiar registros de dados para uma tabela pode se tornar cara em uma pesquisa conjuntiva, onde: –registros completos que vão mais tarde ser descartados são copiados para uma tabela; –todas as listas que fazem parte de uma pesquisa conjuntiva são pesquisadas completamente, mesmo que só uma fração muito pequena dos dados satisfaça a expressão booleana. Não existe nenhum mecanismo, em pesquisas por intervalo ou booleanas, que impeça que registros que já tenham sido visitados através de uma das listas sejam visitados novamente através de outra lista.

17 Resumo A Multilista é um método intuitivo. A sua grande desvantagem é que precisamos sempre copiar os registros por completo para uma tabela para podermos trabalhar com eles em pesquisas que não sejam simples.

18 Lista Invertida A organização de um arquivo Lista Invertida consiste de um diretório contendo uma ou mais listas-índice e um ou mais arquivos endereços de registros de dados, além do arquivo de registro de dados em si; o diretório é constituído por dois grupos de arquivos: –listas-índice para valores de chaves; –arquivo com apontadores para registros organizado por valores de chave.

19 Lista Invertida Uma entrada do índice de uma chave possui os seguintes dados: –o valor da chave; –um indicador para a lista de registros contendo o valor de chave; –o número de registros da lista.

20 Lista Invertida Uma entrada da lista de registros possui os seguintes dados: –um conjunto de m campos contendo endereços de registros de dados; –um apontador para a posição do próximo registro da lista de registros.

21 Exemplo Na figura a seguir, as listas-índice para cargo e depto estão omitidas, da mesma forma só foram representados endereços de registro para idade = 18 e 20 e salário = 10.000 e 20.000.

22 Exemplo

23 No exemplo anterior endereços de registro dos arquivos presentes no gráfico estão representados por setas, endereços de registros do arquivo de registros de dados por valores de endereço relativo; evidentemente podem existir vários arquivos de endereços de registro e várias listas- índice. Alternativamente podemos colocar os registros de endereços todos em um único arquivo.

24 Exemplo (Claybrook 1977)

25 Exemplo Na figura anterior somente um arquivo para listas de endereços de registro é utilizado; os endereços do exemplo (1.5, 0.7, 2.7) também se referem a uma forma de endereçamento relativo mais antiga, onde um arquivo é dividido em "células".

26 Técnica de pesquisa Pesquisas de chaves em arquivos Lista Invertida são realizadas também através da geração de tabelas; ao contrário da multilista, aqui as tabelas podem ser bem mais simples e a pesquisa para a construção destas pode ser bem mais efetiva, sem realmente ler os registros de dados; pesquisas de chave simples geram uma tabela de saída com todos os registros com o valor de chave para aquela chave, depois de ter sido gerada uma tabela de endereços de registros com o valor de chave.

27 Técnica de pesquisa Pesquisas booleanas são as mais complexas. Nestas pesquisas, várias tabelas de endereços são geradas, iniciando-se sempre pelo valor de chave com o menor número de ocorrências; em pesquisas conjuntivas, endereços não encontrados para outras chaves são retirados. Em pesquisas disjuntivas, são adicionados. Com a tabela de endereços resultante é criada a tabela de registros de dados definitiva. Assim somente os registros realmente necessários vão ser lidos do arquivo de registros de dados.

28 Exemplo

29 Se fizermos a pesquisa (idade = 18 & salário = 10.000) para descobrir quem são os filhos dos donos da empresa, vamos ter como tabela inicial (103, 205, 101), pois salário = 10.000 tem só 3 registros na sua lista de endereços de registros; a seguir a lista de endereços de registros de idade = 18 é percorrida e todos os não encontrados são eliminados da tabela; pesquisas mais complexas vão dar origem a tabelas mais complexas.

30 Vantagens Bom suporte para todos os tipos de pesquisas, desde que o campo pesquisado seja indexado; uma das melhores técnicas para chaves secundárias com altas taxas de redundância de valor de chave; o fato de podermos realizar todas as pesquisas de chaves que possuam índices diretamente nas tabelas de endereços provê uma vantagem imensa sobre a multilista.

31 Desvantagens Em pesquisas booleanas onde pelo menos dois dos elementos procurados não estão indexados, temos de criar tabelas contendo cópias de todos os registros que satisfizeram a parte indexada da consulta; se mais de um elemento não está indexado e a pesquisa é conjuntiva, isto pode gerar tabelas grandes e se tornar caro; atualização é complexa, pois todos os arquivos de índices devem ser atualizados.

32 Técnicas utilizando Árvores Árvores podem também ser utilizadas para a gerência de arquivos; possibilidade de indexação: –Chave Primária Árvores Binárias e Árvore B; –Chave Primária e Secundária (Árvore K-D).

33 Duas opções Arquivo Único: utilizamos uma árvore diretamente, colocando tanto a chave quanto os dados em um nodo da árvore. –Vantagem: economia de espaço. –Desvantagem: dados misturados com informação de indexação. Só um índice é possivel.

34 Duas opções Utilizamos a árvore como Arquivo de Índices. –Cada nodo da árvore possui informação sobre a chave e ponteiros para um outro arquivo, o arquivo de registros de dados, que contém os reais registros de dados completos.

35 Duas opções Vantagens: dados independentes do arquivo de índices. Arquivo de índices pode ser jogado fora. –Registros de dados copiados independentemente de seus índices ou novo arquivo de índices pode ser gerado indexando os dados por outra chave. Vários arquivos de índices para um mesmo arquivo de dados são possíveis simultaneamente, indexando-o por diferentes chaves. –Podemos gerar um novo arquivo de índices enquanto o velho continua disponível para usuários. Desvantagem: desperdício de espaço –Chaves do arquivo de registros de dados utilizadas para indexação replicadas no arquivo de índices. –Conjunto de dados indexado por uma chave longa (ex.: nome, endereço) terá arquivo de índices extremamente grande.

36 Aspectos gerais Vantagens –Aplicação imediata: supondo-se a possibilidade do endereçamento relativo por registros de arquivos, algoritmos de gerência de árvores podem ser (quase todos) diretamente aplicados a arquivos. Ao invés de ponteiros para áreas de memória, utiliza-se campos inteiros com endereços relativos de registros; –Pesquisa rápida: árvores oferecem tempos de acesso a registros relativamente curtos, com caminhos de busca O(log n).

37 Aspectos gerais Desvantagens –Desperdício de espaço: indexação por chave secundária impõe (com exceção das árvores K-D) necessidade de vários arquivos de índices, um para cada índice; –Redundância de valor de chave cara: quando um valor de chave tem alta redundância (índices de chave secundária - ex.: cargo em um arquivo de departamento pessoal) muitos registros do arquivo de índices têm de ser lidos.

38 Aspectos gerais Desvantagens –Manutenção cara: em aplicações com freqüentes inserções e exclusões de registros e chaves, a manutenção de um arquivo de índices em uma árvore balanceada é extremamente cara. Solução: registros excluídos são somente marcados; registros novos incluídos são sempre incluídos como folhas; rebalanceamento com exclusão definitiva realizado periodicamente. –Problema: deterioração rápida da árvore.

39 Aspectos gerais Desvantagens –Listagem seqüencial cara: listagem de registros em ordem de chave implica em visitas repetidas a todos os nodos da árvore que não são folhas. Solução: colocar o próprio registro na pilha. –Problema: estouro de pilha para registros grandes ou árvores profundas.

40 Resumo geral Árvores são indicadas para aplicações onde uma pesquisa rápida é muito importante, poucas alterações ocorrem em um período de tempo e a atualização da árvore (rebalanceamento) pode ser feita em batch em períodos em que a estrutura não é utilizada.

41 Árvore Binária Paginada Subárvores são concatenadas em um único registro; adequado para árvores com nodos pequenos: - árvores onde o nodo possui um ponteiro para o arquivo de registros; - árvores com registros de dados realmente pequenos; a nível de arquivo de índices, um registro do arquivo possui vários nodos da árvore.

42 Árvore Binária Paginada

43 Vantagem: –muito menos acessos a disco são realizados. Desvantagens: –todos os algoritmos sofrem alterações; –rebalanceamento fica muito mais complexo.

44 Árvore B Árvores B (Bayer&MCCreight 1972), às vezes também chamadas Árvores Bayer ou Árvores Multivias, foram originalmente concebidas para a implementação de mecanismos de indexação por chave primária em memória secundária; permite um número menor de nodos (menor altura) e por conseguinte menos acessos a disco; implementações comuns utilizam arquivo de índices com ponteiros para arquivo de registros de dados.

45 Árvore B Vantagens: –mais adequada a arquivos voláteis do que árvores binárias; inclusão: redistribuição de chaves pode ser efetuada em tempo de operação; –nodos com muitas chaves tornam paginação desnecessária; –economia de espaço: poucos ponteiros entre nodos; –algoritmos são os mesmos que para árvore B em memória principal.

46 Árvore B Desvantagens: –não oferece solução econômica para indexação por chave secundária ou com alta redundância de valor de chave; –exclusão com marcação e redistribuição offline; –não oferece solução barata para problema de percurso por seqüencia de chave; Performance de busca por chave é idêntica à da árvore binária, se só ponteiros para nodos são empilhados. Problema: nodo não-folha com m chaves é visitado m vezes.

47 Árvore B+ Nas árvores de índices, os nodos só possuem, além da chave, um ponteiro para o registro de dados em outro arquivo. Isto pode ser levado ao extremo, se nós concentramos os ponteiros para o arquivo de registros nas folhas. –Nodos internos servem só como referência para o percurso; –chaves de nodos internos são repetidas nas folhas. Árvore é dividida em Index Set e Sequence Set. Nodos do Sequence Set (folhas) são encadeados.

48 Árvore B+

49 Vantagens: –mecanismo para percorrer seqüencialmente o arquivo de registros de dados sem que seja necessário visitar toda a árvore; –mecanismo para percorrer seqüencialmente o arquivo de registros de dados sem que seja necessário ordenar o arquivo de registro de dados.

50 Árvore K-D Árvore binária para indexação multichave –Também chamada Árvore de Pesquisa Binária Multidimensional. "Redescoberta" pela Inteligência Artificial como mecanismo de indexação de Casos em Raciocínio Baseado em Casos (CBR - Case- Based Reasoning) –Permite indexação por dezenas ou centenas de chaves primárias e secundárias misturadas

51 Árvore K-D Desenvolvida em 1975 por Jon Bentley (University of North Carolina at Chapel Hill) –"Algorithms for reporting and counting geometric intersections", IEEE Transactions on Computers C-28 (9): 643–647

52 Árvore K-D Estrutura: –uma árvore K-D é uma árvore onde K é o número de chaves para cada registro. Assim, chamamos uma árvore com três chaves de árvore 3-D (tridimensional); –cada registro em uma árvore K-D possui, além dos dados e ponteiros, um conjunto ordenado de K valores de chaves (v0,...,vk-1); –associado a cada nodo P está um discriminador DISC(P), que é utilizado para especificar qual chave da K-tupla v0,...,vk-1 será utilizada neste nodo para tomar uma decisão de ramificação. Geralmente o discriminador é função da profundidade do nodo (resto da divisão da profundidade pelo número de chaves).

53 Árvore K-D Estrutura: –o filho à esquerda é chamado loson(P) e o à direita hison(P); –caminhamento e inserção (nas folhas) são realizados seguindo-se a seguinte regra de decisão (dados Q = chaves do registro procurado ou registro a ser incluído e P = nodo): SE Kj(Q) < Kj(P) ENTÃO o registro Q está em loson(P) SE Kj(Q) > Kj(P) ENTÃO o registro Q está em hison(P)

54 Árvore K-D Estrutura: –se dois valores de chave são iguais, a decisão é tomada com base nos demais valores de chave na seguinte ordem (superchave): Sj(P) = Kj(P),Kj+1(P),...,Kk-1(P),K0(P),...,Kj-1(P) –Se incluirmos o conjunto de registros com 3 chaves abaixo em uma árvore 3-D teremos a árvore mostrada a seguir.

55 Árvore K-D

56 Estrutura: –a primeira decisão de ramificação (raiz) é tomada com base na chave primária (8), no nível 1 com base na segunda chave e no nível 2 com base na terceira chave. No nível 3 voltamos a usar a chave 0 como critério de decisão.

57 k d-Trees: adicionando (0.15, 0.66) Comparamos a primeira coordenada: 0.15 < 0.29 Descemos à esquerda.

58 k d-Trees: adicionando (0.15, 0.66) Comparamos a segunda chave: 0.66 > 0.55 Descemos à direita

59 k d-Trees: adicionando (0.15, 0.66) Comparamos a primeira chave outra vez: 0.15 > 0.04 Descemos à direita

60 k d-Trees: adicionando (0.15, 0.66) Comparamos a primeira coordenada: 0.66 < 0.89 Descemos à esquerda

61 k d-Trees Finalmente comparamos a primeira chave: 0.15 > 0.05 Adicionamos como nova volha à direita. (0.15 0.66)

62 Árvore K-D Vantagens: –árvores K-D podem ser utilizadas diretamente para todos os 3 tipos de pesquisa: simples, com limites e booleana; –o tempo médio de acesso a um registro não é pior do que o da árvore binária. Todas as características de tempo de pesquisa, complexidade, etc. da árvore binária valem, no que diz respeito à pesquisa, também para a árvore K-D: O(1,4 log2 n) –Inserção (não balanceada) de um nodo requer também tempo O(log2 n); –flexibilidade: aplicável a qualquer tipo de aplicação onde se queira fazer recuperação de chaves secundárias ou recuperação multichaves.

63 Árvore K-D Desvantagens: –gera árvores de profundidade extremamente grande. Solução: pode ser resolvido através da paginação. –Inserção balanceada é extremamente cara. –Rebalanceamento (após várias inserções ou exclusões) também caro. Construção balanceada:

64 Árvore K-D Resumo: –boa técnica de indexação para arquivos somente com muitas chaves secundárias (ex.: bases de casos em CBR); –boa técnica para aplicações onde há poucas modificações; –utilização da árvore K-D como árvore de índices com paginação é sugerida para implementações em disco. Sugestão para facilitar buscas booleanas: pelo menos uma subárvore com K níveis em cada página.

65 Atribuição-Uso Não-Comercial-Compartilhamento pela Licença 2.5 Brasil Você pode: - copiar, distribuir, exibir e executar a obra - criar obras derivadas Sob as seguintes condições: Atribuição — Você deve dar crédito ao autor original, da forma especificada pelo autor ou licenciante. Uso Não-Comercial — Você não pode utilizar esta obra com finalidades comerciais. Compartilhamento pela mesma Licença — Se você alterar, transformar, ou criar outra obra com base nesta, você somente poderá distribuir a obra resultante sob uma licença idêntica a esta. Para ver uma cópia desta licença, visite http://creativecommons.org/licenses/by-nc-sa/2.5/br/ ou mande uma carta para Creative Commons, 171 Second Street, Suite 300, San Francisco, California, 94105, USA.