Infra-estrutura Hardware

Infra-estrutura Hardware

Memória e Hierarquia de Memória
Infra-estrutura Hardware

Roteiro da Aula Hierarquia de Memória Localidade temporal e espacial Memória cache Tipos Princípio de funcionamento Melhorando o desempenho Aumento do bloco Aumento da associatividade Reduzindo a penalidade Memória principal Melhorando a taxa de transferência Infra-estrutura Hardware

Memória Vs. Armazenamento
O fichário representa o disco rígido, com alta capacidade de armazenamento. A pasta sobre a mesa representa a memória, de acesso rápido e fácil Mesa e usuário são a CPU OBS: Memória é volátil e disco não. Faxineira no final do expediente Pasta Fichário Infra-estrutura Hardware

Sistema Hierárquico de Memória
CPU Registradores Memória Principal Secundária Barramento de memória de E/S Infra-estrutura Hardware

Nomenclatura Básica RAM = Random Acces Memory SRAM = Static RAM DRAM = Dynamic RAM VRAM - Video RAM ROM = Read Only Memory PROM = Programmable ROM EPROM = Erasable PROM EEPROM = Electrically Erasable PROM (apagamento byte a byte) Flash EPROM = Fast erasable EPROM (apagamento por bloco) By 1998, Intel expects that the system bus will move to 100MHz and require SDRAM operating at 100MHz and higher. Current SDRAM designs can meet the 100MHz speed range, and SDRAM manufacturers claim that they can meet the industry's needs up to about 200MHz to 250MHz. To reach beyond that range will require a complete redesign of the SDRAM chip, which will very likely increase its footprint and cost. Neither of these alternatives is appealing to the industry as a whole. Two designs address Intel's memory speed and bandwidth needs: SyncLink and Rambus. SyncLink is a consortium of nine DRAM manufacturers, including Hyundai, IBM, Micron, NEC, and TI, which have proposed a draft standard to the IEEE for a uniform memory architecture that will evolve over several iterations. The SyncLink standard will be royalty-free and open to all. The proposal calls for a command-driven, packet-oriented bus operating at 400MHz, with a 16-bit-wide data path. SyncLink is slow in coming and has not progressed much past the conceptual stage. Rambus, on the other hand, has a working architecture, called Rambus DRAM (RDRAM), that comes close to meeting Intel's needs right now. Current RDRAM designs hit the 500MHz to 600MHz range to the memory controller. Additionally, Intel has entered an agreement with Rambus to develop even faster main DRAM. By using multiple channels or widening Rambus' current 8-bit channel size, Intel hopes to increase throughput to 1.6GB/sec. With that, Rambus will meet Intel's design needs for faster processors and a higher speed bus, as well as for AGP. Infra-estrutura Hardware

Tipos Básicos de Memória Semicondutora

RAM Dinâmica vs. Estática
DRAM (Dynamic Random Acess Memory) Grande capacidade de integração (baixo custo por bit) Perda de informação após algum tempo: Necessidade de refreshing SRAM (Static Random Acess Memory) Pequeno tempo de acesso Não existe necessidade de refreshing Alto custo por bit (baixa integração) Infra-estrutura Hardware

Morgan Kaufmann Publishers
5 April, 2017 Memory Technology §5.1 Introduction Static RAM (SRAM) 0.5ns – 2.5ns, $2000 – $5000 per GB Dynamic RAM (DRAM) 50ns – 70ns, $20 – $75 per GB Magnetic disk 5ms – 20ms, $0.20 – $2 per GB Memória Ideal Tempo de acesso de uma SRAM Capacidade e custo/GB de um disco Chapter 5 — Large and Fast: Exploiting Memory Hierarchy — 9 Chapter 5 — Large and Fast: Exploiting Memory Hierarchy

Tecnologias de Memória
Memórias rápidas são caras Memórias baratas são lentas Infra-estrutura Hardware

Evolução Tecnológica 2:1 1000:1 Infra-estrutura Hardware

Memória Principal “640K ought to be enough for anybody.” Bill Gates, 1981 Infra-estrutura Hardware

Comparação da Performance da Mem. Principal e CPU
1986 1987 1988 1989 1990 1991 1992 1993 1994 1995 50 100 150 200 250 300 350 DecAlpha IBMPower2 HP900 IBMPower1 MIPS R3000 R2000 SUN CPU Memória Infra-estrutura Hardware

Bloco (ou linha): unidade de cópia Pode ser uma ou múltiplas palavras Se dado está presente no nível superior (mais perto da CPU) Hit: Hit ratio: nr. hits/nr. acessos Se dado está ausente Miss: bloco copiado do nível inferior Tempo de acesso: miss penalty Miss ratio: misses/acessos = 1 – hit ratio Então acessa dado do nível superior Infra-estrutura Hardware

P U I n c r e a s i n g d i s t a n c e L e v e l 1 f r o m t h e C P U i n a c c e s s t i m e L e v e l s i n t h e L e v e l 2 m e m o r y h i e r a r c h y L e v e l n S i z e o f t h e m e m o r y a t e a c h l e v e l Infra-estrutura Hardware

Motivação para hierarquia
Principio da localidade + Relação custo/desempenho das tecnologias Alto desempenho da CPU C a c h e Memória Principal Memória Secundária CPU Registradores Barramento de E/S Barramento de memória Infra-estrutura Hardware

Princípio da Localidade
Localidade Temporal Num futuro próximo, o programa irá referenciar as instruções e dados referenciados recentemente Localidade Espacial Num futuro próximo, o programa irá referenciar as instruções e dados que tenham endereços próximos das últimas referências. Infra-estrutura Hardware

Hierarquia de Memória chip CPU Registradores Reg. Velocidade Cache cache (L1) Principal cache (L2) Cache de Disco Custo e tamanho memória principal Disco Magnético memória secundária Fita CD-ROM Infra-estrutura Hardware

Níveis de memória Infra-estrutura Hardware

Memória Cache Infra-estrutura Hardware

Memória Principal Vs. Cache
O fichário representa o disco rígido. A pasta sobre a mesa representa a memória principal. No quadro de avisos se encontram informações que podem ser acessadas de forma muito rápida. O quadro representa a cache. Mesa e usuário são a CPU Pasta Quadro Fichário Infra-estrutura Hardware

5 April, 2017 Memória Cache Memória Cache Nível de memória mais próximo da CPU Dados os acessos X1, …, Xn–1, Xn Como saber se o dado está presente? Onde procurar o dado? Chapter 5 — Large and Fast: Exploiting Memory Hierarchy

Mapeamento direto Localização determinada pelo endereço Mapeamento direto: somente uma possibilidade (Block address) modulo (#Blocks in cache) #Blocks é uma potencia de 2 Use bits menos significativos do endereço Infra-estrutura Hardware

5 April, 2017 Bits: Tags Validade Como saber qual bloco está armazenado numa localização da cache? Armazena parte do endereço (bits mais significativos) e o dado Bits mais significativos: tag Como saber se o dado está armazenado? Bit Validade: 1 = presente, 0 = não está present Inicialmente: 0 Chapter 5 — Large and Fast: Exploiting Memory Hierarchy

Endereçando a cache Composição do endereço Tag Índice Endereço de byte Exemplo: Memória: endereço de 32 bits, acesso por palavra(32 bits), endereçamento por byte Cache: capacidade para armazenar 64 palavras Tag (24) Índice(6) Endereço do byte Infra-estrutura Hardware

Acessando a memória cache

Estado inicial da cache Acessos à memória Infra-estrutura Hardware

Endereço 10110 Acessos à memória Infra-estrutura Hardware

Endereço Acessos à memória Infra-estrutura Hardware

O que acontece numa falta de cache?
Informação deve ser lida da memória São inseridos ciclos de espera no pipeline até que a informação esteja disponível na cache Penalidade Se o endereço de cache está ocupado, a informação é sobre-escrita Infra-estrutura Hardware

Leitura/Escrita da Cache
Mais frequentes, rápidas e fáceis de implementar Escrita: Mais lentas e complicadas e consistência de dados com a memória principal deve ser mantida (se um bloco da cache foi alterado pela CPU, não pode ser descartado da cache sem garantir que foi copiado para a mem. principal) Infra-estrutura Hardware

Tipos de acesso à cache Leitura Escrita Dado e tag são atualizados na cache Inconsistencia entre memória principal e cache!! Como resolver? Infra-estrutura Hardware

Políticas de Escrita e Consistência
Caches do tipo Write through Cache e memória são atualizadas simultaneamente Caches do tipo Write back Memória principal é atualizada quando bloco é substituído Usa dirty bit para marcar linhas alteradas na cache. Infra-estrutura Hardware

Memória Cache: escrita
Para se evitar espera durante escrita: Write buffers Infra-estrutura Hardware

Exemplo: DECStation3100 Infra-estrutura Hardware

Tamanho da cache Quantos bits tem uma cache de mapeamento direto com 64K bytes de dados e blocos de uma palavra? Assuma endereços de 32 bits. Infra-estrutura Hardware

Usando a localidade espacial
Acessando a cache por blocos de palavras Composição do endereço: Tag Índice Offset de bloco Endereço de byte Infra-estrutura Hardware

Exemplo: Memória: endereço de 32 bits, acesso por palavra(32 bits), endereçamento por byte Cache: capacidade para armazenar 64 blocos de 4 palavras cada Tag (22) Índice(6) Offset de bloco Endereço do byte Infra-estrutura Hardware

Mapeamento Direto-multiword
s ( h o w i n g b t p ) 1 6 2 B y f V T a D H 3 4 K 8 M u x l c k I 1 6 1 5 4 3 2 1 Infra-estrutura Hardware

O que acontece durante uma falta em acesso de leitura ou escrita? Todo o bloco tem que ser carregado na cache A escrita da palavra acontece Cache write-through: Todo o bloco é atualizado na memória Infra-estrutura Hardware

Tamanho do bloco e taxa de faltas
Blocos grandes podem aumentar a taxa de faltas se o tamanho da cache Permanece constante Infra-estrutura Hardware

Reduzindo a taxa de faltas
Estratégias para posicionamento dos blocos: Mapeamento direto: cada bloco possui posição única na cache Associativa por conjunto: cada bloco pode ser colocado em algumas posições na cache Completamente Associativa: cada bloco pode ser colocado em qualquer posição da cache Infra-estrutura Hardware

Mapeamento Associativo por Conjunto
Um bloco na memória principal pode ocupar qualquer posição dentro de um conjunto definido de blocos da cache Memória principal 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ... 31 Memória cache Conjuntos (sets) dados tag { 011 { Endereço da palavra Tag set { Offset { Offset Infra-estrutura Hardware

Mapeamento Associativo por Conjunto
d r e s 2 8 V T a g I n x 1 5 3 4 D t - o m u l i p 3 1 3 1 2 1 1 1 9 8 3 2 1 Infra-estrutura Hardware H i t D a t a

Mapeamento Associativo
Memória principal Um bloco na memória principal pode ocupar qualquer posição na cache Tag Þ armazena na cache o end. Do bloco na mem. principal 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 ... 31 Memória cache dados tag Exemplo: tag = 12 (011002) 01100 Endereço da palavra Tag Offset Offset Offset Infra-estrutura Hardware

Grau de associatividade

Comparação de Métodos de Mapeamento
Mapeamento direto Simples e Barata Lenta Mais faltas Associativa Rápida Menos falta Cara (comparação do endereço em paralelo) Associativa por conjunto: combinação das anteriores Se NCC = NBC Þ Ass. por conjunto = Mapeamento Direto Se NCC = Þ Ass. por conjunto = Associativa NBC = núm. blocos da cache NCC = núm. conjuntos da cache Infra-estrutura Hardware

Políticas de Substituição de Blocos
Randômica: Simples e fácil de implementar FIFO (First-In-First-Out) LFU (Least-Frequently Used) LRU (least-recently used) Menor taxa de faltas Infra-estrutura Hardware

Caches separadas Cache de dados e cache de instruções Vantagens: Melhor capacidade de otimizações Evita hazard estrutural Desvantagens: maior taxa de falta Infra-estrutura Hardware

Exemplo: Alpha AXP 21064 Cache separadas de dados e de instruções Características: Tamanho:8192 bytes Blocos de 32 bits Mapeamento direto Write through Four buffer write-buffer Infra-estrutura Hardware

Alpha AXP Cache Dados Tag Indice Off. Val. (1) (21) Dados (256) =? CPU Entrada Saída Endereço Buffer de Escrita 256 blocos Mux Infra-estrutura Hardware

Exercício Infra-estrutura Hardware

Melhorando o desempenho
Hierarquia de memória Melhorando o desempenho Infra-estrutura Hardware

Desempenho de uma CPU CPUtime= (CPU_Ciclos para execução + Memória_ciclos-stall) x ClK_período CPU_ciclos execução= #instruções x CPI Memóriaciclos= Leituraciclos+ Escritaciclos Leituraciclos= Leituras x Miss_rateleiturax Penaltyleitura Escritaciclos= Escritas x Miss_rateescritax Penaltyescrita Infra-estrutura Hardware

Desempenho de uma CPU Exemplo: Miss_rateinstr.=2%, Miss_ratedado.=4%, CPI=2, Penalty=100 ciclos Taxa(Load,Store)= 36% Qual a degradação de desempenho devido aos acessos à memória? CPImem? Infra-estrutura Hardware

Desempenho de uma CPU Miss_instrciclos= I x 2% x 100 = 2,00 I Miss_dadosciclos= I x 36% x 4% x 100 = 1,44 I CPUtime= (CPUciclos-execução + Memóriaciclos-stall)x Clk Memóriaciclos= 2 I + 1,44 I = 3,44 I CPImem= 2,0 + 3,44 = 5,44 CPIstall / CPIperf = 5,44/2 = 2,72 Infra-estrutura Hardware

Processador mais rápido...
Diminuindo CPI CPInovo= 1,0 CPImem= 1,0 + 3,44 = 4,44 Desempenho = 4,44 / 1,0 = 4,44 Quantidade de tempo com stalls sobre de 63% (3,44/5,44) para 77% (3,44 / 4,44) Duplicando o clock Penalty = 200 ciclos Missciclos(por instr.)= 2% x % (4% x 200) = 6,88 CPImem= 2,0 + 6,88 = 8,88 CI x CPIck-lento x ciclo / CI x CPIck-rap. x ciclo = 5,44 / 8,88x0,5 = 1,23 Infra-estrutura Hardware

Desempenho de uma cache
CPI( #clocks por instrução) Cache Perfeita => 2,0 Cache (2% missinstr, 4% missdado) => 5,44 Sem cache => 68.5 Melhorando o processador Diminuindo CPI CPI => 4,44 (em vez de 1,0) Duplicando clock CPI => 8,88 Infra-estrutura Hardware

Melhorando desempenho da cache
Tempo_acessomédio = Hit time + Miss rate x Miss penalty Estratégias: Redução de faltas Redução da penalidade Redução do tempo de acesso Infra-estrutura Hardware

Reduzindo falta de cache
4 % 3 5 % 3 % 2 5 % e t a r s 2 % s i M 1 5 % 1 % 5 % % 4 1 6 6 4 2 5 6 B l o c k s i z e ( b y t e s ) 1 K B 8 K B Aumentar tamanho do bloco 1 6 K B 6 4 K B 2 5 6 K B Infra-estrutura Hardware

Reduzindo falta de cache
Aumento da associatividade Infra-estrutura Hardware

Aumento da Associatividade
1 2 T a g D t B l o c k # 3 4 5 6 7 S e r h i m p d s v F u y Infra-estrutura Hardware

1 5 % 1 2 % 9 % e t a r s s i M 6 % 3 % % O n e - w a y T w o - w a y F o u r - w a y E i g h t - w a y A s s o c i a t i v i t y 1 K B 1 6 K B 2 K B 3 2 K B 4 K B 6 4 K B 8 K B 1 2 8 K B Infra-estrutura Hardware

Reduzindo penalidade de cache
Write Buffers =? CPU data data in out Mem. princ. Write buffer Dado Tag Infra-estrutura Hardware

Reduzindo penalidade Early Restart and Critical Word First: Assim que palavra procurada foi carregada na cache esta é enviada para a CPU. Requisita palavra procurada primeiro e a envia para a CPU assim que a mesma foi carregada. Aplicável para grandes blocos Infra-estrutura Hardware

Reduzindo a penalidade
Dois níveis de cache: primeiro nível: menor tempo de acesso menor capacidade maior custo segundo nível: maior capacidade menor custo maior tempo de acesso cache (L1) CPU Registradores memória principal chip cache (L2) Infra-estrutura Hardware

Reduzindo penalidade Segundo nível de cache: Desempenho: Avrg.mem.acc.time=hitL1+missL1x penL1 PenL1=hitL2+missL2 x PenL2 De quanto melhora o desempenho da máquina pela inclusão do 2. nível? Infra-estrutura Hardware 72

Exemplo: CPIbase=1.0, Clk=500MHz, Timemem=200ns, Miss-ratemem=5%. Segundo nível: TimeL2=20ns, Miss-ratemem=2% Qual o desempenho da máquina com 2. nível de cache? Infra-estrutura Hardware

Qual o desempenho da máquina com 2. nível de cache? Penaltymem=200ns/2ns/clk = 100 ciclos CPItotal= CPIbase+Memciclos/I = %x100=6.0 PenaltyL2=20/2=10 ciclos CPItotal=1+L1-stalls+L2stalls = ((5%-2%)x10)+(2%x(10+100))= =3.5 Desempenho= 6.0/3.5 = 1.7 Infra-estrutura Hardware

Reduzindo penalidade Primeiro nível de cache: Redução da penalidade Redução do tempo de acesso Uso de técnicas como early-restart e critical-word-first Infra-estrutura Hardware

Reduzindo penalidade Segundo nível de cache: Redução da taxa de falta cache do segundo nível maior que a do primeiro nível E quanto a duplicação de dados nos dois níveis? Os dados devem ser duplicados (consistência) Infra-estrutura Hardware

Memória principal Duplo papel: satisfazer a demanda da cache servir como interface para E/S Medidas de performance: latência -> cache Largura de banda -> E/S Infra-estrutura Hardware

Memórias mais largas CPU Cache Memória Multiplexador Infra-estrutura Hardware

Memórias mais largas Redução da penalidade de cache Necessidade de barramento e multiplexadores Expansão condicionada a largura Dificuldade em corrigir erros Ex: Alpha : cache e mem. principal => 256 bits Infra-estrutura Hardware

Memória “Interleaved”
CPU CPU Cache Cache Banco 0 Memória Banco 1 Memória Banco 2 Memória Banco 3 Memória Memória Infra-estrutura Hardware

Memória Interleaved Bancos de memória para escrita/leitura de múltiplas palavras Reduz penalidade Necessita pouco hardware adicional Infra-estrutura Hardware

Memória “larga” vs. Interleaved
CPI (# clocks por instrução) 32 bits, sem interleaving=3.54 32 bits, interleaving=2.86 Infra-estrutura Hardware

Acesso a memória principal (DRAM)
______ CPU n bits Endereço multiplexado: Linhas e colunas n/2 bits Endereços Controlador de Memória Dados Dados Controle (RD, WR...) ____ RAS CAS ___ W ______ OE(RD)

DRAM Organização Interna e Método de Acesso
O endereço das linhas e colunas são enviados separadamente (prim. linha, depois coluna). Para acessar uma posição (leitura ou escrita), o endereço da linha é posto junto com o sinal RAS (Row Addres Selector). Depois o endereço da coluna vai junto com o sinal CAS (Column Address Selector) No exemplo abaixo, as 11 linhas de A0 a A10 são usadas para enviar end. de linha e coluna. Por isso esta memória tem 4Mega posições de endereçamento (4Mega = 222) ____ ___ __ __ RAS CAS W OE Row Dec oder Column Decoder D1 D2 D3 D4 A0 A1 ... A10 MUX

Modo de Acesso Ex: FPM RAM
Ativa uma fila (RAS) Acessos sequenciais a colunas (vários pulsos de CAS) No Page Mode, o controlador de memória faz até 4 acessos em sequência à DRAM. É comum designar o núm. de pulsos de clock de cada acesso para cada tipo de memória. Ex. a FPM RAM tem acesso 5/3/3/3 (a 66MHz) em page mode, o que significa 5 pulsos de clock para obter o primeiro dado, e 3 para o segundo, terceiro e quarto.

FPM DRAM - Fast Page Mode DRAM EDO DRAM - Extended Data-Output DRAM
DRAM mais simples Tempo de acesso 70ns and 60ns. Acesso page mode = 5/3/3/3 a 66MHz EDO DRAM Tempo de acesso 70ns, 60ns and 50ns Para barramento de 66 MHz use 60 ns ou melhor. Acesso page mode = 5/2/2/2 a 66MHz

EDO DRAM Método de Acesso
No page mode, um latch na saída de dados permite o acesso simultâneo a novas posições de memória enquanto os dados estão sendo lidos na saída. Isso permite a diminuição do tempo entre pulsos de CAS

BEDO - Burst EDO DRAM Page (burst) mode = 5/1/1/1 a 66MHz Tempo de acesso randômico é igual ao FPM ou EDO RAM Possui registrador e gerador interno de ender. sequenciais To help overcome these wait states, DRAM designers employ a bursting technique that allows sequential reading of an entire page of DRAM. Once the page address has been accessed, the DRAM itself provides the address of the next memory location. This address prediction eliminates the delay associated with detecting and latching an address externally provided to the DRAM. Implementing this burst feature requires the definition of burst length and burst type to the DRAM. The burst length is the actual length of the burst plus the starting address. This lets the internal address counter properly generate the next memory location. The burst type determines whether the address counter will provide sequential ascending page addresses or interleaved page addresses within the burst length.

SDRAM - Synchronous DRAM
Page (burst) mode = 5/1/1/1 a 100MHz Tempo de acesso randômico é igual à FPM ou EDO RAM. Trabalha na velocidade do bus, por isso o nome. clock ras cas address data row col

SDRAM - Synchronous DRAM
Page (burst) mode = 5/1/1/1 a 100MHz Interleaved Uso de Serial Presence Detect para Plug-and-Play clock ras cas address data row col

DDR SDRAM – Double Data Rate SDRAM
Transfere dados na subida e descida do clock (compensa o uso de barramentos lentos) Uso de Serial Presence Detect para Plug-and-Play

Resumo Hierarquia de Memória Memórias com diferentes características: Tempo acesso Capacidade Custo Uso da localidade temporal e espacial Primeiro nível da hierarquia Memória cache Tipos de Cache Mapeamento direto Associativa Associativa por conjunto Infra-estrutura Hardware 92

Resumo Melhorando o desempenho Aumentar tamanho do bloco Aumentar a associatividade Redução da penalidade Cache multinível Memória Principal Memórias largas Bancos de memória Memória DRAM: Acessos de endereços consecutivos mais eficiente SDRAM ou DDR SDRAM Infra-estrutura Hardware 93

Infra-estrutura Hardware

Apresentações semelhantes

Apresentação em tema: "Infra-estrutura Hardware"— Transcrição da apresentação:

Apresentações semelhantes

Sobre projeto

Feedback

Login

Autorizar-se através da rede social:

Infra-estrutura Hardware

Apresentações semelhantes

Apresentação em tema: "Infra-estrutura Hardware"— Transcrição da apresentação:

Apresentações semelhantes

Sobre projeto

Feedback