A apresentação está carregando. Por favor, espere

A apresentação está carregando. Por favor, espere

Pedro Antonio Galvão Junior Latex São Roque – Analista de Sistemas/DBA MVP – Windows Server System – SQL Server Solucionando.

Apresentações semelhantes


Apresentação em tema: "Pedro Antonio Galvão Junior Latex São Roque – Analista de Sistemas/DBA MVP – Windows Server System – SQL Server Solucionando."— Transcrição da apresentação:

1 Pedro Antonio Galvão Junior Latex São Roque – Analista de Sistemas/DBA MVP – Windows Server System – SQL Server Solucionando problemas do SQL Server 2005 Integration Services Solucionando problemas do SQL Server 2005 Integration Services

2 Agenda O que é Integration Services?O que é Integration Services? Arquitetura.Arquitetura. Perguntas Freqüentes.Perguntas Freqüentes. Benefícios do SSIS.Benefícios do SSIS. Ferramentas SSIS.Ferramentas SSIS. –Demo. Overview of SSIS.Overview of SSIS. –Entradas de pacotes filhos em pacotes pais. –Usando Breakpoints. Log Data para Troubleshooting.Log Data para Troubleshooting. –Demo Conclusão.Conclusão.

3 O que é Integration Services? Plataforma para construção das novas soluções de integração de dados Sucessor do DTS – Data Transformation Services Parte da plataforma de Business Intelligence da Microsoft

4 Arquitetura Separação entre o Work flow e o Data Flow – –Data Transformation Runtime (DTR) Control Flow = Runtime = Task – –Data Transformation Pipeline (DTP) Data Flow = Pilepine = Transforms Views separadas

5 Sequences Loops Arquitetura Standard transforms Custom transforms Data Destination Adapters Data Source Adapters XML Package XML Package Command Line Tasks DTS Designer Wizards Event Handlers

6 Antes do Integration Services Dados semi estruturados Legado: Arquivos Bancos de Dados ETL Warehouse Relatórios Acesso Móvel Data mining Notificação Integração e warehousing requerem operações e estágios separados Preparação de dados requer diferentes ferramentas Grandes volumes de dados tornam o processo mais demorado Decodi- ficação Staging Mineração ETL Staging Limpeza & ETL Staging ETL

7 Com o Integration Services Dados semi estruturados Legado: Arquivos Banco de Dados Notificação Integração e warehousing faz parte da mesma operação Extração, transformação e carga no mesmo processo (aditáveis) Notificação pode compor uma tarefa dentro do package Escalável Integration Services Mineração Outras Fontes Padrão Limpeza Fusão Mineração Warehouse Relatórios Acesso Móvel

8 Como o SSIS Funciona Podem ser escolhidas vários Data Sources Possibilidade de transformação utilizando vários formatos diferentes Dados são roteados obedecendo regras de negócio ou condições de erro Implementa concorrência A carga pode ser feita em várias destinos paralelamente

9 Perguntas Freqüentes Por que a execução dos pacotes é tão lenta? Por que eles utilizam tantos recursos? Por que eles não utilizam determinados recursos Por que eles não utilizam mais recursos Devo usar o banco de dados ou o SSIS? Como eu carrego dados mais rápido no SSIS? Tenho mais parâmetros para configurar? O SSIS é mais rápido que o DTS? Quais recursos estão disponíveis?

10 Benefícios do SSIS Performance – –Data Flow manipula grandes volumes de dados de forma mais eficiente – –Suporte a operações mais complexas Facilidade – –Vários adaptadores disponíveis reduzem o hand coding – –Extensibilidade habilita o desenvolvimento dos seus próprios adaptadores que funcionaram como se fossem nativos – –Ambiente visual mais produtivo com suporte a debugging Agilidade – –A limpeza de dados pode ser feita durante a carga – –Facilidade no tratamento de regras de negócio dentro do workflow

11 Ferramentas do SSIS SSIS packages packages BI Studio SSIS Service Mgt Studio Import Export Wizard Deployment Installer File set Dtexec.exe Dtexecui.exe Dtutil.exe execução View running packages import\export deploy

12 Aquisição de dados e integração. Aquisição de dados e integração. Transformação de dados. Transformação de dados. Enriquecimento dos dados, com Lógica de negócios Enriquecimento dos dados, com Lógica de negócios Data mining Data mining Apresentação de dados e distribuição. Apresentação de dados e distribuição. Acesso de dados para a massa Acesso de dados para a massa Integração Análise Report SQL Server Business Intelligence

13 SSIS Overview Tour pelo Business Intelligence Studio Tour pelo Business Intelligence Studio Connection Manager Connection Manager demo demo

14 Segurança no SSIS Composta de algumas camadas para suportar cenários SQL e arquivos externos.Composta de algumas camadas para suportar cenários SQL e arquivos externos. Os Packages podem ser criptografados ou assinados por certificado digital.Os Packages podem ser criptografados ou assinados por certificado digital. Packages podem ser armazenados em bancos SQL Server e protegidos com SQL roles.Packages podem ser armazenados em bancos SQL Server e protegidos com SQL roles.

15 Segurança no SSIS (A) Um pacote pode ser criptografado via Package Protection level ou armazenadp dentro do MSDB, onde o acesso ao pacote é limitado pelos SQL Database roles(A) Um pacote pode ser criptografado via Package Protection level ou armazenadp dentro do MSDB, onde o acesso ao pacote é limitado pelos SQL Database roles Permissões NTFS Controle de acesso a pastas ou nos arquivos dos pacotes Package Protection Level Property Roles de leitura e escrita nos pacotes armazenados no banco MSDB SQL DB Roles A B (B) Um pacote pode ser criptografado pelo Package Protection level ou o arquivo do pacote pode ser controlado por permissões em pastas e arquivos (NTFS).(B) Um pacote pode ser criptografado pelo Package Protection level ou o arquivo do pacote pode ser controlado por permissões em pastas e arquivos (NTFS). Criptografa ou limpa propriedades sensíveis Assinatura do pacote

16 SSIS Windows Service Monitora e gerencia pacotes rodando ou armazenados, através do SQL Management StudioMonitora e gerencia pacotes rodando ou armazenados, através do SQL Management Studio O Serviço é instalado quando instalamos o SSISO Serviço é instalado quando instalamos o SSIS O Serviço não é necessário para design ou execução dos pacotesO Serviço não é necessário para design ou execução dos pacotes Os pacotes armazenados (Stored Packages) é baseado em um arquivo XML.Os pacotes armazenados (Stored Packages) é baseado em um arquivo XML. Podemos customizar conteúdos de arquivos, nomes e localidadePodemos customizar conteúdos de arquivos, nomes e localidade Tem eventos Windows para o serviço, ou seja, se se o serviço inicia, pára, falha ao iniciar, iniciou um pacote, um pacote parou …)Tem eventos Windows para o serviço, ou seja, se se o serviço inicia, pára, falha ao iniciar, iniciou um pacote, um pacote parou …)

17 Posso criar meu próprio client Quero criar uma console administrativa em asp.NET. Como posso listar os pacotes?Quero criar uma console administrativa em asp.NET. Como posso listar os pacotes? Podemos fazer isso através do service interface no Application Object. static void Main(string[] args) { Application app = new Application(); PackageInfos pInfos = System", "yourserver"); foreach (PackageInfo pinfo in pInfos) Console.WriteLine(pinfo.Folder + " " + pinfo.Description); }Podemos fazer isso através do service interface no Application Object. static void Main(string[] args) { Application app = new Application(); PackageInfos pInfos = System", "yourserver"); foreach (PackageInfo pinfo in pInfos) Console.WriteLine(pinfo.Folder + " " + pinfo.Description); }

18 SSIS Overview Mostrar Log Provider Mostrar Log Provider Mostrar Log Events Mostrar Log Events Progress Pane/Output Progress Pane/Output demo demo

19 Log Data para Troubleshooting Logging e Error Flow são principais recursos para troubleshootingLogging e Error Flow são principais recursos para troubleshooting Pode ser salvo e carregadoPode ser salvo e carregado Package IDs Necessitam ser únicos. Se precisar, poderá re-gerar o ID via BIDS ou dtutil.exePackage IDs Necessitam ser únicos. Se precisar, poderá re-gerar o ID via BIDS ou dtutil.exe –Exemplo: O comando abaixo irá regenerar o ID do pacote para todos os pacotes numa pasta. for %f in (C:\_work\SSISPackages\_quick\Notepad\*.dts x) do dtutil.exe /i /File %ffor %f in (C:\_work\SSISPackages\_quick\Notepad\*.dts x) do dtutil.exe /i /File %f

20 Entradas de pacotes filhos em pacotes pais EventSourceSourceIDExecutionID User:OnPreExecuteChild CDDEAE-681B-4 User:OnPostExecuteChild CDDEAE-681B-4 User:OnPreExecuteExecute Package Task_child1 B CDDEAE-681B-4 User:OnPostExecuteExecute Package Task_child1 B CDDEAE-681B-4 OnPostExecuteExecute Package Task_parent BD73EC3F-ED36-457CDDEAE-681B-4 OnPreExecuteExecute Package Task_parent BD73EC3F-ED36-457CDDEAE-681B-4 OnPostExecuteParent 3EC3B689-C CDDEAE-681B-4 PackageEndParent 3EC3B689-C CDDEAE-681B-4 PackageStartParent 3EC3B689-C CDDEAE-681B-4 OnPreExecuteParent 3EC3B689-C CDDEAE-681B-4 User:OnPreExecuteSend Mail Task_child1 0B513B33-72A2-457CDDEAE-681B-4 User:OnPostExecuteSend Mail Task_child1 0B513B33-72A2-457CDDEAE-681B-4 OnPreExecuteSend Mail Task_parent 4D6E4F65-7A57-457CDDEAE-681B-4 OnPostExecuteSend Mail Task_parent 4D6E4F65-7A57-457CDDEAE-681B-4

21 Usando Breakpoints Configurar breakpoints na caixa de diálogo Set BreakpointConfigurar breakpoints na caixa de diálogo Set Breakpoint Especificar as condições de breakEspecificar as condições de break Desabilitar e apagar os breakpointsDesabilitar e apagar os breakpoints

22 Conclusão Devemos utilizar o SSIS!Devemos utilizar o SSIS! Ferramentas do SSISFerramentas do SSIS Utilizando o SQL Server Bussinnes InteligenceUtilizando o SQL Server Bussinnes Inteligence Segurança dos pacotesSegurança dos pacotes Usando Logs e breakpoints para tratar os errosUsando Logs e breakpoints para tratar os erros

23

24

25

26

27

28 © 2006 Microsoft Corporation. Todos os direitos reservados. O propósito desta apresentação é apenas informativa. Microsoft não faz nenhuma garantia expressa ou implícita nesta apresentação. Seu potencial. Nossa inspiração. MR


Carregar ppt "Pedro Antonio Galvão Junior Latex São Roque – Analista de Sistemas/DBA MVP – Windows Server System – SQL Server Solucionando."

Apresentações semelhantes


Anúncios Google