1 Conceitos de Data Warehousing

Este capítulo fornece uma visão geral da implementação de data warehousing Oracle. Inclui:

• O Que é um armazém de dados?
• Data Warehouse Architectures

Note that this book is meaning as a supplement to standard texts about data warehousing. Este livro foca-se em material específico da Oracle e não se reproduz em detalhe material de natureza geral., Dois textos padrão são:

• The Data Warehouse Toolkit by Ralph Kimball (John Wiley and Sons, 1996)
• construindo o Data Warehouse por William Inmon (John Wiley and Sons, 1996)

O que é um Data Warehouse?

um data warehouse é um banco de dados relacional que é projetado para consulta e análise, em vez de para processamento de transações. Normalmente contém dados históricos derivados de dados de transações, mas pode incluir dados de outras fontes., Separa a carga de trabalho de análise da carga de trabalho de transação e permite a uma organização consolidar dados de várias fontes.além de um banco de dados relacional, um ambiente de armazenamento de dados inclui uma solução de extração, transporte, transformação e carregamento (ETL), um motor de processamento analítico online (OLAP), ferramentas de análise de clientes e outras aplicações que gerem o processo de coleta de dados e entrega-lo aos usuários de negócios.,

Uma forma comum de introdução de armazenamento de dados é referir-se às características de um data warehouse, conforme estabelecido por William Inmon:

• Assunto Orientado
• Integrada
• não Volátil
• Tempo Variante

Assunto Orientado

depósitos de Dados são projetados para ajudar a analisar os dados. Por exemplo, para saber mais sobre os dados de vendas da sua empresa, você pode construir um armazém que se concentra em vendas. Usando este armazém, Você pode responder a perguntas como ” quem foi o nosso melhor cliente para este item no ano passado?,”Esta capacidade de definir um data warehouse por assunto, vendas neste caso, torna o data warehouse sujeito orientado.

integração integrada

integração está intimamente relacionada com a orientação do sujeito. Os armazéns de dados devem colocar os dados de fontes díspares em um formato consistente. Eles devem resolver problemas como nomear conflitos e inconsistências entre unidades de medida. Quando o conseguem, dizem que estão integrados.

não-volatile

não-volatile significa que, uma vez introduzidos no Armazém, os dados não devem mudar., Isto é lógico porque o propósito de um armazém é permitir que você analise o que ocorreu.

variante Temporal

a fim de descobrir as tendências nos negócios, os analistas precisam de grandes quantidades de dados. Isto é muito em contraste com os sistemas de processamento de transações on-line (OLTP), onde os requisitos de desempenho exigem que os dados históricos sejam movidos para um arquivo. O foco de um data warehouse na mudança ao longo do tempo é o que significa o termo variante do tempo.,a figura 1-1 ilustra as principais diferenças entre um sistema OLTP e um armazém de dados.

Figura 1-1 Contrastantes de OLTP e Data Warehousing Ambientes

descrição de Texto a ilustração https://docs.oracle.com/cd/B10500_01/server.920/a96520/dwhsg005.gif

Uma grande diferença entre os tipos de sistema é que os armazéns de dados não são normalmente na terceira forma normal (3NF), um tipo de normalização de dados comuns em ambientes OLTP.os armazéns de dados e os sistemas OLTP têm requisitos muito diferentes., Aqui estão alguns exemplos de diferenças entre armazéns de dados típicos e sistemas OLTP:

• carga de trabalho

  armazéns de dados são projetados para acomodar consultas ad hoc. Você pode não saber a carga de trabalho do seu armazém de dados com antecedência, então um armazém de dados deve ser otimizado para executar bem para uma grande variedade de operações de consulta possíveis.os sistemas OLTP suportam apenas operações predefinidas. Suas aplicações podem ser especificamente ajustadas ou projetadas para suportar apenas estas operações.,

• modificações de dados

  um armazém de dados é atualizado regularmente pelo processo ETL (executado noite ou semana) usando técnicas de modificação de dados em massa. Os usuários finais de um armazém de dados não atualizam diretamente o armazém de dados.

  nos sistemas OLTP, os utilizadores finais emitem rotineiramente declarações de modificação de dados individuais para a base de dados. O banco de dados OLTP está sempre atualizado, e reflete o estado atual de cada transação de negócios.,

• Schema design

  data storages often use denormalized or partially denormalized schemas (such as a star schema) to optimize query performance.

  sistemas OLTP muitas vezes usam esquemas totalmente normalizados para otimizar o desempenho de atualização/inserção / exclusão, e para garantir a consistência dos dados.

• operações típicas

  uma consulta típica de data warehouse varre milhares ou milhões de linhas. Por exemplo, ” Encontre o total de vendas para todos os clientes no mês passado.”

  uma operação OLTP típica acessa apenas um punhado de registros. Por exemplo, ” recuperar a ordem atual para este cliente.,”

• dados históricos

  armazéns de dados normalmente armazenam muitos meses ou anos de dados. Isto é para apoiar a análise histórica.os sistemas OLTP normalmente armazenam dados a partir de apenas algumas semanas ou meses. O sistema OLTP armazena apenas os dados históricos necessários para cumprir com sucesso os requisitos da transação atual.

Data Warehouse Architectures

Data storages and their architectures vary upon the specifics of an organization’s situation., Três arquiteturas comuns são:

• Data Warehouse Arquitectura (Básico)
• Data Warehouse Arquitectura (com uma Área de transição)
• Data Warehouse Arquitectura (com uma Área de Teste e Data Marts)

Data Warehouse Arquitectura (Básico)

a Figura 1-2 mostra uma arquitetura simples para um armazém de dados. Os utilizadores finais acedem directamente aos dados derivados de vários sistemas de origem através do armazém de dados.,

Figura 1-2 Arquitetura de um Data Warehouse

descrição de Texto a ilustração https://docs.oracle.com/cd/B10500_01/server.920/a96520/dwhsg013.gif

Na Figura 1-2, os metadados e dados brutos de um tradicional sistema OLTP está presente, como é um tipo adicional de dados, dados de resumo. Os resumos são muito valiosos em armazéns de dados porque eles pré-computam longas operações com antecedência. Por exemplo, uma consulta típica do data warehouse é recuperar algo como as vendas de agosto. Um resumo em Oracle é chamado de uma visão materializada.,na figura 1-2, você precisa limpar e processar seus dados operacionais antes de colocá-los no armazém. Você pode fazer isso programaticamente, embora a maioria dos armazéns de dados use uma área de preparação em vez disso. Uma área de preparação simplifica os resumos do edifício e a gestão geral do armazém. A figura 1-3 ilustra esta arquitetura típica.,

Figura 1-3 Arquitetura de um Data Warehouse com uma Área de Preparo

descrição de Texto a ilustração https://docs.oracle.com/cd/B10500_01/server.920/a96520/dwhsg015.gif

Data Warehouse Arquitectura (com uma Área de Teste e Data Marts)

Embora a arquitetura na Figura 1-3 é bastante comum, você pode personalizar o seu armazém de arquitectura para diferentes grupos dentro da organização. Você pode fazer isso adicionando marts de dados, que são sistemas projetados para uma determinada linha de negócios., A figura 1-4 ilustra um exemplo em que Compras, Vendas e inventários são separados. Neste exemplo, um analista financeiro pode querer analisar dados históricos para compras e vendas.

Figura 1-4 Arquitetura de um Data Warehouse com uma Área de Teste e Data Marts

descrição de Texto a ilustração https://docs.oracle.com/cd/B10500_01/server.920/a96520/dwhsg064.gif