1 Data Warehousing Concepten

Dit hoofdstuk geeft een overzicht van de implementatie van Oracle data warehousing. Het bevat:

• Wat is een datawarehouse?
• Data Warehouse architecturen

merk op dat dit boek bedoeld is als een aanvulling op standaardteksten over data warehousing. Dit boek richt zich op Oracle-specifiek materiaal en reproduceert niet in detail materiaal van algemene aard., Twee standaardteksten zijn:

• the Data Warehouse Toolkit door Ralph Kimball (John Wiley and Sons, 1996)
• Building the Data Warehouse door William Inmon (John Wiley and Sons, 1996)

Wat is een Data Warehouse?

een datawarehouse is een relationele database die is ontworpen voor query en analyse in plaats van voor transactieverwerking. Het bevat meestal Historische gegevens afgeleid van transactiegegevens,maar het kan ook gegevens uit andere bronnen., Het scheidt analyse workload van transactie workload en stelt een organisatie in staat om gegevens uit verschillende bronnen te consolideren.

naast een relationele database omvat een datawarehouse-omgeving een extractie -, transport -, transformatie-en load-oplossing (ETL), een online analytical processing-engine (OLAP), client-analysetools en andere toepassingen die het proces van het verzamelen van gegevens beheren en aan zakelijke gebruikers leveren.,

een veelgebruikte manier om datawarehousing te introduceren is door te verwijzen naar de kenmerken van een datawarehouse zoals uiteengezet door William Inmon:

• onderwerp-georiënteerd
• geïntegreerde
• niet-vluchtige
• Tijdvariant

onderwerp-georiënteerd

datawarehouses zijn ontworpen om u te helpen gegevens te analyseren. Om bijvoorbeeld meer te weten te komen over de verkoopgegevens van uw bedrijf, kunt u een magazijn bouwen dat zich concentreert op de verkoop. Met behulp van dit magazijn, kunt u vragen als beantwoorden “Wie was onze beste klant voor dit item vorig jaar?,”Deze mogelijkheid om een datawarehouse te definiëren op onderwerp, verkoop in dit geval, maakt het datawarehouse onderwerp georiënteerd.

geïntegreerde

integratie is nauw gerelateerd aan de oriëntatie van het onderwerp. Data warehouses moeten gegevens uit verschillende bronnen in een consistent formaat zetten. Zij moeten problemen oplossen zoals het benoemen van conflicten en inconsistenties tussen meeteenheden. Wanneer ze dit bereiken, wordt gezegd dat ze geïntegreerd zijn.

Nonvolatile

Nonvolatile betekent dat, eenmaal ingevoerd in het magazijn, gegevens niet mogen veranderen., Dit is logisch omdat het doel van een magazijn is om u in staat te stellen te analyseren wat er is gebeurd.

Tijdvariant

om trends in het bedrijfsleven te ontdekken, hebben analisten grote hoeveelheden gegevens nodig. Dit in tegenstelling tot online transaction processing (OLTP) systemen, waar prestatievereisten vereisen dat Historische gegevens worden verplaatst naar een archief. Een data warehouse ‘ s focus op verandering in de tijd is wat wordt bedoeld met de term tijd variant.,

contrasterende OLTP-en Datawarehousingomgevingen

figuur 1-1 illustreert de belangrijkste verschillen tussen een OLTP-systeem en een datawarehouse.

figuur 1-1 contrasterende OLTP-en Datawarehousing-omgevingen

tekst beschrijving van de illustratie https://docs.oracle.com/cd/B10500_01/server.920/a96520/dwhsg005.gif

een belangrijk verschil tussen de typen systemen is dat datawarehouses meestal niet in de derde normale vorm (3NF) zijn, een soort datanormalisatie die gebruikelijk is in OLTP-omgevingen.

datawarehouses en OLTP-systemen hebben zeer verschillende eisen., Hier zijn enkele voorbeelden van verschillen tussen typische datawarehouses en OLTP-Systemen:

• Workload

  datawarehouses zijn ontworpen om ad hoc query ‘ s op te nemen. U weet misschien niet de werklast van uw datawarehouse van tevoren, dus een datawarehouse moet worden geoptimaliseerd om goed te presteren voor een breed scala van mogelijke query-bewerkingen.

  OLTP-systemen ondersteunen alleen voorgedefinieerde bewerkingen. Uw toepassingen kunnen specifiek worden afgestemd of ontworpen om alleen deze bewerkingen te ondersteunen.,

• gegevenswijzigingen

  een datawarehouse wordt regelmatig bijgewerkt door het ETL-proces (’s nachts of wekelijks) met behulp van technieken voor het wijzigen van bulkgegevens. De eindgebruikers van een datawarehouse werken het datawarehouse niet direct bij.

  in OLTP-systemen geven eindgebruikers routinematig individuele gegevenswijzigingsverklaringen af aan de database. De OLTP-database is altijd up-to-date en weerspiegelt de huidige status van elke zakelijke transactie.,

• Schemaontwerp

  datawarehouses gebruiken vaak gedenormaliseerde of gedeeltelijk gedenormaliseerde schema ‘ s (zoals een sterschema) om de query-prestaties te optimaliseren.

  OLTP-systemen gebruiken vaak volledig genormaliseerde schema ‘ s om de prestaties bijwerken/Invoegen/Verwijderen te optimaliseren en gegevensconsistentie te garanderen.

• typische bewerkingen

  een typische Data warehouse query scant duizenden of miljoenen rijen. Bijvoorbeeld, ” Vind de totale omzet voor alle klanten vorige maand.”

  een typische OLTP operatie heeft slechts toegang tot een handvol records. Bijvoorbeeld: “haal de huidige bestelling voor deze klant op.,”

• Historische gegevens

  data warehouses slaan meestal vele maanden of jaren aan gegevens op. Dit is ter ondersteuning van historische analyse.

  OLTP-systemen slaan gewoonlijk gegevens op van slechts enkele weken of maanden. Het OLTP-systeem slaat alleen Historische gegevens op die nodig zijn om met succes aan de vereisten van de huidige transactie te voldoen.

Data Warehouse architecturen

Data warehouses en hun architecturen variëren afhankelijk van de specifieke kenmerken van de situatie van een organisatie., Drie gemeenschappelijke architecturen zijn:

• Data Warehouse Architecture (Basic)
• Data Warehouse Architecture (with a Staging Area)
• Data Warehouse Architecture (with a Staging Area and Data Marts)

Data Warehouse Architecture (Basic)

figuur 1-2 toont een eenvoudige architectuur voor een data warehouse. Eindgebruikers hebben rechtstreeks toegang tot gegevens afkomstig van verschillende bronsystemen via het datawarehouse.,

figuur 1-2 architectuur van een datawarehouse

tekst beschrijving van de illustratie https://docs.oracle.com/cd/B10500_01/server.920/a96520/dwhsg013.gif

in Figuur 1-2 zijn de metagegevens en ruwe gegevens van een traditioneel OLTP-systeem aanwezig, evenals een ander type gegevens, samenvattende gegevens. Samenvattingen zijn zeer waardevol in datawarehouses omdat ze vooraf lange operaties berekenen. Bijvoorbeeld, een typische Data warehouse query is om iets als Augustus verkoop op te halen. Een samenvatting in Oracle wordt een gematerialiseerde weergave genoemd.,

Data Warehouse Architecture (met een Staging Area)

in Figuur 1-2 moet u uw operationele gegevens opschonen en verwerken voordat u deze in het magazijn plaatst. Je kunt dit programmatisch doen, hoewel de meeste datawarehouses in plaats daarvan een staging area gebruiken. Een staging area vereenvoudigt bouwsamenvattingen en algemeen Magazijnbeheer. Figuur 1-3 illustreert deze typische architectuur.,

figuur 1-3 architectuur van een datawarehouse met een Staging Area

tekst beschrijving van de illustratie https://docs.oracle.com/cd/B10500_01/server.920/a96520/dwhsg015.gif

Data Warehouse architectuur (met een Staging Area en Data Marts)

hoewel de architectuur in Figuur 1-3 vrij algemeen is, kunt u de architectuur van uw magazijn aanpassen voor verschillende groepen binnen jouw organisatie. U kunt dit doen door het toevoegen van data marts, die systemen zijn ontworpen voor een bepaalde branche., Figuur 1-4 illustreert een voorbeeld waarin inkoop, verkoop en voorraden worden gescheiden. In dit voorbeeld zou een financieel analist Historische gegevens willen analyseren voor aankopen en verkopen.

figuur 1-4 architectuur van een datawarehouse met een Staging Area en Data Marts

tekst beschrijving van de illustratiehttps://docs.oracle.com/cd/B10500_01/server.920/a96520/dwhsg064.gif