Datawarehouse
- Wat is een datawarehouse en wat is de functie bij data management?
- Hoe implementeert en beheert u een datawarehouse?
- Bekijk oplossingen en leveranciers en vind alle informatie via de DATA kennisbank
|
Wie kan u helpen?
Vind hier oplossingen en leveranciers.
|
Wat is een datawarehouse?
Een datawarehouse is een database voor het centraal opslaan en verwerken van gestructureerde data uit verschillende onderliggende databases. Deze onderliggende databases horen bij meerdere operationele systemen, zoals ERP software, CRM software, HRM software of andere soorten bedrijfssoftware. Bij het dagelijkse gebruik van de operationele systemen, benutten deze alleen hun eigen databases. Als er tussen verschillende bedrijfsprocessen met behulp van data verbanden gelegd of conclusies getrokken moeten worden, dan lukt dat niet meer door gebruik te maken van de afzonderlijke databases. De oplossing is dan om alle data samen te voegen in een centrale database: het datawarehouse.
De databases van operationele systemen bevatten gestructureerde data. Kenmerk daarvan is dat deze data in tabelachtige structuren opgeslagen kan worden. Ook het resultaat van de samenvoeging, het datawarehouse, is weer een database met gestructureerde data. Met hulp van business intelligence en data analytics kunt u waardevolle inzichten verwerven uit deze data en op basis daarvan beslissingen nemen. Een goed datawarehouse draagt hierdoor in grote mate bij aan het succes van een datagedreven organisatie.
Datawarehouses en business intelligence
De kern van business intelligence (BI) is dat de in de organisatie aanwezige data wordt gebruikt voor het nemen van managementbeslissingen. Het datawarehouse bevat de data waarop de BI dashboards hun visualisaties, meetgegevens en conclusies baseren. Datawarehouses en business intelligence zijn daarom aan elkaar verbonden. Door uw data gestructureerd en eenduidig in een datawarehouse op te slaan, kunt u het grootste rendement uit een business Intelligence oplossing halen.
Datawarehouse versus data lake
Voor het opslaan van grote hoeveelheden data kan, naast een datawarehouse, ook gekozen worden voor een data lake. Het onderscheid tussen deze twee wordt bepaald door de manier waarop data verwerkt en opgeslagen wordt. In een datawarehouse wordt alle data gestructureerd, gecontroleerd en zonder fouten (opgeschoond) bewaard. U kunt daardoor gemakkelijker gebruik maken van business intelligence oplossingen. Bij een data lake worden alle soorten gestructureerde en ongestructureerde data in allerlei vormen (ook bestanden, beelden of berichten) en in originele vorm opgeslagen. Een data lake biedt voordelen bij de analyse van complexere data, omdat er geen rekening gehouden hoeft te worden met de beperkingen die de vaste structuur van een datawarehouse kan opleggen. Beide opslagtechnologieën hebben dus specifieke eigenschappen, waardoor de keuze bepaald wordt door welke data u heeft, welke u wilt gebruiken voor analyse en naar welke resultaten u zoekt. Een datawarehouse en data lake hoeven elkaar niet uit te sluiten. U kunt beide ook gelijktijdig naast elkaar gebruiken.
Waarom een datawarehouse toepassen?
Om diverse redenen kunt u een datawarehouse toepassen en een datawarehouse project starten. Een aantal daarvan leest u hieronder.
Integratie
U slaat data op verschillende plekken en in verschillende systemen op. Om een volledig overzicht te krijgen van alle bedrijfsprocessen, klanten en aanbieders is het van belang om alle data eenduidig te bundelen in een centrale database. Op die manier ontstaat een eenduidig beeld over uw gehele organisatie en uw activiteiten. Het streven is dat uw medewerkers data en databases makkelijker kunnen interpreteren door deze aan elkaar te koppelen en met elkaar in verband te brengen.
Snelle reactie
De operationele systemen waarin de data gegenereerd wordt (ERP, CRM, enz.), zijn ontworpen om in een hoog tempo talloze kleine data-uitwisselingen uit te voeren. Voor het analyseren van uw bedrijfsdata, waarbij tegelijkertijd miljoenen data-elementen verzameld, samengevoegd, verwerkt en afgebeeld moeten worden, zijn de databases van deze systemen minder geschikt. De structuur van een datawarehouse leent zich daar beter voor. Deze is geoptimaliseerd om snel in één keer flinke hoeveelheden informatie te verstrekken.
Beschikbaarheid
Als u over een datawarehouse beschikt, kunnen uw medewerkers eerder en beter de betekenis van data begrijpen. Met losse databases is het vaak lastiger om dit doel te bereiken, zeker als deze databases van verschillende aanbieders zijn, geen standaard structuren kennen of (bijvoorbeeld bij cloudtoepassingen) moeilijk bereikbaar kunnen zijn. Een datawarehouse zorgt voor een goede en snelle beschikbaarheid van alle data, waardoor uw medewerkers eerder tot waardevolle inzichten kunnen komen.
Rapportages
Dankzij de gestructureerde opbouw van een datawarehouse kunnen uw medewerkers snel en eenvoudig analyses en rapportages maken, die zich bovendien makkelijk aan laten passen. Zo wordt bijvoorbeeld bij het analyseren van de financiën gemakkelijk geschakeld tussen maanden en kwartalen. Als u op die manier ‘speelt’ met het verwerken en visualiseren van data, kunt u waardevolle en unieke inzichten verwerven.
Self service
Een datawarehouse in combinatie met toegankelijke business intelligence oplossing, zorgt ervoor dat uw medewerkers autonoom analyses en rapportages kunnen maken. Om niet-IT medewerkers zo min mogelijk afhankelijk te laten zijn van de BI- en IT-experts binnen of buiten uw organisatie, is het belangrijk te investeren in een goede infrastructuur tussen het datawarehouse en de BI tools. Door medewerkers goed te trainen en te coachen zorgt u ervoor dat ook niet-technische medewerkers op een hoog niveau analyses kunnen uitvoeren. Zij hoeven daarbij niet terug te vallen op de kennis van de IT afdeling.
Historische data
Een losse, aan operationele systemen gekoppelde database registreert vaak niet de historie van de data. Er is een grote kans dat de oude waarde direct wordt vervangen door de nieuwe, zonder de oude waarde ergens op te slaan. Hierdoor gaat veel waardevolle informatie verloren, die juist kan zorgen voor een compleet beeld van gegevens en prestaties door de tijd heen. Door ook historische data in een analyse te verwerken, ontstaat een veel betrouwbaarder beeld, dan wanneer u alleen actuele informatie gebruikt. Een datawarehouse bewaart ook de historische data, door alle mutaties in de oorspronkelijke databases op te slaan.
Datakwaliteit
De kwaliteit van data in de databases van operationele systemen kan niet altijd worden gegarandeerd. Er vinden standaard geen controles op de datakwaliteit plaats. Gebruikers hebben de mogelijkheid zelfstandig data aan het systeem toe te voegen of te wijzigen. Veelal blijken gegevens dan ook niet juist of onvolledig te zijn opgeslagen. Met een datawarehouse kan de datakwaliteit worden verbeterd door automatisch fouten te herkennen en te laten verbeteren.
Operationeel
Door alle data te verzamelen in een datawarehouse en van daaruit analyses uit te voeren, wordt de druk op de onderliggende databases ontlast. Op die manier kunt u grote hoeveelheden data analyseren, zonder dat de bronsystemen operationele problemen ondervinden door overbelasting. Uw bedrijfsprocessen kunnen onbelemmerd voortgezet worden, terwijl via het datawarehouse complexe en veel data gebruikende analyses worden uitgevoerd.
Nadelen en beperkingen
Een datawarehouse kent ook nadelen en beperkingen. Zo is het ontwerpen van een datawarehouse een tijdrovende en kostbare taak, die specialistische kennis vereist. Het is veel werk om alle data bij elkaar te zoeken, te verwerken en beschikbaar te stellen. Klein beginnen is belangrijk. Start met de bedrijfsdata die de hoogste potentiële waarde vertegenwoordigt. Voorkom dat verschillende bedrijfsafdelingen niet direct begrijpen waarom gegevens met elkaar moeten worden gedeeld. Leg daarom het nut en belang van een datawarehouse uit aan de verschillende afdelingen. Door op kleine schaal te starten met de implementatie van een datawarehouse kan de toegevoegde waarde ervan stap voor stap worden bewezen. Door met een simpele vorm te beginnen en deze telkens uit te breiden, wordt het draagvlak onder medewerkers langzamerhand groter.
|
BI/DATA kennisbank: alles over dataoplossingen
|
Hoe implementeert u een datawarehouse?
Voor het implementeren van een datawarehouse kunt u vijf stappen onderscheiden:
-
Informatiebehoefte in kaart brengen
Bepaal welke managementbeslissingen u in de nabije toekomst wilt nemen, welke inzichten u wilt hebben, op welke vragen u antwoord wenst en met wat voor soort werkwijzen en gegevens uw organisatie te maken heeft. Door de informatiebehoefte in kaart te brengen, kunt u op een zo efficiënt mogelijke manier overstappen naar een datawarehouse.
Inventariseer databronnen
Kijk welke databases de informatie bieden waaraan binnen uw organisatie behoefte is. Onderzoek of aan elke datavraag voldaan wordt, hoe de data opgeslagen is en van welk kwaliteitsniveau de data is. Bepaal hoe u omgaat met privacygevoelige informatie, omdat daar vanuit wettelijke verplichtingen extra restricties op zitten. Zo mogen alleen onder strikte voorwaarden bepaalde persoonsgegevens, zoals etnische afkomst of geloofsovertuiging, verwerkt worden in een datawarehouse.
Maak een planning
Door naar de informatiebehoefte te kijken kunt u bepalen waar uw prioriteiten liggen. In plaats van het eerst verwerken van alle data, wordt aangeraden om te beginnen met in verhouding kleine en gemakkelijke projecten die niet veel data vereisen. Op die manier wordt tijd bespaard en zijn de eerste (positieve) resultaten van het datawarehouse snel zichtbaar. Bij acute informatievraagstukken, waarbij de benodigde informatie nog niet vanuit het datawarehouse beschikbaar is, kan gekozen worden voor een tijdelijke oplossing: door alleen actuele informatie te laden en te gebruiken en historische data achterwege te laten, kan in korte tijd een relatief minder betrouwbaar, maar alsnog waardevol rapport gegenereerd worden.
Bepaal de techniek
Er bestaan verschillende technieken voor een datawarehouse. Ontwerp het datawarehouse zorgvuldig, zodat het aansluit bij de vraag vanuit uw organisatie. Bepaal hoe de data verkregen, geïntegreerd en aangeleverd moet worden. Bepaal of u een datawarehouse lokaal (on-premises) of in de cloud wenst. Kijk naar hoe de actuele datastroom verwerkt wordt en op welke manier gegevens gevisualiseerd en geïnterpreteerd kunnen worden.
Implementeren
Datawarehouse projecten bestaan niet alleen uit het beschikbaar maken van de BI tools. Het gaat ook om een verandering in de werkwijze van uw organisatie. Het is van belang dat uw medewerkers stap voor stap bekend raken met het datawarehouse en de mogelijkheden daarvan. Zorg ervoor dat het kennisniveau van uw medewerkers stijgt, naarmate het datawarehouse u meer mogelijkheden biedt. Stel de introductie met de nieuwe datagedreven aanpak niet uit tot het moment dat uw datawarehouse af is. Alleen door uw medewerkers vanaf het begin van het project goed te trainen en bij uw project te betrekken, kunt u ervoor zorgen dat er straks de maximale waarde uit uw data gehaald kan worden.
Datawarehouse bouwen en inrichten?
Het kiezen en implementeren van een data management oplossing, en zeker die rondom datawarehouses, andere databases en data lakes, vereist zorgvuldigheid, kennis en ervaring. Alle informatie hierover en hulp hierbij vindt u via de DATA kennisbank. Alle beschikbare hulp en informatie geven u inzicht in de technische en praktische oplossingen, de kosten daarvan en de juiste aanpak om op een efficiënte manier een datawarehouse te bouwen, te voorzien van de juiste data en te kunnen gebruiken voor analyses en rapportages.
Kijk welke oplossingen en leveranciers u kunnen helpen en gebruik de informatie van de DATA kennisbank
Ontdek de waarde van data
Over hoe u een datagedreven organisatie wordt
|