Archive

Archive for the ‘Datawarehouse’ Category

Proces Metadata vs Powercenter metadata: een praktische invulling

December 19th, 2011 No comments

Soms kan het handig zijn om in je metadatamodel informatie van je applicatielaag op te nemen. We denken dan bijvoorbeeld aan: met welke techniek en welke versie heb ik deze data in m’n datawarehouse geladen? Of met welke versie heb ik een data conversie uitgevoerd. Natuurlijk is elke powercenter ontwikkelaar bekend met het welbekende $PMWorkflowRunId die als variabele in een mapping gebruikt kan worden.

Door een model te ontwikkelen waarin proces metadata wordt opgeslagen is het met het $PMWorkflowRunId mogelijk om een koppeling te vinden naar de applicatie laag. Dit kan door een $PMWorkflowRunId en op basis van $PMWorkflowName te koppelen aan een workflow id.

Read more…

Goudmijn

December 30th, 2009 No comments

Een nieuwe mijnschacht
Data is als goud te vinden in de grond. Met goud kan men bv prachtige juwelen maken om te verkopen. Maar om het te ontginnen is een schacht nodig om bij het goud te komen. In de praktijk zijn er al vele projecten opgezet om dit goud te ontginnen. Maar met de bouw van de mijnschacht rammelt het vaak aan alle kanten. De schacht maakt bijvoorbeeld allerlei rare bochten omdat vooraf niet bekend was waar de goudader zich bevond. Of de structuur van de stutten wijken af naarmate men verder in de mijn komt. Afwijkingen die vaak veroorzaakt zijn omdat er meerdere mensen aan de stutten werken en ieder hun eigen ervaringen hebben hoe dit het beste te maken. Met als gevolg dat het gehele bouwwerk onoverzichtelijk is en structuur ver te zoeken.
Daarnaast zijn er nog omgevingsfactoren (bv aarde trillingen) die er voor zorgen dat een schacht gedeeltelijk instort. Met als gevolg dat men tijdelijk niet meer bij het goud kan. Een reddingsploeg moet er aan te pas komen om de schade (snel) te herstellen. Soms gaan mijnongelukken zelfs ten kostte van mensenlevens. In het uiterste geval wordt er zelfs besloten om een nieuwe schacht te gaan bouwen. Nu met de perceptie dat het wel gaat lukken omdat er geleerd is van de vorige. Read more…

Spaghetti code

August 10th, 2009 No comments

Spaghetti

Nobody ever say so, but for so many years now I have been confronted with DWH spaghetti projects. No matter the tools used, somehow it seems an utopia to create a clear architecture / ETL / Datamodel in time.

The problems are huge. People come and go. Without a clear view of what new people have to do they start their own way with their own vision and methods. The beginning of the end. And where does it end? High and rising maintenance cost, disappointed users etc etc. Read more…

de waarde van architectuur voor beheer

June 11th, 2009 No comments

Enkele praktijk ervaringen, door Henk Binnendijk

Inleiding

Kenmerkend aan een DHW / BI project is dat het dynamisch is en dat er na oplevering regelmatig om wijzigingen gevraagd wordt. De wijzigingen komen voort vanuit de business of vanuit de bron. De eerste via changes en/of requests en de tweede vaak door incidenten. In dit artikel worden ervaringen gedeeld over het continu beheren van dynamische DWH / BI omgevingen. Hoe voorkom je dat je een inflexibel en/of niet continue BI omgeving hebt?

Read more…