Extract, Transform, Load

Extract, Transform, Load (ETL) ist ein Prozess, um Daten aus mehreren Datenquellen mit unterschiedlichen Strukturen in eine Zieldatenbank zu überführen. Dieser Vorgang wird in drei Schritten durchgeführt, aus denen sich die Bezeichnung ETL ableitet:

Extraktion (Extract) der relevanten Daten aus verschiedenen Quellen um das Data-Warehouse mit aktuellen Daten zu versorgen, muss die Extraktion regelmäßig synchron mit den Quellen oder asynchron geschehen. Die asynchrone Extraktion kann periodisch, ereignisgesteuert oder anfragegesteuert erfolgen. Um den Produktionsbetrieb nicht zu beinträchtigen muss die Extraktion in bestimmten Zeitfenstern und möglichst performant erfolgen.

Transformation (Transform) der Daten in das Schema und Format der Zieldatenbank. Die Transformation besteht im Wesentlichen aus der Anpassung der Daten an die vorgegebenen Zielstrukturen (Schema-Mapping) des Arbeitsspeichers. Unter Transformation fällt hierbei auch die meist aufwändige Datenbereinigung. Die Transformation findet in einem eigenen Arbeitsbereich (Staging-Area) statt. Transformationen sind beispielsweise die Eliminierung von Duplikaten, Schlüsselanpassung, Anpassung von Datentypen, wie die numerische Darstellung des Tagesdatums der Form YYYYMMDD, Anpassung von Datenwerten, wie unterschiedliche Codierung des Geschlechts wie 1 (weiblich), 2 (männlich) oder f (female) und m (male). Auch die Aggregation- Einzelumsätze eines Produkts hin zu monatlichen Umsätzen je Produkt- werden in diesem Schritt durchgeführt.

Beim Laden (load) werden die Daten aus dem Arbeitsbereich in das Data-Warehouse gebracht. Dies muss effizient geschehen, so dass die Datenbank während des Ladens nicht oder nur kurz blockiert wird und ihre Integrität gewahrt wird. Zusätzlich kann eine Versionshistorie angefertigt werden, in der Änderungen protokolliert werden, so dass auf Daten zurückgegriffen werden kann, die zu früheren Zeitpunkten gültig waren.

Vereinbaren Sie einen Gesprächstermin