Palo ETL Server

Extraktion und Transformation von Stamm- und Bewegungsdaten

ETL steht für Extraktion, Transformation, Laden und bezeichnet den Prozess heterogene Daten aus mehreren Quellsystemen in ein Zielsystem zu laden.

• Datenimporte vollautomatisiert und webbasiert durchführen
• Schnittstelle zu allen gängigen relationalen Datenbanksystemen und Business Intelligence Systemen
• Zugriffsmöglichkeiten von verdichteten PALO-Zahlen herunter auf die unterste Belegebene der Quelldaten
• Kundenspezifische Erweiterungen der Standardtransformationen einfach über Java implementieren

OLAP & PALO

Im Unterschied zu anderen ETL-Tools ist der Palo ETL Server speziell auf die Anforderungen von Palo zugeschnitten. So wird der Palo OLAP Server auf performante Weise als Quell- und Zielsystem unterstützt. Das Handling von Cubes, Levels, Attributen und Gewichten ist denkbar einfach. Das relationale Modell der Quellsysteme kann auf effiziente Weise in ein OLAP-Modell umgewandelt werden.

Client-Server-Architektur

Palo ETL Server basiert auf einer plattformunabhängigen Client-Server-Architektur und bietet Ihnen eine hohe Skalier- und Multi-User-Fähigkeit.
Drill-Through:
Unter Drill-Through versteht man das Verzweigen von einer Datenquelle auf eine meist detailliertere andere Datenquelle. Mit Hilfe von Palo ETL Server ist der Drill-Through von Palo auf die Belegdaten in den Quellsystemen möglich. Damit können Informationen über den Ursprung der Daten auf einem hohen Detaillierungsgrad über Navigation angezeigt werden. Dabei werden die erforderlichen Daten der Quellsysteme in den Data-Sources des ETL Servers zwischengespeichert.

Connections:

Alle gängigen relationalen Datenbanksysteme wie etwa MySQL, DB2 und Oracle können über einen JDBC-Treiber angeschlossen werden. Auch das Einlesen und Schreiben von Flat Files wird unterstützt. Für die Verbindung zum Palo OLAP Server besteht ein performantes Interface als Quell- und Zielsystem.

Data-Sources:

Mit einem beliebigen SQL-Statement können Sie Ihre Daten aus den relationalen Quellsystemen in Data-Sources laden. Beim Lesen aus Palo OLAP Server können die Daten mit regulären Ausdrücken gefiltert werden. Auch das Verbinden (Join) von Data-Sources aus verschieden Quellsystemen ist möglich. Eine generische Modellierung von Dimensionen z.B. für Perioden und Werttypen kann direkt im ETL-Server ohne Bezug zu einem Quellsystem erfolgen.

Pipelines / Transformers:

Pipelines überführen eine Data-Source in eine andere Data-Source. Dabei kann etwa Bereinigung, Filtern und Aggregation der Daten erfolgen. Für Dimensionsdaten können Levels, Attribute und Gewichte direkt erzeugt werden. Aus einem relationalen Modell wird damit auf einfache Weise ein OLAP-Modell.
Transformers führen spezielle Konvertierungen auf Feldebene durch. Vordefinierte Transformers u.a. für Mapping, Verkettung und Datum stehen zur Verfügung. Kundenspezifische Transformers können in Java implementiert werden, um auch komplexere Anforderungen abzudecken.

Exports / Jobs:

Die Data-Sources werden mit Hilfe von Exports in die Zielsysteme geladen. Damit kann ein komplettes Palo-Modell inklusive Dimensionen und Cubes von ETL Server aus erzeugt werden.
Jobs gruppieren mehrere Exports. Sie sind damit die Grundlage für einen zeitgesteuerten und vollautomatischen Ladeprozess. Durch die Client-Server-Architektur ist eine hohe Skalierbarkeit gewährleistet. Die Integration des Ladeprozesses in externe Scheduling-Tools ist möglich.

User Interface:

Für den Palo ETL Server ist eine separate webbasierte Benutzeroberfläche mit Multi-User-Betrieb erhältlich. Mehr Informationen und eine Online-Demo finden Sie hier. Als Alternative kann die Definition des ETL-Prozesses direkt über eine leicht verständliche XML-Struktur erfolgen. Als Hilfmittel für den Entwicklungsprozess bietet sich etwa Eclipse IDE oder ein einfacher XML-Editor an. Die Integration des Ladeprozesses in externe Scheduling-Tools ist möglich. Zusätzlich kann der ETL-Server auch über eine SOAP-Schnittstelle angesprochen werden.