Wir setzen in einem Kundenprojekt seit kurzem Splunk ergänzend zu einer ETL-Strecke mit Informatica PowerCenter ein – hier möchte ich insbesondere auf die Möglichkeiten eingehen, die einem diese Kombination ermöglicht.
Die Tools
Zunächst aber eine kurze Einführung Tool zu beiden Tools. Informatica PowerCenter ist ein klassisches ETL-Tool (Extraktion, Transformation, Laden) und schon viele Jahre am Markt vertreten. Es hat einen Repository basierten Ansatz und speichert die Informationen über die entwickelten Softwareartefakte, Beziehungen und Ausführungen in einer relationalen Datenbank. Weitere Details über PowerCenter erhalten Sie in unseren früheren Blogbeiträgen (engl.).
Splunk Enterprise ist das Produkt der gleichnamigen Firma Splunk. Das Produkt kann so ziemlich alle von Maschinen bereitgestellten Daten (Logfiles) verarbeiten und visualisieren. Dabei ist fast jede Quelle anbindbar. Daneben lassen sich auch klassische relationale Datenbanken einbeziehen. Und hier kommt das Informatica PowerCenter Repository ins Spiel. Denn dieses wird auf einer relationalen Datenbank (Oracle, IBM DB2, Microsoft SQL Server oder Sybase ASE) installiert und betrieben.
Mögliche Einsatzgebiete
Die in relationalen Datenbanken gespeicherten Daten lassen sich mit Hilfe von SQL (Structured Query Language) abfragen. Es lassen sich interessante Datenbankabfragen erstellen und gegen das Informatica Repository ausführen. Zum Beispiel können auf diesem Wege verschiedene Umgebungen auf Anpassungen an den Softwareständen abgefragt werden und Reports erzeugt werden. Wenn beispielsweise das Deployment auf einer Testumgebung stattfindet, kann Splunk in regelmäßigen Abständen den Zeitstempel überprüfen und einen Deploymentbericht erzeugen – dieser kann auch per Mail verschickt werden oder in einem Dashboard angezeigt werden – diese Funktionalitäten liefert Splunk direkt mit.
Auch lassen sich die Logfiles einzelner PowerCenter Workflows oder Sessions aus verschiedenen Umgebungen in Splunk mittels Agents einbinden, um diese auswerten zu können. Somit kann man über alle in einem bestimmten Zeitraum gesammelten Logfiles nach bestimmten Fehlerbildern fahnden. Auch wird nicht zwingend ein direkter Zugriff auf die Umgebung benötigt, wenn mal ein Workflow-Abbruch analysiert werden muss.
Wichtig dabei ist aber zu wissen, dass alles was in Splunk landet, auswertbar ist. Enthalten Ihre Informatica Logfiles beispielsweise personenbezogene Daten, so müssen diese anonymisiert und/oder der Zugang zu der Suche eingeschränkt werden.
Zusammenfassend lässt sich sagen, dass die Kombination aus Splunk und Informatica sehr gut miteinander harmoniert und Splunk Entwicklern viele Möglichkeiten, um sich das tägliche Arbeiten zu erleichtern und wichtige Informationen an die richtigen Adressaten zu bekommen.
