Daten-Pipeline-Ausführungen

Talend führt die Jobs aus, die Daten zwischen Ihren Quellen und Zielen verschieben und umformen. Ein Beam-Agent überwacht die Pipeline-Ausführungen, liest deren Abschlussstatus sowie die Zeilenanzahl und führt fehlgeschlagene Jobs bei vorübergehenden Fehlern gemäß Ihrer Wiederherstellungsregel erneut aus. Er aktualisiert ein Ausführungsprotokoll und benachrichtigt das Datenteam über die erneuten Versuche. Ausführungen, die aufgrund einer Schemaänderung fehlschlagen, weitaus weniger Zeilen als erwartet laden oder einen regulierten Datensatz betreffen, werden an einen Data Engineer eskaliert, der den Vorfall untersucht, bevor die betroffenen Daten im weiteren Verlauf von Berichten genutzt werden.

Datenqualitätsprüfungen

Talend kann Qualitätsregeln anwenden, die Daten im Fluss profilieren und validieren. Ein Beam-Agent liest die Ergebnisse dieser Prüfungen nach einer Ausführung, vergleicht sie mit Ihren Schwellenwerten und gibt erfolgreich geprüfte Batches frei, damit sie an ihr Ziel weitergeleitet werden. Er protokolliert das Ergebnis und benachrichtigt den Eigentümer über etwaige Warnungen. Batches mit zu vielen abgelehnten Zeilen oder bei denen ein kritisches Feld außerhalb des erwarteten Bereichs liegt, werden unter Quarantäne gestellt und an einen Data Steward übergeben, der entscheidet, ob die Daten korrigiert, neu geladen oder abgelehnt werden.

Metadaten- und Schema-Synchronisierung

Talend verwaltet Metadaten, die die Struktur der verarbeiteten Datensätze beschreiben. Ein Beam-Agent liest Schemadefinitionen, wenn sich eine Quelle ändert, vergleicht sie mit der erfassten Version und aktualisiert nachgelagerte Mappings, die Ihr Team für die automatische Anpassung freigegeben hat. Er protokolliert die Änderung und benachrichtigt die betroffenen Eigentümer. Eine strukturelle Änderung, die eine Spalte löscht, einen Schlüssel ändert oder ein reguliertes Feld betrifft, wird angehalten und an einen Datenarchitekten gesendet, damit keine Mapping-Updates unbemerkt durchgeführt werden, was einen Bericht beschädigen oder einen abhängigen Job unterbrechen könnte.