Benachrichtigungen zu Job-Ergebnissen

dbt Cloud liefert bei jedem Abschluss eines geplanten Jobs ein Erfolgs- oder Fehlersignal. Ein Beam-Agent liest das Ergebnis direkt nach dem Eintreffen aus, wendet die hinterlegten Kontoregeln für die entsprechende Reaktion an – beispielsweise die sofortige Benachrichtigung des Job-Besitzers bei einem Fehler im Produktivbetrieb – und aktualisiert ein Statuselement, damit das Team den Verlauf auf einen Blick einsehen kann. Erlaubt die Regel einen einmaligen automatischen Wiederholungsversuch für einen bekanntermaßen instabilen Schritt, führt der Agent diesen aus. Wiederholte Fehler oder Fehler bei Jobs, die nicht durch die Regeln abgedeckt sind, werden direkt an einen Ingenieur zur Analyse übergeben.

Benachrichtigungen bei fehlgeschlagenen Tests

Modelle in dbt Cloud beinhalten Datentests, wie Prüfungen auf Eindeutigkeit oder darauf, dass ein Wert niemals Null ist, die parallel zu jedem Job ausgeführt werden. Ein Beam-Agent liest aus, welche Tests wie schwerwiegend fehlgeschlagen sind, gleicht dies mit den Kontoregeln für den Schweregrad ab und benachrichtigt den Modell-Besitzer oder Datenverantwortlichen, sobald ein Test den relevanten Schwellenwert überschreitet. Einige wenige Warnungen bei einem bekanntermaßen fehleranfälligen Test werden meist nur protokolliert. Ein Fehler bei einem Test, der mit einem kundenorientierten Dashboard verknüpft ist, oder das gleichzeitige Fehlschlagen mehrerer Tests wird eskaliert, damit sich ein Mitarbeiter darum kümmert, bevor nachgelagerte Systeme den Daten vertrauen.

Prüfungen der Quell-Aktualität

dbt Cloud kann prüfen, ob eine Quelltabelle vor kurzem genug geladen wurde, um ihr zu vertrauen – basierend auf definierten Warn- und Fehlerschwellenwerten. Ein Beam-Agent liest das Aktualitätsergebnis für jede Quelle aus, wendet die Kontoregel für veraltete Quellen an und benachrichtigt den Besitzer der entsprechenden Pipeline, sobald eine Quelle die Warnlinie überschreitet. Quellen, bei denen eine Aktualitätsprüfung gänzlich fehlt, oder solche, bei denen der zugrunde liegende Ladejob gestoppt wurde, werden für einen Ingenieur zur Überprüfung markiert, statt unbemerkt zu veralten. Dies verhindert, dass veraltete Daten einen Bericht erreichen, bevor es jemand bemerkt.