Benachrichtigung bei fehlgeschlagenen Jobs

Keboola protokolliert das Ergebnis jedes Jobs in einer Orchestrierung, einschließlich der Information, ob er beendet wurde, fehlgeschlagen ist oder übersprungen wurde. Ein Beam-Agent liest dieses Job-Protokoll nach jedem geplanten Durchlauf und benachrichtigt bei einem Job-Fehler das Datenteam mit dem Job-Namen, der Fehlermeldung und den davon abhängigen nachgelagerten Schritten. Jobs, die mit einer Warnung, aber ohne schwerwiegenden Fehler abgeschlossen werden, werden ohne Warnmeldung protokolliert, da sich diese oft von selbst lösen. Der Agent führt einen fehlgeschlagenen Job nicht erneut aus und bearbeitet auch nicht dessen Konfiguration; er weist lediglich auf den Fehler hin, damit ein Mensch entscheiden kann, ob er behoben und erneut versucht werden soll.

Meldungen bei Zeilenanzahl-Anomalien

Keboola meldet, wie viele Zeilen jeder Extractor oder Writer bei einem bestimmten Durchlauf erzeugt. Ein Beam-Agent gleicht diese Zeilenanzahl mit dem jüngsten Durchschnitt desselben Jobs ab und markiert die Ausgabe, wenn ein Durchlauf weit unter oder über diesem Durchschnitt liegt, und benachrichtigt das Datenteam, bevor nachgelagerte Prozesse diese verarbeiten. Jobs, für die noch kein verlässlicher Verlauf vorliegt, oder solche, die bereits aufgrund eines bekannten saisonalen Musters wie eines Monatsabschlusses markiert wurden, sind von dieser Prüfung ausgeschlossen. Der Agent bricht einen Job nicht direkt ab, er markiert lediglich die Ausgabe und überlässt die Entscheidung über das Anhalten oder Fortfahren einem Menschen.

Sperren bei Orchestrierungs-Abhängigkeiten

Keboola-Orchestrierungen führen eine Reihe von Jobs aus, bei denen spätere Schritte davon abhängen, dass frühere sauber abgeschlossen werden. Ein Beam-Agent überwacht diese Sequenz und hält bei einem Fehler in einem frühen Job die nachgelagerten Jobs, die von ihm abhängen, an, anstatt sie mit unvollständigen Daten laufen zu lassen, und benachrichtigt dann das Datenteam darüber, was genau pausiert wurde und warum. Jobs, die keine Abhängigkeit vom fehlgeschlagenen Schritt haben, werden wie gewohnt planmäßig fortgesetzt. Der Agent ordnet die Orchestrierung nicht neu an und entfernt auch keinen Job aus der Sequenz; er pausiert lediglich Durchläufe, die andernfalls fehlerhafte Eingaben verarbeiten würden, bis ein Mensch sie freigibt.