Erkennung von Schema-Drift

Kadoa verfolgt die Struktur jeder gescrapten Webquelle und markiert einen Auftrag, wenn sich diese Struktur so stark verändert, dass die Extraktion fehlschlägt. Ein Beam-Agent überprüft bei jedem Durchlauf den Auftragsstatus und wendet bei einer bekannten und bereits zuvor aufgetretenen Änderung die vom Account genehmigte Korrektur an – wie z. B. das Neuzuordnen eines umbenannten Feldes – und setzt den Auftrag dann fort. Bei einer Quelle, bei der die Validierung wiederholt fehlschlägt oder die völlig neu gestaltet aussieht, stoppt der Agent den Auftrag und leitet ihn an eine Person weiter, anstatt das Layout zu erraten. Er definiert niemals selbstständig ein Schema neu, sondern wendet nur Korrekturen an, die das Team bereits für diese Art von Änderung genehmigt hat.

Validierungsregeln auf Feldebene

Mit Kadoa kann ein Account Validierungsregeln für jedes abgerufene Feld festlegen, beispielsweise, dass ein Preis numerisch sein muss oder ein Datum in einem bestimmten Format vorliegen muss. Ein Beam-Agent gleicht jeden neu gescrapten Datensatz mit diesen Regeln ab und lädt Datensätze, die die Prüfung bestehen, in das verbundene Warehouse oder Spreadsheet. Datensätze, die eine Regel nicht erfüllen, wie z. B. ein fehlender Preis oder ein fehlerhaftes Datum, werden mit einem entsprechenden Fehlervermerk beiseitegelegt, und eine Person überprüft den Batch, bevor unklare Daten in nachgelagerte Systeme gelangen. Der Agent wendet nur die bereits konfigurierten Validierungsregeln an; er lockert oder ergänzt keine Regeln, um mehr Datensätze durchzuschleusen.

Überwachung geplanter Aufträge

Kadoa führt Extraktionsaufträge nach einem vom Account festgelegten Zeitplan aus, und jeder Durchlauf meldet, ob er abgeschlossen wurde, fehlgeschlagen ist oder weniger Zeilen als erwartet zurückgegeben hat. Ein Beam-Agent überprüft diesen Status nach jedem geplanten Durchlauf und benachrichtigt das Team, sobald ein Auftrag sauber abgeschlossen wurde, dass neue Daten im verbundenen Zielort bereitstehen. Wenn ein Durchlauf komplett fehlschlägt oder eine Zeilenanzahl zurückgibt, die weit unter dem jüngsten Durchschnitt liegt, hält der Agent die Benachrichtigung zurück und leitet den Durchlauf zur Überprüfung an eine Person weiter, bevor die Ausgabe als vollständig betrachtet wird. Der Agent ändert weder Auftragszeitpläne noch Quellen, sondern berichtet lediglich über die bereits konfigurierten Durchläufe.