JSON-Webdatenextraktion

Scrape-It.Cloud extrahiert strukturierte Daten von einer Zielseite und liefert sie als sauberes JSON zurück. Ein Beam-Agent ruft die API für die von Ihrem Team genehmigten URLs auf, liest die zurückgegebenen Felder und trägt sie in den Datensatz oder die Tabelle ein, in die die Daten gehören. Dies geschieht nach dem von Ihnen festgelegten Zeitplan und jeder erfolgreiche Datenabruf wird protokolliert. Seiten, die Fehler, ein geändertes Layout oder Felder zurückgeben, die nicht dem erwarteten Format entsprechen, werden nicht blind eingetragen; der Agent parkt das Ergebnis und leitet es an eine Person weiter, die die Quelle überprüft und die Anfrage anpasst, bevor sie erneut ausgeführt wird.

Geplante Scraping-Jobs

Wiederkehrende Jobs in Scrape-It.Cloud rufen Daten in einem festgelegten Rhythmus von denselben Quellen ab. Ein Beam-Agent führt jeden Job nach seinem Zeitplan aus, liest die neuen Ergebnisse und aktualisiert Ihre Datensätze nur dort, wo sich die Werte gemäß den von Ihrem Team definierten Regeln geändert haben. Er protokolliert den Durchlauf und die Differenz (Delta). Ein Job, der wiederholt fehlschlägt, wesentlich mehr oder weniger Ergebnisse als üblich liefert oder eine Website-Sperre auslöst, wird nicht in einer Endlosschleife belassen; der Agent pausiert ihn und benachrichtigt einen Operator, der das Ziel überprüft und entscheidet, ob der Job fortgesetzt, repariert oder beendet werden soll.

Erfassung von Suchergebnissen

Scrape-It.Cloud kann Einträge und Suchergebnisse von öffentlichen Seiten in strukturierten Zeilen erfassen. Ein Beam-Agent fordert die von Ihrem Team gewünschten Ergebnisse an, liest jeden Eintrag und trägt neue oder aktualisierte Elemente mithilfe der von Ihnen genehmigten Abgleichsregeln in Ihre Datenbank ein. Er protokolliert, was hinzugefügt wurde, und überspringt bekannte Duplikate. Einträge mit fehlenden Schlüsselfeldern, einem unklaren Abgleich mit einer bestehenden Zeile oder Anzeichen einer blockierten oder veränderten Seite werden beiseitegelegt; der Agent leitet sie an eine Person weiter, die die Rohdaten überprüft und entscheidet, wie die einzelnen Daten gespeichert werden sollen.