Geplante Scraper-Durchläufe

ScrapeNinja ruft Seiteninhalte von den von Ihnen bereitgestellten URLs ab. Ein Beam-Agent startet einen Durchlauf nach einem festgelegten Zeitplan, fordert die Zielseiten an und liest den zurückgegebenen HTML-Code oder die strukturierte Payload aus. Er wendet Ihre genehmigte Parsing-Regel an, schreibt die bereinigten Felder in das Zielsystem und markiert den Auftrag als abgeschlossen. Wenn eine Seite ein unerwartetes Layout, einen leeren Textkörper oder einen Statuscode zurückgibt, den die Regel nicht abdeckt, lässt der Agent den Datensatz unberührt und leitet den Fall an eine Person weiter, die entscheidet, ob der Selektor aktualisiert werden muss oder ob sich die Quelle unbemerkt geändert hat.

Proxy- und Blockierungs-Handling

Viele Websites weisen automatisierte Anfragen ab. ScrapeNinja leitet Aufrufe über Proxys um und versucht es erneut, wenn eine Anfrage fehlschlägt. Ein Beam-Agent überwacht die Antwortcodes bei jedem Durchlauf. Wenn ein Abruf verweigert wird, wendet er Ihre Wiederholungsregel an, bevor er es über eine neue Route erneut versucht. Erfolgreiche Seiten werden an den Parsing-Schritt übergeben und die Ergebnisse werden im Quelldatensatz gespeichert. Wenn eine Domain auch nach den zulässigen Wiederholungsversuchen die Annahme verweigert, stoppt der Agent, vermerkt die Anzahl der Fehler und übergibt die Website einer Person, die prüft, ob das Ziel nun einen völlig anderen Ansatz erfordert.

Strukturierte Datenausgabe

ScrapeNinja kann Seiteninhalte als Felder anstelle von Roh-Markup zurückgeben. Ein Beam-Agent ordnet diese Felder Ihrem Schema zu, liest jeden Wert und wendet die genehmigte Validierungsregel an, bevor er Zeilen in Ihre Datenbank oder Tabelle schreibt. Datensätze, die die Prüfung bestehen, landen in der Zieltabelle mit einem Zeitstempel der Quelle. Zeilen, in denen erforderliche Werte fehlen oder Werte außerhalb des erwarteten Bereichs liegen, werden zurückgehalten und für eine Überprüfung durch eine Person markiert. So wird verhindert, dass ein fehlerhafter Selektor Ihr System während eines unbeaufsichtigten nächtlichen Erfassungslaufs unbemerkt mit leeren oder fehlerhaften Einträgen füllt.