Sitemap-Scraping

WebScraper.IO folgt einer von Ihnen definierten Sitemap, um strukturierte Felder von einer Website zu extrahieren. Ein Beam-Agent startet das Scraping, liest die zurückgegebenen Zeilen und schreibt sie mithilfe Ihrer Feldzuordnung in Ihre Tabelle oder Ihr CRM. Er wendet Regeln an, um Duplikate zu entfernen und Zeilen zu markieren, bei denen ein Pflichtfeld fehlt. Scrapes, die ein leeres Ergebnis liefern, auf halbem Weg stehen bleiben oder mit einer geänderten Struktur zurückkehren, werden an einen Mitarbeiter übergeben. Dieser prüft, ob die Zielseite aktualisiert wurde, bevor die Ergebnisse in Systeme geladen werden, auf die sich Ihr Team verlässt.

Strukturierter Datenexport

WebScraper.IO gibt die gescrapten Ergebnisse als strukturierte Datensätze aus, die für andere Systeme bereitstehen. Ein Beam-Agent liest jeden Export, ordnet die Spalten Ihrem Zielort zu und schreibt bereinigte Zeilen dorthin, wo Ihr Team sie benötigt, wobei er den Durchlauf und die Quell-URL taggt. Er fügt neue Einträge hinzu und aktualisiert diejenigen, die sich seit dem letzten Durchlauf geändert haben. Exporte mit fehlerhaften Feldern, falscher Spaltenanzahl oder Werten, die eine Plausibilitätsprüfung nicht bestehen, werden zur Überprüfung beiseitegelegt. So bemerkt ein Mitarbeiter einen fehlerhaften Selektor, bevor sich fehlerhafte Zeilen in Ihren Berichten oder Ihrem CRM verbreiten.

Geplante Crawls

WebScraper.IO kann denselben Crawl wiederkehrend ausführen, um die Daten auf dem neuesten Stand zu halten. Ein Beam-Agent startet jeden geplanten Crawl, liest die neuen Ergebnisse und vergleicht sie mit dem gespeicherten Datensatz, sodass nur tatsächliche Änderungen geschrieben werden. Er protokolliert die Änderungen und kann einen Kanal benachrichtigen, wenn sich ein überwachter Wert verschiebt. Crawls, die einen plötzlichen Rückgang der Zeilenanzahl zeigen oder bei denen ein Feld auf vielen Seiten verschwunden ist, werden an einen Mitarbeiter eskaliert, da dies meist bedeutet, dass sich die Website geändert hat und die Selektoren manuell angepasst werden müssen.