Großflächiges Website-Crawling

Scrapeless crawlt zahlreiche Seiten einer Website und liefert deren Daten als strukturierten Output zurück. Ein Beam-Agent startet einen Crawl über die von Ihrem Team freigegebenen Quellen, liest die Ergebnisse direkt nach dem Eintreffen ein und trägt neue sowie geänderte Elemente in Ihre Datensätze ein. Er arbeitet die Warteschlange nach Ihrem Zeitplan ab und protokolliert den Fortschritt. Crawls, die ins Stocken geraten, auf eine Blockade stoßen oder Ergebnisse liefern, die Ihre Prüfungen nicht bestehen, werden nicht in die Datensätze übertragen; der Agent pausiert den Durchlauf und leitet das Problem an einen Operator weiter, der das Ziel überprüft und entscheidet, wie der Crawl fortgesetzt werden soll.

Strukturierte Datenbereitstellung

Scrapeless liefert gecrawlte Inhalte als saubere Felder anstelle von Roh-HTML zurück. Ein Beam-Agent ruft die von Ihrem Team aufgelisteten Seiten ab, liest die parsierten Felder aus und ordnet sie Ihrem Schema zu, sodass die Daten direkt einsatzbereit ankommen. Er aktualisiert die übereinstimmenden Datensätze und markiert die Änderungen. Seiten, die unvollständig zurückgegeben werden, ein vom Parser nicht lesbares Layout aufweisen oder Werte enthalten, die gegen Ihre Regeln verstoßen, werden zurückgehalten; der Agent markiert sie und übergibt den Batch an einen Mitarbeiter, der den Roh-Output prüft und entscheidet, wie die Daten abgelegt werden sollen.

Anti-Block-Scraping-Sessions

Scrapeless verwaltet Sessions, sodass Anfragen Seiten erreichen, die einen einfachen Scraper andernfalls blockieren würden. Ein Beam-Agent führt die freigegebenen Ziele über diese Sessions aus, liest die Rückgabewerte und schreibt die nutzbaren Ergebnisse in dem von Ihnen festgelegten Rhythmus in Ihre Systeme. Er protokolliert jede Session und deren Ergebnis. Ziele, die wiederholt fehlschlagen, eine Challenge-Seite anzeigen oder Daten erzeugen, die Ihre Validierung nicht bestehen, werden nicht endlos erneut versucht; der Agent stoppt und benachrichtigt einen Operator, der die Quelle überprüft und entscheidet, ob der Ansatz geändert oder verworfen werden soll.