Headless Chrome-Rendering

ScrapingAnt lädt Seiten in einem echten Chrome-Browser, sodass geskriptete Inhalte gerendert werden. Ein Beam-Agent fordert bei einem Trigger eine URL an, wartet auf das gerenderte Ergebnis und liest die in Ihrer Regel definierten Felder aus. Erfolgreich geprüfte Werte werden mit einer Quellenreferenz in Ihr System geschrieben. Wenn die Seite nicht vollständig gerendert werden kann oder ein erwartetes Element nach dem Laden fehlt, schreibt der Agent keinen unvollständigen Datensatz; er leitet die URL an eine Person weiter, die prüft, ob die Website einen Schritt hinzugefügt, ihr Markup geändert hat oder vor der Erfassung eine längere Wartezeit benötigt.

Rotierende Proxy-Anfragen

ScrapingAnt sendet jede Anfrage über einen rotierenden Pool von Proxys. Ein Beam-Agent führt den Abruf aus, liest die Antwort und wendet Ihre Wiederholungsregel an, wann immer ein Pfad blockiert wird. Reibungslos geladene Seiten gehen in das Parsing über und landen in Ihrem Speicher, während der Agent protokolliert, welche Versuche erfolgreich waren. Wenn eine Zielseite die Anfragen über alle zulässigen Rotationen hinweg kontinuierlich ablehnt, stoppt der Agent diesen Auftrag, protokolliert das Muster und übergibt es an eine Person. Diese entscheidet, ob die Quelle vorübergehend offline ist oder Einstellungen benötigt, die die Standardregel für einen zuverlässigen Zugriff nicht abdeckt.

Unbeaufsichtigte Erfassungsläufe

ScrapingAnt eignet sich für Aufgaben, die sich ohne menschliche Überwachung wiederholen. Ein Beam-Agent löst eine Erfassung nach Ihrem Zeitplan aus, liest jede zurückgegebene Seite und wendet die freigegebene Parsing-Regel an, um saubere Zeilen in der Zieltabelle zu erstellen. Jeder Durchlauf ist mit einem Zeitstempel versehen, sodass Lücken sichtbar sind. Wenn ein Durchlauf weit weniger Datensätze als üblich liefert oder ein Pflichtfeld über viele Seiten hinweg leer bleibt, pausiert der Agent und benachrichtigt eine Person, anstatt gute Daten zu überschreiben. So wird verhindert, dass eine unbemerkte Änderung der Website den Datensatz korrumpiert, mit dem Ihr Team jeden Morgen arbeitet.