Geplante Scraping-Aufträge für Ziel-Websites ausführen

Bright Data führt Data-Mining-Aufträge aus, die strukturierte Daten wie Preise, Angebote oder Bewertungen von Ziel-Websites abrufen. Ein Beam-Agent löst einen Auftrag nach einem Zeitplan oder bei einer entsprechenden Anfrage aus, liest die zurückgegebenen Daten nach Abschluss des Auftrags aus und wendet eine vordefinierte Regel an, wie z. B. das Aktualisieren einer Preistabelle oder das Kennzeichnen einer Änderung seit dem letzten Durchlauf. Aufträge, die fehlschlagen, unvollständige Daten zurückgeben oder auf eine Website mit geänderter Struktur stoßen, werden zur Überprüfung an einen Mitarbeiter weitergeleitet, anstatt blindlings erneut versucht zu werden.

Anfragen über verwaltete Proxy-Netzwerke leiten

Da Scraping im großen Stil voraussetzt, dass Anfragen über viele verschiedene IP-Adressen verteilt werden, um Blockierungen zu vermeiden, leitet Bright Data den Datenverkehr über sein Proxy-Netzwerk. Ein Beam-Agent kann einen Auftrag mit einer genehmigten Proxy-Konfiguration einrichten oder auslösen und anschließend überwachen, ob der Auftrag erfolgreich abgeschlossen oder blockiert wird, indem er den Status und die Protokolle während des Durchlaufs liest. Wenn ein Auftrag wiederholt fehlschlägt oder eine Ziel-Website anscheinend neue Einschränkungen eingeführt hat, stoppt der Agent die Versuche und markiert den Fall zur Überprüfung durch einen Mitarbeiter, anstatt unbegrenzt weiter Anfragen zu senden.

Strukturierte Ergebnisse in nachgelagerte Systeme übertragen

Sobald ein Bright Data-Auftrag Ergebnisse liefert, müssen diese Daten an einem sinnvollen Ort abgelegt werden, z. B. in einer Tabelle, einer Datenbank oder einem anderen angebundenen Tool. Ein Beam-Agent liest die Ergebnisse des abgeschlossenen Auftrags aus und schreibt sie an das definierte Ziel. Dabei wendet er Regeln an wie das Duplikate-Löschen oder das ausschließliche Weitergeben von Feldern, die sich seit dem letzten Durchlauf geändert haben. Ergebnisse, die fehlerhaft, leer oder weit außerhalb des erwarteten Bereichs liegen – was darauf hindeuten kann, dass der Auftrag die falsche Seite gescrapt hat –, werden zurückgehalten, damit ein Mitarbeiter sie prüfen kann, bevor sie in nachgelagerte Systeme gelangen.