Scraper-Job-Ausführungen

Ein Beam AI Agent startet einen ZenRows-Scraping-Vorgang, wann immer Ihr Workflow aktuelle Daten erfordert – beispielsweise nach Zeitplan oder wenn eine neue Zielliste eintrifft. Er übermittelt die URLs, liest den zurückgegebenen Seiteninhalt aus und wendet die von Ihrem Team festgelegten Parsing-Regeln an, um die relevanten Felder zu extrahieren. Bereinigte Datensätze landen direkt in Ihrer Datenbank oder Tabelle. Wenn eine Seite keine brauchbaren Ergebnisse liefert, sich die Struktur geändert hat oder die Antwort nicht den Erwartungen der Regel entspricht, stoppt der Agent und leitet diesen Job zur Überprüfung an einen Mitarbeiter weiter, bevor sich fehlerhafte Daten verbreiten.

Rotierender Proxy-Pool

ZenRows rotiert Proxy-Server, um das Risiko von Blockierungen zu minimieren. Ein Beam AI Agent verlässt sich bei der Datenerfassung auf diese Funktion, liest den Antwortstatus für jede Anfrage aus und startet im Rahmen der von Ihrem Team freigegebenen Limits einen neuen Versuch über eine andere Route, falls eine Website blockiert. Er protokolliert, welche Ziele erfolgreich sind und welche dauerhaft fehlschlagen. Wenn eine Quelle Anfragen konsequent blockiert, Zugangsdaten erfordert, die dem Agenten nicht vorliegen, oder die von Ihnen festgelegten Nutzungsobergrenzen überschreiten würde, pausiert der Agent diese Quelle und benachrichtigt einen Mitarbeiter, anstatt die Website weiter zu belasten oder unbeaufsichtigt Kosten zu verursachen.

Strukturierter Datenexport

Sobald eine Ausführung abgeschlossen ist, übernimmt ein Beam AI Agent die parsierten ZenRows-Ergebnisse und schreibt sie direkt in die Arbeitsumgebung Ihres Teams – sei es in eine Data-Warehouse-Tabelle, ein Spreadsheet oder ein nachgelagertes Tool. Er ordnet Felder gemäß den von Ihnen definierten Regeln Ihrem Schema zu, entfernt Duplikate und markiert Zeilen mit fehlenden oder fehlerhaften Werten. Eine kurze Zusammenfassung des Durchlaufs wird an den von Ihnen gewählten Kanal gesendet. Datensätze, die die Validierung nicht bestehen, plötzliche Einbrüche der Zeilenanzahl oder Felder, die nicht mehr mit Ihrem Schema übereinstimmen, werden für eine manuelle Überprüfung beiseitegelegt, bevor sie für nachgelagerte Systeme freigegeben werden.

{