Scraping-Roboter nach einem festen Zeitplan ausführen

Browse AI führt vorkonfigurierte Roboter aus, die strukturierte Daten – wie eine Tabelle mit Angeboten oder Preisen – aus einem bestimmten Seitenlayout extrahieren. Ein Beam-Agent triggert einen Roboter nach einem Zeitplan oder auf Abruf, liest die extrahierten Zeilen nach Abschluss des Durchlaufs aus und wendet eine genehmigte Regel an, z. B. das Filtern von bereits vorhandenen Zeilen oder den Abgleich neuer Zeilen mit einer internen Liste. Durchläufe, die keine Daten, weit weniger Zeilen als erwartet oder einen Fehler liefern, der auf eine Änderung des Seitenlayouts hindeutet, werden zur Überprüfung der Roboterkonfiguration an eine Person weitergeleitet.

Änderungen auf einer überwachten Seite erkennen und melden

Ein Hauptanwendungsfall von Browse AI ist die Überwachung einer Seite auf Änderungen, wie z. B. einen Preisabfall oder das Erscheinen eines neuen Angebots. Ein Beam-Agent liest den Vergleich zwischen der aktuellen und der vorherigen Extraktion und wendet bei Erkennung einer Änderung eine genehmigte Regel an, wie z. B. die Aktualisierung eines nachverfolgten Werts oder das Senden einer Benachrichtigung. Dadurch werden Änderungen erfasst, ohne dass jemand die Seite manuell überprüfen muss. Wenn eine erkannte Änderung ungewöhnlich groß erscheint oder sich eher die Seitenstruktur als der tatsächliche Inhalt verschoben zu haben scheint, wird der Fall zur Bestätigung an eine Person weitergeleitet.

Extrahierte Zeilen in ein anderes System einspeisen

Sobald ein Browse AI-Roboter einen Durchlauf beendet hat, müssen die extrahierten Zeilen in der Regel ein anderes System erreichen, wie z. B. eine Tabellenkalkulation oder eine Datenbank, um nützlich zu sein. Ein Beam-Agent liest das Ergebnis des abgeschlossenen Durchlaufs und schreibt neue oder geänderte Zeilen an das genehmigte Ziel, wobei er auf dem Weg dorthin Regeln wie Deduplizierung oder Feld-Mapping anwendet. Zeilen, die sich nicht eindeutig den erwarteten Feldern zuordnen lassen, oder ein Durchlauf, der Daten in einem unerwarteten Format zurückgibt, werden zurückgehalten, damit eine Person sie überprüfen kann, bevor sie weitergeleitet werden.