Visuelle Scrape-Konfiguration

ParseHub definiert Web-Scraping-Projekte durch das Markieren von Seitenelementen. Ein Beam AI Agent führt die vom Kunden eingerichteten Projekte aus, liest die jeweils zurückgegebenen Daten und wendet Ihre Regel für ein gültiges Ergebnis an. Vollständige Ergebnisse werden an das Zielsystem übertragen und mit ihrem Durchlauf gekennzeichnet, während unvollständige im Rahmen der Limits erneut versucht werden. Durchläufe, die eine unerwartete Struktur zurückgeben, auf ein geändertes Layout stoßen oder leer bleiben, werden an eine Person zur Überprüfung des Projekts weitergeleitet, bevor weitere Versuche unternommen werden. Der Agent sorgt dafür, dass geplante Scrapes nutzbare Daten liefern, ohne dass jeder Durchlauf manuell überwacht werden muss.

Geplante Durchlaufausführung

ParseHub führt Scraping-Projekte nach Zeitplan aus. Ein Beam AI Agent startet oder übernimmt diese Durchläufe, liest deren Status sowie Output und wendet Ihre Regel für den Umgang mit vollständigen, unvollständigen und fehlgeschlagenen Ergebnissen an. Erfolgreiche Durchläufe werden weitergeleitet und als abgeschlossen markiert, während Fehler gemäß den Richtlinien erneut versucht und protokolliert werden. Wiederholte Fehler, Zugriffssperren oder Ergebnisse, die stark von früheren Durchläufen abweichen, werden zur Untersuchung an eine Person eskaliert. So laufen wiederkehrende Durchläufe selbstständig ab, während Menschen nur von den Durchläufen erfahren, die tatsächlich fehlerhaft waren, anstatt später veraltete Daten zu entdecken.

Strukturierte Export-Verarbeitung

ParseHub gibt gescrapte Daten in strukturierten Formaten für andere Systeme aus. Ein Beam AI Agent empfängt jeden Export, liest die enthaltenen Felder und wendet Ihre Regel zur Vollständigkeit und Formatierung an, bevor Daten weitergeleitet werden. Korrekt formatierte Exporte werden in das Zielsystem geschrieben und mit Quelle sowie Uhrzeit erfasst, während fehlerhafte oder unvollständige Exporte zurückgehalten werden. Exporte, die in Volumen oder Struktur vom erwarteten Muster abweichen, werden zur Überprüfung an eine Person weitergeleitet, bevor sie in nachgelagerte Systeme gelangen. Der Agent leitet zuverlässige Daten automatisch weiter und meldet nur die Chargen, die vorab eine menschliche Prüfung erfordern.