Abruf gerenderter Seiten

Scrapfly ruft eine Ziel-URL auf und gibt deren gerenderten Inhalt über die API zurück. Ein Beam AI Agent ruft den Endpunkt bei einem Trigger auf, liest den Response Body und wendet Ihre genehmigte Regel an, um zu bestimmen, welche Elemente beibehalten werden sollen. Die geparsten Felder werden mit einem Link zurück zur Quellseite in den von Ihnen gewählten Speicher geschrieben. Wenn die Antwort leer oder abgeschnitten ist oder die Seitenstruktur nicht mehr mit der Regel übereinstimmt, überspringt der Agent das Schreiben und leitet die URL an eine Person weiter, die bestätigt, ob sich die Website geändert hat oder ob die Anfrage dieses Mal andere Einstellungen erfordert.

Abwehr von Anti-Scraping-Maßnahmen

Scrapfly kümmert sich um die Prozesse, die verhindern, dass Anfragen abgelehnt werden. Ein Beam AI Agent lässt Scrapfly den Abruf verwalten und liest dann aus, ob die Seite vollständig zurückgegeben wurde. Bei einer blockierten oder blockierungsverdächtigen Antwort wendet der Agent Ihre Wiederholungsregel an und protokolliert, wie viele Versuche jede Domain benötigt hat. Seiten, die erfolgreich geladen wurden, werden mit dem Parsing und der Speicherung fortgesetzt. Domains, die das zulässige Limit überschreiten, werden beiseitegelegt, und der Agent benachrichtigt eine Person mit den Details des Fehlers, damit entschieden werden kann, ob diese Quelle eine manuelle Überprüfung oder eine Änderung der Einstellungen wert ist.

Bereitstellung geparster JSON-Daten

Scrapfly kann strukturiertes JSON anstelle von rohem HTML zurückgeben. Ein Beam AI Agent liest diese Schlüssel, wendet Ihre Regel zur Feldzuordnung an und schreibt die Werte in den entsprechenden Datensatz Ihrer Datenbank. Jeder Durchlauf versieht die Quell-URL und die Erfassungszeit mit einem Stempel, damit die Ergebnisse rückverfolgbar bleiben. Wenn ein erforderlicher Schlüssel fehlt oder ein Wert die von Ihrer Regel definierte Formatprüfung nicht besteht, hält der Agent diesen Datensatz zurück und markiert ihn für eine Person. So wird verhindert, dass unvollständige oder fehlerhafte Zeilen in die Tabellen gelangen, auf die Ihre täglichen Berichte und nachgelagerten Prozesse angewiesen sind.