Extraktion gerenderter Seiten

Dies ruft eine Ziel-URL ab und gibt das vollständig gerenderte HTML nach der Ausführung von JavaScript zurück, sodass durch Skripte geladene Inhalte in der Antwort erscheinen. Ein Beam AI Agent führt die Anfrage nach einem Zeitplan oder bei Bedarf eines Workflows nach frischen Seiteninhalten aus, liest das zurückgegebene Markup und wendet Ihre genehmigte Regel an, um die für Sie relevanten Felder in einen Datensatz oder eine Tabelle zu übertragen. Wenn eine Seite nicht geladen werden kann, einen Fehlerstatus zurückgibt oder ihr Layout nicht mehr dem erwarteten Muster entspricht, stoppt der Agent und leitet den Fall an eine Person weiter, um die Quelle zu bestätigen, bevor die Aufgabe fortgesetzt wird.

Proxy-Rotation

Anfragen werden über einen Pool von Proxy-Adressen geleitet, die sich automatisch ändern. Dies verringert das Risiko, dass eine einzelne Adresse bei wiederholten Aufrufen blockiert wird. Ein Beam AI Agent nutzt dies, wenn er viele Seiten in einem Durchgang erfasst: Er liest jede Antwort, prüft den Status, den Ihre Regel als gültig eingestuft hat, und schreibt erfolgreiche Ergebnisse in das von Ihnen angegebene Ziel. Wenn Antworten über mehrere Versuche hinweg blockiert, ratenbegrenzt oder leer zurückkommen, pausiert der Agent den Durchlauf und benachrichtigt einen Mitarbeiter, anstatt die Website weiter zu belasten, sodass entschieden werden kann, ob das Tempo gedrosselt oder die Zielliste angepasst werden soll.

Strukturierte Feldanalyse

Über das reine HTML hinaus kann die API spezifische Felder einer Seite basierend auf den von Ihnen bereitgestellten Selektoren oder Fragen zurückgeben. Dies liefert sauberere Ergebnisse, als das Markup manuell auszulesen. Ein Beam AI Agent sendet die Seite zusammen mit Ihren Felddefinitionen, liest die analysierten Werte aus und wendet Ihre genehmigte Regel an, um sie im richtigen Datensatz abzulegen. Wenn ein Feld leer, uneindeutig oder völlig abweichend von früheren Durchläufen derselben Quelle zurückgegeben wird, markiert der Agent diesen Eintrag zur Überprüfung durch einen Mitarbeiter, anstatt einen unzuverlässigen Wert zu speichern.