Proxy-Sitzungsrouting

Oxylabs bietet große Proxy-Pools für den Zugriff auf Webdaten. Ein Beam-Agent fordert die vom Konto zugelassenen Proxy-Sitzungen an, liest Erfolgs- und Fehlersignale aus jeder Anfrage und wendet eine Regel an, wann rotiert, wiederholt oder pausiert werden soll. Gesunde Sitzungen werden fortgesetzt und die Ergebnisse weitergeleitet; wiederholte Fehler oder Blockaden veranlassen den Agenten, die Quelle zu wechseln und das Muster zu registrieren. Plötzliche Spitzen bei Fehlern, blockierte Regionen oder ungewöhnlicher Datenverkehr werden einem Operator zur Untersuchung gemeldet. Der Agent sorgt für einen reibungslosen Ablauf der Anfragen und zieht eine Person nur dann hinzu, wenn das Verhalten außerhalb des erwarteten Bereichs liegt.

Jobplanung für Web-Scraper

Oxylabs führt Scraping-Jobs auf Ziel-Websites aus. Ein Beam-Agent plant oder startet diese Jobs, liest ihren Status sowie die zurückgegebenen Payloads und wendet Ihre Regel an, was ein vollständiges, teilweises oder fehlgeschlagenes Ergebnis bedeutet. Vollständige Ergebnisse werden an das nächste System weitergeleitet und als erledigt markiert, während unvollständige Ergebnisse innerhalb festgelegter Grenzen wiederholt werden. Jobs, die wiederholt fehlschlagen, unerwartete Strukturen zurückgeben oder auf Zugriffsbeschränkungen stoßen, werden einer Person zur Überprüfung vorgelegt, bevor weitere Versuche unternommen werden. Das bedeutet, dass Routineaufgaben selbstständig abgeschlossen werden, während wirklich feststeckende Aufgaben menschliche Aufmerksamkeit erhalten, anstatt unbemerkt fehlzuschlagen.

Validierung strukturierter Ergebnisse

Oxylabs liefert strukturierte Daten von gescrapten Seiten zurück. Ein Beam-Agent empfängt die parste Ausgabe, liest die darin enthaltenen Felder und wendet eine Regel zur Gültigkeit und Vollständigkeit an, bevor irgendetwas weitergeleitet wird. Fehlerfreie Datensätze werden in das Zielsystem geschrieben und mit ihrer Quelle gekennzeichnet, während Datensätze, bei denen Pflichtfelder fehlen, zurückgehalten werden. Ausgaben, die fehlerhaft formatiert, ungewöhnlich groß oder inkonsistent mit früheren Durchläufen erscheinen, werden an eine Person zur Bestätigung eskaliert. Der Agent leitet zuverlässige Ergebnisse automatisch weiter und meldet nur die Chargen, die von einem Menschen überprüft werden müssen, bevor sie in nachgelagerte Systeme gelangen.