Geführte Seitensammlung

Scraptio zielt darauf ab, Scraping zugänglich zu machen, indem Daten von Ihnen ausgewählten Seiten gesammelt werden. Ein Beam-Agent löst einen Durchlauf aus, sofern der Connector und die Kontoberechtigungen dies zulassen, liest die zurückgegebenen Inhalte und wendet Ihre genehmigte Regel an, um zu bestimmen, welche Werte beibehalten werden sollen. Übereinstimmende Felder werden unter Angabe der Quelle in Ihr Ziel geschrieben. Wenn eine Seite keine brauchbaren Ergebnisse liefert oder ihre Struktur nicht mehr zur Regel passt, vermeidet der Agent das Schreiben eines unvollständigen Datensatzes und leitet den Fall an eine Person weiter, die vor dem nächsten Durchlauf prüft, ob sich das Ziel geändert hat oder die Auswahl angepasst werden muss.

Feld-zu-Datensatz-Mapping

Scraptio erzeugt Werte, die ein Beam-Agent in Ihre Systeme einpflegen kann. Der Agent liest jedes erfasste Feld aus, wendet Ihre Mapping-Regel an und schreibt Zeilen in das von Ihnen benannte Tabellenblatt oder die Datenbank – ein Datensatz pro Quellelement. Um die Auditierbarkeit der Ergebnisse zu gewährleisten, wird der Erfassungszeitpunkt gespeichert. Wenn ein Pflichtfeld leer bleibt oder ein Wert die in Ihrer Regel definierte Prüfung nicht besteht, hält der Agent diese Zeile zurück und markiert sie für eine manuelle Überprüfung. So wird verhindert, dass unvollständige Einträge in den Tabellen landen, auf die sich Ihr Team verlässt, anstatt Lücken mit Schätzungen zu füllen.

Ausnahmen-Routing

Bei Scraptio-Durchläufen kann es vorkommen, dass Seiten sich nicht wie erwartet verhalten. Ein Beam-Agent liest jedes Ergebnis und gleicht es mit Ihrem genehmigten Muster ab, bevor Daten geschrieben werden. Übereinstimmende Ergebnisse werden dem richtigen Datensatz zugeordnet, während Ergebnisse, die außerhalb des Musters liegen, beiseitegelegt werden. Anstatt fragwürdige Daten einfach weiterzugeben, benachrichtigt der Agent eine Person unter Angabe der Quelle und des Fehlers. So kann ein Mensch entscheiden, ob sich die Website geändert hat, der Durchlauf neue Einstellungen erfordert oder diese Quelle übersprungen werden sollte, bis sie ordnungsgemäß überprüft wurde.