Website-Crawling

Spider ruft Seiten von einer Ziel-Website ab und liefert bereinigte, strukturierte Inhalte, die für ein Modell bereitstehen. Wenn ein Crawl angefordert wird, startet ein Beam-Agent den Auftrag innerhalb des genehmigten Rahmens, liest die Ergebnisse und legt jede Seite in Ihrem Wissensspeicher ab. Seiten, die sich fehlerfrei analysieren lassen und der zulässigen Domain-Regel entsprechen, werden gespeichert. Crawls, die auf eine unerwartete Domain stoßen, Fehler zurückgeben oder weitaus mehr Seiten abrufen, als die Regel erlaubt, werden pausiert und an einen Ingenieur übergeben. So überflutet ein Agent Ihren Speicher niemals mit unpassenden oder fehlerhaften Inhalten, ohne dass ein Mensch dies absegnet.

Inhaltsextraktion

Spider entfernt Navigation und Boilerplate-Texte, sodass nur nutzbarer Text und Metadaten übrig bleiben. Auf jeder gecrawlten Seite liest der Agent die extrahierten Felder aus, wendet eine vom Kunden genehmigte Regel an, welche Daten behalten werden sollen, und schreibt den bereinigten Datensatz in die Zieldatenbank. Seiten, die dem Schema entsprechen, werden gespeichert und indexiert. Seiten, bei denen Schlüsselfelder leer bleiben oder das Layout die Extraktion verhindert, werden zur Überprüfung durch einen Menschen markiert. So werden Lücken frühzeitig erkannt, anstatt sie stillschweigend als leere Datensätze zu speichern, die später ein nachgelagertes Modell oder den Suchindex beschädigen.

Geplante Recrawls

Quellseiten ändern sich, daher muss das Wissen aktualisiert werden. Ein Beam-Agent führt Recrawls nach einem genehmigten Zeitplan durch, liest jede aktualisierte Seite und vergleicht sie mit der gespeicherten Version. Tatsächliche Änderungen aktualisieren den Datensatz und benachrichtigen das zuständige Team. Seiten, die nun weiterleiten, Zugriffgsfehler zurückgeben oder verschwunden sind, werden an eine Person weitergeleitet, anstatt automatisch überschrieben oder gelöscht zu werden. So wird verhindert, dass ein vorübergehender Ausfall der Quelle heimlich gute Daten aus Ihrem Speicher löscht. Dies hält eine Wissensdatenbank aktuell und präzise, während zerstörerische Änderungen fest unter menschlicher Kontrolle bleiben.