Echtzeit-Datenaufnahme

Rockset nimmt kontinuierlich Datensätze aus Quellen wie DynamoDB, Kafka und S3 in indizierte Sammlungen auf. Ein Beam-Agent überwacht die Aufnahmeverzögerung oder fehlgeschlagene Ladevorgänge, liest den Status der Sammlung aus und wendet Ihre genehmigten Schwellenwerte für die Aktualität an. Wenn die Daten in Verzug geraten, benachrichtigt der Agent den zuständigen Ingenieur und protokolliert den Vorfall. Sofern es die Connector- und Kontoberechtigungen zulassen, kann der Agent eine dokumentierte Nachprüfung starten. Anomalien außerhalb Ihrer definierten Schwellenwerte oder unbekannte Quellfehler werden an eine Person eskaliert, anstatt selbstständig gelöst zu werden, damit niemand mit fehlerhaft aussehenden Daten arbeitet.

SQL-Abfrage-APIs

Rockset stellt Abfragen als REST-Endpunkte bereit, die Live-Ergebnisse zurückgeben. Der Agent ruft eine genehmigte Abfrage-API nach Zeitplan oder Ereignis auf, liest die zurückgegebenen Zeilen und wendet Ihre Regel für Ausnahmen an, beispielsweise das Überschreiten eines Grenzwerts durch eine Metrik. Übereinstimmende Ergebnisse werden in Ihren Benachrichtigungskanal oder einen nachgelagerten Datensatz geschrieben. Abfragen, die Fehler verursachen, bei erwarteten Daten leer bleiben oder die erwarteten Bereiche überschreiten, werden zur Interpretation an einen Analysten weitergeleitet. Der Agent dokumentiert jeden Durchlauf, sodass die Ergebnisse für das gesamte Team im Nachhinein nachvollziehbar bleiben.

Live-Dashboard-Feeds

Auf Rockset basierende Dashboards werden aktualisiert, sobald neue Daten eintreffen. Der Agent liest Dashboard-gestützte Metriken über genehmigte Endpunkte aus, vergleicht sie mit Ihren definierten Zielen und postet eine Zusammenfassung für das Team, wenn sich die Zahlen signifikant ändern. Sofern die Berechtigungen es zulassen, versieht er den Datensatz mit einem Hinweis auf die festgestellte Änderung. Plötzliche Schwankungen, fehlende Datenreihen oder Zahlen, die im Widerspruch zu anderen Quellen stehen, werden zur Überprüfung an eine Person übergeben, bevor jemand darauf reagiert. Der Agent führt ein Protokoll darüber, welche Metriken sich geändert haben, und benachrichtigt den für dieses Dashboard zugewiesenen Eigentümer.