By submitting, you consent to our use of your data. Privacy Policy.
Kategorie
Geschäftsführung
Erstellt von
Beam.ai
Leiten Sie Job- und Tabellenstatusdaten von Databricks direkt in die Systeme weiter, auf die sich Ihr Datenteam bereits verlässt. So automatisieren Sie die Pipeline-Integritätsprüfungen, die ein Data Engineer sonst manuell durchführen müsste.
Aktualisierungen von Delta Lake-Tabellen
Delta Lake-Tabellen in Databricks enthalten die versionierten Daten, aus denen die Pipelines eines Teams lesen und in die sie schreiben. Ein Beam AI-Agent liest Tabellen-Metadaten wie den Zeitpunkt der letzten Aktualisierung sowie die Zeilenanzahl und wendet die vom Team genehmigte Aktualitätsregel an, um eine Tabelle zu kennzeichnen, die nicht planmäßig aktualisiert wurde. Sofern die Regel dies zulässt, benachrichtigt der Agent den Tabellenbesitzer direkt, anstatt darauf zu warten, dass nachgelagerte Stellen dies bemerken. Tabellen, die ein Produktions-Dashboard oder ein Modell speisen, oder solche, bei denen kein Besitzer hinterlegt ist, werden an eine Person zur weiteren Prüfung weitergeleitet.
Status von Databricks-Job-Runs
Geplante Jobs in Databricks führen Notebooks und Pipelines in einem definierten Rhythmus aus, wobei jeder Durchlauf ein Ergebnis erzeugt. Ein Beam AI-Agent liest das Ergebnis jedes Durchlaufs und öffnet oder aktualisiert – gemäß der vom Team genehmigten Regel, wie z. B. der Eskalation nach zwei aufeinanderfolgenden Fehlern beim selben Job – ein Ticket im Tracking-Tool des Teams. Er benachrichtigt den Job-Besitzer, wobei die Fehlerdetails bereits beigefügt sind. Jobs, die mit einem Produktions-Workflow verknüpft sind, oder Fehlermuster, die von der Regel nicht eindeutig abgedeckt werden, werden an eine Person weitergeleitet, bevor weitere Maßnahmen ergriffen werden.
Unity Catalog-Zugriffsdatensätze
Der Unity Catalog enthält die Berechtigungsdatensätze darüber, wer welche Tabellen und Dateien in einem Databricks-Workspace lesen oder schreiben darf. Ein Beam AI-Agent liest neue Zugriffsanfragen und gleicht jede einzelne mit der vom Team genehmigten Zugriffsrichtlinie ab, wie z. B. einer standardmäßigen Leseberechtigung für eine bestimmte Rolle. Wenn eine Anfrage exakt mit der Richtlinie übereinstimmt, aktualisiert der Agent den Zugriffsdatensatz und benachrichtigt den Anforderer, dass der Zugriff eingerichtet ist. Anfragen für Schreibzugriffe, den Zugriff auf sensible Tabellen oder alles, was außerhalb der Standardrichtlinie liegt, werden zur direkten Genehmigung an eine Person weitergeleitet.
