neuer Typ von Datenplattform für die Speicherung, Integrationund Analyse aller Arten von (Roh-)daten etabliert
Data Lake als ein neuer Typ von Datenplattform
neuer Typ von Datenplattform für die Speicherung, Integrationund Analyse aller Arten von (Roh-)daten etabliert
Data Lake als ein neuer Typ von Datenplattform
Data-Lake-Management-Plattformen stellen Werkzeugen-Suiten dar, die auf der Basiseines Datenkatalogs weitere Funktionalitäten für das Datenmanagement im Data Lakeintegrieren. Typischerweise geht es um ergänzende Funktionalitäten für ETL, Self-Service-Data-Preparation und Datenföderation (engl. data federation), die eng mit dem Datenkatalogintegriert sind.
Data-Lake-Management-Plattformen
Den Kern für das Metadatenmanagement im Data Lake bilden originäre Data-Lake-Metadaten sowie Ergebnis-Metadaten
Kern für das Metadatenmanagement im Data Lake
Originäre Data-Lake-Metadaten sind Metadaten über die im Data Lake gespeichertenDaten, z.B. Daten in relationalen Datenbanken und Message-Queues des DataLake.
Originäre Data-Lake-Metadaten
Mit dem zunehmenden Einsatz von Data Lakes ergeben sich in der industriellen Praxiserweiterte Anforderungen, insbesondere hinsichtlich der Sicherstellung von Transparenz,Qualität und Compliance der Daten im Data Lake sowie der Unterstützung von Self-Service-Szenarien für Fachanwender. Diese Anforderungen machen Metadatenmanagement3imData Lake zum kritischen Erfolgsfaktor [QHV16, HGQ16]. Es soll damit verhindert werden,dass aus dem Data Lake ein Datensumpf (engl. data swamp) [HGQ16] entsteht, also eineDatenplattform mit nicht mehr sinnvoll nutzbaren Daten.
Metadatenmanagement für Data Lakes
From data warehouses, to data lakes, to snowflake/databricks. Plus strengths/weaknesses of both services