Auf der re: Invent kündigte AWS-CEO Adam Selipsky die allgemeine Verfügbarkeit neuer Tools an, die den Bedarf für den Aufbau und die Verwaltung von Datenpipelines verringern werden.
Amazon Web Services gab am Dienstag die allgemeine Verfügbarkeit von Tools bekannt, die mehr bringen Feingranulare Kontrolle für das Data-Lake-Management.
Erstens bringt die Sicherheit auf Zeilen- und Zellenebene für Lake Formation „die richtigen Daten in die Hände der richtigen Leute“, sagte Adam Selipsky, CEO von AWS, während seiner Keynote zu AWS re: Invent.
Lake Formation ermöglicht es Kunden bereits, Daten in S3-Datenseen zu verschieben, sie zu bereinigen und zu klassifizieren, indem sie maschinelles Lernen und sicheren Zugriff auf sensible Daten nutzen. Mit dem neuen Tool können Kunden jetzt Zugriffskontrollen für einzelne Zeilen und Zellen erzwingen. Anstatt mehrere Tabellen für jeden Benutzer zu erstellen und Datenpipelines zu verwalten, kann ein Kunde eine Reihe von Richtlinien für bestimmte Zeilen für bestimmte Benutzer definieren. Kunden steuern den Zugriff auf bestimmte Zeilen und Spalten in Abfrageergebnissen und innerhalb von AWS Glue ETL-Jobs basierend auf der Identität desjenigen, der die Aktion ausführt.
Unterdessen machen Transaktionen für verwaltete Tabellen in Lake Formation die Notwendigkeit von Stapelaktualisierungen überflüssig. „Daten sind nicht statisch“, sagte Selipsky. „Immer mehr Daten werden schnell hinzugefügt und verschoben.“
Jetzt können Kunden einen neuen Tabellentyp erstellen – eine geregelte Tabelle – und Lake Formation verwaltet automatisch Konflikte und Fehler für eine konsistente Datenansicht. Benutzer können die Daten in Echtzeit verfolgen.
Regulierte Tabellen unterstützen ACID-Transaktionen, die es mehreren Benutzern gleichzeitig und zuverlässig ermöglichen, Daten über mehrere verwaltete Tabellen hinweg einzufügen und zu löschen. Mit ACID-Transaktionen können Kunden außerdem Abfragen ausführen, die konsistente und aktuelle Daten zurückgeben. Bei Fehlern in ETL-Prozessen oder während eines Updates werden Änderungen nicht festgeschrieben und sind nicht sichtbar.
Kunden, die geregelte Tabellen verwenden, können die automatische Komprimierung zur Speicheroptimierung nutzen. Wenn diese Option aktiviert ist, komprimiert Lake Formation automatisch kleine S3-Objekte in regulierten Tabellen zu größeren Objekten, um den Zugriff über Analyse-Engines zu optimieren, z Amazonas Athene Und Amazon Redshift Spectrum.
AWS bezüglich: Erfinden
- AWS steigert seine Branchenpräsenz auf der re: Invent 2021
- AWS-CEO stellt neuen privaten 5G-Dienst vor
- AWS zielt mit Migrationsdiensten auf Mainframes ab
- AWS, CrowdStrike und Presidio arbeiten für ein Ransomware-Abwehrkit zusammen
- AWS bringt Quartett serverloser On-Demand-Lösungen auf den Markt
- AWS zielt mit FleetWise und TwinMaker auf die Automobil- und Industriebranche ab
- Prozessor-Roadmap fügt Graviton3, Trainium und neue Instanzen hinzu
- IoT RoboRunner zielt darauf ab, Roboterflotten zu verwalten