Google Cloud пытается сделать данные «безграничными» с помощью BigLake и нового облачного альянса данных

Google Cloud объявила о предварительной версии своего механизма хранения озера данных BigLake в рамках своей цели устранить все «ограничения данных», а также преодолеть барьер между озерами данных и хранилищами.

Как объяснил менеджер по продукту аналитики данных Google Cloud Судхир Хасбе, BigLake был разработан для обеспечить единый интерфейс на любом уровне хранения, включая озеро данных и хранилище данных, независимо от формат.

«Это значит, что вам не нужно копировать данные, перемещать их по хранилищам объектов, например, в Google Cloud Storage, S3 или Azure в мультиоблачной среде, и вы получаете доступ ко всем вашим данным из одного места», — заявил он СМИ во время предварительный брифинг.

Хасбе добавил, что BigLake может поддерживать все открытые форматы файлов, такие как Parquet, а также механизмы обработки с открытым исходным кодом, такие как Apache Spark или Beam, а также различные форматы таблиц, включая Delta и Iceberg.

«Он полностью открыт», — сказал он.

«Мы берем инновации от Google, распространяем их на мир открытого исходного кода и делаем его более открытым для всех наших клиентов».

BigLake станет центральным элементом всех инвестиций в Google Clouds в будущем.

«В будущем мы позаботимся о том, чтобы все различные инструменты и компоненты работали с BigLake без сбоев», — сказал Хасбе.

Кроме того, Google объявила о создании Data Cloud Alliance, который был создан наряду с другими партнеры-учредители, включая Confluent, Databricks, Dataiku, Deloitte, Elastic, Fivetran, MongoDB, Neo4j, Redis и Звездообразование.

В рамках альянса участники будут предоставлять инфраструктуру, API и поддержку интеграции для обеспечения переносимость и доступность данных между несколькими платформами и продуктами в нескольких среды. Они также будут сотрудничать над новыми общими отраслевыми моделями данных, процессами и интеграцией платформ для повышения переносимости данных.

«Мы взяли на себя обязательство устранить препятствия на пути блокировки данных. Мы взяли на себя обязательство обеспечить доступ к данным и их обработку во всех продуктах, и мы взяли на себя обязательство обеспечить поставили клиента в центр наших совместных инноваций», — Google Databases, Data Analytics, генеральный директор Looker Геррит Казмайер. утверждал.

В рамках саммита Data Cloud Summit технологический гигант также представил Vertex AI Workbench для объединения данных и систем машинного обучения. в единый интерфейс, чтобы команды могли иметь общие наборы инструментов для анализа данных, обработки данных и машинного обучения. обучение. Он был разработан для прямой интеграции с полным набором продуктов искусственного интеллекта и обработки данных, включая BigQuery, Serverless Spark и Dataproc.

«Эта возможность позволяет командам создавать, обучать и развертывать модели машинного обучения в простой среде блокнотов, что может улучшить и сделать это в пять раз быстрее, чем другие инструменты, которые они могли бы использовать», — старший менеджер по продукту Google Cloud AI Генри Таппен. сказал.

Компания также анонсировала реестр моделей Vertex AI. Модельный реестр, находящийся в настоящее время в предварительной версии, был разработан как «центральный репозиторий для обнаружение, использование и управление моделями машинного обучения, в том числе хранящимися в BigQuery ML", — сказал Таппен.

«Поскольку эта функция позволяет ученым, работающим с данными, легко обмениваться моделями, а разработчикам приложений — использовать их, команды получат больше возможностей превращать данные в решения в реальном времени», — добавил Таппен.