这是indexloc提供的服务,不要输入任何密码

BigLake

運用 BigLake 建構 Apache Iceberg lakehouse

建構開放式、代管式且高效能的 Iceberg lakehouse,即可運用自動化資料管理和內建的治理機制,進行進階數據分析和資料科學。

Apache Iceberg 是 Apache Software Foundation 的商標。



功能

交易資料和數據分析資料可互通

BigLake Metastore 是無伺服器的 metastore,可用來儲存所有 Iceberg 資料表。Apache Spark、BigQuery 和第三方平台等引擎都能用它來建立及管理資料表,讓您以一致的方式查看資料,並享有統一的存取控管機制。BigLake Metastore 現已支援 Apache Iceberg Rest Catalog (預先發布版),可輕鬆與 OSS 和第三方引擎整合。現已開放在 AlloyDB 中存取 Iceberg 資料表 (預先發布版),以利於交易和數據分析平台之間的互通性。

統一管理資料

BigLake 擴充了 Google Cloud Storage 的管理功能,您可以使用 Storage 自動調整級別功能,來有效分層處理冷門資料,並將客戶自行管理的加密金鑰 (CMEK) 套用至 Storage bucket。BigLake metastore 已與 Dataplex Universal Catalog 原生整合,確保集中定義的治理政策在多個引擎中一致強制執行,同時提供語意搜尋、資料歷程、剖析和品質檢查功能。

透過 BigQuery 執行高效能分析、串流處理和 AI 作業

Apache Iceberg 專用 BigLake 資料表:搭配 BigQuery 使用時,可提供企業級的完全代管 Iceberg 服務。您可以將 Apache Iceberg 資料儲存在自有的 Google Cloud Storage bucket 中,並運用 BigQuery 具備高度擴充性的即時中繼資料管理功能,同時享有 GCS 的開放性和資料擁有權,以及 BigQuery 的全代管功能,並將 Iceberg 資料用於串流、進階數據分析和 AI 用途。


運作方式

BigLake 在 Cloud Storage 中提供 Apache Iceberg 的原生導入方式,您可以直接在 Iceberg 資料上使用 BigQuery 或其他開放原始碼引擎。BigLake metastore 可簡化資料管理作業,並與 Dataplex Universal Catalog 整合,提供統一治理機制。

常見用途

使用 Iceberg 建構開放式 lakehouse

瞭解開放式 data lakehouse 的 Google Cloud 元件

如要透過 BigLake 建構 Iceberg lakehouse,請先將資料儲存在 Cloud Storage 中。接著,使用 BigLake 資料表來定義 Apache Iceberg 資料。BigLake metastore 可做為這些 Iceberg 資料表的集中式無伺服器目錄,因此您不必管理複雜的基礎架構。這項設定可讓任何相容於 Iceberg 的引擎,以一致的方式存取及管理您的資料,輕鬆打造統一、開放且可擴充的 lakehouse 環境。

    瞭解開放式 data lakehouse 的 Google Cloud 元件

    如要透過 BigLake 建構 Iceberg lakehouse,請先將資料儲存在 Cloud Storage 中。接著,使用 BigLake 資料表來定義 Apache Iceberg 資料。BigLake metastore 可做為這些 Iceberg 資料表的集中式無伺服器目錄,因此您不必管理複雜的基礎架構。這項設定可讓任何相容於 Iceberg 的引擎,以一致的方式存取及管理您的資料,輕鬆打造統一、開放且可擴充的 lakehouse 環境。

      搭配 BigQuery 的進階數據分析

      為金融服務業提供即時洞察和預測

      您可以使用 Apache Iceberg 來處理交易或市場動態饋給等不斷變化的 data lake 資料集。有了 BigLake,BigQuery 就能在不移動資料的情況下,查詢 Iceberg 資料表和原生儲存空間。您可以將即時串流資料擷取至 BigQuery,並透過 BigLake 將資料與 Iceberg 的歷來資料結合,即時進行全面分析。接著,BigQuery ML (BigQuery 機器學習) 會產生即時深入分析結果 (例如市場波動和詐欺偵測),以及預測模型 (例如信用風險和客戶行為)。

        為金融服務業提供即時洞察和預測

        您可以使用 Apache Iceberg 來處理交易或市場動態饋給等不斷變化的 data lake 資料集。有了 BigLake,BigQuery 就能在不移動資料的情況下,查詢 Iceberg 資料表和原生儲存空間。您可以將即時串流資料擷取至 BigQuery,並透過 BigLake 將資料與 Iceberg 的歷來資料結合,即時進行全面分析。接著,BigQuery ML (BigQuery 機器學習) 會產生即時深入分析結果 (例如市場波動和詐欺偵測),以及預測模型 (例如信用風險和客戶行為)。

          讓所有資料使用者都能存取單一資料副本

          BigLake 可讓您安全地一致存取 Cloud Storage 中單一資料副本,接著,Dataplex Universal Catalog 會自動將這些資料編入目錄,供所有資料使用者和引擎存取。這麼做可以確保資料定義一致、容易探索及統一管理,消除資料孤島,並促進團隊成員在單一資料來源上協同合作。

            BigLake 可讓您安全地一致存取 Cloud Storage 中單一資料副本,接著,Dataplex Universal Catalog 會自動將這些資料編入目錄,供所有資料使用者和引擎存取。這麼做可以確保資料定義一致、容易探索及統一管理,消除資料孤島,並促進團隊成員在單一資料來源上協同合作。

              生成解決方案
              您希望解決什麼問題?
              What you'll get:
              逐步指南
              參考架構
              可用的預先建構解決方案
              這項服務以 Vertex AI 建構,必須年滿 18 歲才能使用。請勿輸入個人資訊,或是敏感、機密的內容。

              定價

              BigLake 的定價方式BigLake 的定價是根據資料表管理、中繼資料儲存空間和中繼資料存取作業計算
              服務與用途說明價格 (美元)

              BigLake 資料表管理

              BigLake 資料表管理運算資源,用於自動最佳化資料表儲存空間。

              起始價

              $0.12 美元

              每 DCU 時數的價格

              儲存 BigLake 中繼資料

              儲存中繼資料會產生 BigLake Metastore 費用。免費方案每月提供 1 GiB 的中繼資料儲存空間。

              起始價

              $0.04 美元

              每月每 GiB

              存取 BigLake 中繼資料

              A 級作業:執行寫入、更新、列出、建立及設定作業時,會產生 BigLake 中繼資料存取費用。免費方案每月可執行 5,000 次作業。

              起始價

              $6.00

              每 100 萬個作業

              B 級作業:執行讀取、取得及刪除作業時,會產生 BigLake 中繼資料存取費用。免費方案每月可執行 50,000 次作業。

              起始價

              $0.90 美元

              每 100 萬個作業

              BigLake 的定價方式

              BigLake 的定價是根據資料表管理、中繼資料儲存空間和中繼資料存取作業計算

              BigLake 資料表管理

              說明

              BigLake 資料表管理運算資源,用於自動最佳化資料表儲存空間。

              價格 (美元)

              Starting at

              $0.12 美元

              每 DCU 時數的價格

              儲存 BigLake 中繼資料

              說明

              儲存中繼資料會產生 BigLake Metastore 費用。免費方案每月提供 1 GiB 的中繼資料儲存空間。

              價格 (美元)

              Starting at

              $0.04 美元

              每月每 GiB

              存取 BigLake 中繼資料

              說明

              A 級作業:執行寫入、更新、列出、建立及設定作業時,會產生 BigLake 中繼資料存取費用。免費方案每月可執行 5,000 次作業。

              價格 (美元)

              Starting at

              $6.00

              每 100 萬個作業

              B 級作業:執行讀取、取得及刪除作業時,會產生 BigLake 中繼資料存取費用。免費方案每月可執行 50,000 次作業。

              說明

              Starting at

              $0.90 美元

              每 100 萬個作業

              Pricing Calculator

              估算每個月的 BigLake 費用,包括特定區域的定價和費用。

              客製化報價

              貴機構如需索取客製化的報價,請與我們的銷售團隊聯絡。

              開始進行概念驗證

              Lakehouse 快速部署解決方案

              要執行大型專案嗎?

              Apache Iceberg 專用 BigLake 資料表

              管理開放原始碼中繼資料

              查詢 Apache Iceberg 資料