这是indexloc提供的服务,不要输入任何密码
跳至
Dataform

Dataform

使用 SQL 在 BigQuery 中開發及執行可擴充的資料轉換管道。

  • 在 BigQuery 中開發經過彙整、符合現況且值得信賴的詳盡記錄資料表

  • 讓資料分析師和資料工程師在相同的程式碼存放區協同合作

  • 使用 SQL 在 BigQuery 中建構可擴充的資料管道

  • 與 GitHub 和 GitLab 相互整合

  • 直接在 BigQuery Studio 開發 Data pipelines


優點

簡化資料處理架構

在單一環境使用 SQL 在 BigQuery 開發及操作可擴充的 Data pipelines,包括在 BigQuery Studio 使用 Data pipelines資料準備功能。

使用軟體開發做法進行協作

有了 Dataform,資料團隊就能按照版本控制、環境、測試和說明文件等軟體工程的最佳做法,輕鬆管理 SQL 程式碼與資料資產定義。

建構實際工作環境等級的 SQL 管道

Dataform 能降低建構 SQL 管道的複雜度,方便資料分析師使用 SQL 管理依附關係、設定資料品質測試,以及自動化調度管理複雜的管道。

主要功能與特色

主要功能與特色

適合用來管理資料轉換作業的 SQL 開放原始碼語言

透過 Dataform 核心,資料工程師和資料分析師只須使用 SQL,就能在單一存放區集中建立資料表定義、設定依附關係、新增資料欄說明,以及設定資料品質斷言。

使用者能夠逐步採用並加入 Dataform 核心函式,無須修改現有的程式碼。

Dataform 核心是一項能在本機中使用的開放原始碼工具,讓使用者不必受限於單一架構,且可靈活地運用這項工具來滿足更進階的使用需求。

資料管道的全代管無伺服器自動化調度管理服務

Dataform 會處理作業基礎架構,以便根據資料表間的依附關係更新資料表內容,同時也會採用最新版本的程式碼。您可以使用 Dataform 整合功能順暢追蹤與歷程和資料相關的資訊,只要手動觸發 SQL 工作流程,或是透過 Cloud Composer、Workflows、BigQuery Studio 的 Data pipelines 或第三方服務排定執行時間即可。

功能完整的雲端開發環境,可透過 SQL 進行開發

您不用離開網路瀏覽器,即可直接透過單一介面,在短短幾分鐘內定義資料表、根據即時錯誤訊息修正問題、以圖表呈現依附關係、將修訂變更發布至 Git,以及進行 pipeline 排程。

此外,您還可以將存放區與 GitHubGitLab 等第三方供應商相連結,您也可以透過網頁瀏覽器,發布修訂變更並推送,或開啟程式碼審查。

說明文件

說明文件

Quickstart

建立及執行 SQL 工作流程

瞭解如何使用 Dataform 和 SQLX 建立 SQL 工作流程,並在 BigQuery 中執行。
Tutorial

對程式碼進行版本管控

瞭解如何使用 Dataform 的版本管控功能追蹤開發作業進度。

找不到所需資訊嗎?

生成解決方案
您希望解決什麼問題?
What you'll get:
逐步指南
參考架構
可用的預先建構解決方案
這項服務以 Vertex AI 建構,必須年滿 18 歲才能使用。請勿輸入個人資訊,或是敏感、機密的內容。

定價

定價

Dataform 是免費服務。

使用產品時,可能需要支付其他服務的相關費用。

展開下一步行動

運用價值 $300 美元的免費抵免額和超過 20 項一律免費的產品,開始在 Google Cloud 中建構產品與服務。

Dataform