優點
在單一環境使用 SQL 在 BigQuery 開發及操作可擴充的 Data pipelines,包括在 BigQuery Studio 使用 Data pipelines 和資料準備功能。
有了 Dataform,資料團隊就能按照版本控制、環境、測試和說明文件等軟體工程的最佳做法,輕鬆管理 SQL 程式碼與資料資產定義。
Dataform 能降低建構 SQL 管道的複雜度,方便資料分析師使用 SQL 管理依附關係、設定資料品質測試,以及自動化調度管理複雜的管道。
主要功能與特色
透過 Dataform 核心,資料工程師和資料分析師只須使用 SQL,就能在單一存放區集中建立資料表定義、設定依附關係、新增資料欄說明,以及設定資料品質斷言。
使用者能夠逐步採用並加入 Dataform 核心函式,無須修改現有的程式碼。
Dataform 核心是一項能在本機中使用的開放原始碼工具,讓使用者不必受限於單一架構,且可靈活地運用這項工具來滿足更進階的使用需求。
Dataform 會處理作業基礎架構,以便根據資料表間的依附關係更新資料表內容,同時也會採用最新版本的程式碼。您可以使用 Dataform 整合功能順暢追蹤與歷程和資料相關的資訊,只要手動觸發 SQL 工作流程,或是透過 Cloud Composer、Workflows、BigQuery Studio 的 Data pipelines 或第三方服務排定執行時間即可。
說明文件