主要特性
Dataform Core 使数据工程师和数据分析师仅使用 SQL 即可在单一代码库中创建表定义、配置依赖项、添加列说明,并配置数据质量断言。
Dataform Core 函数可按需逐步集成,无需修改现有代码。
Dataform Core 是开源的,可本地运行,让用户摆脱平台锁定,同时灵活应对更复杂的用例。
Dataform 会自动处理运行时基础架构,依据表之间的依赖关系并使用您代码的最新版本来更新表。借助 Dataform 集成,可以无缝跟踪数据沿袭和数据信息。您可以手动触发 SQL 工作流,也可通过 Cloud Composer、Workflows、BigQuery Studio 的数据流水线或第三方服务进行调度。
文档