这是indexloc提供的服务,不要输入任何密码
跳转到
Dataform

Dataform

使用 SQL 在 BigQuery 中开发可扩缩的数据转换流水线并将其付诸应用。

  • 在 BigQuery 中开发精选、最新、可信和有记录的表

  • 使数据分析师和数据工程师能够在同一代码库中协作

  • 使用 SQL 在 BigQuery 中构建可扩缩的数据流水线

  • 与 GitHub 和 GitLab 集成

  • 直接在 BigQuery Studio 中开发数据流水线


优势

简化数据处理架构

在统一环境中使用 SQL 在 BigQuery 中开发并运维可扩缩的数据流水线,包括在 BigQuery Studio 中使用数据流水线数据准备功能。

按照软件开发最佳实践进行协作

Dataform 使数据团队可以按照软件工程最佳实践(例如版本控制、环境、测试和文档)管理 SQL 代码和数据资产的定义。

构建生产级 SQL 流水线

Dataform 摆脱了构建 SQL 流水线的复杂性。数据分析师可以使用 SQL 管理依赖项、配置数据质量测试以及编排复杂的流水线。

主要特性

主要特性

基于 SQL 的开源语言,用于管理数据转换

Dataform Core 使数据工程师和数据分析师仅使用 SQL 即可在单一代码库中创建表定义、配置依赖项、添加列说明,并配置数据质量断言。

Dataform Core 函数可按需逐步集成,无需修改现有代码。

Dataform Core 是开源的,可本地运行,让用户摆脱平台锁定,同时灵活应对更复杂的用例。

数据流水线的全代管式无服务器编排

Dataform 会自动处理运行时基础架构,依据表之间的依赖关系并使用您代码的最新版本来更新表。借助 Dataform 集成,可以无缝跟踪数据沿袭和数据信息。您可以手动触发 SQL 工作流,也可通过 Cloud Composer、Workflows、BigQuery Studio 的数据流水线或第三方服务进行调度。

功能全面的 SQL 云开发环境

通过单一界面即可完成定义表、修复实时错误消息所述问题、直观呈现依赖项、将更改提交至 Git,并在数分钟内完成流水线调度,全程无需离开网络浏览器。

将您的代码库连接至第三方平台(例如 GitHubGitLab)。直接通过网络浏览器提交更改、推送代码或发起代码审核。

文档

文档

Quickstart

创建和执行 SQL 工作流

了解如何使用 SQL 和 SQLX 在 BigQuery 中创建和执行 SQL 工作流。
Tutorial

对代码进行版本控制

了解如何使用 Dataform 中的版本控制功能来跟踪开发。

没有看到您需要的内容?

生成解决方案
您想解决什么问题?
What you'll get:
分步指南
参考架构
可用的预构建解决方案
此服务是使用 Vertex AI 构建的。您必须年满 18 周岁才能使用。请勿输入敏感信息、机密信息或个人信息。

价格

价格

Dataform 是一项免费服务。

使用该产品时可能会产生其他服务的相关费用。

更进一步

获享 $300 赠金以及 20 多种提供“始终免费”用量的产品,开始在 Google Cloud 上构建项目。

Dataform