Dataform

Com o Dataform Core, os engenheiros e analistas de dados podem criar definições de tabelas de maneira centralizada e configurar dependências, adicionar descrições de colunas e definir declarações de qualidade de dados em um único repositório usando apenas SQL.

As funções principais do Dataform podem ser adotadas de forma incremental e aditiva, sem modificar o código existente.

O Dataform Core é de código aberto e pode ser usado localmente, dando aos usuários liberdade de instalação e flexibilidade para casos de uso mais avançados. 

O Dataform gerencia a infraestrutura operacional para atualizar as tabelas de acordo com as dependências entre elas e usando a versão mais recente do código. Linhas e informações de dados podem ser rastreadas facilmente com integrações de Dataform. Acione fluxos de trabalho SQL manualmente ou programe-os usando o Cloud Composer, o Workflows, os pipelines de dados do BigQuery Studio ou serviços de terceiros.

Defina tabelas, corrija problemas com mensagens de erro em tempo real, visualize dependências, confirme alterações no Git e programe pipelines em minutos, em uma única interface, sem sair do navegador da Web.

Conecte seu repositório com provedores terceirizados, como GitHub e GitLab. Confirme as mudanças e envie ou abra revisões de código no seu navegador.