Plug-ins do Cloud Data Fusion

Esta fonte lê todo o conteúdo de uma tabela do BigQuery.

Este coletor faz gravações em várias tabelas do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Este coletor faz gravações em uma tabela do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

O plug-in de origem lê objetos de um caminho em um bucket do Cloud Storage.

Este plug-in de coletor grava registros em um ou mais arquivos de um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

Faz leituras em várias tabelas de um banco de dados. Usado com plug-ins de vários coletores, como vários coletores do Cloud Storage e do BigQuery, para carregar dados de todo o banco de dados em um único pipeline.

Faz leituras em uma instância do MySQL usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Faz leituras em uma tabela do Oracle usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Esta fonte lê em lote sObjects como oportunidades, contatos, contas, leads, objetos personalizados etc. do Salesforce.

Conecta-se a uma fonte SAP para extração de dados baseada em lote e em delta por meio do provisionamento de dados operacionais (ODP).

Faz leituras em um SQL Server usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Esta fonte lê todo o conteúdo de uma tabela do BigQuery.

Faz leituras em uma tabela do BigQuery para buscar argumentos a serem definidos no pipeline.

Este plug-in executa uma consulta SQL do BigQuery.

Este coletor faz gravações em várias tabelas do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Este coletor faz gravações em uma tabela do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Coletor em lote que grava dados no Cloud Bigtable.

Esta fonte lê dados do Cloud Bigtable.

Ingestão de dados para qualquer um dos recursos compatíveis com o Dataplex.

Lê dados de entidades (tabelas) do Dataplex que residem em recursos do Cloud Storage ou do BigQuery.

Esta fonte lê dados do Datastore. O Datastore é um banco de dados de documentos NoSQL criado para oferecer escalonamento automático e alto desempenho.

Este coletor grava dados no Cloud Datastore. O Datastore é um banco de dados de documentos NoSQL criado para oferecer escalonamento automático e alto desempenho.

Faz leituras no Cloud Firestore em pipelines de lote.

Plug-in para gravar no Cloud Firestore em pipelines de lote e streaming.

Este plug-in de coletor grava registros em um ou mais arquivos de um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

O plug-in de origem lê objetos de um caminho em um bucket do Cloud Storage.

Faz leituras em um arquivo do Cloud Storage para buscar argumentos a serem definidos no pipeline.

Este plug-in exclui objetos em um bucket do Cloud Storage.

Este plug-in copia objetos de um bucket do Cloud Storage para outro. É possível copiar um único objeto ou um diretório de objetos.

Este plug-in cria objetos em um bucket do Cloud Storage.

Cria um arquivo DONE (ou SUCCESS) vazio no bucket do Cloud Storage fornecido após a conclusão do pipeline (sucesso ou falha) para orquestrar processos dependentes.

Este plug-in move objetos de um bucket do Cloud Storage para outro. É possível mover um único objeto ou um diretório de objetos.

Este plug-in é usado com a fonte MultiTableDatabase para gravar registros de vários bancos de dados em diretórios separados.

Descriptografa dados sensíveis que foram criptografados anteriormente pelo Cloud Data Loss Prevention (DLP) usando uma transformação de criptografia reversível, como a criptografia com preservação de formato.

Separa registros sensíveis com base na correspondência com um modelo definido pelo usuário usando as APIs do Cloud Data Loss Prevention (DLP).

Descarta dados de registros sensíveis usando o Cloud Data Loss Prevention (DLP) combinando alguns filtros predefinidos do DLP ou um modelo personalizado definido pelo usuário.

Lê os arquivos do diretório especificado do Google Drive pela API Google Drive.

O plug-in do coletor salva arquivos do pipeline no diretório do Google Drive por meio da API Google Drive.

Grava planilhas no diretório especificado do Google Drive.

Lê planilhas do diretório especificado do Google Drive.

Este coletor grava pipelines de streaming em um tópico do Pub/Sub.

Esta fonte faz leituras em uma assinatura do Pub/Sub em tempo real.

Este coletor faz gravações em uma tabela do Cloud Spanner.

Esta fonte faz leituras em uma tabela do Cloud Spanner.

Este plug-in converte arquivos de áudio em texto usando o Speech-to-Text.

Faz agrupamentos de acordo com um ou mais campos e executa funções de agregação, como média, contagem, contagem(*), primeiro, último, máximo, mínimo, soma e coleta, em cada grupo.

Mescla registros de uma ou mais entradas com base em chaves de junção. Compatível com junções internas e externas, seleção e renomeação de campos de saída.

Top-N retorna os "n" principais registros do conjunto de entrada com base nos critérios especificados na configuração do plug-in.

Aplica funções de agregação em uma janela de dados.

Envia um e-mail ao final de uma execução de pipeline.

Ação para enviar um e-mail ao final de uma execução de pipeline.

Cria um arquivo DONE (ou SUCCESS) vazio no bucket do Cloud Storage fornecido após a conclusão do pipeline (sucesso ou falha) para orquestrar processos dependentes.

Executa uma solicitação HTTP ao final de uma execução de pipeline.

Kafka Alert Publisher, que permite publicar alertas no Kafka como objetos JSON.

Executa uma consulta do MariaDB ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Executa uma consulta do Netezza ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Executa uma consulta do Oracle ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Executa uma consulta do PostgreSQL ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Executa uma consulta do SQL Server ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Executa uma consulta do Teradata ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Publica alertas no sistema de mensagens transacionais (TMS) do CDAP como objetos JSON.

Coletor em lote que grava dados no Apache Cassandra.

Fonte em lote que faz leituras no Apache Cassandra.

Grava registros em uma tabela do HBase com um mapeamento de campo para a chave de linha e todos os outros campos de registro mapeados para qualificadores de coluna.

Fonte em lote que faz leituras em um grupo de colunas de uma tabela do HBase.

A exportação do Hive usa a consulta selecionada como entrada, executa essa consulta na tabela do Hive e armazenar os resultados no local especificado.

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS.

Kafka Alert Publisher, que permite publicar alertas no Kafka como objetos JSON.

Fonte em lote do Kafka que lê eventos do Apache Kafka em pipelines de lote.

Fonte de streaming do Kafka que lê eventos do Apache Kafka em pipelines de streaming.

Coletor do Kafka que permite gravar eventos em CSV ou JSON no Kafka.

Executa o código Spark fornecido pelo usuário no Python.

Este plug-in particiona novamente um RDD do Spark.

Executa no Scala o código Spark fornecido pelo usuário que transforma o RDD em RDD com acesso total a todos os recursos do Spark.

Executa o código Spark fornecido pelo usuário no Scala.

Executa no Scala o código Spark fornecido pelo usuário que opera em um RDD de entrada ou Dataframe com acesso total a todos os recursos do Spark.

Analisa registros de qualquer fonte de entrada em busca de informações relevantes, como URI, IP, navegador, dispositivo, código de status HTTP e carimbo de data/hora.

Plug-in de origem para carregar dados de um modelo do Anaplan em um pipeline de dados.

Plug-in do coletor para oferecer suporte à importação de dados do CDAP no servidor Anaplan.

Executa uma ação/processo predefinido no modelo fornecido do Anaplan. Este recurso é usado com mais frequência na preparação para a importação e a exportação de dados.

Lê dados de anúncios da API Facebook Insights em pipelines de lote.

Faz leituras no Google Analytics 360 em pipelines de lote.

Faz leituras no Google Analytics 360 em pipelines de streaming.

Lê os arquivos do diretório especificado do Google Drive pela API Google Drive.

O plug-in do coletor salva arquivos do pipeline no diretório do Google Drive por meio da API Google Drive.

Grava planilhas no diretório especificado do Google Drive.

Lê planilhas do diretório especificado do Google Drive.

Lê dados nos formatos JSON, XML, CSV, TSV, TEXT e BLOB de APIs HTTP/HTTPS em pipelines de lote.

Plug-in do coletor para enviar as mensagens do pipeline para um endpoint HTTP externo.

Executa uma solicitação HTTP ao final de uma execução de pipeline.

Uma fonte de streaming que buscará dados de um URL especificada em um determinado intervalo e transmitirá os resultados ao próximo plug-in.

Lê dados nos formatos JSON, XML, CSV, TSV, TEXT e BLOB de APIs HTTP/HTTPS em pipelines de streaming.

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS.

Plug-in para gravar dados no HubSpot CRM em pipelines de lote e streaming.

Lê dados do HubSpot CRM em pipelines de streaming.

Lê dados do HubSpot CRM em pipelines de lote.

Esta fonte lê em lote sObjects como oportunidades, contatos, contas, leads, objetos personalizados etc. do Salesforce.

Esta fonte acompanha atualizações em sObjects do Salesforce. Exemplos de sObjects são oportunidades, contatos, contas, leads, objetos personalizados etc.

Um coletor em lote que insere sObjects, como oportunidades, contatos, contas, leads, objetos personalizados etc., no Salesforce.

Esta fonte acompanha atualizações em sObjects do Salesforce, como oportunidades, contatos, contas, leads, objetos personalizados etc.

Este coletor insere registros em uma extensão de dados do Salesforce Marketing Cloud (SFMC) por meio da integração de servidor para servidor com a API SFMC.

Esta fonte lê vários sObjects do Salesforce. Use com vários coletores.

Faz leituras em uma ou várias tabelas no ServiceNow.

Este plug-in converte arquivos de áudio em texto usando o Speech-to-Text.

Lê objetos como comentários de artigos, comentários de postagens, comentários de solicitações, comentários de tíquetes, grupos, organizações, classificações de satisfação, tags, campos de tíquetes, métricas de tíquetes, eventos de métricas de tíquetes, tíquetes e usuários no Zendesk.

Várias fontes que leem vários objetos do Zendesk e os encaminham para destinos específicos. Use com vários coletores.

Faz gravações em um sistema de arquivos em vários formatos.

Esta fonte é usada sempre que você precisa fazer leituras em um sistema de arquivos distribuído.

Grava registros em um ou mais arquivos de um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

Esta fonte é usada sempre que você precisar fazer leituras no Amazon S3.

Este coletor é usado para fazer gravações no Amazon S3 em vários formatos.

A ação do cliente do Amazon S3 é usada para trabalhar com buckets e objetos do S3 antes ou depois da execução de um pipeline.

Elimina a duplicação de registros usando um ou mais campos ou o registro como um todo. Além disso, é compatível com a escolha lógica de um registro entre os registros duplicados com base em um campo de filtro. As funções lógicas compatíveis são máximo, mínimo, primeiro e último.

Remove a duplicação de registros de entrada para que todos os registros de saída sejam distintos.

Filtra as mensagens com base em um critério especificado.

Separa registros sensíveis com base na correspondência com um modelo definido pelo usuário usando as APIs do Cloud Data Loss Prevention (DLP).

Este plug-in aplica diretivas de transformação de dados geradas por meio de uma interface interativa ou manualmente nos registros de dados.

Esta fonte é usada sempre que você precisar fazer leituras no Amazon S3.

Fonte em lote para usar o Microsoft Azure Blob Storage como origem.

Carrega em uma tabela do Snowflake os dados de arquivos externos ou internos preparados no Cloud Storage.

Este plug-in de coletor grava registros em um ou mais arquivos de um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

O plug-in lê objetos de um caminho em um bucket do Cloud Storage.

Faz leituras em um arquivo do Cloud Storage para buscar argumentos a serem definidos no pipeline.

Este plug-in exclui objetos em um bucket do Cloud Storage.

Este plug-in copia objetos de um bucket do Cloud Storage para outro. É possível copiar um único objeto ou um diretório de objetos.

Este plug-in cria objetos em um bucket do Cloud Storage.

Este plug-in move objetos de um bucket do Cloud Storage para outro. É possível mover um único objeto ou um diretório de objetos.

Este plug-in é usado com a fonte MultiTableDatabase para gravar registros de vários bancos de dados em diretórios separados.

Cria um arquivo DONE (ou SUCCESS) vazio no bucket do Cloud Storage fornecido após a conclusão do pipeline (sucesso ou falha) para orquestrar processos dependentes.

Executa o JavaScript fornecido pelo usuário que transforma um registro em zero ou mais registros.

Executa o código Spark fornecido pelo usuário no Python.

Executa o código Python fornecido pelo usuário para transformar registros de entrada, disponíveis como dicionário do Python.

Executa no Scala o código Spark fornecido pelo usuário que transforma o RDD em RDD com acesso total a todos os recursos do Spark.

Executa o código Spark fornecido pelo usuário no Scala.

Executa no Scala o código Spark fornecido pelo usuário que opera em um RDD de entrada ou Dataframe com acesso total a todos os recursos do Spark.

Compacta os campos configurados usando diferentes algoritmos de compactação, como SNAPPY, ZIP e GZIP.

Descompacta os campos configurados usando algoritmos de compactação, como SNAPPY, ZIP e GZIP.

Um plug-in de fluxo de controle que permite a execução condicional em pipelines com base em expressões.

Coleta erros emitidos do cenário anterior e adiciona uma mensagem de erro, um código e um cenário ao registro.

Coletor em lote que faz com que um pipeline falhe imediatamente depois de receber o primeiro registro.

Este plug-in envia registros com um valor nulo em um determinado campo para a porta nula e registros com um valor não nulo para a porta não nula.

Encaminha um registro para uma porta apropriada com base na avaliação de uma expressão no valor de um ou mais campos.

O divisor de união é usado para dividir dados por um esquema de união, a fim de que a lógica específica do tipo possa ser feita downstream.

Executa uma ação/processo predefinido no modelo fornecido do Anaplan. Este recurso é usado com mais frequência na preparação para a importação e a exportação de dados.

Executa uma consulta SQL no início ou no final de um pipeline.

Ação que executa um comando de banco de dados.

Executa uma consulta de banco de dados ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do DB2.

Este plug-in pode ser usado para verificar se um arquivo está vazio ou se o conteúdo dele corresponde a determinado padrão.

Exclui um ou mais arquivos.

Move um ou mais arquivos.

Copie os arquivos do servidor FTP para o destino especificado.

Copia arquivos de um destino especificado para o servidor FTP..

Este plug-in exclui objetos em um bucket do Cloud Storage.

Este plug-in copia objetos de um bucket do Cloud Storage para outro. É possível copiar um único objeto ou um diretório de objetos.

Este plug-in cria objetos em um bucket do Cloud Storage.

Este plug-in move objetos de um bucket do Cloud Storage para outro. É possível mover um único objeto ou um diretório de objetos.

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS.

Ação que executa um comando do MariaDB.

Ação que executa um comando do MySQL.

Ação que executa um comando do Netezza.

Ação que executa um comando do Oracle.

Um plug-in de ação para exportar dados do Oracle com eficiência para um sistema de arquivos usando as ferramentas de linha de comando da Oracle.

Ação que executa um comando do PostgreSQL.

Estabelece uma conexão SSH com a máquina remota para executar o comando nela.

A cópia do SFTP permite a cópia dos arquivos do diretório especificado nos servidores SFTP para o destino especificado.

Plug-in de ação do CDAP para excluir os arquivos especificados de um servidor SFTP.

A colocação no SFTP permite o upload de arquivos do sistema de arquivos (local/HDFS) para o servidor FTP. A regex de arquivo também pode ser usada para filtrar apenas os arquivos relevantes.

Executa uma consulta SQL especificada no Snowflake.

Ação que executa um comando do SQL Server.

Ação que executa um comando do Teradata.

Copia um ou mais arquivos de um compartilhamento do Microsoft Windows em um sistema de arquivos.

Plug-in para gravar dados no HubSpot CRM em pipelines de lote e streaming.

Lê dados do HubSpot CRM em pipelines de streaming.

Lê dados do HubSpot CRM em pipelines de lote.

Esta fonte lê em lote sObjects como oportunidades, contatos, contas, leads, objetos personalizados etc. do Salesforce.

Um coletor em lote que insere sObjects, como oportunidades, contatos, contas, leads, objetos personalizados etc., no Salesforce.

Esta fonte acompanha atualizações em sObjects do Salesforce. Exemplos de sObjects são oportunidades, contatos, contas, leads, objetos personalizados etc.

Esta fonte acompanha atualizações em sObjects do Salesforce, como oportunidades, contatos, contas, leads, objetos personalizados etc.

Este coletor insere registros em uma extensão de dados do Salesforce Marketing Cloud (SFMC) por meio da integração de servidor para servidor com a API SFMC.

Esta fonte lê vários sObjects do Salesforce. Use com vários coletores.

Faz a formatação de entradas em um registro CSV usando formatos como DELIMITED, EXCEL, MYSQL, RFC4180 e TDF.

Analisa um registro CSV formatado como DEFAULT, EXCEL, MYSQL, RFC4180, delimitado por tabulação ou delimitado por barra vertical em um registro estruturado.

Faz gravações em um sistema de arquivos em vários formatos.

Esta fonte é usada sempre que você precisa fazer leituras em um sistema de arquivos distribuído.

Este plug-in de coletor grava registros em um ou mais arquivos de um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

Coletor do Kafka que permite gravar eventos em CSV ou JSON no Kafka.

Coletor em lote que grava dados no Cloud Bigtable.

Esta fonte lê dados do Cloud Bigtable.

Ação que executa um comando de banco de dados.

Faz leituras em um banco de dados usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Grava registros em uma tabela de banco de dados. Cada registro será gravado em uma linha da tabela.

Faz leituras em uma tabela de banco de dados relacional para buscar argumentos a serem definidos no pipeline.

Executa uma consulta de banco de dados ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Faz leituras em um banco de dados DB2 usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Executa uma consulta do DB2 ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do DB2.

Grava registros em uma tabela do DB2. Cada registro será gravado em uma linha da tabela.

Grava registros em uma tabela do MariaDB. Cada registro será gravado em uma linha da tabela.

Faz leituras em um MariaDB usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Executa uma consulta do MariaDB ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do MariaDB.

Faz leituras em várias tabelas de um banco de dados. Usado com plug-ins de vários coletores, como vários coletores do Cloud Storage e do BigQuery, para carregar dados de todo o banco de dados em um único pipeline.

Executa uma consulta do MySQL ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Grava registros em uma tabela do MySQL. Cada registro será gravado em uma linha da tabela.

Faz leituras em uma instância do MySQL usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Ação que executa um comando do MySQL.

Faz leituras em uma tabela do Oracle usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Grava registros em uma tabela do Oracle. Cada registro será gravado em uma linha da tabela.

Executa uma consulta do Oracle ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do Oracle.

Um plug-in de ação para exportar dados do Oracle com eficiência para um sistema de arquivos usando as ferramentas de linha de comando da Oracle.

Faz leituras em um PostgreSQL usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Grava registros em uma tabela do PostgreSQL. Cada registro será gravado em uma linha da tabela.

Executa uma consulta do PostgreSQL ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do PostgreSQL.

Este coletor faz gravações em uma tabela do Cloud Spanner.

Esta fonte faz leituras em uma tabela do Cloud Spanner.

Grava registros em uma tabela do SQL Server. Cada registro será gravado em uma linha da tabela.

Executa uma consulta do SQL Server ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Faz leituras em um SQL Server usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Ação que executa um comando do SQL Server.

O DB2 executa uma consulta do DB2 ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Esta fonte lê todo o conteúdo de uma tabela do BigQuery.

Faz leituras em uma tabela do BigQuery para buscar argumentos a serem definidos no pipeline.

Este plug-in executa uma consulta SQL do BigQuery.

Este coletor faz gravações em várias tabelas do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Este coletor faz gravações em uma tabela do BigQuery. Os dados são gravados primeiro em um local temporário no Cloud Storage e, em seguida, carregados no BigQuery.

Carrega em uma tabela do Snowflake os dados de arquivos externos ou internos preparados no Cloud Storage.

A exportação do Hive usa a consulta selecionada como entrada, executa essa consulta na tabela do Hive e armazenar os resultados no local especificado.

Grava registros em uma tabela do Netezza. Cada registro será gravado em uma linha da tabela.

Faz leituras em um Netezza usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Executa uma consulta do Netezza ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do Netezza.

Cria uma representação SCD2 de um registro, agrupando registros de origem pela chave especificada e gerando as datas de início e de término (validade).

Grava dados em uma tabela do Snowflake em pipelines de lote.

Lê dados de tabelas do Snowflake em pipelines de lote.

Executa uma consulta SQL especificada no Snowflake.

Grava registros em uma tabela do Teradata. Cada registro será gravado em uma linha da tabela.

Faz leituras em um Teradata usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Executa uma consulta do Teradata ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do Teradata.

Descriptografa dados sensíveis que foram criptografados anteriormente pelo Cloud Data Loss Prevention (DLP) usando uma transformação de criptografia reversível, como a criptografia com preservação de formato.

Separa registros sensíveis com base na correspondência com um modelo definido pelo usuário usando as APIs do Cloud Data Loss Prevention (DLP).

Descarta dados de registros sensíveis usando o Cloud Data Loss Prevention (DLP) combinando alguns filtros predefinidos do DLP ou um modelo personalizado definido pelo usuário.

Executa uma solicitação HTTP para buscar argumentos a serem definidos no pipeline.

Faz leituras em uma tabela de banco de dados relacional para buscar argumentos a serem definidos no pipeline.

Faz leituras em um arquivo do Cloud Storage para buscar argumentos a serem definidos no pipeline.

Envia um e-mail ao final de uma execução de pipeline.

Ação para enviar um e-mail ao final de uma execução de pipeline.

Lê dados sobre campanhas de marketing, análises de e-mails, rejeições e relatórios de spam atuais do SendGrid.

Grava dados no SendGrid em pipelines de lote e streaming.

Faz a formatação de entradas em um registro CSV usando formatos como DELIMITED, EXCEL, MYSQL, RFC4180 e TDF.

Analisa um registro CSV formatado como DEFAULT, EXCEL, MYSQL, RFC4180, delimitado por tabulação ou delimitado por barra vertical em um registro estruturado.

Faz gravações em um sistema de arquivos em vários formatos.

Esta fonte é usada sempre que você precisa fazer leituras em um sistema de arquivos distribuído.

Fonte do streaming de arquivo que monitora um diretório e transmite conteúdos de todos os novos arquivos adicionados ao diretório.

Este plug-in de coletor é anexado a um arquivo atual até ele atingir um tamanho ou limite de idade.

Este plug-in pode ser usado para verificar se um arquivo está vazio ou se o conteúdo dele corresponde a determinado padrão.

Exclui um ou mais arquivos.

Move um ou mais arquivos.

Fonte em lote para fazer leituras no FTP (ftp://..) ou no SFTP (sftp://...).

Copie os arquivos do servidor FTP para o destino especificado.

Copia arquivos de um destino especificado para o servidor FTP..

Esta transformação utiliza a biblioteca Apache PDF Box para extrair textos e metadados de um arquivo PDF.

Este coletor é usado para fazer gravações no Amazon S3 em vários formatos.

A cópia do SFTP permite a cópia dos arquivos do diretório especificado nos servidores SFTP para o destino especificado.

Plug-in de ação do CDAP para excluir os arquivos especificados de um servidor SFTP.

A colocação no SFTP permite o upload de arquivos do sistema de arquivos (local/HDFS) para o servidor FTP. A regex de arquivo também pode ser usada para filtrar apenas os arquivos relevantes.

Elimina a duplicação de registros usando um ou mais campos ou o registro como um todo. Além disso, é compatível com a escolha lógica de um registro entre os registros duplicados com base em um campo de filtro. As funções lógicas compatíveis são máximo, mínimo, primeiro e último.

Remove a duplicação de registros de entrada para que todos os registros de saída sejam distintos.

Filtra as mensagens com base em um critério especificado.

Separa registros sensíveis com base na correspondência com um modelo definido pelo usuário usando as APIs do Cloud Data Loss Prevention (DLP).

Este plug-in envia registros com um valor nulo em um determinado campo para a porta nula e registros com um valor não nulo para a porta não nula.

Faz uma amostra de um grande conjunto de dados que passa por este plug-in para gerar registros aleatórios usando a amostragem sistemática ou de reservatório.

Top-N retorna os "n" principais registros do conjunto de entrada com base nos critérios especificados na configuração do plug-in.

Fonte em lote para fazer leituras no FTP (ftp://..) ou no SFTP (sftp://...).

Copie os arquivos do servidor FTP para o destino especificado.

Copia arquivos de um destino especificado para o servidor FTP..

A cópia do SFTP permite a cópia dos arquivos do diretório especificado nos servidores SFTP para o destino especificado.

Plug-in de ação do CDAP para excluir os arquivos especificados de um servidor SFTP.

A colocação no SFTP permite o upload de arquivos do sistema de arquivos (local/HDFS) para o servidor FTP. A regex de arquivo também pode ser usada para filtrar apenas os arquivos relevantes.

Faz leituras no Google Analytics 360 em pipelines de lote.

Faz leituras no Google Analytics 360 em pipelines de streaming.

Lê os arquivos do diretório especificado do Google Drive pela API Google Drive.

O plug-in do coletor salva arquivos do pipeline no diretório do Google Drive por meio da API Google Drive.

Lê planilhas do diretório especificado do Google Drive.

Grava planilhas no diretório especificado do Google Drive.

Grava registros em uma tabela do HBase com um mapeamento de campo para a chave de linha e todos os outros campos de registro mapeados para qualificadores de coluna.

Fonte em lote que faz leituras em um grupo de colunas de uma tabela do HBase.

A exportação do Hive usa a consulta selecionada como entrada, executa essa consulta na tabela do Hive e armazenar os resultados no local especificado.

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS.

O plug-in Leitor de XML é de origem e permite que os usuários leiam arquivos XML armazenados no HDFS.

Ação para buscar dados de um endpoint HTTP externo e criar um arquivo no HDFS.

Executa uma solicitação HTTP para buscar argumentos a serem definidos no pipeline.

Faz leituras em um banco de dados DB2 usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Executa uma consulta do DB2 ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do DB2.

Grava registros em uma tabela do DB2. Cada registro será gravado em uma linha da tabela.

Grava registros em uma tabela do Netezza. Cada registro será gravado em uma linha da tabela.

Faz leituras em um Netezza usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Executa uma consulta do Netezza ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do Netezza.

Faz leituras em um banco de dados usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Grava registros em uma tabela de banco de dados. Cada registro será gravado em uma linha da tabela.

Lê os documentos de uma coleção do MongoDB e converte cada um deles em um StructuredRecord com a ajuda de um esquema especificado.

Este coletor faz gravações em uma coleção do MongoDB.

Executa uma consulta do MySQL ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Grava registros em uma tabela do MySQL. Cada registro será gravado em uma linha da tabela.

Faz leituras em uma instância do MySQL usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Ação que executa um comando do MySQL.

Grava registros em uma tabela do Netezza. Cada registro será gravado em uma linha da tabela.

Faz leituras em um Netezza usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Executa uma consulta do Netezza ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do Netezza.

Faz leituras em uma tabela do Oracle usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Grava registros em uma tabela do Oracle. Cada registro será gravado em uma linha da tabela.

Executa uma consulta do Oracle ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do Oracle.

Um plug-in de ação para exportar dados do Oracle com eficiência para um sistema de arquivos usando as ferramentas de linha de comando da Oracle.

Faz leituras em um PostgreSQL usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Grava registros em uma tabela do PostgreSQL. Cada registro será gravado em uma linha da tabela.

Executa uma consulta do PostgreSQL ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do PostgreSQL.

Grava registros em uma tabela do SQL Server. Cada registro será gravado em uma linha da tabela.

Executa uma consulta do SQL Server ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Faz leituras em um SQL Server usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Ação que executa um comando do SQL Server.

Grava registros em uma tabela do Teradata. Cada registro será gravado em uma linha da tabela.

Faz leituras em um Teradata usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Executa uma consulta do Teradata ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do Teradata.

Grava dados no Elasticsearch como uma string JSON e a indexa usando o índice, o tipo e o idField especificados pelo usuário.

Grava registros em um ou mais arquivos de um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

Formata um registro estruturado como um objeto JSON.

Analisa um evento JSON de entrada em um registro usando caminhos JSON para extrair campos de JSON de entrada aninhado complexo.

Coletor do Kafka que permite gravar eventos em CSV ou JSON no Kafka.

Aceita um campo que contém uma string XML formatada corretamente e gera uma versão de string JSON formatada corretamente com relação aos dados.

Faz leituras no Confluent Kafka em pipelines de streaming.

Plug-in para gravar no Confluent Kafka em pipelines de streaming.

Fonte em lote do Kafka que lê eventos do Apache Kafka em pipelines de lote.

Fonte de streaming do Kafka que lê eventos do Apache Kafka em pipelines de streaming.

Kafka Alert Publisher, que permite publicar alertas no Kafka como objetos JSON.

Coletor do Kafka que permite gravar eventos em CSV ou JSON no Kafka.

Analisa registros de qualquer fonte de entrada em busca de informações relevantes, como URI, IP, navegador, dispositivo, código de status HTTP e carimbo de data/hora.

Adiciona um novo campo a cada registro. O valor do campo pode ser um novo UUID ou pode ser definido diretamente pela configuração.

Faz uma cópia de cada registro de entrada recebido por um número configurado de vezes na saída.

Plug-in para gerar estruturas hierárquicas com base em esquemas simples.

Esta transformação usa uma data em um carimbo de data/hora Unix ou uma string e a converte em uma string formatada. (Ativada para macros).

Descarta dados de registros sensíveis usando o Cloud Data Loss Prevention (DLP) combinando alguns filtros predefinidos do DLP ou um modelo personalizado definido pelo usuário.

Executa uma pesquisa de um determinado campo em um conjunto de dados de pesquisa, correspondendo-o ao conjunto de dados de entrada, e inclui o campo e o valor dele no conjunto de dados resultante.

A transformação de adição de vários campos permite adicionar um ou mais campos à saída.

A transformação "Projeção" permite descartar, manter, renomear e converter campos em um tipo diferente.

Com um campo e um delimitador, emite um registro para cada divisão do campo.

Converte dados brutos em dados desnormalizados com base em uma coluna de chave.

Cria uma representação SCD2 de um registro, agrupando registros de origem pela chave especificada e gerando as datas de início e de término (validade).

Normaliza os dados convertendo colunas em linhas.

O mapeador de valor é um plug-in de transformação que mapeia valores de string de um campo no registro de entrada para um valor de mapeamento usando um conjunto de dados de mapeamento.

Este plug-in aplica diretivas de transformação de dados geradas por meio de uma interface interativa ou manualmente nos registros de dados.

Decodifica os campos configurados usando métodos de decodificação, como STRING_BASE64, BASE64, BASE32, STRING_BASE32 e HEX.

Descriptografa um ou mais campos nos registros de entrada usando um keystore que precisa estar presente em todos os nós do cluster.

Criptografa um ou mais campos nos registros de entrada usando um keystore Java que precisa estar presente em todos os nós do cluster.

Codifica os campos configurados usando métodos de codificação, como STRING_BASE64, BASE64, BASE32, STRING_BASE32 e HEX.

Codifica os valores de campo usando algoritmos de resumo, como MD2, MD5, SHA1, SHA256, SHA384 e SHA512.

Com o plug-in do Excel, o usuário pode ler dados de um ou mais arquivos do Excel.

Copia um ou mais arquivos de um compartilhamento do Microsoft Windows em um sistema de arquivos.

Grava dados no diretório do Azure Data Lake Store no formato Avro, ORC ou de texto.

Este coletor faz gravações em vários diretórios do Azure Data Lake.

Fonte em lote para usar o Microsoft Azure Blob Storage como origem.

A fonte em lote do Azure Data Lake Store lê dados dos arquivos do Azure Data Lake Store e os converte em StructuredRecord.

Executa uma consulta do SQL Server ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Faz leituras em um SQL Server usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Grava registros em uma tabela do SQL Server. Cada registro será gravado em uma linha da tabela.

Ação que executa um comando do SQL Server.

Plug-in para transformar dados aninhados em dados simples.

Coletor em lote que grava dados no Apache Cassandra.

Fonte em lote que faz leituras no Apache Cassandra.

Esta fonte lê dados do Datastore. O Datastore é um banco de dados de documentos NoSQL criado para oferecer escalonamento automático e alto desempenho.

Este coletor grava dados no Cloud Datastore. O Datastore é um banco de dados de documentos NoSQL criado para oferecer escalonamento automático e alto desempenho.

Faz leituras no Cloud Firestore em pipelines de lote.

Plug-in para gravar no Cloud Firestore em pipelines de lote e streaming.

Grava registros em uma tabela do HBase com um mapeamento de campo para a chave de linha e todos os outros campos de registro mapeados para qualificadores de coluna.

Fonte em lote que faz leituras em um grupo de colunas de uma tabela do HBase.

Lê os documentos de uma coleção do MongoDB e converte cada um deles em um StructuredRecord com a ajuda de um esquema especificado.

Este coletor faz gravações em uma coleção do MongoDB.

Faz leituras em uma tabela do Oracle usando uma consulta SQL configurável. Gera um registro para cada linha retornada pela consulta.

Grava registros em uma tabela do Oracle. Cada registro será gravado em uma linha da tabela.

Executa uma consulta do Oracle ao final da execução do pipeline. Pode ser configurado para ser executado somente em caso de êxito, somente em caso de falha ou sempre ao final da execução.

Ação que executa um comando do Oracle.

Um plug-in de ação para exportar dados do Oracle com eficiência para um sistema de arquivos usando as ferramentas de linha de comando da Oracle.

Faz gravações em um sistema de arquivos em vários formatos.

Esta fonte é usada sempre que você precisa fazer leituras em um sistema de arquivos distribuído.

Grava registros em um ou mais arquivos de um diretório do Cloud Storage em vários formatos, como CSV, Avro, Parquet e JSON.

Executa o código Spark fornecido pelo usuário no Python.

Executa o código Python fornecido pelo usuário para transformar registros de entrada, disponíveis como dicionário do Python.

Esta fonte é usada sempre que você precisar fazer leituras no Amazon S3.

Acelera o recurso de origem de lote da tabela do SAP para o processo OTC.

Acelera o recurso de origem de lote da tabela do SAP para o processo P2P.

Conecta-se a uma fonte do SAP Ariba para integrações de dados em lote com o Google Cloud.

Conecta-se a uma fonte do SAP para extração baseada em lote e em delta usando o serviço de hub aberto do BW.

Conecta-se a uma fonte do SAP para extração de dados baseada em lote usando o Open Data Protocol (OData).

Conecta-se a uma fonte SAP para extração de dados baseada em lote e em delta por meio do provisionamento de dados operacionais (ODP).

Conecta-se a uma fonte do SAP para replicar dados no Google Cloud usando SAP Landscape Transformation (SLT).

Conecta-se a uma fonte do SAP para extração de dados baseada em lote.

Conecta-se a uma fonte do SAP para transferências de dados em massa de tabelas e visualizações do SAP.

Plug-in de origem para carregar dados de um modelo do Anaplan em um pipeline de dados.

Plug-in do coletor para oferecer suporte à importação de dados do CDAP no servidor Anaplan.

Executa uma ação/processo predefinido no modelo fornecido do Anaplan. Este recurso é usado com mais frequência na preparação para a importação e a exportação de dados.

Plug-in para gravar dados no HubSpot CRM em pipelines de lote e streaming.

Lê dados do HubSpot CRM em pipelines de streaming.

Lê dados do HubSpot CRM em pipelines de lote.

Esta fonte lê em lote sObjects como oportunidades, contatos, contas, leads, objetos personalizados etc. do Salesforce.

Um coletor em lote que insere sObjects, como oportunidades, contatos, contas, leads, objetos personalizados etc., no Salesforce.

Esta fonte acompanha atualizações em sObjects do Salesforce, como oportunidades, contatos, contas, leads, objetos personalizados etc.

Este coletor insere registros em uma extensão de dados do Salesforce Marketing Cloud (SFMC) por meio da integração de servidor para servidor com a API SFMC.

Esta fonte lê vários sObjects do Salesforce. Use com vários coletores.

Faz leituras em uma ou várias tabelas no ServiceNow.

Lê objetos como comentários de artigos, comentários de postagens, comentários de solicitações, comentários de tíquetes, grupos, organizações, classificações de satisfação, tags, campos de tíquetes, métricas de tíquetes, eventos de métricas de tíquetes, tíquetes e usuários no Zendesk.

Várias fontes que leem vários objetos do Zendesk e os encaminham para destinos específicos. Use com vários coletores.

Extrai documentos do Elasticsearch de acordo com a consulta especificada pelo usuário.

Grava dados no Elasticsearch como uma string JSON e a indexa usando o índice, o tipo e o idField especificados pelo usuário.

Carrega em uma tabela do Snowflake os dados de arquivos externos ou internos preparados no Cloud Storage.

Grava dados em uma tabela do Snowflake em pipelines de lote.

Lê dados de tabelas do Snowflake em pipelines de lote.

Executa uma consulta SQL especificada no Snowflake.

Analisa registros de qualquer fonte de entrada em busca de informações relevantes, como URI, IP, navegador, dispositivo, código de status HTTP e carimbo de data/hora.

Executa o código Spark fornecido pelo usuário no Python.

Este plug-in particiona novamente um RDD do Spark.

Executa no Scala o código Spark fornecido pelo usuário que transforma o RDD em RDD com acesso total a todos os recursos do Spark.

Executa o código Spark fornecido pelo usuário no Scala.

Executa no Scala o código Spark fornecido pelo usuário que opera em um RDD de entrada ou Dataframe com acesso total a todos os recursos do Spark.

Estabelece uma conexão SSH com a máquina remota para executar o comando nela.

Executa um binário executável instalado e disponível no sistema de arquivos local dos nós do Hadoop.

Calcula estatísticas como total, nulos, mínimo, máximo, média, stddev, zero, contagem positiva e contagem negativa.

Faz agrupamentos de acordo com um ou mais campos e executa funções de agregação, como média, contagem, contagem(*), primeiro, último, máximo, mínimo, soma e coleta, em cada grupo.

Faz leituras no Amazon Simple Queue Service (SQS) em pipelines de streaming.

Plug-in para fazer gravações no Amazon Simple Queue Service (SQS) em pipelines de streaming.

Faz leituras no Confluent Kafka em pipelines de streaming.

Plug-in para gravar no Confluent Kafka em pipelines de streaming.

Fonte do streaming de arquivo que monitora um diretório e transmite conteúdos de todos os novos arquivos adicionados ao diretório.

Faz leituras no Google Analytics 360 em pipelines de streaming.

Uma fonte de streaming que buscará dados de um URL especificada em um determinado intervalo e transmitirá os resultados ao próximo plug-in.

Lê dados nos formatos JSON, XML, CSV, TSV, TEXT e BLOB de APIs HTTP/HTTPS em pipelines de streaming.

Lê dados do HubSpot CRM em pipelines de streaming.

Fonte de streaming do Kafka que lê eventos do Apache Kafka em pipelines de streaming.

Kafka Alert Publisher, que permite publicar alertas no Kafka como objetos JSON.

Coletor do Kafka que permite gravar eventos em CSV ou JSON no Kafka.

Este coletor grava pipelines de streaming em um tópico do Pub/Sub.

Esta fonte faz leituras em uma assinatura do Pub/Sub em tempo real.

Esta fonte acompanha atualizações em sObjects do Salesforce. Exemplos de sObjects são oportunidades, contatos, contas, leads, objetos personalizados etc.

Exemplos de tweets em tempo real usando o streaming do Spark. Os registros de saída terão esse esquema.

O plug-in Windower é usado para monitorar uma parte de um pipeline de streaming.

A lixeira consome todos os registros na entrada e os exclui, o que significa que nenhuma saída é gerada nem armazenada em lugar algum.