Panoramica di Datastream

Datastream è un servizio Change Data Capture (CDC) e di replica serverless e facile da usare che consente di sincronizzare i dati in modo affidabile e con latenza minima.

Datastream fornisce la replica perfetta dei dati da database operativi in BigQuery. Inoltre, Datastream supporta la scrittura del flusso di eventi di modifica in Cloud Storage e offre un'integrazione semplificata con i modelli Dataflow per creare flussi di lavoro personalizzati per il caricamento dei dati in un'ampia gamma di destinazioni, come Cloud SQL e Spanner. Puoi anche utilizzare Datastream per sfruttare il flusso di eventi direttamente da Cloud Storage, così da creare architetture basate su eventi. Datastream supporta le origini Oracle, MySQL, SQL Server, PostgreSQL (incluso AlloyDB per PostgreSQL), MongoDB (anteprima) e Salesforce (anteprima).

I vantaggi di Datastream includono:

  • Configurazione immediata delle pipeline ELT (Extract, Load, Transform) per la replica dei dati a bassa latenza per consentire insight quasi in tempo reale in BigQuery.
  • Essendo serverless, non ci sono risorse di cui eseguire il provisioning o da gestire e il servizio esegue lo scale up e lo scale down automaticamente, in base alle esigenze, con tempi di inattività minimi.
  • Esperienze di configurazione e monitoraggio facili da usare che consentono di ottenere un time-to-value super rapido.
  • Integrazione nel portafoglio dei migliori servizi di dati per l'integrazione dei dati in Datastream, Dataflow, Pub/Sub, BigQuery e altri. Google Cloud
  • Sincronizzazione e unificazione degli stream di dati in database e applicazioni eterogenei.
  • Sicurezza, con opzioni di connettività privata e la sicurezza che ti aspetti da Google Cloud.
  • Essere preciso e affidabile, con report sullo stato trasparenti e ampia flessibilità di elaborazione di fronte ai cambiamenti di dati e schemi.
  • Supporta più casi d'uso, tra cui analisi, replica e sincronizzazione dei database per migrazioni e configurazioni cloud ibride e per la creazione di architetture basate su eventi.

Casi d'uso

Le funzionalità di streaming di Datastream consentono una serie di casi d'uso:

  • Replica e sincronizzazione dei dati in tutta l'organizzazione con latenza minima

    Puoi sincronizzare i dati in diversi database e applicazioni in modo affidabile, a bassa latenza e con un impatto minimo sulle prestazioni dell'origine. Sfrutta la potenza degli stream di dati per l'analisi, la replica dei database, la migrazione al cloud e le architetture basate su eventi in ambienti ibridi.

  • Fai lo scale up o lo scale down con un'architettura serverless senza problemi

    Raggiungi la piena operatività in modo rapido con un servizio serverless e facile da utilizzare che si adatta perfettamente alle variazioni dei volumi di dati. Concentrati sull'ottenimento di insight aggiornati dai tuoi dati e sulla risposta ai problemi di alta priorità, anziché sulla gestione dell'infrastruttura, sull'ottimizzazione delle prestazioni o sul provisioning delle risorse.

  • Eseguire l'integrazione con la suite di integrazione dei dati Google Cloud

    Connetti i dati di tutta la tua organizzazione con la suite di prodotti di integrazione dei dati. Google Cloud Integra Datastream con i modelli di job Dataflow per leggere i dati da un bucket Cloud Storage e caricarli in una serie di destinazioni, come BigQuery, Spanner e Cloud SQL.

Elementi dell'esperienza

Datastream è composto da tre elementi principali:

  • Le configurazioni di connettività privata consentono a Datastream di comunicare con un'origine dati su una rete privata (internamente aGoogle Cloudo con origini esterne connesse tramite VPN o Interconnect). Questa comunicazione avviene tramite una connessione in peering Virtual Private Cloud (VPC).
  • I profili di connessione rappresentano le informazioni di connettività sia a un'origine sia a una destinazione. Queste informazioni verranno utilizzate da uno stream.
  • Gli stream utilizzano le informazioni nei profili di connessione per trasferire i dati CDC e di backfill dall'origine alla destinazione.

Passaggi successivi