BigLake
Crea la tua lakehouse Apache Iceberg con BigLake
Crea una lakehouse Iceberg aperta, gestita e ad alte prestazioni per consentire analisi e data science avanzate, con gestione dei dati automatizzata e governance integrata.
Funzionalità
Interoperabilità tra dati transazionali e analitici
BigLake Metastore è un metastore serverless per tutte le tue tabelle Iceberg. Motori come Apache Spark, BigQuery e piattaforme di terze parti possono utilizzarlo per creare e gestire le tabelle, offrendo una visione coerente dei dati e controlli di accesso unificati. BigLake Metastore ora supporta Apache Iceberg Rest Catalog (anteprima) per una facile integrazione con OSS e motori di terze parti. I dati delle tabelle iceberg sono ora accessibili in AlloyDB (anteprima) per ottenere l'interoperabilità tra piattaforme transazionali e analitiche.
Gestione e governance dei dati unificate
BigLake estende le funzionalità di gestione di Google Cloud Storage, consentendoti di utilizzare la classe automatica di archiviazione per un efficiente tiering dei dati non attivi e di applicare le chiavi di crittografia gestite dal cliente (CMEK) ai tuoi bucket di archiviazione. Il metastore BigLake si integra in modo nativo nel catalogo universale Dataplex, garantendo che le policy di governance definite centralmente vengano applicate in modo coerente su più motori, consentendo al contempo la ricerca semantica, la derivazione dei dati, la profilazione e i controlli di qualità.
Analisi, streaming e AI ad alte prestazioni con BigQuery
Le tabelle BigLake per Apache Iceberg offrono un'esperienza Iceberg pronta per l'ambiente enterprise e completamente gestita quando vengono utilizzate con BigQuery. Archiviando i dati Apache Iceberg nei tuoi bucket Google Cloud Storage, e sfruttando le capacità di gestione dei metadati in tempo reale e altamente scalabili di BigQuery, ottieni il meglio da entrambi i mondi: l'apertura e la proprietà dei dati associati a GCS, nonché l'accesso alle funzionalità completamente gestite di BigQuery con i dati Iceberg per i casi d'uso di streaming, analisi avanzata e AI.
Come funziona
BigLake offre un'implementazione nativa per Apache Iceberg su Cloud Storage, dove puoi sfruttare BigQuery o i motori open source che preferisci direttamente sui dati Iceberg. BigLake Metastore semplifica la gestione dei dati e si integra con il catalogo universale Dataplex per una governance unificata.
BigLake offre un'implementazione nativa per Apache Iceberg su Cloud Storage, dove puoi sfruttare BigQuery o i motori open source che preferisci direttamente sui dati Iceberg. BigLake Metastore semplifica la gestione dei dati e si integra con il catalogo universale Dataplex per una governance unificata.
Utilizzi comuni
Crea una lakehouse aperta con Iceberg
Comprendere i componenti Google Cloud di una data lakehouse aperta
Comprendere i componenti Google Cloud di una data lakehouse aperta
Per creare una lakehouse Iceberg con BigLake, inizia archiviando i dati in Cloud Storage. Quindi, definisci questi dati utilizzando le tabelle BigLake per Apache Iceberg. Il metastore BigLake funge da catalogo centralizzato e serverless per queste tabelle Iceberg, eliminando la necessità di gestire un'infrastruttura complessa. Questa configurazione consente a qualsiasi motore compatibile con Iceberg di accedere e gestire i dati in modo coerente, creando facilmente un ambiente lakehouse unificato, aperto e scalabile.
Tutorial, guide rapide e lab
Comprendere i componenti Google Cloud di una data lakehouse aperta
Comprendere i componenti Google Cloud di una data lakehouse aperta
Per creare una lakehouse Iceberg con BigLake, inizia archiviando i dati in Cloud Storage. Quindi, definisci questi dati utilizzando le tabelle BigLake per Apache Iceberg. Il metastore BigLake funge da catalogo centralizzato e serverless per queste tabelle Iceberg, eliminando la necessità di gestire un'infrastruttura complessa. Questa configurazione consente a qualsiasi motore compatibile con Iceberg di accedere e gestire i dati in modo coerente, creando facilmente un ambiente lakehouse unificato, aperto e scalabile.
Analisi avanzata con BigQuery
Fornisci insight e previsioni in tempo reale per i servizi finanziari
Fornisci insight e previsioni in tempo reale per i servizi finanziari
Puoi utilizzare Apache Iceberg per i set di dati di data lake in evoluzione come transazioni o feed di mercato. BigLake consente a BigQuery di eseguire query sulle tabelle Iceberg insieme allo spazio di archiviazione nativo senza spostare i dati. Puoi importare flussi in tempo reale in BigQuery, combinandoli con i dati storici di Iceberg tramite BigLake per un'analisi immediata e completa. BigQuery ML genera quindi insight in tempo reale come la volatilità del mercato e il rilevamento delle frodi, nonché modelli predittivi come il rischio di credito e il comportamento dei clienti.
Tutorial, guide rapide e lab
Fornisci insight e previsioni in tempo reale per i servizi finanziari
Fornisci insight e previsioni in tempo reale per i servizi finanziari
Puoi utilizzare Apache Iceberg per i set di dati di data lake in evoluzione come transazioni o feed di mercato. BigLake consente a BigQuery di eseguire query sulle tabelle Iceberg insieme allo spazio di archiviazione nativo senza spostare i dati. Puoi importare flussi in tempo reale in BigQuery, combinandoli con i dati storici di Iceberg tramite BigLake per un'analisi immediata e completa. BigQuery ML genera quindi insight in tempo reale come la volatilità del mercato e il rilevamento delle frodi, nonché modelli predittivi come il rischio di credito e il comportamento dei clienti.
Attivare tutti gli utenti di dati su una singola copia di dati
BigLake offre un accesso sicuro e coerente a una singola copia dei dati in Cloud Storage. Il catalogo universale Dataplex cataloga quindi automaticamente questi dati in modo che tutti gli utenti e i motori di dati possano accedervi. Questo garantisce definizioni di dati coerenti, facile rilevazione e governance unificata, eliminando i silos e favorendo la collaborazione su un'unica fonte attendibile.
Tutorial, guide rapide e lab
BigLake offre un accesso sicuro e coerente a una singola copia dei dati in Cloud Storage. Il catalogo universale Dataplex cataloga quindi automaticamente questi dati in modo che tutti gli utenti e i motori di dati possano accedervi. Questo garantisce definizioni di dati coerenti, facile rilevazione e governance unificata, eliminando i silos e favorendo la collaborazione su un'unica fonte attendibile.
Prezzi
| Come funzionano i prezzi di BigLake | I prezzi di BigLake si basano sulla gestione dei tabelle, sull'archiviazione dei metadati e sull'accesso ai metadati | |
|---|---|---|
| Servizi e utilizzo | Descrizione | Prezzo ($) |
Gestione delle tabelle di BigLake | Risorse di calcolo per la gestione delle tabelle BigLake utilizzate per l'ottimizzazione automatica dello spazio di archiviazione delle tabelle. | A partire da $ 0,12 per DCU-ora |
Archiviazione dei metadati di BigLake | BigLake Metastore addebita i metadati archiviati. Il livello gratuito include 1 GiB di spazio di archiviazione per i metadati al mese. | A partire da 0,04 $ per GiB al mese |
Accesso ai metadati di BigLake | Operazioni di classe A: addebiti per l'accesso ai metadati di BigLake per le operazioni di scrittura, aggiornamento, elenco, creazione e configurazione con un livello gratuito di 5000 operazioni al mese incluso. | A partire da $6,00 per milione di operazioni |
Operazioni di classe B: costi di accesso ai metadati di BigLake per operazioni di lettura, recupero ed eliminazione con un livello gratuito di 50.000 operazioni al mese incluso. | A partire da $ 0,90 per milione di operazioni | |
Come funzionano i prezzi di BigLake
I prezzi di BigLake si basano sulla gestione dei tabelle, sull'archiviazione dei metadati e sull'accesso ai metadati
Gestione delle tabelle di BigLake
Risorse di calcolo per la gestione delle tabelle BigLake utilizzate per l'ottimizzazione automatica dello spazio di archiviazione delle tabelle.
Starting at
$ 0,12
per DCU-ora
Archiviazione dei metadati di BigLake
BigLake Metastore addebita i metadati archiviati. Il livello gratuito include 1 GiB di spazio di archiviazione per i metadati al mese.
Starting at
0,04 $
per GiB al mese
Accesso ai metadati di BigLake
Operazioni di classe A: addebiti per l'accesso ai metadati di BigLake per le operazioni di scrittura, aggiornamento, elenco, creazione e configurazione con un livello gratuito di 5000 operazioni al mese incluso.
Starting at
$6,00
per milione di operazioni
Operazioni di classe B: costi di accesso ai metadati di BigLake per operazioni di lettura, recupero ed eliminazione con un livello gratuito di 50.000 operazioni al mese incluso.
Starting at
$ 0,90
per milione di operazioni