La tabella seguente contiene i dettagli dei prezzi per le risorse worker e i dati Shuffle elaborati per Batch.

La tabella seguente contiene i dettagli dei prezzi per le risorse dei worker e i dati Shuffle elaborati per i job FlexRS.

Prezzi delle risorse di computing di Dataflow - flussi di dati

La tabella seguente contiene i dettagli dei prezzi per le risorse dei worker, i dati elaborati di Streaming Engine (legacy) e le unità di calcolo di Streaming Engine per i job di flussi.

Aggiustamenti del volume per i dati di Dataflow Shuffle elaborati

Gli addebiti vengono calcolati per job Dataflow attraverso gli aggiustamenti di volume applicati alla quantità totale di dati elaborati durante le operazioni di Dataflow Shuffle. La tua fattura effettiva per i dati elaborati da Dataflow Shuffle equivale all'addebito del prezzo pieno per una quantità minore di dati rispetto alla quantità elaborata da un job Dataflow. Questa differenza fa sì che la metrica dati shuffle fatturabili elaborati sia inferiore alla metrica dati shuffle totali elaborati.

La seguente tabella spiega come vengono applicati questi aggiustamenti:

Dataflow Prime è una piattaforma di elaborazione dati che si basa su Dataflow per apportare miglioramenti nell'utilizzo delle risorse e nella diagnostica distribuita.

Le risorse di computing utilizzate da un job Dataflow Prime vengono prezzate in base al numero di unità di calcolo dei dati (DCU). Le DCU rappresentano le risorse di computing allocate per eseguire la pipeline. Le altre risorse Dataflow utilizzate dai job Dataflow Prime, come Persistent Disk, GPU e snapshot, vengono fatturate separatamente.

Per ulteriori informazioni sulle regioni disponibili e sulle relative zone, consulta la pagina Regioni e zone di Compute Engine.

Data Compute Unit

Un'unità di calcolo dei dati (DCU) è un'unità di misurazione dell'utilizzo di Dataflow che monitora il numero di risorse di computing utilizzate dai tuoi job. Le risorse monitorate dalle DCU includono vCPU, memoria, dati elaborati da Dataflow Shuffle (per i job batch) e dati elaborati da Streaming Engine (per i job di flussi di dati). I job che consumano più risorse hanno un maggiore utilizzo di DCU rispetto ai job che ne consumano meno. Una DCU è paragonabile alle risorse utilizzate da un job Dataflow in esecuzione per un'ora su un worker con 1 vCPU e 4 GB di memoria.

Fatturazione Data Compute Unit

Ti viene addebitato il numero totale di DCU consumate dal tuo job. Il prezzo di una singola DCU varia a seconda che tu abbia un job batch o un job di flusso. Quando utilizzi Dataflow Prime con la fatturazione basata sulle risorse, ti viene addebitato il costo in base alle risorse totali utilizzate anziché ai byte elaborati.

Ottimizza l'utilizzo delle unità di elaborazione dei dati

Non puoi impostare il numero di DCU per i tuoi job. Le DCU vengono conteggiate da Dataflow Prime. Tuttavia, puoi ridurre il numero di DCU consumate gestendo i seguenti aspetti del tuo job:

• Riduzione del consumo di memoria
• Riduzione della quantità di dati elaborati nel processo di data shuffling mediante filtri, combinazioni e codificatori efficienti

Per identificare queste ottimizzazioni, utilizza l'interfaccia di monitoraggio di Dataflow e la scheda Dettagli esecuzione.

Qual è la differenza tra i prezzi di Dataflow Prime e i prezzi di Dataflow?

In Dataflow, ti vengono addebitati i costi relativi alle diverse risorse utilizzate dai job, come vCPU, memoria, disco permanente e la quantità di dati elaborati da Dataflow Shuffle o Streaming Engine.

Le unità di elaborazione dati consolidano tutte le risorse, ad eccezione dello spazio di archiviazione, in un'unica unità di misurazione. Ti vengono fatturate le risorse del disco permanente e il numero di DCU consumate in base al tipo di job, batch o flusso. Per ulteriori informazioni, consulta Utilizzo di Dataflow Prime.

Che cosa succede ai job esistenti che utilizzano il modello di prezzi di Dataflow?

I job batch e flusso esistenti continueranno a essere fatturati in base al modello di Dataflow. Quando aggiorni i tuoi job per utilizzare Dataflow Prime, i job utilizzeranno il modello di prezzi di Dataflow Prime, in cui vengono fatturati per le risorse del disco permanente e per le DCU consumate.

L'archiviazione, le GPU, gli snapshot e altre risorse vengono fatturati allo stesso modo per Dataflow e Dataflow Prime.

Prezzi delle risorse di archiviazione

Le risorse di archiviazione vengono fatturate con la stessa tariffa per i job di flussi, batch e FlexRS. Puoi utilizzare le opzioni pipeline per modificare la dimensione o il tipo di disco predefiniti. Dataflow Prime fattura il disco permanente separatamente in base ai prezzi riportati nella tabella seguente.

Il servizio Dataflow è attualmente limitato a 15 dischi permanenti per istanza worker quando esegue un job di flussi di dati. Ogni disco permanente è locale a una singola macchina virtuale Compute Engine. Un rapporto 1:1 tra worker e dischi è l'allocazione minima delle risorse.

I job che utilizzano Streaming Engine usano dischi di avvio da 30 GB. I job che utilizzano Dataflow Shuffle utilizzano dischi di avvio da 25 GB. Per i job che non utilizzano queste offerte, la dimensione predefinita di ogni disco permanente è di 250 GB in modalità batch e 400 GB in modalità flusso.

L'utilizzo di Compute Engine si basa sul numero medio di worker, mentre l'utilizzo di Persistent Disk si basa sul valore esatto di --maxNumWorkers. I dischi permanenti vengono ridistribuiti in modo che ogni worker abbia lo stesso numero di dischi collegati.

Prezzi delle risorse GPU

Le risorse GPU vengono fatturate alla stessa tariffa per i job di flussi e batch. FlexRS al momento non supporta le GPU. Per informazioni sulle regioni e sulle zone disponibili per le GPU, consulta Disponibilità di regioni e zone per le GPU nella documentazione di Compute Engine.

Snapshot

Per aiutarti a gestire l'affidabilità delle pipeline in modalità flusso, puoi utilizzare gli snapshot per salvare e ripristinare lo stato delle pipeline. L'utilizzo di snapshot viene fatturato in base al volume dei dati archiviati, che dipende dai seguenti fattori:

• Il volume di dati importati nella pipeline in modalità flusso
• La logica di finestratura
• Il numero di fasi della pipeline

Puoi acquisire uno snapshot del job di flusso utilizzando la console Dataflow o la Google Cloud CLI. Non è previsto alcun costo aggiuntivo per la creazione di un job dallo snapshot per il ripristino dello stato della pipeline. Per ulteriori informazioni, consulta Utilizzo degli snapshot di Dataflow.

Prezzi degli snapshot

Confidential VM

Confidential VM per Dataflow cripta i dati in uso sulle VM Compute Engine worker. Per maggiori dettagli, vedi Panoramica di Confidential VM.

L'utilizzo di Confidential VM per Dataflow comporta costi fissi aggiuntivi per vCPU e per GB.

Prezzi di Confidential VM

I prezzi sono globali e non cambiano in base alla regione Google Cloud.

Oltre all'utilizzo di Dataflow, un job potrebbe consumare le seguenti risorse, ciascuna fatturata in base ai relativi prezzi, inclusi a titolo esemplificativo:

• Cloud Storage: i job Dataflow utilizzano Cloud Storage per archiviare i file temporanei durante l'esecuzione della pipeline. Per evitare l'addebito per costi di archiviazione non necessari, disattiva la funzionalità di eliminazione temporanea sui bucket utilizzati dai job di Dataflow per l'archiviazione temporanea. Per ulteriori informazioni, vedi Rimuovere un criterio di eliminazione temporanea da un bucket.
• Pub/Sub
• Datastore
• Bigtable
• BigQuery
• VPC
• Cloud Logging: puoi instradare i log verso altre destinazioni o escludere i log dall'importazione. Per informazioni su come ottimizzare il volume dei log per i job Dataflow, consulta la sezione relativa al controllo del volume dei log di Dataflow.

Puoi visualizzare le risorse totali per vCPU, memoria e disco permanente associate a un job nel riquadro Informazioni sul job in Metriche delle risorse. Puoi monitorare le seguenti metriche nell'interfaccia di monitoraggio di Dataflow:

• Totale tempo vCPU
• Tempo totale di utilizzo della memoria
• Tempo totale di utilizzo del disco permanente
• Totale dati di streaming elaborati
• Totale dati shuffle elaborati
• Dati shuffle fatturabili elaborati

Puoi utilizzare la metrica Dati di shuffle totali elaborati per valutare le prestazioni della pipeline e la metrica Dati di shuffle fatturabili elaborati per determinare i costi del job Dataflow.

Per Dataflow Prime, puoi visualizzare il numero totale di DCU utilizzate da un job nel riquadro Informazioni sul job in Metriche delle risorse.

Utilizza il Calcolatore prezzi di Google Cloud per capire meglio in che modo vengono calcolate le fatture.

Se la valuta utilizzata per il pagamento è diversa dai dollari statunitensi, si applicano i prezzi nella tua valuta elencati negli SKU Cloud Platform.