Annuncio nel maggio 2025: Dataproc Serverless è ora Google Cloud Serverless per Apache Spark
Spark on demand: avvio rapido, zero operazioni, miglioramento delle prestazioni delle query e produttività Gemini. Riduzione del TCO fino al 60% per i workload Spark.
Apache Spark è un marchio di Apache Software Foundation.
Nessuna gestione dei cluster, avvio rapido e scalabilità automatica
Ottieni query 3,6 volte più veloci** con Lightning Engine
Accelera la produttività e le operazioni con Gemini
Integrazione perfetta con BigQuery e Vertex AI
Pienamente compatibile con il software open source
Funzionalità
Elimina le complessità della gestione dei cluster ed evita di pagare per risorse inattive e sottoutilizzate. Google Cloud Serverless per Apache Spark offre un avvio rapido delle VM e scalabilità automatica dinamica per i workload interattivi, in batch e di AI. Dedica il tuo tempo alla creazione di funzionalità, non alla gestione dell'infrastruttura. Non sono previsti addebiti durante l'avvio e l'arresto della VM.
Prova il rapporto prezzo/prestazioni leader del settore. Google Cloud Serverless per Apache Spark è basato sul nostro motore di query nativo di nuova generazione, Lightning Engine, in anteprima. Offre prestazioni di elaborazione dati e query Spark notevolmente più veloci, oltre 3, 6 volte più veloci** rispetto ad Apache Spark open source, grazie all'esecuzione vettoriale avanzata, alla memorizzazione nella cache intelligente integrata e all'I/O di archiviazione ottimizzato, aiutandoti a ottenere insight più rapidamente e a ridurre i costi.
** Le query derivano dallo standard TPC-DS e dallo standard TPC-H e, in quanto tali, non sono comparabili ai risultati pubblicati dello standard TPC-DS e dello standard TPC-H, poiché queste esecuzioni non sono conformi a tutti i requisiti delle specifiche dello standard TPC-DS e dello standard TPC-H.
Esegui i tuoi workload Spark di produzione con sicurezza. Google Cloud Serverless per Apache Spark ottimizza le risorse, fornisce l'isolamento dei job e supporta le funzionalità di sicurezza aziendali di Google Cloud (tra cui VPC-SC, CMEK, autenticazione personale e policy dell'organizzazione personalizzate). Garantisce un ambiente di esecuzione sicuro con funzionalità come subnet sicure, crittografia predefinita per i dati at-rest e in transito e nessun accesso diretto alla VM o root, riducendo al minimo il carico della sicurezza operativa. Sebbene sia stato creato per l'automazione, gli utenti esperti mantengono l'accesso completo alle configurazioni di Spark per un controllo granulare.
Integra l'AI generativa nel ciclo di vita dello sviluppo di Spark. Utilizza Gemini per la generazione di codice PySpark sensibile al contesto in notebook con un contesto intelligente dei tuoi dati per aumentare la produttività. Ricevi consigli per la risoluzione dei problemi assistiti dall'AI con Gemini Cloud Assist Investigate per risolvere rapidamente i problemi, approfondimenti operativi più approfonditi e ottimizzare le prestazioni.
Esegui senza problemi workload di inferenza batch o di addestramento distribuito. Google Cloud Serverless per Apache Spark offre il supporto integrato per l'accelerazione GPU e include le popolari librerie ML pre-pacchettizzate come XGBoost, PyTorch e Transformers. Ciò comporta tempi di avvio significativamente più rapidi per gli ambienti AI/ML e migliora l'affidabilità poiché le immagini sono certificate da Google.
Mantieni la massima flessibilità. Google Cloud Serverless per Apache Spark è completamente compatibile con OSS, quindi puoi utilizzare il codice e le librerie Spark esistenti senza modifiche. Sviluppa nel linguaggio che preferisci (Python, Java, Scala, R) utilizzando l'IDE che preferisci (BigQuery Studio, Vertex AI Workbench, Jupyter, VSCode) e orchestra con strumenti come Apache Airflow/Cloud Composer o pipeline BigQuery. Elabora tutti i formati di dati, ad esempio nativi di Google e open source come Apache Iceberg.
Sfrutta la potenza di Apache Spark direttamente all'interno di BigQuery. Scrivi ed esegui codice PySpark insieme a SQL in notebook Colab Enterprise unificati, sfruttando metadati comuni tramite il metastore BigLake, sicurezza condivisa e governance coerente tramite il catalogo universale Dataplex.
Utilizzi comuni
ETL/ELT serverless superveloce
Importa, trasforma e carica rapidamente set di dati di grandi dimensioni da diverse origini in BigQuery o Google Cloud Storage. Grazie alle prestazioni ineguagliabili di Lightning Engine e a zero oneri operativi, puoi semplificare le pipeline di dati e garantire dati aggiornati per l'analisi.
ETL/ELT serverless superveloce
Importa, trasforma e carica rapidamente set di dati di grandi dimensioni da diverse origini in BigQuery o Google Cloud Storage. Grazie alle prestazioni ineguagliabili di Lightning Engine e a zero oneri operativi, puoi semplificare le pipeline di dati e garantire dati aggiornati per l'analisi.
Analisi interattiva e prototipazione rapida
Offri ai tuoi data scientist e analisti un ambiente Spark serverless flessibile e ad alte prestazioni. Che tu stia eseguendo l'esplorazione dei dati ad hoc, la prototipazione rapida o la creazione di modelli di machine learning sofisticati, Google Cloud Serverless per Apache Spark offre la velocità e gli strumenti di cui hai bisogno. Sviluppa codice PySpark e SQL in BigQuery Studio per un'esperienza unificata oppure connettiti dai tuoi strumenti preferiti come i notebook Jupyter e VS Code con le estensioni Google Cloud. Sfrutta Gemini per l'assistenza e la risoluzione dei problemi di codice, Lightning Engine per risultati di query rapidi e l'integrazione di Vertex AI per MLOps. Dalla rapida rilevazione dei dati all'addestramento di modelli complessi con GPU e librerie pre-confezionate, accelera l'intero ciclo di vita della data science.
Analisi interattiva e prototipazione rapida
Offri ai tuoi data scientist e analisti un ambiente Spark serverless flessibile e ad alte prestazioni. Che tu stia eseguendo l'esplorazione dei dati ad hoc, la prototipazione rapida o la creazione di modelli di machine learning sofisticati, Google Cloud Serverless per Apache Spark offre la velocità e gli strumenti di cui hai bisogno. Sviluppa codice PySpark e SQL in BigQuery Studio per un'esperienza unificata oppure connettiti dai tuoi strumenti preferiti come i notebook Jupyter e VS Code con le estensioni Google Cloud. Sfrutta Gemini per l'assistenza e la risoluzione dei problemi di codice, Lightning Engine per risultati di query rapidi e l'integrazione di Vertex AI per MLOps. Dalla rapida rilevazione dei dati all'addestramento di modelli complessi con GPU e librerie pre-confezionate, accelera l'intero ciclo di vita della data science.
Prezzi
Prezzi trasparenti e basati sul valore | I prezzi di Google Cloud Serverless Spark si basano sull'utilizzo al secondo di risorse di computing (DCUs), GPU e archiviazione shuffle. | |
---|---|---|
Servizi e utilizzo | Tipo di abbonamento | Prezzo ($) |
Data Compute Unit (DCU) | Standard | A partire da 0,06 $ all'ora |
Premium | A partire da 0,089 $ all'ora | |
Spazio di archiviazione per shuffling | Standard | A partire da 0,04 $ per GB/mese |
Premium | A partire da 0,1 $ per GB/mese | |
Prezzi degli acceleratori | a100 40 GB | A partire da $3,52069 all'ora |
a100 80 GB | A partire da $4,713696 all'ora | |
L4 | A partire da $0,672048 all'ora |
Visualizza i dettagli dei prezzi di Google Cloud Serverless per Apache Spark.
Prezzi trasparenti e basati sul valore
I prezzi di Google Cloud Serverless Spark si basano sull'utilizzo al secondo di risorse di computing (DCUs), GPU e archiviazione shuffle.
Data Compute Unit (DCU)
Standard
Starting at
0,06 $
all'ora
Premium
Starting at
0,089 $
all'ora
Spazio di archiviazione per shuffling
Standard
Starting at
0,04 $
per GB/mese
Premium
Starting at
0,1 $
per GB/mese
Prezzi degli acceleratori
a100 40 GB
Starting at
$3,52069
all'ora
a100 80 GB
Starting at
$4,713696
all'ora
L4
Starting at
$0,672048
all'ora
Visualizza i dettagli dei prezzi di Google Cloud Serverless per Apache Spark.