这是indexloc提供的服务,不要输入任何密码

Annuncio nel maggio 2025: Dataproc Serverless è ora Google Cloud Serverless per Apache Spark

Google Cloud Serverless per Apache Spark

Il nuovo modo di utilizzare Apache Spark dallo sviluppo alla produzione

Spark on demand: avvio rapido, zero operazioni, miglioramento delle prestazioni delle query e produttività Gemini. Riduzione del TCO fino al 60% per i workload Spark.

Apache Spark è un marchio di Apache Software Foundation.


Funzionalità

Spark on demand: concentrati sul codice, non sui cluster

Elimina le complessità della gestione dei cluster ed evita di pagare per risorse inattive e sottoutilizzate. Google Cloud Serverless per Apache Spark offre un avvio rapido delle VM e scalabilità automatica dinamica per i workload interattivi, in batch e di AI. Dedica il tuo tempo alla creazione di funzionalità, non alla gestione dell'infrastruttura. Non sono previsti addebiti durante l'avvio e l'arresto della VM.

Migliora il rendimento con Lightning Engine

Prova il rapporto prezzo/prestazioni leader del settore. Google Cloud Serverless per Apache Spark è basato sul nostro motore di query nativo di nuova generazione, Lightning Engine, in anteprima. Offre prestazioni di elaborazione dati e query Spark notevolmente più veloci, oltre 3, 6 volte più veloci** rispetto ad Apache Spark open source, grazie all'esecuzione vettoriale avanzata, alla memorizzazione nella cache intelligente integrata e all'I/O di archiviazione ottimizzato, aiutandoti a ottenere insight più rapidamente e a ridurre i costi.

** Le query derivano dallo standard TPC-DS e dallo standard TPC-H e, in quanto tali, non sono comparabili ai risultati pubblicati dello standard TPC-DS e dello standard TPC-H, poiché queste esecuzioni non sono conformi a tutti i requisiti delle specifiche dello standard TPC-DS e dello standard TPC-H.

Sicurezza e configurazioni di livello aziendale

Esegui i tuoi workload Spark di produzione con sicurezza. Google Cloud Serverless per Apache Spark ottimizza le risorse, fornisce l'isolamento dei job e supporta le funzionalità di sicurezza aziendali di Google Cloud (tra cui VPC-SC, CMEK, autenticazione personale e policy dell'organizzazione personalizzate). Garantisce un ambiente di esecuzione sicuro con funzionalità come subnet sicure, crittografia predefinita per i dati at-rest e in transito e nessun accesso diretto alla VM o root, riducendo al minimo il carico della sicurezza operativa. Sebbene sia stato creato per l'automazione, gli utenti esperti mantengono l'accesso completo alle configurazioni di Spark per un controllo granulare.

Produttività a ogni passo con Gemini

Integra l'AI generativa nel ciclo di vita dello sviluppo di Spark. Utilizza Gemini per la generazione di codice PySpark sensibile al contesto in notebook con un contesto intelligente dei tuoi dati per aumentare la produttività. Ricevi consigli per la risoluzione dei problemi assistiti dall'AI con Gemini Cloud Assist Investigate per risolvere rapidamente i problemi, approfondimenti operativi più approfonditi e ottimizzare le prestazioni.

Semplice AI/ML distribuito

Esegui senza problemi workload di inferenza batch o di addestramento distribuito. Google Cloud Serverless per Apache Spark offre il supporto integrato per l'accelerazione GPU e include le popolari librerie ML pre-pacchettizzate come XGBoost, PyTorch e Transformers. Ciò comporta tempi di avvio significativamente più rapidi per gli ambienti AI/ML e migliora l'affidabilità poiché le immagini sono certificate da Google.

Aperti, flessibili e interoperabili

Mantieni la massima flessibilità. Google Cloud Serverless per Apache Spark è completamente compatibile con OSS, quindi puoi utilizzare il codice e le librerie Spark esistenti senza modifiche. Sviluppa nel linguaggio che preferisci (Python, Java, Scala, R) utilizzando l'IDE che preferisci (BigQuery Studio, Vertex AI Workbench, Jupyter, VSCode) e orchestra con strumenti come Apache Airflow/Cloud Composer o pipeline BigQuery. Elabora tutti i formati di dati, ad esempio nativi di Google e open source come Apache Iceberg.

Esperienza unificata di BigQuery

Sfrutta la potenza di Apache Spark direttamente all'interno di BigQuery. Scrivi ed esegui codice PySpark insieme a SQL in notebook Colab Enterprise unificati, sfruttando metadati comuni tramite il metastore BigLake, sicurezza condivisa e governance coerente tramite il catalogo universale Dataplex.

Come funziona

 Spark senza sforzi: dall'idea alla produzione

Utilizzi comuni

Pipeline serverless

 ETL/ELT serverless superveloce

Importa, trasforma e carica rapidamente set di dati di grandi dimensioni da diverse origini in BigQuery o Google Cloud Storage. Grazie alle prestazioni ineguagliabili di Lightning Engine e a zero oneri operativi, puoi semplificare le pipeline di dati e garantire dati aggiornati per l'analisi.

 ETL/ELT serverless superveloce

Importa, trasforma e carica rapidamente set di dati di grandi dimensioni da diverse origini in BigQuery o Google Cloud Storage. Grazie alle prestazioni ineguagliabili di Lightning Engine e a zero oneri operativi, puoi semplificare le pipeline di dati e garantire dati aggiornati per l'analisi.

Data science e analisi interattive

Analisi interattiva e prototipazione rapida

Offri ai tuoi data scientist e analisti un ambiente Spark serverless flessibile e ad alte prestazioni. Che tu stia eseguendo l'esplorazione dei dati ad hoc, la prototipazione rapida o la creazione di modelli di machine learning sofisticati, Google Cloud Serverless per Apache Spark offre la velocità e gli strumenti di cui hai bisogno. Sviluppa codice PySpark e SQL in BigQuery Studio per un'esperienza unificata oppure connettiti dai tuoi strumenti preferiti come i notebook Jupyter e VS Code con le estensioni Google Cloud. Sfrutta Gemini per l'assistenza e la risoluzione dei problemi di codice, Lightning Engine per risultati di query rapidi e l'integrazione di Vertex AI per MLOps. Dalla rapida rilevazione dei dati all'addestramento di modelli complessi con GPU e librerie pre-confezionate, accelera l'intero ciclo di vita della data science.

Analisi interattiva e prototipazione rapida

Offri ai tuoi data scientist e analisti un ambiente Spark serverless flessibile e ad alte prestazioni. Che tu stia eseguendo l'esplorazione dei dati ad hoc, la prototipazione rapida o la creazione di modelli di machine learning sofisticati, Google Cloud Serverless per Apache Spark offre la velocità e gli strumenti di cui hai bisogno. Sviluppa codice PySpark e SQL in BigQuery Studio per un'esperienza unificata oppure connettiti dai tuoi strumenti preferiti come i notebook Jupyter e VS Code con le estensioni Google Cloud. Sfrutta Gemini per l'assistenza e la risoluzione dei problemi di codice, Lightning Engine per risultati di query rapidi e l'integrazione di Vertex AI per MLOps. Dalla rapida rilevazione dei dati all'addestramento di modelli complessi con GPU e librerie pre-confezionate, accelera l'intero ciclo di vita della data science.

Genera una soluzione
Che tipo di problema stai cercando di risolvere?
What you'll get:
Guida passo passo
Architettura di riferimento
Soluzioni predefinite disponibili
Questo servizio è stato creato con Vertex AI. Devi avere almeno 18 anni per utilizzarlo. Non inserire informazioni sensibili, riservate o personali.

Prezzi

Prezzi trasparenti e basati sul valoreI prezzi di Google Cloud Serverless Spark si basano sull'utilizzo al secondo di risorse di computing (DCUs), GPU e archiviazione shuffle.
Servizi e utilizzoTipo di abbonamento Prezzo ($)

Data Compute Unit (DCU)

Standard

A partire da

0,06 $

all'ora

Premium

A partire da

0,089 $

all'ora

Spazio di archiviazione per shuffling

Standard

A partire da

0,04 $

per GB/mese

Premium

A partire da

0,1 $

per GB/mese

Prezzi degli acceleratori

a100 40 GB

A partire da

$3,52069

all'ora

a100 80 GB

A partire da

$4,713696

all'ora

L4

A partire da

$0,672048

all'ora

Visualizza i dettagli dei prezzi di Google Cloud Serverless per Apache Spark.

Prezzi trasparenti e basati sul valore

I prezzi di Google Cloud Serverless Spark si basano sull'utilizzo al secondo di risorse di computing (DCUs), GPU e archiviazione shuffle.

Data Compute Unit (DCU)

Tipo di abbonamento

Standard

Prezzo ($)

Starting at

0,06 $

all'ora

Premium

Tipo di abbonamento

Starting at

0,089 $

all'ora

Spazio di archiviazione per shuffling

Tipo di abbonamento

Standard

Prezzo ($)

Starting at

0,04 $

per GB/mese

Premium

Tipo di abbonamento

Starting at

0,1 $

per GB/mese

Prezzi degli acceleratori

Tipo di abbonamento

a100 40 GB

Prezzo ($)

Starting at

$3,52069

all'ora

a100 80 GB

Tipo di abbonamento

Starting at

$4,713696

all'ora

L4

Tipo di abbonamento

Starting at

$0,672048

all'ora

Visualizza i dettagli dei prezzi di Google Cloud Serverless per Apache Spark.

Calcolatore prezzi

Calcola i costi mensili per regione.

Preventivo personalizzato

Contatta il nostro team di vendita per ricevere un preventivo personalizzato per la tua organizzazione.

Inizia subito

Tutorial per iniziare

Hai un progetto di grandi dimensioni?

Panoramica del prodotto

Utilizza il connettore BigQuery con Apache Spark serverless di Google Cloud

Utilizza le GPU con Google Cloud Serverless per Apache Spark

Google Cloud