Bekannt gegeben im Mai 2025: Dataproc Serverless heißt jetzt Google Cloud Serverless für Apache Spark
On-Demand-Spark: Schneller Start, managementfrei, bessere Abfrageleistung und höhere Produktivität mit Gemini. Bis zu 60% niedrigere Gesamtbetriebskosten für Spark-Arbeitslasten
Apache Spark ist eine Marke der Apache Software Foundation.
Features
Die Komplexität der Clusterverwaltung wird beseitigt und Sie zahlen nicht für ungenutzte Ressourcen. Google Cloud Serverless für Apache Spark bietet einen schnellen VM-Start und dynamisches Autoscaling für interaktive, Batch- und KI-Arbeitslasten. Verbringen Sie Ihre Zeit mit der Entwicklung von Funktionen, nicht mit der Verwaltung der Infrastruktur. Für das Starten und Beenden von VMs fallen keine Gebühren an.
Branchenführendes Preis-Leistungs-Verhältnis. Google Cloud Serverless für Apache Spark wird von unserer nativen Abfrage-Engine der nächsten Generation, der Lightning Engine, in der Vorabversion unterstützt. Dank der erweiterten vektorisierten Ausführung, dem integrierten intelligenten Caching und der optimierten Speicher-E/A bietet es eine deutlich schnellere Spark-Abfrage- und Datenverarbeitungsleistung, mehr als 3,6-mal schneller** als Open-Source-Apache Spark. So können Sie schneller Erkenntnisse gewinnen und Kosten senken.
** Die Abfragen sind vom TPC-DS-Standard und TPC-H-Standard abgeleitet und daher nicht mit veröffentlichten TPC-DS-Standard- und TPC-H-Standard-Ergebnissen vergleichbar, da diese Ausführungen nicht allen Anforderungen der TPC-DS-Standard- und TPC-H-Standard-Spezifikation entsprechen.
Führen Sie Ihre Produktions-Spark-Arbeitslasten mit Zuversicht aus. Google Cloud Serverless für Apache Spark optimiert Ressourcen, bietet Job-Isolation und unterstützt die Sicherheitsfunktionen für Unternehmen von Google Cloud (einschließlich VPC-SC, CMEK, persönliche Authentifizierung und benutzerdefinierte Organisationsrichtlinien). Es sorgt für eine sichere Ausführungsumgebung mit Funktionen wie sicheren Subnetzen, standardmäßiger Verschlüsselung für Daten in Ruhezustand und während der Übertragung sowie ohne direkten VM- oder Root-Zugriff, wodurch die operative Sicherheitsbelastung minimiert wird. Obwohl es für die Automatisierung entwickelt wurde, haben erfahrene Nutzer*innen weiterhin vollen Zugriff auf Spark-Konfigurationen für eine detaillierte Steuerung.
Generative AI in den Spark-Entwicklungszyklus einbinden. Nutzen Sie Gemini für die kontextsensitive PySpark-Codegenerierung in Notebooks mit intelligentem Kontext Ihrer Daten, um die Produktivität zu steigern. Mit Gemini Cloud Assist Investigate erhalten Sie KI-gestützte Empfehlungen zur Problembehebung, um Probleme schnell zu beheben, tiefere operative Einblicke zu erhalten und die Leistung zu optimieren.
Verteilte Trainings- oder Batch-Inferenzarbeitslasten nahtlos ausführen. Google Cloud Serverless für Apache Spark bietet integrierte Unterstützung für die GPU-Beschleunigung und wird mit vorverpackten beliebten ML-Bibliotheken wie XGBoost, PyTorch und Transformers geliefert. Das führt zu deutlich kürzeren Startzeiten für KI-/ML-Umgebungen und verbessert die Zuverlässigkeit, da die Images von Google zertifiziert sind.
Volle Flexibilität beibehalten. Google Cloud Serverless für Apache Spark ist vollständig OSS-kompatibel, sodass Sie Ihren vorhandenen Spark-Code und Ihre Bibliotheken ohne Änderungen übernehmen können. Sie können in der Sprache Ihrer Wahl (Python, Java, Scala, R) mit Ihrer bevorzugten IDE (BigQuery Studio, Vertex AI Workbench, Jupyter, VSCode) entwickeln und mit Tools wie Apache Airflow/Cloud Composer oder BigQuery Pipelines orchestrieren. Alle Datenformate verarbeiten, z. B. native Google-Formate und Open-Source-Formate wie Apache Iceberg.
Nutzen Sie die Leistungsfähigkeit von Apache Spark direkt in BigQuery. Sie können PySpark-Code neben SQL in einheitlichen Colab Enterprise-Notebooks schreiben und ausführen. Dabei werden gemeinsame Metadaten über BigLake Metastore, gemeinsame Sicherheit und konsistente Governance über den Dataplex Universal Catalog genutzt.
Gängige Einsatzmöglichkeiten
Ultraschnelles serverloses ETL/ELT
Sie können große Datasets aus verschiedenen Quellen schnell in BigQuery oder Google Cloud Storage einspeisen, transformieren und laden. Dank der beispiellosen Leistung der Lightning Engine und ohne operative Belastung können Sie Ihre Datenpipelines optimieren und aktuelle Daten für Analysen bereitstellen.
Ultraschnelles serverloses ETL/ELT
Sie können große Datasets aus verschiedenen Quellen schnell in BigQuery oder Google Cloud Storage einspeisen, transformieren und laden. Dank der beispiellosen Leistung der Lightning Engine und ohne operative Belastung können Sie Ihre Datenpipelines optimieren und aktuelle Daten für Analysen bereitstellen.
Interaktive Analysen und schnelles Prototyping
Data Scientists und Analysten profitieren von einer flexiblen, leistungsstarken, serverlosen Spark-Umgebung. Ganz gleich, ob Sie Ad-hoc-Datenexploration, schnelles Prototyping oder komplexe Modelle für maschinelles Lernen erstellen möchten – Google Cloud Serverless für Apache Spark bietet Ihnen die erforderliche Geschwindigkeit und die benötigten Tools. Entwickeln Sie PySpark- und SQL-Code in BigQuery Studio für eine einheitliche Umgebung oder verbinden Sie Ihre bevorzugten Tools wie Jupyter Notebooks und VS Code mit Google Cloud-Erweiterungen. Nutzen Sie Gemini für Code-Unterstützung und Troubleshooting, die Lightning Engine für schnelle Abfrageergebnisse und die Vertex AI-Integration für MLOps. Von der schnellen Datenerkennung bis hin zum Training komplexer Modelle mit GPUs und vorgefertigten Bibliotheken – beschleunigen Sie den gesamten Data-Science-Lebenszyklus.
Interaktive Analysen und schnelles Prototyping
Data Scientists und Analysten profitieren von einer flexiblen, leistungsstarken, serverlosen Spark-Umgebung. Ganz gleich, ob Sie Ad-hoc-Datenexploration, schnelles Prototyping oder komplexe Modelle für maschinelles Lernen erstellen möchten – Google Cloud Serverless für Apache Spark bietet Ihnen die erforderliche Geschwindigkeit und die benötigten Tools. Entwickeln Sie PySpark- und SQL-Code in BigQuery Studio für eine einheitliche Umgebung oder verbinden Sie Ihre bevorzugten Tools wie Jupyter Notebooks und VS Code mit Google Cloud-Erweiterungen. Nutzen Sie Gemini für Code-Unterstützung und Troubleshooting, die Lightning Engine für schnelle Abfrageergebnisse und die Vertex AI-Integration für MLOps. Von der schnellen Datenerkennung bis hin zum Training komplexer Modelle mit GPUs und vorgefertigten Bibliotheken – beschleunigen Sie den gesamten Data-Science-Lebenszyklus.
Preise
Transparente, wertorientierte Preise | Die Preise für Google Cloud Serverless Spark basieren auf der sekundengenauen Nutzung von Computing (DCUs), GPUs und Shuffle-Speicher. | |
---|---|---|
Dienste und Nutzung | Abotyp | Preis ($) |
Data Compute Unit (DCU) | Standard | Ab 0,06 $ pro Stunde |
Premium | Ab 0,089 $ pro Stunde | |
Shuffle-Speicher | Standard | Ab 0,04 $ pro GB/Monat |
Premium | Ab 0,1 $ pro GB/Monat | |
Preise für Beschleuniger | a100 40 GB | Ab 3,52069 $ pro Stunde |
a100 80 GB | Ab 4,713696 $ pro Stunde | |
L4 | Ab 0,672048 $ pro Stunde |
Transparente, wertorientierte Preise
Die Preise für Google Cloud Serverless Spark basieren auf der sekundengenauen Nutzung von Computing (DCUs), GPUs und Shuffle-Speicher.
Data Compute Unit (DCU)
Standard
Starting at
0,06 $
pro Stunde
Premium
Starting at
0,089 $
pro Stunde
Shuffle-Speicher
Standard
Starting at
0,04 $
pro GB/Monat
Premium
Starting at
0,1 $
pro GB/Monat
Preise für Beschleuniger
a100 40 GB
Starting at
3,52069 $
pro Stunde
a100 80 GB
Starting at
4,713696 $
pro Stunde
L4
Starting at
0,672048 $
pro Stunde