这是indexloc提供的服务,不要输入任何密码

Bekannt gegeben im Mai 2025: Dataproc Serverless heißt jetzt Google Cloud Serverless für Apache Spark

Google Cloud Serverless für Apache Spark

Der neue Weg für Apache Spark von der Entwicklung bis zur Produktion

On-Demand-Spark: Schneller Start, managementfrei, bessere Abfrageleistung und höhere Produktivität mit Gemini. Bis zu 60% niedrigere Gesamtbetriebskosten für Spark-Arbeitslasten

Apache Spark ist eine Marke der Apache Software Foundation.


Features

On-Demand-Spark: Fokus auf Code, nicht auf Cluster

Die Komplexität der Clusterverwaltung wird beseitigt und Sie zahlen nicht für ungenutzte Ressourcen. Google Cloud Serverless für Apache Spark bietet einen schnellen VM-Start und dynamisches Autoscaling für interaktive, Batch- und KI-Arbeitslasten. Verbringen Sie Ihre Zeit mit der Entwicklung von Funktionen, nicht mit der Verwaltung der Infrastruktur. Für das Starten und Beenden von VMs fallen keine Gebühren an.

Leistung mit Lightning Engine steigern

Branchenführendes Preis-Leistungs-Verhältnis. Google Cloud Serverless für Apache Spark wird von unserer nativen Abfrage-Engine der nächsten Generation, der Lightning Engine, in der Vorabversion unterstützt. Dank der erweiterten vektorisierten Ausführung, dem integrierten intelligenten Caching und der optimierten Speicher-E/A bietet es eine deutlich schnellere Spark-Abfrage- und Datenverarbeitungsleistung, mehr als 3,6-mal schneller** als Open-Source-Apache Spark. So können Sie schneller Erkenntnisse gewinnen und Kosten senken.

** Die Abfragen sind vom TPC-DS-Standard und TPC-H-Standard abgeleitet und daher nicht mit veröffentlichten TPC-DS-Standard- und TPC-H-Standard-Ergebnissen vergleichbar, da diese Ausführungen nicht allen Anforderungen der TPC-DS-Standard- und TPC-H-Standard-Spezifikation entsprechen.

Sicherheit und Konfigurationen für Unternehmen

Führen Sie Ihre Produktions-Spark-Arbeitslasten mit Zuversicht aus. Google Cloud Serverless für Apache Spark optimiert Ressourcen, bietet Job-Isolation und unterstützt die Sicherheitsfunktionen für Unternehmen von Google Cloud (einschließlich VPC-SC, CMEK, persönliche Authentifizierung und benutzerdefinierte Organisationsrichtlinien). Es sorgt für eine sichere Ausführungsumgebung mit Funktionen wie sicheren Subnetzen, standardmäßiger Verschlüsselung für Daten in Ruhezustand und während der Übertragung sowie ohne direkten VM- oder Root-Zugriff, wodurch die operative Sicherheitsbelastung minimiert wird. Obwohl es für die Automatisierung entwickelt wurde, haben erfahrene Nutzer*innen weiterhin vollen Zugriff auf Spark-Konfigurationen für eine detaillierte Steuerung.

Produktivität dank Gemini in jeder Phase

Generative AI in den Spark-Entwicklungszyklus einbinden. Nutzen Sie Gemini für die kontextsensitive PySpark-Codegenerierung in Notebooks mit intelligentem Kontext Ihrer Daten, um die Produktivität zu steigern. Mit Gemini Cloud Assist Investigate erhalten Sie KI-gestützte Empfehlungen zur Problembehebung, um Probleme schnell zu beheben, tiefere operative Einblicke zu erhalten und die Leistung zu optimieren.

Einfache verteilte KI/ML

Verteilte Trainings- oder Batch-Inferenzarbeitslasten nahtlos ausführen. Google Cloud Serverless für Apache Spark bietet integrierte Unterstützung für die GPU-Beschleunigung und wird mit vorverpackten beliebten ML-Bibliotheken wie XGBoost, PyTorch und Transformers geliefert. Das führt zu deutlich kürzeren Startzeiten für KI-/ML-Umgebungen und verbessert die Zuverlässigkeit, da die Images von Google zertifiziert sind.

Offen, flexibel und interoperabel

Volle Flexibilität beibehalten. Google Cloud Serverless für Apache Spark ist vollständig OSS-kompatibel, sodass Sie Ihren vorhandenen Spark-Code und Ihre Bibliotheken ohne Änderungen übernehmen können. Sie können in der Sprache Ihrer Wahl (Python, Java, Scala, R) mit Ihrer bevorzugten IDE (BigQuery Studio, Vertex AI Workbench, Jupyter, VSCode) entwickeln und mit Tools wie Apache Airflow/Cloud Composer oder BigQuery Pipelines orchestrieren. Alle Datenformate verarbeiten, z. B. native Google-Formate und Open-Source-Formate wie Apache Iceberg.

Einheitliche BigQuery-Umgebung

Nutzen Sie die Leistungsfähigkeit von Apache Spark direkt in BigQuery. Sie können PySpark-Code neben SQL in einheitlichen Colab Enterprise-Notebooks schreiben und ausführen. Dabei werden gemeinsame Metadaten über BigLake Metastore, gemeinsame Sicherheit und konsistente Governance über den Dataplex Universal Catalog genutzt.

Funktionsweise

 Spark mühelos von der Idee bis zur Produktion nutzen

Gängige Einsatzmöglichkeiten

Serverlose Pipelines

 Ultraschnelles serverloses ETL/ELT

Sie können große Datasets aus verschiedenen Quellen schnell in BigQuery oder Google Cloud Storage einspeisen, transformieren und laden. Dank der beispiellosen Leistung der Lightning Engine und ohne operative Belastung können Sie Ihre Datenpipelines optimieren und aktuelle Daten für Analysen bereitstellen.

 Ultraschnelles serverloses ETL/ELT

Sie können große Datasets aus verschiedenen Quellen schnell in BigQuery oder Google Cloud Storage einspeisen, transformieren und laden. Dank der beispiellosen Leistung der Lightning Engine und ohne operative Belastung können Sie Ihre Datenpipelines optimieren und aktuelle Daten für Analysen bereitstellen.

Interaktive Data Science und Analysen

Interaktive Analysen und schnelles Prototyping

Data Scientists und Analysten profitieren von einer flexiblen, leistungsstarken, serverlosen Spark-Umgebung. Ganz gleich, ob Sie Ad-hoc-Datenexploration, schnelles Prototyping oder komplexe Modelle für maschinelles Lernen erstellen möchten – Google Cloud Serverless für Apache Spark bietet Ihnen die erforderliche Geschwindigkeit und die benötigten Tools. Entwickeln Sie PySpark- und SQL-Code in BigQuery Studio für eine einheitliche Umgebung oder verbinden Sie Ihre bevorzugten Tools wie Jupyter Notebooks und VS Code mit Google Cloud-Erweiterungen. Nutzen Sie Gemini für Code-Unterstützung und Troubleshooting, die Lightning Engine für schnelle Abfrageergebnisse und die Vertex AI-Integration für MLOps. Von der schnellen Datenerkennung bis hin zum Training komplexer Modelle mit GPUs und vorgefertigten Bibliotheken – beschleunigen Sie den gesamten Data-Science-Lebenszyklus.

Interaktive Analysen und schnelles Prototyping

Data Scientists und Analysten profitieren von einer flexiblen, leistungsstarken, serverlosen Spark-Umgebung. Ganz gleich, ob Sie Ad-hoc-Datenexploration, schnelles Prototyping oder komplexe Modelle für maschinelles Lernen erstellen möchten – Google Cloud Serverless für Apache Spark bietet Ihnen die erforderliche Geschwindigkeit und die benötigten Tools. Entwickeln Sie PySpark- und SQL-Code in BigQuery Studio für eine einheitliche Umgebung oder verbinden Sie Ihre bevorzugten Tools wie Jupyter Notebooks und VS Code mit Google Cloud-Erweiterungen. Nutzen Sie Gemini für Code-Unterstützung und Troubleshooting, die Lightning Engine für schnelle Abfrageergebnisse und die Vertex AI-Integration für MLOps. Von der schnellen Datenerkennung bis hin zum Training komplexer Modelle mit GPUs und vorgefertigten Bibliotheken – beschleunigen Sie den gesamten Data-Science-Lebenszyklus.

Lösung erstellen
Welches Problem möchten Sie lösen?
What you'll get:
Detaillierte Anleitung
Referenzarchitektur
Vorkonfigurierte Lösungen
Dieser Dienst wurde mit Vertex AI erstellt. Nutzer müssen mindestens 18 Jahre alt sein, um ihn verwenden zu können. Geben Sie keine vertraulichen oder personenbezogenen Daten ein.

Preise

Transparente, wertorientierte PreiseDie Preise für Google Cloud Serverless Spark basieren auf der sekundengenauen Nutzung von Computing (DCUs), GPUs und Shuffle-Speicher.
Dienste und NutzungAbotyp Preis ($)

Data Compute Unit (DCU)

Standard

Ab

0,06 $

pro Stunde

Premium

Ab

0,089 $

pro Stunde

Shuffle-Speicher

Standard

Ab

0,04 $

pro GB/Monat

Premium

Ab

0,1 $

pro GB/Monat

Preise für Beschleuniger

a100 40 GB

Ab

3,52069 $

pro Stunde

a100 80 GB

Ab

4,713696 $

pro Stunde

L4

Ab

0,672048 $

pro Stunde

Transparente, wertorientierte Preise

Die Preise für Google Cloud Serverless Spark basieren auf der sekundengenauen Nutzung von Computing (DCUs), GPUs und Shuffle-Speicher.

Data Compute Unit (DCU)

Abotyp

Standard

Preis ($)

Starting at

0,06 $

pro Stunde

Premium

Abotyp

Starting at

0,089 $

pro Stunde

Shuffle-Speicher

Abotyp

Standard

Preis ($)

Starting at

0,04 $

pro GB/Monat

Premium

Abotyp

Starting at

0,1 $

pro GB/Monat

Preise für Beschleuniger

Abotyp

a100 40 GB

Preis ($)

Starting at

3,52069 $

pro Stunde

a100 80 GB

Abotyp

Starting at

4,713696 $

pro Stunde

L4

Abotyp

Starting at

0,672048 $

pro Stunde

Preisrechner

Berechnen Sie Ihre monatlichen Kosten nach Region.

Individuelles Angebot

Wenden Sie sich an unser Vertriebsteam, wenn Sie ein individuelles Angebot für Ihr Unternehmen erhalten möchten.

Sofort loslegen

Tutorial für den Einstieg

Sie haben ein großes Projekt?

Produktübersicht

BigQuery-Connector mit Google Cloud Serverless für Apache Spark verwenden

GPUs mit Google Cloud Serverless für Apache Spark verwenden

Google Cloud