2025 年 5 月公告：Dataproc Serverless 現已改稱 Google Cloud Serverless for Apache Spark
Google Cloud Serverless for Apache Spark
革新 Apache Spark 工作，從開發到正式應用都更順暢
視需要使用 Spark：啟動快速、免去作業負擔、查詢效能提高，還能用 Gemini 提升工作效率。有了這項解決方案，Spark 工作負載的總持有成本最多可降低 60%。
Apache Spark 是 Apache Software Foundation 的商標。
功能
視需要使用 Spark：不必再費心管理叢集，專心編寫程式碼
擺脫複雜的叢集管理工作，避免為使用率偏低的閒置資源付費。Google Cloud Serverless for Apache Spark 可快速啟動 VM，並自動調度資源，動態因應互動式、批次和 AI 工作負載的需求，讓您專心建構各項功能，不必費力管理基礎架構。另外，VM 啟動和關閉期間不會產生費用。
使用 Lightning Engine 提高效能
體驗成本效益領先業界的解決方案。Google Cloud Serverless for Apache Spark 採用新一代原生查詢引擎 Lightning Engine (預先發布版)，提供進階向量化執行工具、內建智慧型快取功能，而且儲存空間 I/O 經過最佳化調整，可大幅縮短 Spark 查詢和資料處理時間，速度比開放原始碼 Apache Spark 快 3.6 倍以上**，有助您更快取得洞察資訊及降低成本。
** 查詢速度是依據 TPC-DS 標準和 TPC-H 標準估算，無法與已發布的 TPC-DS 標準和 TPC-H 標準結果比較，因為這些執行作業未完全符合 TPC-DS 標準和 TPC-H 標準規格的要求。
企業級安全防護機制和設定
想安心執行正式環境 Spark 工作負載嗎？Google Cloud Serverless for Apache Spark 可讓您充分善用資源、區隔工作，並享有 Google Cloud 的企業級安全防護功能，包括 VPC-SC、CMEK、個人驗證和自訂組織政策。這項解決方案提供安全的子網路、會預設加密靜態和傳輸中的資料，而且不會直接存取 VM 或根層級，可確保執行環境安全無虞，將管理作業安全的負擔降至最低。雖然這項解決方案專為自動化工作設計，但專業使用者仍能精細控管完整的 Spark 設定。
Gemini 全程提供協助，工作效率更高
輕鬆將生成式 AI 融入 Spark 開發生命週期。Gemini 能在筆記本中聰明地解讀資料脈絡，並生成符合脈絡的 PySpark 程式碼，助您大幅增進工作效率。您還可使用 Gemini Cloud Assist Investigate，讓 AI 提供疑難排解建議，以快速解決問題、深入洞悉作業情況，並實現最佳效能。
簡化分散式 AI/機器學習工作負載
執行分散式訓練或批次推論工作負載時，整個過程順暢無礙。Google Cloud Serverless for Apache Spark 內建 GPU 加速功能，並提供預先封裝的熱門機器學習程式庫，例如 XGBoost、PyTorch 和 Transformers 等。這些映像檔都經過 Google 認證，可大幅縮短 AI/機器學習環境的啟動時間，同時提高可靠性。
開放、彈性且可互通
Google Cloud Serverless for Apache Spark 能讓您保有充分的使用彈性。這項解決方案與 OSS 完全相容，您可直接導入現有 Spark 程式碼和程式庫，無須多做修改。另外，您也能在慣用的 IDE (如 BigQuery Studio、Vertex AI Workbench、Jupyter、VSCode) 中，使用所選語言 (如 Python、Java、Scala、R) 開發，並透過 Apache Airflow/Cloud Composer 或 BigQuery pipeline 等工具自動調度管理。無論資料是採用 Google 原生格式，還是 Apache Iceberg 等開放原始碼格式，都能輕鬆處理。
整合 BigQuery 服務
直接在 BigQuery 體驗 Apache Spark 的強大功能。您可透過 BigLake Metastore 使用共通中繼資料，在整合的 Colab Enterprise 筆記本中撰寫及執行 PySpark 程式碼和 SQL，並能藉助 Dataplex Universal Catalog 確保共用安全性，同時採取一致的管理機制。
常見用途
無伺服器 pipeline
以極快速度執行無伺服器 ETL/ELT 程序
以極快速度執行無伺服器 ETL/ELT 程序
從各種來源快速擷取並轉換龐大的資料集，然後載入 BigQuery 或 Google Cloud Storage。Lightning Engine 效能卓越，不會帶來任何作業負擔，可有效簡化資料 pipeline，且一律會使用最新資料進行分析。
教學課程、快速入門導覽課程和研究室
以極快速度執行無伺服器 ETL/ELT 程序
以極快速度執行無伺服器 ETL/ELT 程序
從各種來源快速擷取並轉換龐大的資料集，然後載入 BigQuery 或 Google Cloud Storage。Lightning Engine 效能卓越，不會帶來任何作業負擔，可有效簡化資料 pipeline，且一律會使用最新資料進行分析。
互動式數據資料學與分析體驗
互動式數據分析和快速原型設計
互動式數據分析和快速原型設計
為數據資料學家和分析師提供靈活的高效能無伺服器 Spark 環境。無論您是要進行即時資料探索、快速原型設計，還是建構複雜的機器學習模型，Google Cloud Serverless for Apache Spark 都能提供您所需的速度和工具。您可以在 BigQuery Studio 中開發 PySpark 和 SQL 程式碼，享受一致的體驗，或是透過 Google Cloud 擴充功能，從 Jupyter 筆記本和 VS Code 等慣用工具連線。運用 Gemini 取得程式碼協助和排解問題、使用 Lightning Engine 快速取得查詢結果，並透過 Vertex AI 整合進行 MLOps。從快速探索資料，到使用 GPU 和預先封裝的程式庫訓練複雜模型，加速整個資料科學生命週期。
教學課程、快速入門導覽課程和研究室
互動式數據分析和快速原型設計
互動式數據分析和快速原型設計
為數據資料學家和分析師提供靈活的高效能無伺服器 Spark 環境。無論您是要進行即時資料探索、快速原型設計，還是建構複雜的機器學習模型，Google Cloud Serverless for Apache Spark 都能提供您所需的速度和工具。您可以在 BigQuery Studio 中開發 PySpark 和 SQL 程式碼，享受一致的體驗，或是透過 Google Cloud 擴充功能，從 Jupyter 筆記本和 VS Code 等慣用工具連線。運用 Gemini 取得程式碼協助和排解問題、使用 Lightning Engine 快速取得查詢結果，並透過 Vertex AI 整合進行 MLOps。從快速探索資料，到使用 GPU 和預先封裝的程式庫訓練複雜模型，加速整個資料科學生命週期。
定價
| 公開透明的價值導向計費模式 | Google Cloud Serverless Spark 採以秒計費制，費用取決於運算單元 (DCU)、GPU 和重組儲存空間的用量。 | |
|---|---|---|
| 服務與用途 | 訂閱方案類型 | 價格 (美元) |
資料運算單元 (DCU) | 標準 | 起始價 $0.06 美元 每小時 |
進階 | 起始價 $0.089 美元 每小時 | |
重組儲存空間 | 標準 | 起始價 $0.04 每 GB 每個月的價格 |
進階 | 起始價 $0.1 美元 每 GB 每個月的價格 | |
加速器定價 | a100 40 GB | 起始價 $3.52069 美元 每小時 |
a100 80 GB | 起始價 $4.713696 美元 每小時 | |
L4 | 起始價 $0.672048 美元 每小時 | |
查看 Google Cloud Serverless for Apache Spark 的定價詳細資料。
公開透明的價值導向計費模式
Google Cloud Serverless Spark 採以秒計費制，費用取決於運算單元 (DCU)、GPU 和重組儲存空間的用量。
資料運算單元 (DCU)
標準
Starting at
$0.06 美元
每小時
進階
Starting at
$0.089 美元
每小時
重組儲存空間
標準
Starting at
$0.04
每 GB 每個月的價格
進階
Starting at
$0.1 美元
每 GB 每個月的價格
加速器定價
a100 40 GB
Starting at
$3.52069 美元
每小時
a100 80 GB
Starting at
$4.713696 美元
每小時
L4
Starting at
$0.672048 美元
每小時
查看 Google Cloud Serverless for Apache Spark 的定價詳細資料。