Dataproc

マネージド Dataproc クラスタの制御で要求の厳しい Spark ワークロードを実行します。プレビュー版の Lightning Engine** により、クエリ速度が 3.6 倍* に向上しました。Spark SQL と DataFrame のオペレーションで大幅なパフォーマンスの向上を実感できます。バージョンとライブラリを選択して、ニーズに応じて Spark 環境を正確に構成できます。

*クエリは TPC-DS 標準と TPC-H 標準から派生したものであり、TPC-DS 標準と TPC-H 標準の仕様のすべての要件に準拠していないため、公開されている TPC-DS 標準と TPC-H 標準の結果と比較することはできません。

**Compute Engine プレミアム ティアの Dataproc で利用可能。

さまざまなマシンタイプ（GPU を含む）、プリエンプティブル VM、ディスク オプション、自動スケーリング ポリシー、初期化アクション、コンテナ/イメージ、オプション コンポーネントを使用して、Dataproc クラスタをカスタマイズできます。ワークフロー テンプレートなどの機能を使用して、複雑なジョブをオーケストレートし、コンソール、gcloud、API、またはクライアント ライブラリを介してクラスタを管理します。Cloud Monitoring とのインテグレーションにより、包括的な指標、ダッシュボード、アラート機能を提供して、クラスタのパフォーマンスと健全性を詳細に可視化します。

Dataproc クラスタは BigLake Metastore とネイティブに統合されているため、Cloud Storage 上の Apache Iceberg などのオープン形式で保存されたデータを処理できます。従来の Hive ベースのメタデータのニーズには、マネージド Dataproc Metastore サービスとのシームレスな統合が可能です。Dataplex ユニバーサル カタログを活用して、レイクハウス アセット全体で検出、リネージ、ガバナンスを統合します。Dataproc を BigQuery、Vertex AI、Spanner、Pub/Sub、Data Fusion に接続してデータ アプリケーションを拡張し、強力なエンドツーエンドのソリューションを作成します。

Google Cloud の堅牢なセキュリティを活用できます。Kerberos を構成し、IAM でアクセスを管理し、VPC Service Controls でネットワーク ポリシーを適用し、CMEK を使用します。Dataplex ユニバーサル・カタログ と統合して一元的なポリシー管理を行い、BigLake できめ細かいアクセス制御を実現します。