使用量のモニタリング

このページでは、Cloud Monitoring を使用して Earth Engine のコンピューティングとストレージの使用量をモニタリングするグラフを作成する方法について説明します。

Cloud コンソールから Earth Engine の使用状況をモニタリングする方法は他にもあります。このドキュメントでは説明しません。以下にいくつか例を示します。

  • [API とサービス] > [指標] ページ: トラフィック(リクエスト数)、エラー、レイテンシ(API メソッド、レスポンス コード、認証情報ごと)などの基本指標が表示されます。
  • [API とサービス] > [割り当てとシステム上限] ページ。保存されているアセットの量(バイト単位)と、アセットの読み取りリクエストの数が表示されます。
  • [API とサービス] > [認証情報] ページ。API へのアクセスに使用された認証情報(サービス アカウントなど)が表示されます。

Cloud Monitoring で使用量を表示する

Metrics Explorer で指標をグラフ化する

  1. Cloud コンソールで、[Monitoring] > [Metrics Explorer] ページに移動します。

    Metrics Explorer に移動

  2. ページ上部でまだプロジェクトの名前を選択していない場合はここで選択します。

  3. [指標を選択] をクリックして、グラフに追加する指標を選択します。

    • Earth Engine 指標は、Earth Engine Cloud プロジェクト リソースにあります。
    • デフォルトでは、過去 1 時間にアクティブだったリソースと指標のみが表示されます。期間を調整するか、[有効] フィルタのチェックを外して、より多くの指標を表示します。
  4. 指標を選択したら、[適用] をクリックします。

  5. 上部のペインで、プルダウン フィルタを構成して、データを可視化する方法を設定します。

    • デフォルトでは、エクスプローラにはコンピューティング指標のレートの集計が表示されます。別の整列指定子を選択して明示的な単位を表示する方法については、単位と整列指定子をご覧ください。
    • たとえば、過去 1 週間に workload_tagワークロード タグのセクションを参照)で使用された完了したバッチ計算の合計数を確認するには、次の設定を選択します。ここで、各データポイントは、完了した各バッチタスクで使用された EECU 時間の合計を示します。

      Metrics Explorer 構成の例

Cloud Monitoring のドキュメントには、Cloud Monitoring の使用に関するその他のガイドが記載されています。特に、[グラフに表示する指標を選択する] ページでは、クエリを作成するさまざまな方法の概要を詳しく説明しています。[フィルタと集計] ページでは、時系列の構成について詳しく説明しています。

利用可能な指標

指標 説明 使用可能なラベル
完了した EECU 秒 成功したリクエストの Earth Engine コンピューティング使用量( EECU-秒)。使用量はリクエストの完了時に報告され、失敗したリクエストでは報告されません。 compute_type: リクエストの 処理環境に基づくコンピューティングのタイプ。[onlinebatchhighvolume] のいずれか。

client_type: クライアント タイプ(既知の場合)。例: ee-js/latestpython/v0.1.300。クライアント タイプがバッチコンピューティング用に設定されていません。

workload_tag: ワークロード タグ(クライアントで指定されている場合)。例: my-export1。このラベルの設定方法については、 ワークロード タグ のセクションをご覧ください。
進行中の EECU-秒 すべてのリクエストの Earth Engine コンピューティング使用量( EECU-秒)。使用量は、リクエストの実行中に定期的に報告されます。 compute_type: リクエストの 処理環境に基づくコンピューティングのタイプ。[onlinebatchhighvolume] のいずれか。

client_type: クライアント タイプ(既知の場合)。例: ee-js/latestpython/v0.1.300。クライアント タイプがバッチコンピューティング用に設定されていません。

workload_tag: ワークロード タグ(クライアントで指定されている場合)。例: my-export1。このラベルの設定方法については、 ワークロード タグ のセクションをご覧ください。
使用済みバイト数 使用された Earth Engine アセット ストレージのバイト数。30 分ごとにサンプリングされます。 なし

Cloud Monitoring で使用可能な指標の一覧については、Google Cloud の指標をご覧ください。

単位とアライナー

デフォルトでは、コンピューティング指標は、最小間隔(デフォルトは 1 分)で 1 秒あたりに使用された平均 EECU 秒の単位のないレートとして表示されます。

明示的な単位で使用される未加工の EECU 時間を表示するには、クエリの [集計] フィールドをクリックし、表示されたメニューから [アライナーを構成] を選択します。これにより、集計オペレーションが 2 つの新しいオペレーション(グループ化アライメント関数)に置き換えられます。[グループ化: Sum] と [アライメント関数: Sum] を選択すると、各データポイントで使用される EECU 時間の合計を表す明示的な単位のグラフが作成されます。使用可能なアライナの一覧については、アライナ リファレンスをご覧ください。

ワークロード タグ

ワークロードタグは、Earth Engine 内の特定の計算をモニタリングするためのラベルです。setDefaultWorkloadTag を使用して、スクリプト内のすべての計算をデフォルトのワークロードタグにバインドします。ただし、ee.data.setWorkloadTag で明示的に設定されている場合は、デフォルトがオーバーライドされます。これらのメソッドは、特定の計算とエクスポート タスクに workload_tag ラベルを設定します。

タグ付けされた計算は、Metrics Explorer[Earth Engine Cloud Project] > [Project] > [Used EECUs] 指標を使用してモニタリングし、workload_tag でグループ化またはフィルタリングできます。

たとえば、イメージの計算やエクスポートに使用される EECU をモニタリングするには:

コードエディタ(JavaScript)

// Set a default workload tag.
ee.data.setDefaultWorkloadTag('landsat-compositing')
var composite = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
                     .filterDate('2020-01-01', '2021-01-01')
                     .median();

// Set a workload tag for export.
ee.data.setWorkloadTag('export-jobs');
Export.image.toAsset(composite);
ee.data.resetWorkloadTag(); // Reset to landsat-compositing

ee.data.resetWorkloadTag(true); // Reset back to empty

Python の設定

Python API とインタラクティブな開発で geemap を使用する方法については、 Python 環境のページをご覧ください。

import ee
import geemap.core as geemap

Colab(Python)

# Authenticate, then initialize with your Cloud Project.
ee.Initialize(project='your-project')

# Set a default workload tag.
ee.data.setDefaultWorkloadTag('landsat-compositing')
composite = (
    ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
    .filterDate('2020-01-01', '2021-01-01')
    .median()
)

# Set a workload tag for export.
ee.data.setWorkloadTag('export-jobs')
ee.batch.Export.image.toAsset(composite).start()
ee.data.resetWorkloadTag()  # Reset to landsat-compositing

ee.data.resetWorkloadTag(True)  # Reset back to empty

# Alternatively, use a workload tag with the `with` context manager.
with ee.data.workloadTagContext('export-jobs'):
  ee.batch.Export.image.toAsset(composite).start()

この例では、すべての計算に landsat-compositing タグ(デフォルトとして設定)がアノテーションされ、実行前に ee.data.setWorkloadTag が呼び出されるため、エクスポートには独自のワークロード タグが付与されます。ee.data.resetWorkloadTag を使用して、デフォルトのタグに戻すか、デフォルトのタグを空の文字列に戻します。