Surveiller l'utilisation

Cette page explique comment créer des graphiques pour surveiller la consommation de calcul et de stockage d'Earth Engine à l'aide de Cloud Monitoring.

Il existe d'autres façons de surveiller l'utilisation d'Earth Engine depuis la console Cloud, qui ne sont pas l'objet de ce document, mais qui incluent les suivantes:

• La page API et services > Métriques, qui affiche des métriques de base, y compris le trafic (nombre de requêtes), les erreurs et la latence (par méthode API, code de réponse ou identifiants).
• La page APIs & Services > Quotas & System Limits (API et services > Quotas et limites du système) qui affiche la quantité d'éléments stockés en octets et le nombre de requêtes de lecture pour les éléments.
• La page API et services > Identifiants, qui indique les identifiants (par exemple, les comptes de service) utilisés pour accéder à l'API.

Afficher la consommation dans Cloud Monitoring

Représenter des métriques dans l'explorateur de métriques

1. Accédez à la page Surveillance > Explorateur de métriques dans la console Cloud.

   Accéder à l'explorateur de métriques

2. En haut de la page, sélectionnez le nom de votre projet s'il n'est pas déjà sélectionné.

   • Remarque: Vous devez disposer des autorisations IAM (Identity and Access Management) appropriées pour accéder aux données de surveillance.

3. Cliquez sur Sélectionner une métrique pour choisir une métrique à ajouter au graphique.

   • Les métriques Earth Engine se trouvent dans la ressource Projet Cloud Earth Engine.
   • Par défaut, seules les ressources et métriques actives au cours de la dernière heure sont visibles. Ajustez la période ou décochez le filtre "Actif" pour afficher plus de métriques.

4. Après avoir sélectionné une métrique, cliquez sur Appliquer.

5. Dans le volet supérieur, configurez les filtres déroulants pour définir la façon de visualiser les données.

   • Par défaut, l'explorateur affiche une agrégation de taux pour les métriques de calcul. Consultez la section Unités et aligneurs pour savoir comment choisir un autre aligneur et afficher des unités explicites.
   • Par exemple, pour afficher le calcul par lot terminé total utilisé par workload_tag (voir la section Tags de charge de travail) au cours de la semaine écoulée, vous pouvez choisir les paramètres suivants. Ici, chaque point de données représente la quantité totale d'heures EECU utilisées par chaque tâche de lot terminée.
     
     

La documentation de Cloud Monitoring fournit d'autres guides sur l'utilisation de Cloud Monitoring. En particulier, la page Sélectionner les métriques à représenter dans un graphique fournit un aperçu détaillé des différentes façons de créer des requêtes, et la page Filtrage et agrégation fournit plus d'informations sur la configuration de la série temporelle.

Métriques disponibles

Pour obtenir la liste complète des métriques disponibles dans Cloud Monitoring, consultez la page Métriques Google Cloud.

Unités et aligneurs

Par défaut, les métriques de calcul s'affichent sous la forme d'un taux sans unité de l'utilisation moyenne des secondes EECU par seconde sur l'intervalle minimal (1 minute par défaut).

Pour afficher la valeur brute de l'heure EECU utilisée avec des unités explicites, cliquez sur le champ Agrégation dans votre requête, puis sélectionnez "Configurer l'aligneur" dans le menu qui s'affiche. L'opération d'agrégation est remplacée par deux nouvelles opérations : Regroupement et Fonction d'alignement. Si vous sélectionnez "Groupement: Sum" et "Fonction d'alignement: Sum", un graphique avec des unités explicites sera créé, représentant le temps EECU total utilisé à chaque point de données. Consultez la documentation de référence sur les aligneurs pour obtenir la liste des aligneurs possibles.

Tags de charge de travail

Les tags de charge de travail sont des libellés permettant de surveiller des calculs spécifiques dans Earth Engine. Utilisez setDefaultWorkloadTag pour lier tous les calculs du script à une balise de charge de travail par défaut, sauf si une balise est définie explicitement avec ee.data.setWorkloadTag, auquel cas la valeur par défaut est remplacée. Ces méthodes définissent l'étiquette workload_tag pour des calculs et des tâches d'exportation spécifiques.

Vous pouvez ensuite surveiller et suivre les calculs tagués dans l'explorateur de métriques à l'aide de la métrique Projet Cloud Earth Engine > Projet > EECU utilisés, et en regroupant ou en filtrant par workload_tag.

Par exemple, pour surveiller les EECU utilisées pour un calcul et/ou une exportation d'image:

// Set a default workload tag.
ee.data.setDefaultWorkloadTag('landsat-compositing')
var composite = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
                     .filterDate('2020-01-01', '2021-01-01')
                     .median();

// Set a workload tag for export.
ee.data.setWorkloadTag('export-jobs');
Export.image.toAsset(composite);
ee.data.resetWorkloadTag(); // Reset to landsat-compositing

ee.data.resetWorkloadTag(true); // Reset back to empty

import ee
import geemap.core as geemap

# Authenticate, then initialize with your Cloud Project.
ee.Initialize(project='your-project')

# Set a default workload tag.
ee.data.setDefaultWorkloadTag('landsat-compositing')
composite = (
    ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
    .filterDate('2020-01-01', '2021-01-01')
    .median()
)

# Set a workload tag for export.
ee.data.setWorkloadTag('export-jobs')
ee.batch.Export.image.toAsset(composite).start()
ee.data.resetWorkloadTag()  # Reset to landsat-compositing

ee.data.resetWorkloadTag(True)  # Reset back to empty

# Alternatively, use a workload tag with the `with` context manager.
with ee.data.workloadTagContext('export-jobs'):
  ee.batch.Export.image.toAsset(composite).start()

Dans cet exemple, tous les calculs sont annotés avec la balise landsat-compositing (définie par défaut), et l'exportation reçoit sa propre balise de charge de travail, car ee.data.setWorkloadTag est appelé avant son exécution. Utilisez ee.data.resetWorkloadTag pour rétablir la balise par défaut ou pour rétablir une chaîne vide comme balise par défaut.