Мониторинг использования

На этой странице описано, как создавать диаграммы для мониторинга потребления вычислительных ресурсов и хранилища Earth Engine с помощью Cloud Monitoring.

Существуют и другие способы мониторинга использования Earth Engine из облачной консоли, которые не являются предметом рассмотрения в документе, но включают в себя:

• Страница API и сервисы > Метрики , на которой показаны основные показатели, включая трафик (количество запросов), ошибки и задержку (для каждого метода API, кода ответа или учетных данных).
• Страница API и службы > Квоты и системные ограничения , на которой показан объем хранимых ресурсов в байтах и ​​количество запросов на чтение ресурсов.
• Страница API и службы > Учетные данные , на которой показано, какие учетные данные (например, учетные записи служб) использовались для доступа к API.

Просмотр потребления в Cloud Monitoring

Показатели диаграммы в обозревателе метрик

1. Перейдите на страницу Мониторинг > Обозреватель метрик в Cloud Console.

   Перейти в обозреватель метрик

2. Выберите название вашего проекта, если оно еще не выбрано вверху страницы.

   • Примечание. Для доступа к данным мониторинга у вас должны быть соответствующие разрешения на управление идентификацией и доступом (IAM) .

3. Нажмите «Выбрать метрику» , чтобы выбрать метрику для добавления в диаграмму.

   • Метрики Earth Engine находятся в ресурсе Earth Engine Cloud Project .
   • По умолчанию видны только те ресурсы и показатели, которые были активны в течение последнего часа. Настройте временной диапазон или снимите флажок «Активный» фильтр, чтобы увидеть больше показателей.

4. Выбрав метрику, нажмите «Применить» .

5. На верхней панели настройте раскрывающиеся фильтры, чтобы указать способ визуализации данных.

   • По умолчанию в проводнике отображается агрегирование показателей для вычислений. См. раздел «Единицы измерения и выравниватели» для получения подробной информации о выборе другого выравнивателя и отображении явных единиц измерения.
   • Например, чтобы просмотреть общее количество выполненных пакетных вычислений, использованных для каждого workload_tag (см. раздел «Теги рабочей нагрузки» ) за прошедшую неделю, вы можете выбрать следующие настройки. Здесь каждая точка данных представляет собой общее количество EECU-часов, использованных для каждой выполненной пакетной задачи.
     
     

Документация по облачному мониторингу содержит дополнительные руководства по использованию облачного мониторинга. В частности, на странице «Выберите метрики для диаграммы» представлен подробный обзор различных способов построения запросов, а на странице «Фильтрация и агрегирование» представлена ​​дополнительная информация о настройке временных рядов.

Доступные метрики

Полный список доступных метрик в Cloud Monitoring см. в разделе Метрики Google Cloud .

Единицы и выравниватели

По умолчанию метрики вычислений будут отображаться как безразмерная скорость среднего EECU-секунд, используемых в секунду в течение минимального интервала (по умолчанию 1 минута).

Чтобы увидеть необработанное время EECU, используемое с явными единицами измерения, щелкните поле «Агрегация» в своем запросе и выберите «Настроить выравниватель» в появившемся меню. При этом операция агрегирования заменяется двумя новыми операциями: функцией группировки и выравнивания . При выборе «Группировка: Sum » и «Функция выравнивания: Sum » будет построен график с явными единицами измерения, представляющий общее время EECU, используемое в каждой точке данных. Список возможных выравнивателей см. в справочнике по элайнерам .

Теги рабочей нагрузки

Теги рабочей нагрузки — это метки для мониторинга конкретных вычислений в Earth Engine. Используйте setDefaultWorkloadTag , чтобы привязать все вычисления в сценарии к тегу рабочей нагрузки по умолчанию, если только он не задан явно с помощью ee.data.setWorkloadTag , в этом случае значение по умолчанию переопределяется. Эти методы устанавливают метку workload_tag ​​для конкретных вычислений и задач экспорта.

Затем вы можете отслеживать и отслеживать вычисления с тегами в обозревателе метрик, используя метрику Earth Engine Cloud Project > Project > Used EECUs , а также группируя или фильтруя их по workload_tag ​​.

Например, для мониторинга EECU, используемых для вычисления и/или экспорта изображения:

// Set a default workload tag.
ee.data.setDefaultWorkloadTag('landsat-compositing')
var composite = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
                     .filterDate('2020-01-01', '2021-01-01')
                     .median();

// Set a workload tag for export.
ee.data.setWorkloadTag('export-jobs');
Export.image.toAsset(composite);
ee.data.resetWorkloadTag(); // Reset to landsat-compositing

ee.data.resetWorkloadTag(true); // Reset back to empty

import ee
import geemap.core as geemap

# Authenticate, then initialize with your Cloud Project.
ee.Initialize(project='your-project')

# Set a default workload tag.
ee.data.setDefaultWorkloadTag('landsat-compositing')
composite = (
    ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
    .filterDate('2020-01-01', '2021-01-01')
    .median()
)

# Set a workload tag for export.
ee.data.setWorkloadTag('export-jobs')
ee.batch.Export.image.toAsset(composite).start()
ee.data.resetWorkloadTag()  # Reset to landsat-compositing

ee.data.resetWorkloadTag(True)  # Reset back to empty

# Alternatively, use a workload tag with the `with` context manager.
with ee.data.workloadTagContext('export-jobs'):
  ee.batch.Export.image.toAsset(composite).start()

В этом примере все вычисления аннотируются тегом landsat-compositing (установленным по умолчанию), а экспорт получает собственный тег рабочей нагрузки, поскольку ee.data.setWorkloadTag вызывается перед его запуском. Использовать ee.data.resetWorkloadTag чтобы вернуть тег по умолчанию или вернуть тег по умолчанию в пустую строку.