מעקב אחר השימוש

בדף הזה נסביר איך ליצור תרשימים למעקב אחרי צריכת המחשוב והאחסון ב-Earth Engine באמצעות Cloud Monitoring.

יש דרכים נוספות למעקב אחרי השימוש ב-Earth Engine במסוף Cloud, שלא הן מוקד המאמר הזה, אבל הן כוללות:

  • הדף APIs & Services > Metrics, שבו מוצגים מדדים בסיסיים, כולל תעבורת נתונים (מספר הבקשות), שגיאות וזמני אחזור (לכל שיטת API, קוד תגובה או פרטי כניסה).
  • הדף APIs & Services > Quotas & System Limits, שבו מוצגים מספר הנכסים השמורים ביחידות בייטים ומספר בקשות הקריאה לנכסים.
  • הדף APIs & Services‏ > Credentials, שבו מוצגים פרטי הכניסה (למשל, חשבונות שירות) ששימשו לגישה ל-API.

הצגת הצריכה ב-Cloud Monitoring

הצגת מדדים בתרשים ב-Metrics Explorer

  1. נכנסים לדף Monitoring > Metrics Explorer במסוף Cloud.

    לדף Metrics Explorer

  2. בוחרים את שם הפרויקט אם הוא לא מסומן בחלק העליון של הדף.

  3. לוחצים על בחירת מדד כדי לבחור מדד להוספה לתרשים.

    • המדדים של Earth Engine נמצאים במשאב Earth Engine Cloud Project.
    • כברירת מחדל, מוצגים רק משאבים ומדדים שהיו פעילים בשעה האחרונה. כדי להציג מדדים נוספים, משנים את טווח הזמן או מבטלים את הסימון של המסנן 'פעיל'.

  4. אחרי שבוחרים מדד, לוחצים על אישור.

  5. בחלונית העליונה, מגדירים את המסננים בתפריט הנפתח כדי לקבוע את אופן התצוגה החזותית של הנתונים.

    • כברירת מחדל, בכלי יוצג צבירת שיעורים של מדדי המחשוב. בקטע יחידות ומתאמים מוסבר איך בוחרים מתאם אחר ואיך מציגים יחידות בוטה.
    • לדוגמה, כדי לראות את סך כל השימוש ב-Compute Batch שהושלם לכל workload_tag (ראו הקטע תגי עומסי עבודה) במהלך השבוע האחרון, אפשר לבחור את ההגדרות הבאות. כאן, כל נקודה מייצגת את סך שעות ה-EECU שכל משימה שהושלמו ברצף נצרכה.

      הגדרה לדוגמה ב-Metrics Explorer

מסמכי העזר של Cloud Monitoring כוללים מדריכים נוספים לשימוש ב-Cloud Monitoring. בדף Select the metrics to chart מפורטת סקירה כללית על דרכים שונות ליצירת שאילתות, ובדף Filtering and aggregation מפורט מידע נוסף על הגדרת סדרת הזמן.

המדדים הזמינים

מדד תיאור התוויות הזמינות
EECU-seconds שהושלמו השימוש של Earth Engine במחשוב של בקשות מוצלחות ב שניות EECU. המערכת מדווחת על שימוש כשבקשה מסתיימת, ולא מדווחת על בקשות שנכשלו. compute_type: סוג המחשוב, על סמך סביבת העיבוד של הבקשה. אחד מהערכים הבאים:‏ [online, batch, highvolume].‏

client_type: סוג הלקוח (אם ידוע), לדוגמה:‏ee-js/latest אוpython/v0.1.300. סוג הלקוח לא מוגדר לעיבוד באצווה.

workload_tag: תג עומס העבודה (אם הוא סופק בלקוח), לדוגמה: my-export1. בקטע תגי כוח עבודה מוסבר איך מגדירים את התווית הזו.
EECU-שניות בתהליך השימוש של Earth Engine במחשוב של כל הבקשות ב שניות EECU. הדיווח על השימוש מתבצע מדי פעם במהלך הרצת הבקשה. compute_type: סוג המחשוב, על סמך סביבת העיבוד של הבקשה. אחד מהערכים הבאים:‏ [online, batch, highvolume].‏

client_type: סוג הלקוח (אם ידוע), לדוגמה:‏ee-js/latest אוpython/v0.1.300. סוג הלקוח לא מוגדר לעיבוד באצווה.

workload_tag: תג עומס העבודה (אם הוא סופק בלקוח), לדוגמה: my-export1. בקטע תגי כוח עבודה מוסבר איך מגדירים את התווית הזו.
בייטים בשימוש מספר הבייטים של נפח האחסון של נכס Earth Engine שנעשה בו שימוש. הדגימה מתבצעת כל 30 דקות. לא רלוונטי

רשימה מלאה של המדדים הזמינים ב-Cloud Monitoring מופיעה במאמר מדדי Google Cloud.

יחידות ותומכים

כברירת מחדל, מדדי המחשוב יוצגו כשיעור ללא יחידה של השניות הממוצעות של EECU שנעשה בהן שימוש בכל שנייה במהלך המרווח המינימלי (ברירת המחדל היא דקה אחת).

כדי לראות את זמן ה-EECU הגולמי שנעשה בו שימוש ביחידות מפורשות, לוחצים על השדה Aggregation בשאילתה ובוחרים באפשרות 'Configure aligner' בתפריט שנפתח. הפעולה הזו מחליפה את פעולת הצבירה בשתי פעולות חדשות: Grouping ו-Alignment function. אם בוחרים באפשרות 'קיבוץ: Sum' ובאפשרות 'פונקציית התאמה: Sum', נוצר תרשים עם יחידות מפורשות שמייצגות את סך כל זמן ה-EECU שנעשה בו שימוש בכל נקודת נתונים. בחומר העזר בנושא Aligner מפורטת רשימה של Aligners אפשריים.

תגי עומסי עבודה

תגי עומסי עבודה הם תוויות למעקב אחרי חישובים ספציפיים ב-Earth Engine. משתמשים ב-setDefaultWorkloadTag כדי לקשר את כל החישובים בסקריפט לתג ברירת מחדל של עומס עבודה, אלא אם מגדירים תג באופן מפורש באמצעות ee.data.setWorkloadTag. במקרה כזה, ברירת המחדל מבוטלת. השיטות האלה מגדירות את התווית workload_tag למשימות חישוב וייצוא ספציפיות.

לאחר מכן תוכלו לעקוב אחרי החישובים המתויגים ב-Metrics Explorer באמצעות המדד Earth Engine Cloud Project > Project > Used EECUs, ולקבץ או לסנן לפי workload_tag.

לדוגמה, כדי לעקוב אחרי יחידות ה-EECU ששימשו לחישוב או לייצוא של תמונה:

Code Editor‏ (JavaScript)

// Set a default workload tag.
ee.data.setDefaultWorkloadTag('landsat-compositing')
var composite = ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
                     .filterDate('2020-01-01', '2021-01-01')
                     .median();

// Set a workload tag for export.
ee.data.setWorkloadTag('export-jobs');
Export.image.toAsset(composite);
ee.data.resetWorkloadTag(); // Reset to landsat-compositing

ee.data.resetWorkloadTag(true); // Reset back to empty

הגדרת Python

בדף סביבת Python מפורט מידע על Python API ועל השימוש ב-geemap לפיתוח אינטראקטיבי.

import ee
import geemap.core as geemap

Colab (Python)

# Authenticate, then initialize with your Cloud Project.
ee.Initialize(project='your-project')

# Set a default workload tag.
ee.data.setDefaultWorkloadTag('landsat-compositing')
composite = (
    ee.ImageCollection('LANDSAT/LC08/C02/T1_L2')
    .filterDate('2020-01-01', '2021-01-01')
    .median()
)

# Set a workload tag for export.
ee.data.setWorkloadTag('export-jobs')
ee.batch.Export.image.toAsset(composite).start()
ee.data.resetWorkloadTag()  # Reset to landsat-compositing

ee.data.resetWorkloadTag(True)  # Reset back to empty

# Alternatively, use a workload tag with the `with` context manager.
with ee.data.workloadTagContext('export-jobs'):
  ee.batch.Export.image.toAsset(composite).start()

בדוגמה הזו, כל החישובים מתויגים בתווית landsat-compositing (שמוגדרת כברירת מחדל), ולתוצאת הייצוא מוקצה תווית עומס עבודה משלה כי הפונקציה ee.data.setWorkloadTag נקראת לפני ההרצה שלה. משתמשים ב-ee.data.resetWorkloadTag כדי להגדיר חזרה את התג שמוגדר כברירת מחדל, או כדי להגדיר חזרה את התג שמוגדר כברירת מחדל למחרוזת ריקה.