Earth Engine के कोटा

कोटा के टाइप

Earth Engine प्लैटफ़ॉर्म पर कोटा की कई सीमाएं हैं. इससे यह पक्का होता है कि सभी उपयोगकर्ताओं को संसाधन समान रूप से मिलें. Earth Engine में कई तरह के रिसॉर्स (कंप्यूटेशन, स्टोरेज वगैरह) उपलब्ध हैं. इसलिए, कोटा की कई तरह की सीमाएं होती हैं.

कोटा के अलग-अलग टाइप के बीच मुख्य अंतर यह है कि क्या उन्हें अडजस्ट किया जा सकता है. कुछ तरह के कोटे के लिए, हम हर उपयोगकर्ता या हर प्रोजेक्ट के हिसाब से सीमाएं बदल सकते हैं. वहीं, अन्य तरह की सीमाएं सिस्टम-वाइड होती हैं, जिन्हें बदला नहीं जा सकता.

कोटा की सीमाएं बदलना

हर प्रोजेक्ट के हिसाब से, इन सीमाओं में बदलाव किया जा सकता है. ज़्यादा कोटा का अनुरोध करने का तरीका जानने के लिए, सहायता पेज पर जाएं.

एक साथ कई इंटरैक्टिव अनुरोध

हर प्रोजेक्ट, कोटा की सीमा तक एक साथ इंटरैक्टिव अनुरोध कर सकता है. सीमा पार होने पर, Earth Engine "एचटीटीपी 429: बहुत ज़्यादा अनुरोध" वाली गड़बड़ियां दिखाएगा. आम तौर पर, इन गड़बड़ियों को Earth Engine क्लाइंट लाइब्रेरी मैनेज करती है. यह लाइब्रेरी, अनुरोधों को एक्सपोनेंशियल बैकऑफ़ में रैप करती है. साथ ही, क्वेरी पूरी होने तक उसे फिर से आज़माती रहती है. Earth Engine क्लाइंट लाइब्रेरी, अनुरोध को पांच बार तक दोहराएगी.

429 वाली गड़बड़ियां मिलने से बचने के लिए, अपने ऐप्लिकेशन के लिए कैश मेमोरी को चालू करें. उदाहरण के लिए, memcache का इस्तेमाल करके, ज़रूरत न होने पर क्वेरी भेजने से बचें. अगर Earth Engine क्लाइंट लाइब्रेरी के किसी पुराने वर्शन का इस्तेमाल किया जा रहा है, जो क्वेरी को अपने-आप फिर से नहीं चलाता है या पांच बार फिर से चलाने के बाद भी क्वेरी पूरी नहीं होती है, तो आपको अनुरोधों के लिए एक्सपोनेंशियल बैकऑफ़ लागू करना पड़ सकता है.

अनुरोधों की दर (क्यूपीएस)

एक साथ कई अनुरोध करने की सीमा के अलावा, Earth Engine, प्रोजेक्ट और उपयोगकर्ता लेवल पर इंटरैक्टिव अनुरोधों की दर को सीमित करता है. इन सेटिंग को Cloud Console में जाकर अडजस्ट किया जा सकता है

एक साथ कई टास्क करना

बैच टास्क, एक साथ कई काम करने की सुविधा का सीमित तौर पर इस्तेमाल करते हैं. इसकी वजह यह है कि ये इंटरैक्टिव अनुरोधों के मुकाबले ज़्यादा संसाधनों का इस्तेमाल करते हैं.

अगर Earth Engine का इस्तेमाल व्यावसायिक तौर पर नहीं किया जा रहा है, तो एक साथ ज़्यादा से ज़्यादा कितने बैच टास्क चलाए जा सकते हैं, यह डिफ़ॉल्ट रूप से सेट होता है. हालांकि, अगर आपको कोटा बढ़ाने की अनुमति मिली है, तो यह संख्या ज़्यादा हो सकती है.

Earth Engine का व्यावसायिक तौर पर इस्तेमाल करने पर, एक साथ जितने बैच टास्क चलाए जा सकते हैं उनकी संख्या, कीमत के प्लान से तय होती है. हालांकि, हर प्रोजेक्ट के लिए बैच टास्क की एक साथ चलने की सीमा सेट करके, इस संख्या को और कम किया जा सकता है. डिफ़ॉल्ट रूप से, किसी प्रोजेक्ट पर एक साथ किए जा सकने वाले बैच टास्क की सीमा, प्रोजेक्ट के बिलिंग खाते पर कॉन्फ़िगर किए गए पेमेंट प्लान की तय सीमा के हिसाब से सेट होती है. किसी प्रोजेक्ट पर यह सीमा देखने या अपडेट करने के लिए, कमांड-लाइन टूल के दस्तावेज़ देखें.

ऐसेट का स्टोरेज कोटा

हर Earth Engine एसेट का डेटा स्टोरेज साइज़, बाइट में मेज़र किया जाता है. ऐसेट का मालिकाना हक, Cloud प्रोजेक्ट या लोगों (लेगसी ऐसेट) के पास हो सकता है. साथ ही, हर ऐसेट को उसके मालिक के Earth Engine के स्टोरेज और ऐसेट की संख्या की सीमा में गिना जाता है.

हर दिन का ईईसीयू-समय

अगर आपको लागत कंट्रोल करनी है, तो Earth Engine पर किसी प्रोजेक्ट को हर दिन इस्तेमाल करने के लिए, ईईसीयू के समय की सीमा तय की जा सकती है. डिफ़ॉल्ट रूप से, यह कोटा सीमित नहीं होता. कोटा एडमिन, earthengine.googleapis.com/daily_eecu_usage_time कोटा मेट्रिक को फ़िल्टर करके, Cloud Console में यह सीमा सेट कर सकते हैं. यह कोटा सेट होने के बाद, किसी प्रोजेक्ट में सभी उपयोगकर्ताओं के Earth Engine के अनुरोधों को पूरा करने में लगने वाला ईईसीयू-टाइम इकट्ठा करता है. कोटा खत्म होने पर, अगले दिन कोटा रीसेट होने या सीमा बढ़ने तक, अनुरोध पूरा नहीं किए जा सकेंगे. इस कोटा को सेट करने के बारे में ज़्यादा जानकारी के लिए, लागत कंट्रोल की गाइड देखें.

उपयोगकर्ताओं के लिए सीटें

Earth Engine का व्यावसायिक तौर पर इस्तेमाल करने पर, हर सदस्यता टीयर में उपयोगकर्ताओं के लिए कुछ सीटें होती हैं. हालांकि, ज़्यादा सीटें भी खरीदी जा सकती हैं.

सेवा के एडमिन को, किसी बिलिंग साइकल में Code Editor के उपयोगकर्ताओं की संख्या के हिसाब से सीटें खरीदनी होंगी.

अक्सर पूछे जाने वाले सवाल

सवाल: किसी सीट के लिए, किन लोगों की गिनती की जाती है?
जवाब: सीट की सीमा में सिर्फ़ उन अलग-अलग उपयोगकर्ताओं को गिना जाता है जो कोड एडिटर का इस्तेमाल करके, Earth Engine का कंप्यूट इस्तेमाल करते हैं. जैसे, मैप टाइल देखना, कंप्यूटेशन से जुड़ी क्वेरी भेजना वगैरह.

सवाल: अगर उपयोगकर्ताओं की संख्या एक महीने से दूसरे महीने में बदल जाती है, तो क्या होगा?
जवाब: सीटें किसी खास व्यक्ति को नहीं दी जाती हैं. इनके लिए नाम वाले स्लॉट नहीं होते. जब तक किसी महीने में उपयोगकर्ताओं की संख्या तय सीमा से ज़्यादा नहीं होती, तब तक अलग-अलग उपयोगकर्ताओं की पहचान से कोई फ़र्क़ नहीं पड़ता.

सवाल: सेवा खातों के लिए क्या करना होगा?
जवाब: सेवा खातों के लिए, सीट की संख्या की ज़रूरत नहीं होती. इन्हें, कंप्यूट करने वाले मानव उपयोगकर्ताओं के तौर पर नहीं गिना जाता.

सवाल: Python के ज़रिए Earth Engine को ऐक्सेस करने वाले उपयोगकर्ताओं के लिए क्या होगा?
जवाब: जो उपयोगकर्ता सिर्फ़ Python API के ज़रिए Earth Engine को ऐक्सेस करते हैं और कोड एडिटर का इस्तेमाल नहीं करते उन्हें सीट के इस्तेमाल में नहीं गिना जाता. सीटों की संख्या, कोड एडिटर के इस्तेमाल पर निर्भर करती है.

सवाल: सीटों की गिनती कहां की जाती है?
जवाब: सीटों की संख्या, बिलिंग खाते के लेवल पर लागू होती है. आपके संगठन के सभी उपयोगकर्ता, Code Editor का इस्तेमाल करते हैं. इनकी संख्या, आपके बिलिंग खाते के लिए सीट की कुल संख्या में शामिल की जाती है.

सवाल: अगर हम सीटों की तय सीमा से ज़्यादा बुकिंग करते हैं, तो क्या होगा?
जवाब: हम लगातार होने वाले उल्लंघनों पर नज़र रखते हैं और बिलिंग खाते के लेवल पर सीमाएं लागू करते हैं.

सवाल: मैं ज़्यादा या कम सीटें कैसे खरीदूं?
जवाब: ज़्यादा जानकारी के लिए, Earth Engine की कीमत पेज देखें.

तय कोटा की सीमाएं

कोटा की ये सीमाएं, प्लैटफ़ॉर्म के लेवल पर सेट की जाती हैं. इसलिए, हर उपयोगकर्ता या हर प्रोजेक्ट के हिसाब से इनमें बदलाव नहीं किया जा सकता. समय के साथ इनमें काफ़ी बदलाव होने की संभावना नहीं है.

कैलकुलेशन में लगने वाला समय

अलग-अलग तरह के अनुरोधों के लिए, ज़्यादा से ज़्यादा समय अलग-अलग होता है. इस बारे में ज़्यादा जानकारी, प्रोसेसिंग एनवायरमेंट के दस्तावेज़ में दी गई है.

टाइम आउट की गड़बड़ियों को ठीक करने में मदद पाने के लिए, डीबग करने की गाइड देखें.

हर अनुरोध के लिए मेमोरी फ़ुटप्रिंट

अगर कोई अनुरोध "उपयोगकर्ता की मेमोरी की सीमा पार हो गई" के साथ पूरा नहीं होता है, तो इसका मतलब है कि Earth Engine, अनुमति वाली मेमोरी के फ़ुटप्रिंट में जवाब का हिसाब नहीं लगा सका. EE कंप्यूटेशन प्लैटफ़ॉर्म में सीमित रैम उपलब्ध होती है. साथ ही, यह पक्का करने के लिए कि सिस्टम सही से काम करता रहे, हर अनुरोध में सिर्फ़ कुछ रैम का इस्तेमाल किया जा सकता है. उपलब्ध मेमोरी की ज़्यादा से ज़्यादा सीमा, अनुरोध के टाइप पर निर्भर करती है.उदाहरण के लिए, मैप टाइल के मुकाबले, एक साथ कई टास्क करने के लिए ज़्यादा मेमोरी की ज़रूरत होती है. हालांकि, ये सीमाएं सिस्टम के लिए तय की गई हैं.

मेमोरी से जुड़ी गड़बड़ियों को ठीक करने में मदद पाने के लिए, डीबग करने के बारे में बताने वाली गाइड देखें.

एग्रीगेशन

Earth Engine के अनुरोधों को प्रोसेस करते समय, हम कुछ तरह के उप-कंप्यूटेशन को अलग रखते हैं. ऐसा इसलिए किया जाता है, क्योंकि हमें पता होता है कि इनमें ज़्यादा कंप्यूटिंग पावर की ज़रूरत होती है. इन सब-कंप्यूटेशन को "एग्रीगेशन" कहा जाता है. इन्हें खास तौर पर ईई सिस्टम में मैनेज किया जाता है. फिर से कैलकुलेट करने से बचने के लिए, एग्रीगेशन के नतीजों को कैश मेमोरी में सेव किया जाता है.

एक साथ कई एग्रीगेशन

ग़ैर-नियंत्रित कंप्यूटेशनल फ़ैनआउट से बचने के लिए, हम एक उपयोगकर्ता के लिए एक साथ चलने वाले एग्रीगेशन की संख्या सीमित करते हैं. इस संख्या में बदलाव नहीं किया जा सकता. अगर कोई अनुरोध "एक साथ कई एग्रीगेशन" की वजह से पूरा नहीं हो पाता है, तो इसका मतलब है कि अनुरोध करने वाले के पास एक साथ कई एग्रीगेशन चल रहे थे.

एक साथ कई डेटा इकट्ठा करने से जुड़ी गड़बड़ियों को ठीक करने में मदद पाने के लिए, डीबग करने से जुड़ी गाइड देखें.

एग्रीगेशन के बड़े नतीजे

अगर कोई अनुरोध "एग्रीगेशन की वैल्यू बहुत बड़ी है" के साथ पूरा नहीं होता है, तो इसका मतलब है कि एग्रीगेशन से मिला नतीजा, हमारे कैश मेमोरी में नहीं आ पा रहा है. कैलकुलेट किए गए नतीजों का साइज़ 100 एमबी से ज़्यादा नहीं होना चाहिए. यह सीमा, पूरे सिस्टम पर लागू होती है.

टेबल इंपोर्ट करने की सीमाएं

टेबल अपलोड करने की सीमाओं के बारे में टेबल डेटा इंपोर्ट करने की गाइड में बताया गया है.

पेलोड का साइज़

Earth Engine में एक क्वेरी का साइज़ 10 एमबी तक सीमित है. आम तौर पर, यह सीमा सिर्फ़ तब पार की जाती है, जब क्वेरी में सीधे तौर पर ज़्यादा डेटा शामिल किया जाता है. जैसे, क्वेरी में इनलाइन की गई शेपफ़ाइल या GeoJSON स्ट्रक्चर. इसके बजाय, इन ऑब्जेक्ट को अपलोड करके, इन्हें FeatureCollection ऐसेट में बदला जाना चाहिए. साथ ही, इनका रेफ़रंस ऐसेट आईडी से दिया जाना चाहिए.

टास्क की सूची में एलिमेंट की संख्या

शेड्यूल किए जाने के इंतज़ार में (READY स्थिति में) मौजूद टास्क, "टास्क की सूची" बनाते हैं. हर प्रोजेक्ट की सूची में ज़्यादा से ज़्यादा 3,000 टास्क हो सकते हैं. इसका मतलब है कि READY स्टेटस में 3,000 से ज़्यादा टास्क नहीं हो सकते.

BigQuery के रेस्टर फ़ंक्शन के कोटे की सीमाएं

यहां दिए गए कोटा, BigQuery से Earth Engine को किए जाने वाले कॉल पर लागू होते हैं. जैसे, ST_REGIONSTATS एसक्यूएल फ़ंक्शन का इस्तेमाल करते समय.

BigQuery का हर दिन का स्लॉट-टाइम

BigQuery के लिए हर दिन का स्लॉट-टाइम कोटा, एक कस्टम कोटा है. इससे, किसी प्रोजेक्ट के लिए किसी खास दिन, Earth Engine पर BigQuery रेस्टर फ़ंक्शन के इस्तेमाल के लिए, स्लॉट-टाइम की सीमा तय की जा सकती है. रोज़ के कोटे में, सभी क्वेरी का कुल समय गिना जाता है. भले ही, वे क्वेरी पूरी न हुई हों. कोटा को earthengine.googleapis.com/bigquery_slot_usage_time मेट्रिक के तहत, Cloud Console में देखा जा सकता है. साथ ही, कोटा एडमिन इस वैल्यू को ऊपर या नीचे अडजस्ट कर सकता है. डिफ़ॉल्ट वैल्यू से ज़्यादा वैल्यू पाने के लिए, कोटा बढ़ाने का अनुरोध करें. इसे अपने-आप मंज़ूरी मिल जाएगी. यह बदलाव 10 मिनट में लागू हो जाएगा.

इस कोटे से ज़्यादा डेटा अपलोड करने पर, BigQuery आपको गड़बड़ी का यह मैसेज दिखाएगा:

From Earth Engine: Custom quota exceeded: Your usage exceeded the custom quota for'earthengine.googleapis.com/bigquery_slot_usage_time', which is adjustable by your administrator in the Google Cloud console: https://console.cloud.google.com/quotas/?project=_.

कोटा खत्म होने के बाद, ST_REGIONSTATS कॉल तब तक नहीं किए जा सकेंगे, जब तक कि अगले दिन कोटा फिर से सेट नहीं किया जाता या एडमिन ने सीमा को बढ़ाया नहीं जाता.