মিথুন মডেলের জন্য টোকেন গণনা করুন

মিথুন মডেল টোকেন নামক ইউনিটে ইনপুট এবং আউটপুট প্রক্রিয়া করে।

টোকেন z মত একক অক্ষর বা cat মত পুরো শব্দ হতে পারে। দীর্ঘ শব্দগুলিকে কয়েকটি টোকেনে বিভক্ত করা হয়েছে। মডেল দ্বারা ব্যবহৃত সমস্ত টোকেনের সেটকে শব্দভাণ্ডার বলা হয় এবং টোকেনে পাঠ্য বিভক্ত করার প্রক্রিয়াটিকে টোকেনাইজেশন বলা হয়।

মিথুন মডেলের জন্য, একটি টোকেন প্রায় 4টি অক্ষরের সমতুল্য। 100 টোকেন প্রায় 60-80 ইংরেজি শব্দের সমান।

প্রতিটি মডেলের সর্বাধিক সংখ্যক টোকেন রয়েছে যা এটি একটি প্রম্পট এবং প্রতিক্রিয়াতে পরিচালনা করতে পারে। আপনার প্রম্পটের টোকেন গণনা জানা থাকলে আপনি এই সীমা অতিক্রম করেছেন কিনা তা আপনাকে জানাতে পারে। উপরন্তু, একটি অনুরোধের খরচ আংশিকভাবে ইনপুট এবং আউটপুট টোকেনের সংখ্যা দ্বারা নির্ধারিত হয়, তাই টোকেনগুলি কীভাবে গণনা করতে হয় তা জানা সহায়ক হতে পারে।

উল্লেখ্য যে জেমিনি 1.0 এবং 1.5 মডেলগুলি "বিলযোগ্য অক্ষর" গণনা এবং মূল্য নির্ধারণকেও সমর্থন করে, কিন্তু যেহেতু এই মডেলগুলি হয় অবসরপ্রাপ্ত বা শীঘ্রই অবসরপ্রাপ্ত, এই পৃষ্ঠাটি বিলযোগ্য অক্ষর সম্পর্কে কিছু বর্ণনা করে না৷

সমর্থিত মডেল

• gemini-2.5-pro
• gemini-2.5-flash
• gemini-2.5-flash-lite
• gemini-2.0-flash-001 (এবং এর স্বয়ংক্রিয়-আপডেট উপনাম gemini-2.0-flash )
• gemini-2.0-flash-lite-001 (এবং এর স্বয়ংক্রিয়-আপডেট উপনাম gemini-2.0-flash-lite )
• gemini-2.0-flash-preview-image-generation

টোকেন গণনা জন্য বিকল্প

Gemini API-এর জন্য সমস্ত ইনপুট এবং আউটপুট টেক্সট, ইমেজ ফাইল এবং অন্যান্য নন-টেক্সট পদ্ধতি সহ টোকেনাইজড। এখানে টোকেন গণনার বিকল্প রয়েছে:

শুধুমাত্র আপনার অনুরোধের জন্য টোকেন গণনা পরীক্ষা করুন (মডেলে পাঠানোর আগে)।

মডেলে পাঠানোর আগে অনুরোধের ইনপুট সহ countTokens কল করুন। এটি ফেরত দেয়:

• total_tokens : শুধুমাত্র ইনপুটের টোকেন গণনা

আপনার অনুরোধ এবং প্রতিক্রিয়া উভয়ের জন্য টোকেন গণনা পরীক্ষা করুন।

প্রতিক্রিয়া বস্তুতে usageMetadata বৈশিষ্ট্য ব্যবহার করুন। এর মধ্যে রয়েছে:

• prompt_token_count : শুধুমাত্র ইনপুটের টোকেন গণনা
• candidates_token_count : শুধুমাত্র আউটপুটের টোকেন গণনা (চিন্তার টোকেন অন্তর্ভুক্ত নয়)
• thoughts_token_count : প্রতিক্রিয়া তৈরি করতে ব্যবহৃত যেকোনো চিন্তার টোকেনের টোকেন গণনা
• total_token_count : ইনপুট এবং আউটপুট উভয়ের জন্য টোকেনের মোট গণনা (যেকোন চিন্তার টোকেন অন্তর্ভুক্ত)

আউটপুট স্ট্রিম করার সময়, usageMetadata বৈশিষ্ট্যটি শুধুমাত্র স্ট্রিমের শেষ অংশে প্রদর্শিত হয়। মধ্যবর্তী খণ্ডগুলির জন্য এটি nil ।

উপরের বিকল্পগুলি সম্পর্কে নিম্নলিখিত পয়েন্টগুলি নোট করুন:

• তারা ইনপুট ইমেজের সংখ্যা বা ভিডিও বা অডিও ইনপুট ফাইলে সেকেন্ডের সংখ্যা গণনা করবে না । যাইহোক, এই প্রতিটি পদ্ধতির জন্য টোকেন গণনা এই মানগুলির সাথে সম্পর্কযুক্ত হবে।
• ইনপুট টোকেন গণনায় প্রম্পট (টেক্সট এবং যেকোন ইনপুট ফাইল) সেইসাথে যেকোন সিস্টেম নির্দেশাবলী এবং টুল অন্তর্ভুক্ত থাকে।
• আউটপুট টোকেন গণনা কোনো চিন্তা টোকেন অন্তর্ভুক্ত করে না; সেগুলি একটি পৃথক ক্ষেত্রে প্রদান করা হয়।
• পরবর্তীতে এই পৃষ্ঠায় প্রতিটি ধরনের অনুরোধের জন্য নির্দিষ্ট অতিরিক্ত তথ্য পর্যালোচনা করুন।

এই বিকল্পগুলির জন্য মূল্য নির্ধারণ

• countTokens কল করা : countTokens কল করার জন্য কোন চার্জ নেই (কাউন্ট টোকেন এপিআই)। Count Tokens API-এর সর্বোচ্চ কোটা হল প্রতি মিনিটে 3000 অনুরোধ (RPM)।

• usageMetadata অ্যাট্রিবিউট ব্যবহার করা: এই অ্যাট্রিবিউটটি সবসময় প্রতিক্রিয়ার অংশ হিসেবে ফেরত দেওয়া হয় এবং এতে কোনো টোকেন বা চার্জ লাগে না।

অতিরিক্ত তথ্য

নির্দিষ্ট ধরনের অনুরোধের সাথে কাজ করার সময় এখানে কিছু অতিরিক্ত তথ্য রয়েছে।

টেক্সট ইনপুট টোকেন গণনা করুন

কোন অতিরিক্ত তথ্য.

মাল্টি-টার্ন (চ্যাট) টোকেন গণনা করুন

চ্যাট ব্যবহার করার সময় countTokens কল করার জন্য নিম্নলিখিত নোট করুন:

• আপনি যদি চ্যাটের ইতিহাসের সাথে countTokens কল করেন, এটি চ্যাটের উভয় ভূমিকা থেকে মোট টোকেন গণনা ফেরত দেয় ( total_tokens )।
• আপনার পরবর্তী কথোপকথনের পালা কত বড় হবে তা বোঝার জন্য, আপনি যখন countTokens কল করবেন তখন আপনাকে এটি ইতিহাসে যুক্ত করতে হবে।

মাল্টিমডাল ইনপুট টোকেন গণনা করুন

মাল্টিমোডাল ইনপুট সহ টোকেন গণনা সম্পর্কে নিম্নলিখিত পয়েন্টগুলি নোট করুন:

• আপনি ঐচ্ছিকভাবে টেক্সট এবং ফাইলে countTokens আলাদাভাবে কল করতে পারেন।
• উভয় টোকেন গণনা বিকল্পের জন্য, আপনি ফাইলটি ইনলাইন ডেটা হিসাবে প্রদান করুন বা এর URL ব্যবহার করুন না কেন আপনি একই টোকেন গণনা পাবেন।

ইমেজ ইনপুট ফাইল

চিত্র ইনপুট ফাইলগুলি তাদের মাত্রার উপর ভিত্তি করে টোকেনে রূপান্তরিত হয়:

• 384 পিক্সেলের কম বা সমান উভয় মাত্রা সহ ইমেজ ইনপুট: প্রতিটি ছবি 258 টোকেন হিসাবে গণনা করা হয়।
• ইমেজ ইনপুট যা এক বা উভয় মাত্রায় বড়: প্রতিটি ছবিকে 768x768 পিক্সেলের টাইলগুলিতে ক্রপ করা হয় এবং স্কেল করা হয় এবং তারপর প্রতিটি টাইলকে 258 টোকেন হিসাবে গণনা করা হয়।

ভিডিও এবং অডিও ইনপুট ফাইল

ভিডিও এবং অডিও ইনপুট ফাইলগুলি নিম্নলিখিত নির্দিষ্ট হারে টোকেনে রূপান্তরিত হয়:

• ভিডিও: প্রতি সেকেন্ডে 263 টোকেন
• অডিও: প্রতি সেকেন্ডে 32 টোকেন

নথি (পিডিএফের মতো) ইনপুট ফাইল

পিডিএফ ইনপুট ফাইলগুলিকে চিত্র হিসাবে বিবেচনা করা হয়, তাই একটি পিডিএফের প্রতিটি পৃষ্ঠাকে একটি চিত্রের মতোই টোকেনাইজ করা হয়।