জেমিনি ন্যানো উন্নত করা: LoRA এর সাথে উচ্চ মানের সারাংশ সরবরাহ করা

Yae Jee Cho

প্রকাশিত: 21 মে, 2025

বৃহৎ ভাষা মডেল (LLMs) ব্যবহার করে সংক্ষিপ্তকরণ সবচেয়ে সাধারণ এবং অত্যাবশ্যক AI কাজগুলির মধ্যে একটি। সারাংশগুলি বিস্তৃত বিষয়বস্তুকে দ্রুত বোঝার জন্য একটি গুরুত্বপূর্ণ উপায় অফার করে—দীর্ঘ নিবন্ধ এবং ঘন চ্যাট লগ থেকে শুরু করে অসংখ্য পর্যালোচনা—সময় বাঁচায়, উৎপাদনশীলতা বৃদ্ধি করে এবং দ্রুত, আরও ভাল-অবহিত সিদ্ধান্ত গ্রহণকে সক্ষম করে৷

বিশদ এবং বিন্যাসের প্রত্যাশার বিভিন্ন স্তর সহ বিভিন্ন ধরণের সারাংশ রয়েছে। বিভিন্ন ধরনের সারাংশের প্রত্যাশা পূরণ করতে, Gemini Nano-এর আউটপুট উন্নত করতে ক্রোম Google ক্লাউডের সাথে সহযোগিতা করেছে।

আমরা সমস্ত সারাংশ শৈলী এবং দৈর্ঘ্যের জন্য অভিজ্ঞতা এবং আউটপুট গুণমান উন্নত করতে লো-র্যাঙ্ক অ্যাডাপ্টেশন (LoRA) সহ জেমিনি ন্যানোকে সূক্ষ্ম-টিউন করেছি। উপরন্তু, আমরা বাস্তবতা, কভারেজ, বিন্যাস, এবং পঠনযোগ্যতা সহ সারাংশের মানের বিভিন্ন দিকগুলিতে স্বয়ংক্রিয় এবং অটোরাটার মূল্যায়ন প্রয়োগ করেছি।

অনুশীলনে এই পার্থক্যটি কেমন তা আমরা কল্পনা করেছি। আপনি এই বাস্তবায়নের সাথে পরীক্ষা করতে পারেন এবং একটি রিয়েল-টাইম ডেমো দেখে নিতে পারেন যা LoRA এর সাথে Gemini Nano এবং Gemini Nano-এর আউটপুটগুলির তুলনা করে।

Summarizer API কি?

ব্যাখ্যাকারী	ওয়েব	এক্সটেনশন	ক্রোম স্ট্যাটাস	অভিপ্রায়
MDN	ক্রোম 138	ক্রোম 138	দেখুন	জাহাজের অভিপ্রায়

Summarizer API দীর্ঘ টেক্সট বিষয়বস্তু সংক্ষিপ্ত, সহজে হজম সারাংশে ঘনীভূত করে। এপিআইটি ক্রোমে তৈরি করা হয়েছে এবং অনুমান সম্পাদন করতে জেমিনি ন্যানো ব্যবহার করে।

বিভিন্ন সাইটের শৈলী এবং দৈর্ঘ্যের একটি পরিসীমা সহ সারাংশের প্রয়োজন হতে পারে। উদাহরণস্বরূপ, আপনি যদি একটি সংবাদ সাইট হন, তাহলে আপনি আপনার নিবন্ধগুলির মূল পয়েন্টগুলির একটি বুলেটেড তালিকা অফার করতে চাইতে পারেন। বিকল্পভাবে, পণ্য পর্যালোচনা ব্রাউজিং ব্যবহারকারীরা পর্যালোচনা অনুভূতির একটি দ্রুত এবং সংক্ষিপ্ত সারাংশ থেকে উপকৃত হতে পারে। প্রদর্শনের জন্য, আমরা ওয়েলশ কর্গিসের উইকিপিডিয়া পৃষ্ঠার দৈর্ঘ্য short করে দিয়েছি।

আপনি Summarizer API প্লেগ্রাউন্ড ব্যবহার করে অন্যান্য পৃষ্ঠাগুলির সাথে পরীক্ষা করতে পারেন৷

ফাইন-টিউনিং নিয়ে পরীক্ষা করুন

138.0.7180.0 সংস্করণ থেকে ফাইন-টিউনিং শুধুমাত্র Chrome Canary-এ পতাকা হিসাবে উপলব্ধ। এই মডেল ব্যবহার করতে:

1. ক্রোম ক্যানারি খুলুন।
2. chrome://flags/#summarization-api-for-gemini-nano এ যান
3. অভিযোজন সহ সক্ষম নির্বাচন করুন।
4. ব্রাউজার রিস্টার্ট করুন।
5. DevTools কনসোল খুলুন এবং Summarizer.availability() ইনপুট করুন। এটি সম্পূরক LoRA এর জন্য ডাউনলোড শুরু করে।

ডাউনলোড সম্পূর্ণ হলে, আপনি পরীক্ষা শুরু করতে পারেন।

সংক্ষিপ্তকারীর কর্মক্ষমতা মূল্যায়ন

আমরা প্রাথমিকভাবে দুটি মূল্যায়ন পদ্ধতি, স্বয়ংক্রিয় এবং অটোরাটার ব্যবহার করে ফাইন-টিউনড জেমিনি ন্যানো-এর কর্মক্ষমতা উন্নতি পরিমাপ করেছি। ফাইন-টিউনিং একটি মডেলকে আরও ভালোভাবে নির্দিষ্ট কাজ সম্পাদন করতে সাহায্য করে, যেমন:

• মেডিকেল টেক্সট আরও ভাল অনুবাদ করুন.
• একটি নির্দিষ্ট শিল্প শৈলীতে ছবি তৈরি করুন।
• একটি নতুন অপবাদ বুঝতে.

এই ক্ষেত্রে, আমরা প্রতিটি সারাংশের ধরণের প্রত্যাশাগুলি আরও ভালভাবে পূরণ করতে চেয়েছিলাম।

স্বয়ংক্রিয় মূল্যায়ন

স্বয়ংক্রিয় মূল্যায়ন একটি মডেলের আউটপুট গুণমান বিচার করতে সফ্টওয়্যার ব্যবহার করে। আমরা এই কৌশলটি ব্যবহার করেছি ফরম্যাটিং ত্রুটি, বাক্যের পুনরাবৃত্তি এবং ইংরেজি ইনপুটের সারাংশে অ-ইংরেজি অক্ষরের অস্তিত্ব অনুসন্ধান করতে।

• ফরম্যাটিং ত্রুটি : আমরা পরীক্ষা করি যে সারাংশের প্রতিক্রিয়াগুলি প্রম্পটের ফর্ম্যাটিং নির্দেশাবলী অনুসরণ করে কিনা। উদাহরণস্বরূপ, সংক্ষিপ্ত কী-পয়েন্ট শৈলীর জন্য, আমরা পরীক্ষা করি যে প্রতিটি বুলেট পয়েন্ট একটি তারকাচিহ্ন ( * ) দিয়ে শুরু হয় এবং বুলেট পয়েন্টের সংখ্যা 3 বুলেট পয়েন্টের বেশি না হয়।

• বাক্যের পুনরাবৃত্তি : আমরা পরীক্ষা করি যে একই বাক্য একটি একক সারাংশের প্রতিক্রিয়াতে পুনরাবৃত্তি হয়েছে কিনা, কারণ এটি একটি খারাপ মানের প্রতিক্রিয়া নির্দেশ করে।

• নন-ইংরেজি অক্ষর : যখন ইনপুটটি ইংরেজিতে বোঝানো হয় তখন আমরা প্রতিক্রিয়াটিতে অ-ইংরেজি অক্ষর অন্তর্ভুক্ত কিনা তা পরীক্ষা করি।

• আউটপুটে হাইপারলিঙ্ক : প্রতিক্রিয়াটিতে মার্কডাউন ফর্ম্যাটে বা প্লেইন টেক্সটে কোনো হাইপারলিঙ্ক আছে কিনা, যা ইনপুটে বিদ্যমান নেই তা আমরা পরীক্ষা করি।

আমরা ইনপুটের দুটি শৈলী মূল্যায়ন করেছি: স্ক্র্যাপ করা নিবন্ধ এবং চ্যাট লগ।

জেমিনি ন্যানোকে ফাইন-টিউন করার পরে, আমরা নিবন্ধ এবং চ্যাট লগ উভয়ের জন্য বিভিন্ন সারাংশের ধরন জুড়ে বিন্যাস ত্রুটির হারে উল্লেখযোগ্য হ্রাস দেখেছি।

অটোরাটার মূল্যায়ন

আমরা Gemini 1.5 Pro ব্যবহার করেছি অটোরাটার মূল্যায়নের জন্য, Gemini Nano-এর আউটপুট গুণমান বিচার করতে। যেহেতু প্রতিটি সারাংশের আলাদা উদ্দেশ্য রয়েছে, বিভিন্ন সারাংশের ধরনগুলির জন্য মানদণ্ডের মানদণ্ড এবং মান আলাদা। সমস্ত সারাংশের প্রকারের জন্য মূল্যায়ন করা হয়েছিল:

• কভারেজ : সারাংশ কি সঠিকভাবে ইনপুটের অপরিহার্য উদ্দেশ্য ক্যাপচার করে?
• বাস্তবতা: সারাংশটি কি সত্য? সারাংশটি কি নতুন তথ্য উপস্থাপন করে যা পাঠ্যটিতে স্পষ্টভাবে বলা বা উহ্য ছিল না?
• বিন্যাস : সারাংশটি কি বৈধ মার্কডাউন সিনট্যাক্সের সাথে বিন্যাসিত? সারাংশটি কি বাক্যের সর্বোচ্চ দৈর্ঘ্য ধরে রাখে, যেমন অনুরোধ করা হয়েছে?
• স্বচ্ছতা : সারাংশ কি পুনরাবৃত্তিমূলক? সারাংশটি কি কম সম্ভাব্য শব্দে মূল বার্তাটি সঠিকভাবে প্রকাশ করে?

যেহেতু এই সারাংশের ধরনগুলির বিভিন্ন উদ্দেশ্য রয়েছে, অতিরিক্ত মেট্রিক্স নির্দিষ্ট সারাংশের প্রকারগুলিতে প্রযোজ্য:

• ব্যস্ততা: ( headline ): সংক্ষিপ্তসারটি কি সাধারণ দর্শকদের কাছে অবিলম্বে বোধগম্য? সারাংশটি কি এমন একটি টোন ব্যবহার করে যা একটি সাধারণ শ্রোতাদের কাছে আকর্ষণীয় এবং আবেদনময়?
• সংক্ষিপ্ততা ( tldr ): সংক্ষিপ্তসারটি কি স্পষ্ট, সংক্ষিপ্ত এবং অবিলম্বে বোধগম্য কারো কাছে খুব কম মনোযোগের সময়? এটি কি কার্যকরভাবে মূল বার্তাটিকে দ্রুত পড়ার জন্য সহজে হজমযোগ্য ফর্মে পাতন করে?
• প্রলোভন ( teaser ): সারাংশটি কি কার্যকরভাবে ষড়যন্ত্র তৈরি করে এবং পাঠককে সম্পূর্ণ পাঠ্য পড়ে আরও শিখতে চায়? এটি কি এমন ভাষা ব্যবহার করে যা আকর্ষণীয় এবং আকর্ষণীয় বিষয়বস্তুর পরামর্শ দেয়?

আমরা অটোরাটার ব্যবহার করে বেস মডেল এবং মডেলের আউটপুটকে LoRA-এর সাথে তুলনা করেছি। অটোরাটারের স্কোরগুলি 0 এবং 1 এর মধ্যে গড় ছিল, যা তখন থ্রেশহোল্ড মানের বিপরীতে মূল্যায়ন করা হয়েছিল।

একটি সঠিক ফলাফল নিশ্চিত করার জন্য, আমরা ডেটা বৈচিত্র্য কমিয়েছি এবং অবস্থানগত পক্ষপাত দূর করেছি।

• ডেটা ভ্যারিয়েন্স হ্রাস : আমরা ইনপুট প্রতি তিনটি স্বাধীন আউটপুটের স্কোর গড় করেছি, কারণ স্বাধীন রানের সামান্য ভিন্ন ফলাফল হতে পারে। আমরা বেস মডেল এবং ফাইন-টিউনড জেমিনি ন্যানো উভয়ের আউটপুট গড় করেছি। যদিও আউটপুট জুড়ে স্কোরের পার্থক্য শুধুমাত্র সামান্য ভিন্ন ছিল, গড় আমাদের আরও নির্ভরযোগ্যভাবে ডেটার বড় সেট বুঝতে সাহায্য করে।

• অবস্থানগত পক্ষপাত দূর করুন : রেটারের সাথে প্রথমে ভাগ করা সারাংশের মানকে অগ্রাধিকার দেওয়া এড়াতে, আমরা ফলাফলগুলি দুবার মূল্যায়ন করেছি, তারপর চূড়ান্ত স্কোর গড় করেছি।

  1. আমরা LoRA দিয়ে মডেলটিকে মূল্যায়ন করেছি, তারপর বেস মডেল।
  2. তারপর, আমরা আদেশ বিপরীত. আমরা বেস মডেলের মূল্যায়ন করেছি, LoRA এর সাথে মডেলটি অনুসরণ করেছি।
  3. আমরা চূড়ান্ত স্কোর গড়.

  key-points সারাংশের প্রকারের জন্য উইনরেট। উচ্চ মান ভাল ফলাফল.

  	সংক্ষিপ্ত	মাঝারি	দীর্ঘ
  	বেস / LoRA সহ	বেস / LoRA সহ	বেস / LoRA সহ
  LoRA প্রথম	74.29% / 86.64%	76.11% / 81.38%	68.62% / 78.95%
  প্রথমে বেস মডেল	68.02% / 88.60%	64.97% / 87.58%	58.25% / 86.35%
  সংস্করণ সি (গড়)	71.02% / 89.18%	69.59% / 84.08%	63.47% / 82.65%

যদিও একই মডেল থেকে আউটপুটগুলির জন্য স্কোরিংয়ের পার্থক্য শুধুমাত্র সামান্য ভিন্ন ছিল, গড় আমাদের আরও নির্ভরযোগ্যভাবে ডেটার বড় সেট বুঝতে সাহায্য করে।

500টি নিবন্ধ জুড়ে, সূক্ষ্ম সুরযুক্ত জেমিনি ন্যানো বেস মডেলের তুলনায় উল্লেখযোগ্যভাবে ভালো পারফর্ম করেছে।

আমাদের 500 টি চ্যাট লগের মূল্যায়নের ক্ষেত্রেও একই কথা সত্য ছিল, সূক্ষ্ম সুরযুক্ত জেমিনি ন্যানো বেস মডেলকে ছাড়িয়ে গেছে।

এই ফলাফলগুলি দেখায় যে আমাদের সূক্ষ্ম টিউনিং সামগ্রিক সারাংশের গুণমানকে উন্নত করেছে৷

LoRA এর সাথে আরও ভাল সারাংশ

ঐতিহ্যগতভাবে, মডেলের পরামিতি সামঞ্জস্য করে সূক্ষ্ম-টিউনিং করা হয়। আধুনিক AI মডেলগুলি বিশাল , তাই এই অপারেশনটি ধীর, ব্যয়বহুল এবং মডেলটির একটি একেবারে নতুন কপি সংরক্ষণের প্রয়োজন৷

সমস্ত পরামিতি পরিবর্তন করার পরিবর্তে, আমরা যদি ছোট অতিরিক্ত টুকরো যোগ করি যা মডেলটিকে আমাদের পছন্দের দিকে নিয়ে যায়? তাদের ছোট আকার অনেক দ্রুত প্রশিক্ষণ সক্ষম করে। এটি নিম্ন-র্যাঙ্ক অভিযোজন (LORA) এর মূল নীতি। LoRA এর সাথে, মডেলের কিছু অংশ অপরিবর্তিত থাকে, প্রায়শই প্যারামিটারগুলিকে হিমায়িত করা হিসাবে উল্লেখ করা হয়। ডেটার একটি ছোট সেট ছোট সংশোধনের সাথে প্রবর্তন করা হয়, এই যোগ করা অংশগুলিতে প্রশিক্ষণের প্রচেষ্টাকে ফোকাস করে।

প্রকৃতপক্ষে, সাধারণত আপনি LoRA দিয়ে মূল প্যারামিটারের 2% এর মতো প্রশিক্ষণ দিতে পারেন এবং এখনও আপনার আউটপুটগুলিতে উল্লেখযোগ্য পরিবর্তন দেখতে পারেন।

কেন এই কাজ করে? অনেক আচরণ (যেমন নতুন শৈলী, কাজ, বা জ্ঞান) প্রতিটি মডেল পরামিতি পরিবর্তন ছাড়াই অন্তর্ভুক্ত করা যেতে পারে। এই পরিবর্তনগুলি মডেলের বিদ্যমান জ্ঞানের মধ্যে ছোট প্যাটার্ন বা দিকনির্দেশ হিসাবে প্রকাশ করা যেতে পারে। LoRA দক্ষতার সাথে মূল মডেল স্পর্শ না করে এই নিদর্শন ক্যাপচার.

কিছু উদাহরণ দেখুন যা LoRA যোগ করার পরে ফলাফলের সাথে জেমিনি ন্যানো বেস মডেলের তুলনা করে।

আমরা জেমিনি ন্যানোকে জোশুয়া ট্রি ন্যাশনাল পার্ক উইকিপিডিয়া নিবন্ধে একটি ছোট শিরোনাম তৈরি করতে বলেছিলাম যা "মনোযোগ আকর্ষণ করে এবং বিষয়বস্তুর সারমর্ম প্রকাশ করে"।

এরপরে, আমরা জেমিনি ন্যানোকে রাটাটুইল নিবন্ধের জন্য একটি ছোট টিজারের জন্য অনুরোধ করেছি। "একটি লোভনীয় একটি বাক্য লিখুন যা ব্যবহারকারীদের সম্পূর্ণ পাঠ্য পড়তে উত্সাহিত করে।"

রিয়েল-টাইম ইনফারেন্স ডেমো

আমরা একটি ইন্টারফেস তৈরি করেছি যা LoRA এর সাথে জেমিনি ন্যানো এবং জেমিনি ন্যানো এর মধ্যে আউটপুটগুলির তুলনা প্রদর্শন করে৷

আমরা জেমিনি ন্যানোকে Ocean Sunfish নিবন্ধের জন্য একটি short দৈর্ঘ্য সহ একটি tldr সারাংশ তৈরি করতে বলেছি। মনে রাখবেন যে tldr এবং short 1 বাক্যে একটি প্রতিক্রিয়া প্রয়োজন যা একটি "দ্রুত পড়া"।

ফাইন-টিউনিং প্রয়োগ করে, জেমিনি ন্যানো একটি সারাংশ তৈরি করতে পারে যা নির্দিষ্ট নির্দেশাবলী অনুসরণ করে।

জড়িত এবং মতামত শেয়ার করুন

সূক্ষ্ম সুর করা জেমিনি ন্যানো দ্বারা আপনার সারাংশগুলি কীভাবে প্রভাবিত হয় সে সম্পর্কে আমরা আপনার প্রতিক্রিয়া শুনতে আগ্রহী।

• ক্রোম ক্যানারিতে আপডেট করা মডেল নিয়ে পরীক্ষা করুন৷
• Summarizer API সম্পর্কে আরও জানুন।
• Chrome এর বাস্তবায়ন সম্পর্কে আপনার মতামত থাকলে, একটি বাগ রিপোর্ট বা বৈশিষ্ট্য অনুরোধ ফাইল করুন।

ব্রাউজারে বড় ভাষার মডেল সহ মডেলগুলি ব্যবহার করে এমন সমস্ত অন্তর্নির্মিত AI API আবিষ্কার করুন৷