LiteRT Next এর সাথে NPU ত্বরণ

LiteRT নেক্সট আপনাকে পৃথকভাবে ভেন্ডর-নির্দিষ্ট কম্পাইলার, রানটাইম বা লাইব্রেরি নির্ভরতাগুলিতে নেভিগেট করতে বাধ্য না করে নিউরাল প্রসেসিং ইউনিট (NPUs) ব্যবহার করার জন্য একটি ইউনিফাইড ইন্টারফেস প্রদান করে। NPU ত্বরণের জন্য LiteRT Next ব্যবহার করা অনেক বিক্রেতা-নির্দিষ্ট বা ডিভাইস-নির্দিষ্ট জটিলতা এড়ায়, রিয়েল-টাইম এবং বড়-মডেলের অনুমানের জন্য কর্মক্ষমতা বাড়ায় এবং জিরো-কপি হার্ডওয়্যার বাফার ব্যবহারের মাধ্যমে মেমরি কপিগুলিকে কমিয়ে দেয়।

আপনি যদি ইতিমধ্যেই LiteRT NPU আর্লি অ্যাক্সেস প্রোগ্রামে নথিভুক্ত হয়ে থাকেন, তাহলে NPU ডকুমেন্টেশন দেখতে অনুমোদিত অ্যাকাউন্টে সাইন ইন করুন। আপনি যদি নথিভুক্ত না হয়ে থাকেন, তাহলে প্রারম্ভিক অ্যাক্সেস প্রোগ্রামে সাইন আপ করুন:

সাইন আপ!

শুরু করুন

শুরু করতে, NPU ওভারভিউ গাইড দেখুন:

  • ক্লাসিক্যাল এমএল মডেলের জন্য , মূল কাঠামোর সাথে সরাসরি এগিয়ে যান:
  • লার্জ ল্যাঙ্গুয়েজ মডেলের (LLMs) জন্য , আমরা NPU নির্বাহের জন্য প্রয়োজনীয় এন্ড-টু-এন্ড প্রসেসিং পরিচালনা করতে আমাদের LiteRT-LM ফ্রেমওয়ার্ক ব্যবহার করার পরামর্শ দিই:

NPU সমর্থন সহ LiteRT Next এর বাস্তবায়নের জন্য, নিম্নলিখিত ডেমো অ্যাপ্লিকেশনগুলি পড়ুন:

এনপিইউ বিক্রেতারা

LiteRT Next নিম্নলিখিত বিক্রেতাদের সাথে NPU ত্বরণ সমর্থন করে: