LiteRT এর সাথে মোবাইল AI ডেভেলপমেন্টের জন্য Qualcomm NPUs ব্যবহার করা

মোবাইল এআই মডেলগুলি বাড়ার সাথে সাথে LiteRT ডেভেলপারদের কর্মক্ষমতা বাড়াতে হবে। CPUs এবং GPU গুলির তুলনায় কম লেটেন্সি, উচ্চ থ্রুপুট এবং কম পাওয়ার খরচ অফার করে অন-ডিভাইস AI-এর জন্য NPU ক্রমবর্ধমানভাবে গুরুত্বপূর্ণ। Qualcomm AI ইঞ্জিন ডাইরেক্ট ডেলিগেটের মাধ্যমে Qualcomm® NPUs ব্যবহার করা স্ন্যাপড্রাগন ডিভাইসে মোবাইল এআই অ্যাপের কার্যক্ষমতাকে উল্লেখযোগ্যভাবে উন্নত করে। Qualcomm-এর সাথে সহযোগিতায়, Google AI Edge টিম এই প্রতিনিধিকে অ্যান্ড্রয়েড অ্যাপে একীভূত করার প্রদর্শন করবে, ঐতিহ্যবাহী প্রসেসরের তুলনায় পারফরম্যান্স লাভ হাইলাইট করবে এবং কীভাবে শুরু করতে হবে তা দেখাবে।

Qualcomm AI ইঞ্জিন সরাসরি প্রতিনিধি

Qualcomm AI ইঞ্জিন ডাইরেক্ট ডেলিগেট ব্যবহারকারীদের Qualcomm AI স্ট্যাক ব্যবহার করে LiteRT মডেল চালাতে সক্ষম করে। আপনার LiteRT মডেল অন-ডিভাইসের জন্য NPU-তে অনুমান চালানোর জন্য Qualcomm AI ইঞ্জিন ডাইরেক্ট ডেলিগেট ব্যবহার করা অপরিহার্য। সমর্থিত ডিভাইস অন্তর্ভুক্ত:

• Snapdragon 8 Gen 1 (SM8450)
• Snapdragon 8 Gen 2 (SM8550)
• Snapdragon 8 Gen 3 (SM8650)
• স্ন্যাপড্রাগন 8 এলিট (SM8750)
• এবং আরো

এই ডিভাইসগুলিতে অ্যাপ্লিকেশনগুলি এনপিইউকে লক্ষ্য করে Qualcomm AI স্ট্যাক থেকে উপকৃত হবে যা AI মডেলগুলির জন্য সেরা কর্মক্ষমতা প্রদান করে।

Qualcomm AI ইঞ্জিন ডাইরেক্ট ডেলিগেট ব্যবহার করে NPU-এর সুবিধা কীভাবে নেওয়া যায়

প্রথমে, Maven Central- এ উপলব্ধ Qualcomm AI ইঞ্জিন ডাইরেক্ট ডেলিগেট ডাউনলোড করুন। একটি অ্যান্ড্রয়েড জাভা অ্যাপ্লিকেশনে প্রতিনিধি সেট আপ করতে, নিম্নলিখিত নির্ভরতা প্রয়োজন:

dependencies {
 implementation 'com.qualcomm.qti:qnn-runtime:2.34.0'
 implementation 'com.qualcomm.qti:qnn-litert-delegate:2.34.0' }

প্রতিনিধি ব্যবহার করতে:

try {
  // Created default Options
  QnnDelegate.Options options = new QnnDelegate.Options();
  // Set the backend and library path
  options.setBackendType(QnnDelegate.Options.BackendType.HTP_BACKEND);
  options.setSkelLibraryDir(activity.getApplicationInfo().nativeLibraryDir);
  // Create the Delegate instance.
  qnnDelegate = new QnnDelegate(options);
  tfliteOptions.addDelegate(qnnDelegate);
}
catch (UnsupportedOperationException e) {
  // Delegate creation failed
}
tfliteInterpreter = new Interpreter(tfliteModel, tfliteOptions);

LiteRT-এর জন্য QNN প্রতিনিধি ব্যবহার করে এমন একটি Android অ্যাপের উদাহরণ দেখতে, Qualcomm AI Hub Android নমুনা অ্যাপগুলি দেখুন।

কর্মক্ষমতা সুবিধা

Qualcomm® Hexagon Tensor প্রসেসর সহ Snapdragon SOC সহ ডিভাইসগুলিতে, বেশিরভাগ মডেল GPU এবং CPU এর তুলনায় উল্লেখযোগ্যভাবে দ্রুত কাজ করে। এইচটিপি নিউরাল নেটওয়ার্ক গণনার জন্য আরও শক্তি-দক্ষ প্রসেসর। MobileNetv2, একটি ওপেন-সোর্স মডেল, AI হাব মডেলের অংশ হিসাবে পূর্ব-অপ্টিমাইজ করা এই কর্মক্ষমতা বিশ্লেষণের জন্য একটি নমুনা হিসাবে ব্যবহার করা হয়েছিল।

Snapdragon এবং Qualcomm ব্র্যান্ডের পণ্যগুলি হল Qualcomm Technologies, Inc. এবং/অথবা এর সহযোগী সংস্থাগুলির পণ্য৷

পরবর্তী কি

LiteRT নেক্সট- এর সাথে AI অ্যাপ্লিকেশন ডেভেলপমেন্টের জন্য নির্বিঘ্নে NPU-এর সুবিধা নিয়ে আরও উত্তেজনাপূর্ণ আপডেটের জন্য আমাদের সাথেই থাকুন!