使用 Qualcomm NPUs 搭配 LiteRT 進行行動 AI 開發

隨著行動 AI 模型的數量增加，LiteRT 開發人員需要盡可能提高效能。相較於 CPU 和 GPU，NPUs 可提供更低的延遲、更高的吞吐量，以及更低的耗電量，因此在裝置端 AI 中的重要性日益提升。透過 Qualcomm AI Engine Direct 委派函利用 Qualcomm® NPU，可大幅改善 Snapdragon 裝置上的行動 AI 應用程式效能。Google AI Edge 團隊將與 Qualcomm 合作，示範如何將這個委派程式整合至 Android 應用程式，強調相較於傳統處理器的效能提升，並說明如何開始使用。

Qualcomm AI Engine 直接委派

Qualcomm AI Engine Direct Delegate 可讓使用者使用 Qualcomm AI Stack 執行 LiteRT 模型。如要在裝置端的 NPU 上為 LiteRT 模型執行推論，就必須使用 Qualcomm AI Engine Direct 委派作業。支援的裝置包括：

• Snapdragon 8 Gen 1 (SM8450)
• Snapdragon 8 Gen 2 (SM8550)
• Snapdragon 8 Gen 3 (SM8650)
• Snapdragon 8 Elite (SM8750)
• 和更多

這些裝置上的應用程式可鎖定 NPU，以便為 AI 模型提供最佳效能，進而充分運用 Qualcomm AI 堆疊。

如何使用 Qualcomm AI Engine Direct 委派程式來運用 NPU

首先，請下載 Maven Central 提供的 Qualcomm AI Engine Direct Delegate。如要在 Android Java 應用程式中設定委派程式，需要下列依附元件：

dependencies {
 implementation 'com.qualcomm.qti:qnn-runtime:2.34.0'
 implementation 'com.qualcomm.qti:qnn-litert-delegate:2.34.0' }

如何使用委派函：

try {
  // Created default Options
  QnnDelegate.Options options = new QnnDelegate.Options();
  // Set the backend and library path
  options.setBackendType(QnnDelegate.Options.BackendType.HTP_BACKEND);
  options.setSkelLibraryDir(activity.getApplicationInfo().nativeLibraryDir);
  // Create the Delegate instance.
  qnnDelegate = new QnnDelegate(options);
  tfliteOptions.addDelegate(qnnDelegate);
}
catch (UnsupportedOperationException e) {
  // Delegate creation failed
}
tfliteInterpreter = new Interpreter(tfliteModel, tfliteOptions);

如要查看使用 LiteRT 的 QNN 委派作業的 Android 應用程式範例，請參閱 Qualcomm AI Hub 的 Android 範例應用程式。

成效優勢

在搭載 Snapdragon SOC 和 Qualcomm® Hexagon Tensor 處理器的裝置上，大多數模型的效能都比 GPU 和 CPU 快上許多。HTP 也是耗電量較低的類神經網路運算處理器。我們使用開放原始碼模型 MobileNetv2 做為這項成效分析的範例，該模型已在 AI Hub 模型中預先最佳化。

Snapdragon 和 Qualcomm 品牌產品是 Qualcomm Technologies, Inc. 和/或其子公司的產品。

後續步驟

請密切關注更多實用更新，瞭解如何透過 LiteRT Next 順暢運用 NPU 開發 AI 應用程式！