AI Edge 的 Google Cloud 解決方案,可大規模測試及基準測試裝置端機器學習 (ML)。
在各種行動裝置上調整機器學習模型的效能,可能會是一項挑戰。手動測試速度緩慢且成本高昂,且大多數開發人員通常無法進行測試,因此無法確保實際模型效能。Google AI Edge Portal 解決這個問題的方法,是在各種行動裝置上啟用 LiteRT 模型基準測試,協助開發人員找出大規模機器學習模型部署作業的最佳設定。
改善行動機器學習部署作業
簡化並加快不同硬體環境的測試週期:輕鬆評估數百款代表性行動裝置的模型效能,只需幾分鐘即可完成。
主動確保模型品質並及早找出問題:在部署前,找出硬體相關的效能變化或回歸 (例如特定晶片組或記憶體受限裝置)。
降低裝置測試成本並存取最新硬體:在多樣化且持續增加的實體裝置 (目前有超過 100 款不同 Android 原始設備製造商的裝置型號) 上進行測試,無須自行維護實驗室,因此不必花費大量金錢和心力。
發揮強大的資料導向決策和商業智能功能:Google AI Edge Portal 提供豐富的效能資料和比較資料,提供必要的關鍵商業智能功能,讓您能放心引導模型最佳化,並驗證部署作業的準備就緒程度。
基準測試範例:
Google AI Edge Portal 如何協助您對 LiteRT 模型進行基準測試
上傳及設定:透過使用者介面上傳模型檔案,或在 Google Cloud Storage 值區中指向模型檔案。
選取加速器:指定針對 CPU 或 GPU 進行測試 (並自動備援 CPU)。我們預計在日後推出的版本中支援 NPU。
選取裝置:使用篩選器 (裝置等級、品牌、晶片組、RAM) 從多元化的裝置池中選擇目標裝置,或選取精選清單,並使用方便的捷徑。
在 100 部以上裝置上建立新的基準測試工作。(注意:為求精簡,GIF 已加速並經過編輯)
接著提交工作並等待完成。準備就緒後,請在互動式資訊主頁中查看結果:
比較設定:快速呈現使用不同加速器時,在所有測試裝置上成效指標 (例如平均延遲時間、峰值記憶體) 的差異。
分析裝置影響:查看特定模型設定在所選裝置範圍內的表現。使用直方圖和散布圖,快速找出與裝置特性相關的效能差異。
詳細指標:存取詳細且可排序的資料表,顯示每部裝置的特定指標 (初始化時間、推論延遲時間、記憶體用量) 和硬體規格。
在互動式資訊主頁上查看基準測試結果。(注意:為求精簡,GIF 已加速播放並經過編輯)
加入 Google AI Edge Portal 不公開預先發布計畫
Google AI Edge Portal 目前提供不公開預先發布版,供獲准的 Google Cloud 客戶使用。在這個不公開預先發布版期間,您可以免費存取,但須遵守預先發布版條款。
這項預覽版非常適合使用 LiteRT 建構行動機器學習應用程式的開發人員和團隊,他們需要各種 Android 硬體的可靠基準資料,並願意提供意見回饋,協助塑造產品的未來。如要申請使用權限,請填寫這份註冊表單,表達您的意願。透過許可清單授予存取權。