LiteRT Next fournit une interface unifiée pour utiliser les unités de traitement neuronal (NPU) sans vous obliger à parcourir individuellement les compilateurs, les runtimes ou les dépendances de bibliothèque spécifiques aux fournisseurs. L'utilisation de LiteRT Next pour l'accélération NPU évite de nombreuses complications spécifiques aux fournisseurs ou aux appareils, améliore les performances pour l'inférence en temps réel et les grands modèles, et minimise les copies de mémoire grâce à l'utilisation de tampons matériels sans copie.
Si vous êtes déjà inscrit au programme d'accès anticipé LiteRT NPU, connectez-vous au compte autorisé pour afficher la documentation NPU. Si vous ne vous êtes pas encore inscrit, rejoignez le programme d'accès anticipé :
Premiers pas
Pour commencer, consultez le guide de présentation des NPU :
- Pour les modèles de ML classiques, passez directement au framework principal :
- Pour les grands modèles de langage (LLM), nous vous recommandons d'utiliser notre framework LiteRT-LM pour gérer le traitement de bout en bout requis pour l'exécution du NPU :
Pour obtenir des exemples d'implémentations de LiteRT Next avec prise en charge de l'unité de traitement neuronal, consultez les applications de démonstration suivantes :
Fournisseurs d'unité de traitement neuronal
LiteRT Next est compatible avec l'accélération NPU avec les fournisseurs suivants :