Aceleração de NPU com o LiteRT Next

O LiteRT Next oferece uma interface unificada para usar unidades de processamento neural (NPUs) sem precisar navegar individualmente por compiladores, tempos de execução ou dependências de biblioteca específicos do fornecedor. O uso do LiteRT Next para aceleração de NPU evita muitas complicações específicas do fornecedor ou do dispositivo, aumenta o desempenho para inferência em tempo real e de modelos grandes e minimiza cópias de memória usando buffers de hardware de cópia zero.

Se você já estiver inscrito no programa de acesso antecipado da NPU LiteRT, faça login na conta autorizada para acessar a documentação da NPU. Se você não se inscreveu, faça isso no Programa de acesso antecipado:

Inscreva- se!arrow_forward

Começar

Para começar, consulte o guia de visão geral da NPU:

• Para modelos de ML clássicos, siga diretamente com o framework principal:
  • Aceleração de NPU com o LiteRT Next
• Para modelos de linguagem grandes (LLMs), recomendamos usar nosso framework LiteRT-LM para processar a execução de ponta a ponta necessária para a execução da NPU:
  • Aceleração de NPU com LiteRT-LM

Para exemplos de implementações do LiteRT Next com suporte a NPU, consulte os seguintes aplicativos de demonstração:

• Segmentação de imagens com Kotlin
• Segmentação assíncrona com C++

Fornecedores de NPU

O LiteRT Next é compatível com a aceleração de NPU dos seguintes fornecedores:

• Qualcomm AI Engine Direct (em inglês)
• MediaTek NeuroPilot