适用于 NPU 的 LiteRT 代理

Android 生态系统涵盖各种搭载不同神经处理单元 (NPU) 的设备。与 CPU 或 GPU 执行相比，利用这些专用 NPU 可以显著加速 LiteRT (TFLite) 模型推理并降低能耗，从而提升应用中的用户体验。

制造 NPU 的芯片供应商会提供 LiteRT 代理，以便您的应用在每个用户的设备上使用其特定硬件。

Qualcomm® AI Engine Direct Delegate

借助 Qualcomm® AI Engine Direct 委托，用户可以使用 AI Engine Direct 运行时运行 LiteRT 模型。该代理由 Qualcomm 的 Neural Network API 提供支持。

Qualcomm® AI Engine Direct Delegate 可从 Maven Central 获取。如需了解详情，请参阅 Qualcomm 神经网络文档。

即将推出

我们期待在未来几个月内为以下供应商的代表提供支持：

  • Google Pixel
  • MediaTek
  • Samsung System LSI

敬请关注最新动态，以及有关如何使用这些代理在 TFLite 模型中充分利用 NPU 的进一步说明。