Android NN API,谷歌意在收编各路诸侯?

2023-10-07 17:50

本文主要是介绍Android NN API,谷歌意在收编各路诸侯?,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在过去的几年中,诸如智能手机和平板电脑之类的移动设备的计算能力得到了飞速增长,接近几年前主流台式机的水平。如果仅仅是运行普通的应用程序,那的确存在性能过剩。于是,芯片厂商将目光转向人工智能。

人工智能是当前的发展热点之一,其对计算能力的需求大力推进了GPU的发展,在这个过程中,NVIDIA无疑是最大的赢家,几乎垄断了桌面显卡市场。然而在移动端,依然是群雄逐鹿,高通、海思、联发科和三星等公司,均在手机芯片中集成了对 AI 的加速支持。NVIDIA曾经推出过手机芯片,但以失败告终。此外手机芯片领域还有一个大腕:苹果,由于其封闭的专有系统,不在本文讨论之列。

为了给芯片增加 AI 支持,各手机芯片厂商各显神通,比如高通,其芯片,除了 ARM 核的 CPU,还集成了 GPU 和 DSP。而海思半导体,除了 CPU、GPU 和 DSP 外,还增加了一个 NPU ( Neural Processing Unit),专门加速在人工智能算法中广泛使用的基于向量和矩阵的计算。如下图所示:

左图:高通Snapdragon 845,右图:海思麒麟970

同样,联发科和三星也有自己的架构。为了充分发挥这些专用的硬件加速,芯片厂商推出了 SDK 开发包。高通发布了专用的 Snapdragon Neural Processing Engine (SNPE) SDK ,该SDK支持常见的深度学习模型框架,例如Caffe / Caffe2、TensorFlow、PyTorch、Chainer、MxNet、CNTK 等。华为、联发科同样也分别推出了HiAI SDK、NeuroPilot SDK。理论上,这些 SDK 都支持主流的深度学习模型框架,但是第三方应用想要充分利用专用的硬件加速,必须使用厂商提供的 SDK,因为主流框架并未 build 出专门集成第三方 SDK 的版本,除非手机芯片厂商提供专用的编译版本。

就市场层面而言,百花齐放是好事,互相竞争,受益的是消费者,但对开发人员而言,则是一场灾难。为华为海思开发的 app 无法用在高通芯片的手机上,反之依然。为不同手机芯片厂商开发版本,不仅加大了开发工作量,也加大了后期维护工作量。对用户而言也是一个负担,一般用户哪里清楚芯片型号而选择正确的版本呢?

面对这种局面,Android 生态的盟主谷歌出手了,推出了 Android Neural Networks API,试图结束群雄各自为战的局面。

Android Neural Networks API

Android Neural Networks API (NNAPI) 是一个 Android C API,专为在 Android 设备上运行计算密集型运算从而实现机器学习而设计。NNAPI 旨在为更高层级的机器学习框架(如 TensorFlow Lite 和 Caffe2)提供一个基本功能层,用来建立和训练神经网络。搭载 Android 8.1(API 级别 27)或更高版本的所有 Android 设备上都提供该 API。

下图为 NNAPI 的简要系统架构。

Android NN API 的系统架构

Android NN API 的架构有点类似于 OpenGL,谷歌制定标准和定义接口,硬件厂商提供驱动,合力完成,这比各厂商各自为战更符合技术发展趋势。简单说,就是谷歌把控标准,芯片厂商则专注于提高硬件性能。

根据上面提供的信息,我们还可以推断如下结论:

  1. 因为 Android NNAPI 是一个 Android C API,所以应用一般不会直接使用 NNAPI,适配的任务落在机器学习框架上。这对于应用程序开发而言是一件好事,无需修改应用程序(或仅仅修改某个参数),即可享受 NNAPI 带来的硬件加速。

  2. 并不是所有 Android 设备都支持(需要 Android 8.1 及以上版本) NNAPI,应用程序开发者需要考虑不支持 NNAPI 的设备。

  3. 除了需要 Android 系统支持 NNAPI,芯片厂商需要提供 NN 驱动才行。虽然即使厂商不提供 NN 驱动,NNAPI也可以走 CPU 的路径,但这意味着并没有充分利用到 GPU 或 DSP。应用开发者需要做出选择,到底是选择 NNAPI 还是直接 GPU 加速。


是否谷歌就此一统江湖呢?也未必,因为从 Android NN API 的系统架构可以看出,架构落地还需要芯片厂商的通力支持,提供 NN 驱动。但从目前的状况来看,似乎芯片厂商对于 NN API的支持并不积极。起码我在华为手机上的测试,启用 NNAPI 并没有什么作用。但从长远来看,如果能够形成 OpenGL 这样的组织联盟,无论是对厂商,还是对开发者,都是有利的。

另外需要指出,虽然一般应用开发者不会直接使用 NNAPI,但通过 NDK,应用程序直接使用 NNAPI 也是可以的,具体可以参考官方文档:

https://developer.android.com/ndk/guides/neuralnetworks

github上也有一个 NNAPI 的完整例子:

https://github.com/android/ndk-samples/tree/master/nn-samples

有兴趣的同学可以研究一下。

这篇关于Android NN API,谷歌意在收编各路诸侯?的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/159412

相关文章

Android Paging 分页加载库使用实践

《AndroidPaging分页加载库使用实践》AndroidPaging库是Jetpack组件的一部分,它提供了一套完整的解决方案来处理大型数据集的分页加载,本文将深入探讨Paging库... 目录前言一、Paging 库概述二、Paging 3 核心组件1. PagingSource2. Pager3.

SpringBoot监控API请求耗时的6中解决解决方案

《SpringBoot监控API请求耗时的6中解决解决方案》本文介绍SpringBoot中记录API请求耗时的6种方案,包括手动埋点、AOP切面、拦截器、Filter、事件监听、Micrometer+... 目录1. 简介2.实战案例2.1 手动记录2.2 自定义AOP记录2.3 拦截器技术2.4 使用Fi

PyTorch中的词嵌入层(nn.Embedding)详解与实战应用示例

《PyTorch中的词嵌入层(nn.Embedding)详解与实战应用示例》词嵌入解决NLP维度灾难,捕捉语义关系,PyTorch的nn.Embedding模块提供灵活实现,支持参数配置、预训练及变长... 目录一、词嵌入(Word Embedding)简介为什么需要词嵌入?二、PyTorch中的nn.Em

Android kotlin中 Channel 和 Flow 的区别和选择使用场景分析

《Androidkotlin中Channel和Flow的区别和选择使用场景分析》Kotlin协程中,Flow是冷数据流,按需触发,适合响应式数据处理;Channel是热数据流,持续发送,支持... 目录一、基本概念界定FlowChannel二、核心特性对比数据生产触发条件生产与消费的关系背压处理机制生命周期

Android ClassLoader加载机制详解

《AndroidClassLoader加载机制详解》Android的ClassLoader负责加载.dex文件,基于双亲委派模型,支持热修复和插件化,需注意类冲突、内存泄漏和兼容性问题,本文给大家介... 目录一、ClassLoader概述1.1 类加载的基本概念1.2 android与Java Class

Knife4j+Axios+Redis前后端分离架构下的 API 管理与会话方案(最新推荐)

《Knife4j+Axios+Redis前后端分离架构下的API管理与会话方案(最新推荐)》本文主要介绍了Swagger与Knife4j的配置要点、前后端对接方法以及分布式Session实现原理,... 目录一、Swagger 与 Knife4j 的深度理解及配置要点Knife4j 配置关键要点1.Spri

Android DataBinding 与 MVVM使用详解

《AndroidDataBinding与MVVM使用详解》本文介绍AndroidDataBinding库,其通过绑定UI组件与数据源实现自动更新,支持双向绑定和逻辑运算,减少模板代码,结合MV... 目录一、DataBinding 核心概念二、配置与基础使用1. 启用 DataBinding 2. 基础布局

Android ViewBinding使用流程

《AndroidViewBinding使用流程》AndroidViewBinding是Jetpack组件,替代findViewById,提供类型安全、空安全和编译时检查,代码简洁且性能优化,相比Da... 目录一、核心概念二、ViewBinding优点三、使用流程1. 启用 ViewBinding (模块级

HTML5 getUserMedia API网页录音实现指南示例小结

《HTML5getUserMediaAPI网页录音实现指南示例小结》本教程将指导你如何利用这一API,结合WebAudioAPI,实现网页录音功能,从获取音频流到处理和保存录音,整个过程将逐步... 目录1. html5 getUserMedia API简介1.1 API概念与历史1.2 功能与优势1.3

Android学习总结之Java和kotlin区别超详细分析

《Android学习总结之Java和kotlin区别超详细分析》Java和Kotlin都是用于Android开发的编程语言,它们各自具有独特的特点和优势,:本文主要介绍Android学习总结之Ja... 目录一、空安全机制真题 1:Kotlin 如何解决 Java 的 NullPointerExceptio