模型部署到移动端_15分钟实现AI端计算模型训练、加速与部署 | 百度EasyDL公开课...

主讲人 | 阿达 百度高级研发工程师
量子位 整理编辑 | 公众号 QbitAI

端计算模型目前已应用到各行业的AI落地实践中，如部署在野外气象观测点用于环境监测，以及响应垃圾分类政策用来打造智能垃圾桶等等。

「EasyDL AI开发系列公开课」第二期直播中，百度高级工程师深入解析了如何优化端模型识别速度、如何解决端模型部署问题，并直播演示了如何使用EasyDL-EasyEdge AI开发平台，快速、高效实现模型训练和端模型部署。

讲解分为3个部分：

• EasyDL端计算模型的应用

• 端计算技术解析：图优化(量化剪裁)和基于芯片的优化提升模型识别速度

• 实战演示：借助EasyDL-EasyEdge部署端计算模型实现办公室垃圾检测识别

直播回放见链接：https://www.bilibili.com/video/BV1KZ4y1V7mn/

以下为直播文字实录：

EasyDL端计算模型的应用

在和某咨询公司的联合调研中，我们发现约86%的市场需求需要定制开发业务场景下的AI模型，其中有35%以上的有离线计算的需求。

端计算应用场景

比如工业场景中统计原材料的数量，食品安全场景监测厨房厨师是否佩戴厨师帽，这么多形形色色的场景，很难通过一个统一的AI模型或者方案来满足所有的需求。这时用户往往需要自己来开发定制，这是一个很巨大的工程，涉及到采集数据、训练优化模型，最后还要使模型成功地部署落地。

为此，百度提供了零门槛AI开发平台—EasyDL，帮助有模型定制需求的用户。用户可以在平台上标注数据、扩充数据，准备好训练所需要的数据集；然后通过EasyDL训练优化模型；最后通过EasyDL提供的多种部署方案，实现模型落地应用。

那么，为什么需要应用端计算模型呢？

定制化AI模型部署的需求与难点

工业应用中的模型推理通常需要本地计算、实时响应、解除对网络的依赖；需要满足对闭路电视数据隐私的保密，需要降低手机上APP对能耗的要求，复杂业务场景下又需要多样的芯片架构和传感器来实现部署……种种需求恰好都可以通过端计算来满足，这就是为什么大家需要端计算。

有过自己部署AI模型经历的也会发现很多部署模型的难点：

• 部署维护成本高，难落地；

• 模型适配、迁移难，往往需要重复性开发；

• 预测性能差，硬件成本高。

EasyDL-EasyEdge端计算

针对这些难点，EasyDL-EasyEdge提供了端计算服务来帮助大家解决这些问题，用户不需要有特别多的芯片硬件知识和开发经验，只需要3步、最快2分钟就可以生成端计算模型：

第一步：准备一个训练好的模型(如果没有合适的模型，可先在EasyDL平台训练)；EasyEdge兼容市面主流的深度学习框架，比如PaddlePaddle、TensorFlow、PyTorch等；

第二步：通过EasyEdge做转换→面向设备的兼容与加速→封装；EasyEdge自动完成端计算服务产物；

第三步：下载后利用简单可操作的接口部署应用模型即可。

框架&网络支持

如图，EasyEdge支持主流的深度学习框架、部分网络，后续大家可以在EasyDL官网上了解更多信息。

服务部署形态

EasyDL-EasyEdge也提供丰富的服务部署形态，包含公有云部署、私有服务器部署、通用设备端SDK、软硬一体产品等，端云协同即将上线：

软硬件支持

EasyDL-EasyEdge已支持10余类芯片、4大操作系统：

端计算组件

端设备SDK不仅能适配市面上常见的手机(APP扫码安装、即装即用)，也能适配各类微型主机开发板(PC组件自带HTTP服务和H5体验，可执行exe文件)。

SDK接口是统一的，在不同设备的调用方式方法类似。通过EasyEdge获得端设备SDK之后，无需再关注硬件细节，使用SDK统一接口来调用模型即可。

上图是ResNet50深度学习模型部署在不同的芯片上得到的单次推理时间，芯片架构层面可以做更广泛的适配，同时也为用户选型提供参考。

软硬一体方案

为了让大家选型更简单，百度也推出了软硬一体的方案，可以在百度AI市场购买。

上图数据是EasyDL支持的分类检测模型以及在不同开发套件上单张图片的推理时间，大家可以根据这些数据挑选合适的软硬件。

EasyDL-EasyEdge应用案例

杭州气象局：使用EasyDL图像分类和物体检测，训练出云状、云量、结冰等识别模型，并通过EasyEdge将模型部署到野外观察站，提升了观测效率和及时性。

柳州源创使用EasyDL物体检测，训练出喷油嘴瑕疵检测模型；并通过EasyEdge部署到工厂的生产线上，每年可节约60万人工检测成本，并能够提升检测效率与精度。

宁波蔚澜通过EasyDL使用了仅217张厨余垃圾图片、迭代了两版，就训练出准确率91.57%的厨余垃圾识别模型，结合百度EasyEdge软硬一体方案灵巧部署在垃圾箱内，已经在宁波的小区内落地使用。

EasyDL-EasyEdge已经在20多个行业场景中落地，累计有2500以上个模型，部署了超过26万台终端设备。

EasyDL-EasyEdge端计算技术解析

为了使模型顺利部署到端上，还可以保持预测性能的快速推理，百度EasyDL-EasyEdge做了哪些优化？

技术核心

△ EasyDL-EasyEdge技术框架

拿到用户的模型后，首先进行图优化，针对深度学习模型的算子进行优化，以及面向目标硬件做定向适配，然后转化为目标框架。

对于目前支持量化的目标框架(比如PaddlePaddle)，采用了量化来产出加速版本。

目前EasyEdge支持10余类芯片，不同的芯片还会有一些特定支持的优化。

接下来把上述优化好的模型，进行打包生成SDK。

对于生成的端模型，还可以发起自动评测，获得评测指标和性能。

EasyEdge给用户提供了云端服务, 用户在得到的sdk里可以进行模型升级更新，运行demo。用户还可以有h5体验，在windows系统里有可执行文件可以直接运行等。

实操演示：办公室垃圾检测识别

本部分讲解中，阿达老师以「办公室垃圾分类检测识别」为例，演示了如何使用EasyDL-EasyEdge AI开发平台，快速、高效地进行模型训练和端模型部署。

感兴趣的小伙伴可以移步直播回放，视频观看更清晰~：https://www.bilibili.com/video/BV1KZ4y1V7mn/

此外，关于EasyDL-EasyEdge使用指南，可参考官网相关介绍。

直播预告

近几年以预训练为代表的NLP技术取得了爆发式发展，新技术新模型层出不穷。

11月4日第三期「百度AI实战营」公开课中，百度资深研发工程师将结合世界领先的文心(ERNIE)语义理解技术，通过产业实践案例，深入解析NLP技术选型和模型调优的一些方法，以及工程实践中的经验。

▽扫码即可免费报名，还为大家精心准备了图书、京东卡等小礼物哦~

One More Thing：

为了进一步降低企业应用AI的门槛与成本，EasyDL还重磅推出「万有引力」计划，为有AI应用需求的企业提供专项基金，详情请点击。

— 完 —

本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

一键三连「分享」、「点赞」和「在看」

科技前沿进展日日相见~