【2023 · CANN训练营第一季】进阶班 应用开发：模型转换

2023-11-05 16:50
文章标签 进阶 2023 应用 开发 模型 转换 训练营 第一季 cann

本文主要是介绍【2023 · CANN训练营第一季】进阶班 应用开发：模型转换，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

1 AIPP

AIPP (Artificial Intelligence Pre-Processing)人工智能预处理，在AI Corfe上完成数据预处理。

1.1 静态AIPP

  1. 构造AIPP配置文件*.cfg
  2. 使能静态AIPP，将其配置参数保存在模型文件中。
atc --framework=3--soc_version=S[soc_version)
--model= SHOME/module/resnet50 tensorfiow.pb
--insert_op conf= SHOME/modulefinsert op.cfg
--output= $HOME/module/outcf resnet50
  1. 调用AscendCL接口加载模型，执行推理。

1.2 动态AIPP

  1. 构造AIPP配置文件*.cfg。aipp_op
  2. 使能动态AIPP。
atc --framework=3--soc version=$(soc_version)
--model= SHOME/module/resnet50 tensorflow.pb- 
--insert op conf-$HOME/module/insert op.cfg
--output=SHOME/module/out/tf resnet50
  1. 调用AscendCL接口加载模型，设置AIPP参数后，再执行推理。
aclmdIAIPP *aippDynamicSet = aclmdlCreateAIPP(batchNumber);aclmdlSetAIPPSrclmageSizeaippDynamicSet,250, 250);
acImdlSetAIPPInputFormat(aippDynamicSet,ACL_YUV420SP_U8):aclmdlSetAIPPCscParams(aippDynamicSet,1, 256,0,359,256,-88,-183,256,454,0,0.0,0,0,128,128);
aclmdlSetAIPPCropParams(aippDynamicSet,1,2.2,224,224,0);aclmdISetInputAIPP(modelld, inputindex,aippDynamicSet);acImdIDestroyAIPP(aippDynamicSet);

2 AIPP-Crop/Padding

AIPP改变图片尺寸需要遵守如下图中的顺序，即先Crop再Padding，每个操作仅能执行一次。

  • 场景功能:输入到AIPP中的图片尺寸为srclmageSizeW, srclmageSizeH;模型要求的图片尺寸为dstlmageSizeW.dstlmageSizeH。
  • Crop操作:在原图中距离左上角宽load_start_pos_w，高load_start_pos_h距离的点裁剪出宽为crop_size_w，高为crop_size_h大小的图片。
  • Paste操作:指明在裁剪后的图像四周padding的尺寸，即left_padding_size.right_padding_size.top_padding_size和bottom_padding_size。而经过图像尺寸改变之后最终图片大小，需要跟模型文件输入的图像大小即模型要求的图片尺寸dstlmagesizew. dstlmageSizeH相等。
    其中，对于YUV420SP_u8图片类型，load_start_pos_w. load_start_pos_h参数
    实际上，大多图像缩放或裁剪的工作都在样例中的输入预处理中做过了，如使用opencv的resize函数进行缩放等。初步学习的过程中，仅需要了解AIPP具备这样的功能即可。

crop: true #抠图开关，用于改变图片尺寸
load_start_pos_h: o #抠图起始位置水平、垂直方向坐标
load_start_pos_w: o

开启Crop且没有配置padding, crop_size_w和crop_size_h才能取值为0或不配置。

此时抠图大小(crop_size[W|H])的宽和高取值来自模型文件–
input_shape中的宽和高，并且–input_shape中的宽和高取值范围为[1,4096]。

换言之，通过这样的简单配置，就可以自动将输入的图片裁剪成模型要求的图片天小，避免输入预处理后的图片与模型要求的图片大小不一致的问题。但可能会带来丢失一部分原始图片而导致的精度损失问题。

3 AIPP-RGB说明

3.1 大小格式说明

3.2 OpenCV传统流程处理

4. AIPP色域转换

在执行RGB->YUV，或者RGB->BGR等色域转换时，就可以直接使用AIPP，通过硬件能力快速完成色域转换。

csc_switch : true
#色域转换开关
matrix_rOc0 : 256
#色域转换系数，用户无需修改
matrix_rOc1 : 0
matrix_rOc2 : 359
matrix_r1c0 : 256
matrix_r1c1 : -88
matrix_r1c2 : -183
matrix_r2c0 : 256
matrix_r2c1 : 454
matrix_r2c2 : 0
input_bias_0 : 0
input_bias_1 : 128
input_bias_2 : 128

色域转换功能由csc_switch参数控制,并通过色域转换系数
matrix_rc、通道交换rbuv_swap_switch等参数配合使用。
AlPP中，一旦确认了AIPP处理前与AIPP处理后的图片格式，即可确定色域转换相关的参数值，用户无需修改，模板示例以及更多配置模板请参见色域转换配置说明在示例中，就做了一个YUV420SP转RGB的色域转换操作.

aipp_op {
aipp_mode : static
#AIPP香配置模式。这里为静态AIPP
input_format : YUV420SP_U8#输入给AIPP的原始图片格式src_image_size_w : 250#输入给AIPP的原始图片宽高src_image_size_h : 250
crop: true
#抠图开关,用于改变图片尺寸
load_start_pos_h: o
#抠图是起始位善水平、垂直方向坐标
load_start_pos_w: o
aipp_op {
aipp_mode : static
#AIPP香配置模式。这里为静态AIPP
input_format : YUV420SP_U8#输入给AIPP的原始图片格式src_image_size_w : 250#输入给AIPP的原始图片宽高src_image_size_h : 250
crop: true
#抠图开关,用于改变图片尺寸
load_start_pos_h: o
#抠图是起始位善水平、垂直方向坐标
load_start_pos_w: o
csc_switch : true
#色域转换开关
matrix_roc0 : 256
#色域专换系数。用户无需修改
matrix_roc1 : o
matrix_roc2 : 359
matrix_r1c0 : 256
matrix_r1c1 : -88
matrix_r1c2 : -183
matrix_r2c0 : 256
matrix_r2c1 : 454
matrix_r2c2 : 0
input_bias_o : 0
input_bias_1 : 128
input_bias_2 :128
mean_chn_0:104
#归一化配置
mean_chn_1: 117
mean_chn_2:123
min_chn_0: 0.0
min_chn_1: 0.0
min_chn_2: 0.0
var_reci_chn_0: 1.0
var_reci_chn_1: 1.0
var_reci_chn_2:1.0

5.AIPP归一化

归一化就是要把需要处理的数据经过处理后限制在一定范围内，符合模型要求。
AIPP支持的归一化设置，通过减均值和乘系数的操作完成，其中，mean_chn i表示每个通道的均值，min_chn_i表示每个通道的最小值，var_reci_chn表示每个通道方差的倒数，各通路的这三个值都是需要进行配置的参数。

pixel_out_chx(i)=[pixel_in_chx(i)-mean_chn_i-min_chn_i]*var_reci_chn

在test.cfg中,mean_chn_i有取值，min_chn_i为0，
var_reci_chn为1.0，所以只做了减均值的操作，片段如下:

mean_chn_0: 104
#归一化配置
mean_chn_1: 117
mean_chn_2: 123
min_chn_0: 0.0
min_chn_1: 0.0
min_chn_2: 0.0
var_reci_chn_0: 1.0
var_reci_chn_1: 1.0
var_reci_chn_2: 1.0

6 基本场景及参数介绍

接下来将根据图片分类应用[2中的模型转换介绍实际使用场景。

6.1.场景说明

该样例使用的是已经训练好的pytorch框架的ResNet-50开源模型。模型的基本信息如下所示:
输入数据:RGB格式、224*224分辨率的输入图片。
输出数据:图片的类别标签及其对应置信度。
**归一化:**需要进行减均值([0.485,0.456,0.406])及乘系数([0.229,0.224,0.225])操作

6.2 不使用AIPP进行模型转换

该模型的转换命令如下:


wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx
atc --model=resnet50.onnx 
--framework=5 
--output=resnet50 
--input_format=NCHW 
--input_shape="actual_input_1:1,3,224,224" 
--soc_version=Ascend310

经过模型转换后，输出的om模型和原始模型输入输出数据一致。此时数据预处理需要将数据处理为RGB格式,缩放到224*224分辨率、数据进行归一化后才能送入om模型进行推理。

6.3 使用AIPP进行模型转换

AIPP配置文件如下:

aipp_op{
wget https://obs-9be7.obs.cn-east-
aipp_mode:static
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx
input_format : RGB888_U8
src_image_size_w : 256
wget https://obs-9be7.obs.cn-east-
src_image_size_h : 256
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50_CV/aipp.cfg
crop: true
load_start_pos_h : 16
load_start_pos_w : 16
crop_size_w : 224
crop_size_h: 224
min_chn_0 : 123.675
min_chn_1 :116.28min_chn_2 : 103.53
var_reci_chn_O: 0.0171247538316637
var_reci_chn_1: 0.0175070028011204
var_reci_chn_2: 0.0174291938997821

模型转换命令如下:

模型转换命令如下:
wget https://obs-9be7.obs.cn-east-
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50.onnx
wget https://obs-9be7.obs.cn-east-
2.myhuaweicloud.com/003_Atc_Models/resnet50/resnet50_CV/aipp.cfg
atc --model=resnet50.onnx --framework=5 --output=resnet50 -
-input_format=NCHw --
input_shape="actual_input_1:1,3,224,224"--
soc_version=Ascend310 --insert_op_conf=aipp.cfg

经过模型转换后，输出的om模型和原始模型输入不一致，输出数据一致。此时数据预处理需要将数据处理为RGB格式、缩放到224*224分辨率后即可送入om模型进行推理。此时om会先通过AlPP进行归一化，然后再继续推理。
soc_version=Ascend310 --insert_op_conf=aipp.cfg
\

6.4参数说明

6.4.1 --model

填写原始网络模型文件路径与文件名。当原始模型为Caffe框架时，需要和–weight参数配合使用。参数使用参考示例如下:

# Caffe模型
--model=$HOME/module/resnet50.prototxt 
--weight=$HOME/module/resnet50.c.affemodel
# MindSpore模型
--model=resnet50.airpb模型
--model=resnet50.pb
# onnx模型
--model=resnet50.onnx--framework

atc --model=resnet50.onnx --framework=5 --output=resnet50 -
-input_format=NCHw –
input_shape=“actual_input_1:1,3,224,224”–

6.4.2 framework

填写原始网络模型框架，参数取值与使用参考示例如下:

#取值为O时，即为Caffe框架网络模型，模型包括后缀为prototxt的模型文件和后缀为caffemodel的权重文件
--framework=0
#取值为1时，即为MindSpore框架网络模型，仅支持后缀为*.air的模型文件。
--framework=1
#取值为3时，即为TensorFlow框架网络模型，只支持尾缀为pb的模型文件
--framework=3
#取值为5时，即为ONNX格式网络模型，仅支持ai.onnx算子域中opset v11版本的算子，用户也可以将其他opset版本的算子(比如opset v9)，通过PyTorch转换成opset v11版本的ONNx算子;而使用PyTorch训练出的pth模型需要转化为ONNX格式的模型，才能进行模型转换。
--framework=5

6.4.3 --input_format

填写输入数据格式，Caffe、ONNX默认为NCHW; TensorFlow默认为NHWC。该参数一般不需要填写，直接使用默认值即可，但是该参数存在以下限制:
1.如果TensorFlow模型是通过ONNX模型转换工具输出的，则该参数必填，且值为NCHW.2.当原始框架为MindSpore时，只支持配置为NCHW.
3．如果模型转换时开启AIPP，在进行推理业务时，输入图片数据要求为NHWC排布，该场景下最终与AIPP连接的输入节点的格式被强制
改成NHWC，可能与atc模型转换命令中–input_format参数指定的格式不—致。


# input format参数填写示例
--input_format=NCHw#input shape参数填写示例
--input_shape="actual_input_1:1,3,224,224"

6.4.4 --output

当进行开源框架的网络模型转换时，填写输出的离线模型的路径以及文件名。参数使用参考示例如下:

#指定目录
--output=$HOME/resnet50#当前目录
--output=resnet50

换后的模型文件名以该参数指定的为准，自动以.om后缀结尾，以上示例最终生成的模型为resnet50.om。

6.4.5 --insert_op_conf

填写插入算子的配置文件路径与文件名，例如aipp预处理算子。
本章节中主要使用场景为插入aipp预处理算子，使用该参数后，则输入数据类型为UINT8。

--insert_op_conf=aipp.cfg

这篇关于【2023 · CANN训练营第一季】进阶班 应用开发：模型转换的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/351193。

相关文章

SpringBoot3应用中集成和使用Spring Retry的实践记录

SpringBoot3应用中集成和使用Spring Retry的实践记录

《SpringBoot3应用中集成和使用SpringRetry的实践记录》SpringRetry为SpringBoot3提供重试机制,支持注解和编程式两种方式,可配置重试策略与监听器,适用于临时性故... 目录1. 简介2. 环境准备3. 使用方式3.1 注解方式 基础使用自定义重试策略失败恢复机制注意事项
阅读更多...
Python实例题之pygame开发打飞机游戏实例代码

Python实例题之pygame开发打飞机游戏实例代码

《Python实例题之pygame开发打飞机游戏实例代码》对于python的学习者,能够写出一个飞机大战的程序代码,是不是感觉到非常的开心,：本文主要介绍Python实例题之pygame开发打飞机... 目录题目pygame-aircraft-game使用 Pygame 开发的打飞机游戏脚本代码解释初始化部
阅读更多...
使用Python开发一个现代化屏幕取色器

使用Python开发一个现代化屏幕取色器

《使用Python开发一个现代化屏幕取色器》在UI设计、网页开发等场景中,颜色拾取是高频需求,：本文主要介绍如何使用Python开发一个现代化屏幕取色器,有需要的小伙伴可以参考一下... 目录一、项目概述二、核心功能解析2.1 实时颜色追踪2.2 智能颜色显示三、效果展示四、实现步骤详解4.1 环境配置4.
阅读更多...
java Long 与long之间的转换流程

java Long 与long之间的转换流程

《javaLong与long之间的转换流程》Long类提供了一些方法,用于在long和其他数据类型（如String）之间进行转换,本文将详细介绍如何在Java中实现Long和long之间的转换,感... 目录概述流程步骤1：将long转换为Long对象步骤2：将Longhttp://www.cppcns.c
阅读更多...
从基础到进阶详解Pandas时间数据处理指南

从基础到进阶详解Pandas时间数据处理指南

《从基础到进阶详解Pandas时间数据处理指南》Pandas构建了完整的时间数据处理生态,核心由四个基础类构成,Timestamp,DatetimeIndex,Period和Timedelta,下面我... 目录1. 时间数据类型与基础操作1.1 核心时间对象体系1.2 时间数据生成技巧2. 时间索引与数据
阅读更多...
Python使用smtplib库开发一个邮件自动发送工具

Python使用smtplib库开发一个邮件自动发送工具

《Python使用smtplib库开发一个邮件自动发送工具》在现代软件开发中,自动化邮件发送是一个非常实用的功能,无论是系统通知、营销邮件、还是日常工作报告,Python的smtplib库都能帮助我们... 目录代码实现与知识点解析1. 导入必要的库2. 配置邮件服务器参数3. 创建邮件发送类4. 实现邮件
阅读更多...
在Java中将XLS转换为XLSX的实现方案

在Java中将XLS转换为XLSX的实现方案

《在Java中将XLS转换为XLSX的实现方案》在本文中,我们将探讨传统ExcelXLS格式与现代XLSX格式的结构差异,并为Java开发者提供转换方案,通过了解底层原理、性能优势及实用工具,您将掌握... 目录为什么升级XLS到XLSX值得投入？实际转换过程解析推荐技术方案对比Apache POI实现编程
阅读更多...
Python使用Tkinter打造一个完整的桌面应用

Python使用Tkinter打造一个完整的桌面应用

《Python使用Tkinter打造一个完整的桌面应用》在Python生态中,Tkinter就像一把瑞士军刀,它没有花哨的特效,却能快速搭建出实用的图形界面,作为Python自带的标准库,无需安装即可... 目录一、界面搭建：像搭积木一样组合控件二、菜单系统：给应用装上“控制中枢”三、事件驱动：让界面“活”
阅读更多...
基于Python开发一个有趣的工作时长计算器

基于Python开发一个有趣的工作时长计算器

《基于Python开发一个有趣的工作时长计算器》随着远程办公和弹性工作制的兴起,个人及团队对于工作时长的准确统计需求日益增长,本文将使用Python和PyQt5打造一个工作时长计算器,感兴趣的小伙伴可... 目录概述功能介绍界面展示php软件使用步骤说明代码详解1.窗口初始化与布局2.工作时长计算核心逻辑3
阅读更多...
详解如何使用Python从零开始构建文本统计模型

详解如何使用Python从零开始构建文本统计模型

《详解如何使用Python从零开始构建文本统计模型》在自然语言处理领域,词汇表构建是文本预处理的关键环节,本文通过Python代码实践,演示如何从原始文本中提取多尺度特征,并通过动态调整机制构建更精确... 目录一、项目背景与核心思想二、核心代码解析1. 数据加载与预处理2. 多尺度字符统计3. 统计结果可
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2