【2023 · CANN训练营第一季】模型转换与ATC工具的学习

2024-01-05 12:20

本文主要是介绍【2023 · CANN训练营第一季】模型转换与ATC工具的学习,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

【2023 · CANN训练营第一季】模型转换与ATC工具的学习

文档参考:CANN文档社区版: 6.0.RC1.alpha001

一、为什么要使用ATC工具

昇腾张量编译器(Ascend Tensor Compiler,简称ATC)是昇腾CANN架构体系下的模型转换工具

当前昇腾AI处理器以及昇腾AI软件栈是没有办法直接拿比如Caffe,TensorFlow等开源框架网络模型来直接进行推理的,我们需要将开源框架的网络模型转换成Davinci架构专用的模型。

其作用:

1.它可以将开源框架的网络模型(如Caffe、TensorFlow等)以及Ascend IR定义的单算子描述文件转换为昇腾AI处理器支持的离线模型。

2.模型转换过程中,ATC会进行算子调度优化、权重数据重排、内存使用优化等具体操作,对原始的深度学习模型进行进一步的调优,从而满足部署场景下的高性能需求,使其能够高效执行在昇腾AI处理器上。

二、什么是AIPP

AIPP(Artificial Intelligence Pre-Processing)人工智能预处理,用于在AI Core上完成数据预处理,包括改变图像尺寸、色域转换(转换图像格式)、减均值/乘系数(改变图像像素),数据预处理之后再进行真正的模型推理。

AIPP主要用于在AI Core上完成数据预处理,通过AIPP提供的色域转换功能,输出满足要求的图片格式;通过改变图像尺寸中的补边(Padding)功能,输出满足长宽对齐的图片等,AIPP的出现是对DVPP能力的有效补充。

AIPP根据配置方式不同 ,分为静态AIPP和动态AIPP;如果要将原始图片输出为满足推理要求的图片格式,则需要使用色域转换功能;如果要输出固定大小的图片,则需要使用AIPP提供的Crop(抠图)、Padding(补边)功能

三、环境安装与设置

CANN环境安装,可以参考我的【CANN训练营-模型部署入门】【CANN训练营0基础赢满分秘籍】CANN的Ubuntu环境安装

安装好后,根据需要,在原先的环境变量基础上多添加了如下几个环境变量:

export ASCEND_SLOG_PRINT_TO_STDOUT=1
export TE_PARALLEL_COMPILER=2
export DUMP_GE_GRAPH=1
export DUMP_GRAPH_LEVEL=1

1.设置atc运行日志

其中 export ASCEND_SLOG_PRINT_TO_STDOUT=1是设置atc命令执行过程中的打屏环境变量

也可以在atc命令中设置–log参数(此参数不能设置为null),显示相应的日志级别

如果需要把日志重定向到文件,设置好上述的打印日志级别后,将–log参数设置为

atc xxx --log=debug >log.txt

2.开启算子并行编译功能

若网络模型较大,则可以开启算子并行编译

export TE_PARALLEL_COMPILER=xx

TE_PARALLEL_COMPILER的值代表算子编译进程数(配置为整数),取值范围为1~32,默认值为8,当取值大于1时开启算子的并行编译功能。建议不超过:CPU核数*80%/昇腾AI处理器个数

3.设置打印模型转换过程中的各阶段图描述信息

export DUMP_GE_GRAPH=1

其中:

  • 取值为1,全量dump。
  • 取值为2,不含有权重等数据的基本版dump。
  • 取值为3,只显示节点关系的精简版dump。

如果想控制dump图的个数,还可以设置:

export DUMP_GRAPH_LEVEL=1
  • 取值为1,dump所有图。
  • 取值为2,dump除子图外的所有图,默认值为2。
  • 取值为3,dump最后的生成图。

设置上述变量后,在执行atc命令的当前路径会生成如下文件:

  • ge_onnx*.pbtxt:基于ONNX的开源模型描述结构,可以使用Netron等可视化软件打开。
  • ge_proto*.txt:protobuf格式存储的文本文件,该文件可以转成json格式文件方便用户定位问题。该文件与ge_onnx*.pbtxt成对出现,但是比ge_onnx*.pbtxt文件会多string类型的属性信息,用户选择其中一种文件打开即可。

四、模型的导出与转换

我们训练好的模型为pt格式的文件,我们需要先将其转换为onnx的格式,再使用atc工具转换成能使用的om文件

pt转换为onnx

eg:

在yolov5官网下载了一个yolov5s.pt

使用其提供的export.py进行转换

python models/export.py --weights yolov5s.pt --img 640 --batch 1

这个转换过程遇到很多问题,等我有空整理一个问题集及解决方法

onnx转换为om

1.未使能AIPP

直接使用atc命令转换时,发现自己有3个模块找不到,重新安装了一下

使用如下命令安装了一下:

pip install numpy
pip install decorator
pip install sympy

安装完成后,再次进行转换

atc --model yolov5s.onnx --framework 5 --output yolov5s_bs --soc_version Ascend310 --input_format=NCHW --input_shape="images:1,3,640,640" --input_fp16_nodes="images" --output_type=FP16 --optypelist_for_implmode="Sigmoid" --op_select_implmode=high_performance

转换成功如下图:

note:输入的shape要注意写正确,不然会出现如下错误,还有就是,那个输出名字不用自己写.om,输出时工具会自己补全的:

2.使能AIPP

我们在进行C++搭建的模型推理任务时,预处理部分,可以放到AIPP中进行。

我们使用insert_op.cfg:内容如下

aipp_op {aipp_mode: staticinput_format: YUV420SP_U8csc_switch: true# 如果输入的是YVU420SP_U8(NV21)图像,则需要将rbuv_swap_switch参数设置为truerbuv_swap_switch: falserelated_input_rank: 0src_image_size_w: 640src_image_size_h: 640#我准备在推理前就自己使用dvpp预处理把图片处理成想要的形状,因此就不用抠图了crop: falsematrix_r0c0: 298matrix_r0c1: 516matrix_r0c2: 0matrix_r1c0: 298matrix_r1c1: -100matrix_r1c2: -208matrix_r2c0: 298matrix_r2c1: 0matrix_r2c2: 409input_bias_0: 16input_bias_1: 128input_bias_2: 128# 归一化系数需要根据用户模型实际需求配置,如下所取常见值仅作为示例# 归一化系数应用于色域转换和通道交换之后的通道mean_chn_0: 104mean_chn_1: 117mean_chn_2: 123min_chn_0: 0.0min_chn_1: 0.0min_chn_2: 0.0var_reci_chn_0: 1.0var_reci_chn_1: 1.0var_reci_chn_2: 1.0
}

atc命令参数如下:

atc --model yolov5s.onnx --framework 5 --output yolov5s_bs --soc_version Ascend310 --input_format=NCHW --input_shape="images:1,3,640,640" --input_fp16_nodes="images" --output_type=FP16 --optypelist_for_implmode="Sigmoid" --op_select_implmode=high_performance --insert_op_conf=./insert_op.cfg

出现报错:

看样子是进行aipp的type不能是fp16

修改后:

atc --model yolov5s.onnx --framework 5 --output yolov5s_bs --soc_version Ascend310 --input_format=NCHW --input_shape="images:1,3,640,640" --output_type=FP16 --optypelist_for_implmode="Sigmoid" --op_select_implmode=high_performance --insert_op_conf=./insert_op.cfg

这里保留一个疑问,AIPP不能输入fp16进行转换但是这里有个输出参数是–output_type=FP16,这个参数是参考modelZoo中的样例里面的参数,不知道这样是否有问题,等后面在模型推理那块验证时看看是否有错误,有错误再进行修改

结果如下:

上述两种转换都得到了我们的

结语:至此两种转换都成功了,后续我会在我的模型推理部分的笔记中对此模型进行加载推理使用验证。

ps:该文仅是为了记录CANN训练营的学习过程所用,不参与任何商业用途,有任何代码问题可以和我一起讨论修改

这篇关于【2023 · CANN训练营第一季】模型转换与ATC工具的学习的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!


原文地址:https://blog.csdn.net/qq_43603900/article/details/130546846
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.chinasem.cn/article/572849

相关文章

Python办公自动化实战之打造智能邮件发送工具

《Python办公自动化实战之打造智能邮件发送工具》在数字化办公场景中,邮件自动化是提升工作效率的关键技能,本文将演示如何使用Python的smtplib和email库构建一个支持图文混排,多附件,多... 目录前言一、基础配置:搭建邮件发送框架1.1 邮箱服务准备1.2 核心库导入1.3 基础发送函数二、

基于Python实现一个图片拆分工具

《基于Python实现一个图片拆分工具》这篇文章主要为大家详细介绍了如何基于Python实现一个图片拆分工具,可以根据需要的行数和列数进行拆分,感兴趣的小伙伴可以跟随小编一起学习一下... 简单介绍先自己选择输入的图片,默认是输出到项目文件夹中,可以自己选择其他的文件夹,选择需要拆分的行数和列数,可以通过

Python使用pip工具实现包自动更新的多种方法

《Python使用pip工具实现包自动更新的多种方法》本文深入探讨了使用Python的pip工具实现包自动更新的各种方法和技术,我们将从基础概念开始,逐步介绍手动更新方法、自动化脚本编写、结合CI/C... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

Python使用OpenCV实现获取视频时长的小工具

《Python使用OpenCV实现获取视频时长的小工具》在处理视频数据时,获取视频的时长是一项常见且基础的需求,本文将详细介绍如何使用Python和OpenCV获取视频时长,并对每一行代码进行深入解析... 目录一、代码实现二、代码解析1. 导入 OpenCV 库2. 定义获取视频时长的函数3. 打开视频文

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

关于集合与数组转换实现方法

《关于集合与数组转换实现方法》:本文主要介绍关于集合与数组转换实现方法,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、Arrays.asList()1.1、方法作用1.2、内部实现1.3、修改元素的影响1.4、注意事项2、list.toArray()2.1、方

sqlite3 命令行工具使用指南

《sqlite3命令行工具使用指南》本文系统介绍sqlite3CLI的启动、数据库操作、元数据查询、数据导入导出及输出格式化命令,涵盖文件管理、备份恢复、性能统计等实用功能,并说明命令分类、SQL语... 目录一、启动与退出二、数据库与文件操作三、元数据查询四、数据操作与导入导出五、查询输出格式化六、实用功

利用Python脚本实现批量将图片转换为WebP格式

《利用Python脚本实现批量将图片转换为WebP格式》Python语言的简洁语法和库支持使其成为图像处理的理想选择,本文将介绍如何利用Python实现批量将图片转换为WebP格式的脚本,WebP作为... 目录简介1. python在图像处理中的应用2. WebP格式的原理和优势2.1 WebP格式与传统

基于Python开发Windows屏幕控制工具

《基于Python开发Windows屏幕控制工具》在数字化办公时代,屏幕管理已成为提升工作效率和保护眼睛健康的重要环节,本文将分享一个基于Python和PySide6开发的Windows屏幕控制工具,... 目录概述功能亮点界面展示实现步骤详解1. 环境准备2. 亮度控制模块3. 息屏功能实现4. 息屏时间

SQLite3命令行工具最佳实践指南

《SQLite3命令行工具最佳实践指南》SQLite3是轻量级嵌入式数据库,无需服务器支持,具备ACID事务与跨平台特性,适用于小型项目和学习,sqlite3.exe作为命令行工具,支持SQL执行、数... 目录1. SQLite3简介和特点2. sqlite3.exe使用概述2.1 sqlite3.exe