Jetson Nano 【14】Pytorch的YOLOv3 spp 模型中关于tensorRT+ 矩形推理问题的解决过程

本文主要是介绍Jetson Nano 【14】Pytorch的YOLOv3 spp 模型中关于tensorRT+ 矩形推理问题的解决过程,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章目录

        • 背景说明
        • 最终效果
        • 实现过程
          • 矩形推理在整体流程中的位置
          • 图形数据输入处理
          • 推理输出接收
        • 总结
        • git地址

背景说明
  • 模型是YOLOv3 spp
  • 框架是Pytorch
  • 由于我的Nano上GPU计算资源不够,所以我们急需减少模型计算量,在剪枝与量化+转tensorRT后从500ms达到了85ms每张,但依然达不到要求,于是想到了矩形推理。
最终效果
  • 在256x416的视频中实现50-55ms 处理一张图片的成绩,换算成FPS 在 20左右(YOLOv3 Spp)。
实现过程
矩形推理在整体流程中的位置
  • 如图
    在这里插入图片描述
图形数据输入处理
  • 可以参考https://github.com/ultralytics/yolov3/issues/232,中的讨论内容
  • 基本原理就是,图形等比缩放,短边朝着最近的32倍数补充(YOLOv3特征图有个较大的是32x32的)于是,关键代码是:dw, dh = np.mod(dw, 32), np.mod(dh, 32)
# 图片变形
def letterbox(img, new_shape=(416, 416), color=(0, 0, 0),auto=True, scaleFill=False, scaleup=True, interp=cv2.INTER_AREA):# Resize image to a 32-pixel-multiple rectangle https://github.com/ultralytics/yolov3/issues/232shape = img.shape[:2]  # current shape [height, width]      (1920,1080,3)if isinstance(new_shape, int):new_shape = (new_shape, new_shape)# Scale ratio (new / old)r = max(new_shape) / max(shape)# 计算缩放比例if not scaleup:  # only scale down, do not scale up (for better test mAP)r = min(r, 1.0)# Compute paddingratio = r, r  # width, height ratios  等比缩小new_unpad = int(round(shape[1] * r)), int(round(shape[0] * r))dw, dh = new_shape[1] - new_unpad[0], new_shape[0] - new_unpad[1]  # wh paddingif auto:  # minimum rectangledw, dh = np.mod(dw, 32), np.mod(dh, 32)  # wh padding  模计算pass# 造成长宽不同的原因在于此elif scaleFill:  # stretchdw, dh = 0.0, 0.0new_unpad = new_shaperatio = new_shape[0] / shape[1], new_shape[1] / shape[0]  # width, height ratiosdw /= 2  # divide padding into 2 sides # 填充分两边dh /= 2if shape[::-1] != new_unpad:  # resizeimg = cv2.resize(img, new_unpad, interpolation=interp)  # INTER_AREA is better, INTER_LINEAR is fastertop, bottom = int(round(dh - 0.1)), int(round(dh + 0.1))left, right = int(round(dw - 0.1)), int(round(dw + 0.1))img = cv2.copyMakeBorder(img, top, bottom, left, right, cv2.BORDER_CONSTANT, value=color)  # add border   添加边框return img, ratio, (dw, dh)
推理输出接收
  • 由于输入是矩形的,则输出应当也是矩形(这里考虑TensorRT没问题的情况,不匹配请重新转化一遍),则需要在原来的基础上添加判断形状的代码

  • 我在init中吧grid_分成x和y,用以代表矩形的两边

 # self.grid_size = 0  # grid size  分成 grid_size_x grid_size_y,用于矩形推理的实现self.grid_size_x = 0  self.grid_size_y = 0  
  • 在进行前推forward的时候,我们需要对接收的数据进行形状判断:
  • 这里就第一层为例,下采样32x32,则当输入为256x416时,,那么h = 256/32 = 8 ; w = 416/32 = 13,即当batchsize=1的时候,x的形状是:[1,3,8,13],如此依赖我们就获取了高和宽数据(实际上是网格数量)
 # 检测框具体顺序为 Center x,Center y,Width,Height# x的说明:若图片输入非正方形 如:256x416# x[2],x[3] =  256/32 = 8 , 416/32 = 13 下一层以此类推 
grid_size_y = x.size(2)
grid_size_x = x.size(3)
  • 在后续构造tensor形状的时候起作用,如:
# 注释说明
# prediction 的维度为 batch_size, num_anchors=3, grid_size, grid_size, num_classes + 5(coco:85)
prediction = (x.view(num_samples, self.num_anchors, self.num_classes + 5, grid_size_y, grid_size_x).permute(0, 1, 3, 4, 2)  # permute: 将维度换位.contiguous())
  • 还有个比较重要的点是:compute_grid_offsets方法,它是计算网格偏移的,用于抵消图像变化所带来的框体偏移
def compute_grid_offsets(self, grid_size_y,grid_size_x, img_dim, cuda=True, Half=False):# self.grid_size = grid_size# [x,y] 由于x y 可能不同,则所有有关x、y都需要分开self.grid_size_x = grid_size_xself.grid_size_y = grid_size_ygx = self.grid_size_xgy = self.grid_size_yFloatTensor = torch.cuda.FloatTensor if cuda else torch.FloatTensorFloatTensor = torch.cuda.HalfTensor if Half else torch.cuda.FloatTensorself.img_dim = img_dim# 步长一定要是正方形self.stride = self.img_dim / max(gx, gy)# Calculate offsets for each grid# self.grid_x = torch.arange(gx).repeat(gy, 1).view([1, 1, gy, gx]).type(FloatTensor)self.grid_x = torch.arange(gx).repeat(gy, 1).view([1, 1, gy, gx]).type(FloatTensor)# self.grid_y = torch.arange(gx).repeat(gy, 1).view([1, 1, gy, gx]).type(FloatTensor)# self.grid_y = torch.arange(gx).repeat(gy, 1).t().contiguous().view([1, 1, gy, gx]).type(FloatTensor)# 这里的grid y 需要与gridx 的顺序不同self.grid_y = torch.arange(gy).repeat(gx, 1).t().contiguous().view([1, 1, gy, gx]).type(FloatTensor)self.scaled_anchors = FloatTensor([(a_w / self.stride, a_h / self.stride) for a_w, a_h in self.anchors])# self.scaled_anchors = FloatTensor([(a_w / self.stride, a_h / self.stride) for a_w, a_h in self.anchors])self.anchor_w = self.scaled_anchors[:, 0].view((1, self.num_anchors, 1, 1))self.anchor_h = self.scaled_anchors[:, 1].view((1, self.num_anchors, 1, 1))
  • 它需要计算grid_x和grid_y,此时需要将形状准确地填入,如在计算grid_y的时候,涉及到矩阵转置,如果非方阵,则涉及到长宽问题就比较重要,需要与grid_x的计算方法,相反:self.grid_y = torch.arange(gy).repeat(gx, 1).t().contiguous().view([1, 1, gy, gx]).type(FloatTensor)
总结
  • 总体原理比较简单,但是加速效果简单粗暴,真的明显,比如原来416x416编程256x416那个加速比,简单算算应该至少有三分之一吧,实际上接近40%,更加明显一点。
git地址
  • 更新更新:觉得不错的话,给小弟一个Star吧

这篇关于Jetson Nano 【14】Pytorch的YOLOv3 spp 模型中关于tensorRT+ 矩形推理问题的解决过程的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/777465

相关文章

MySQL存储过程之循环遍历查询的结果集详解

《MySQL存储过程之循环遍历查询的结果集详解》:本文主要介绍MySQL存储过程之循环遍历查询的结果集,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录前言1. 表结构2. 存储过程3. 关于存储过程的SQL补充总结前言近来碰到这样一个问题:在生产上导入的数据发现

SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程

《SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程》LiteFlow是一款专注于逻辑驱动流程编排的轻量级框架,它以组件化方式快速构建和执行业务流程,有效解耦复杂业务逻辑,下面给大... 目录一、基础概念1.1 组件(Component)1.2 规则(Rule)1.3 上下文(Conte

MySQL 设置AUTO_INCREMENT 无效的问题解决

《MySQL设置AUTO_INCREMENT无效的问题解决》本文主要介绍了MySQL设置AUTO_INCREMENT无效的问题解决,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参... 目录快速设置mysql的auto_increment参数一、修改 AUTO_INCREMENT 的值。

关于跨域无效的问题及解决(java后端方案)

《关于跨域无效的问题及解决(java后端方案)》:本文主要介绍关于跨域无效的问题及解决(java后端方案),具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录通用后端跨域方法1、@CrossOrigin 注解2、springboot2.0 实现WebMvcConfig

Go语言中泄漏缓冲区的问题解决

《Go语言中泄漏缓冲区的问题解决》缓冲区是一种常见的数据结构,常被用于在不同的并发单元之间传递数据,然而,若缓冲区使用不当,就可能引发泄漏缓冲区问题,本文就来介绍一下问题的解决,感兴趣的可以了解一下... 目录引言泄漏缓冲区的基本概念代码示例:泄漏缓冲区的产生项目场景:Web 服务器中的请求缓冲场景描述代码

Java死锁问题解决方案及示例详解

《Java死锁问题解决方案及示例详解》死锁是指两个或多个线程因争夺资源而相互等待,导致所有线程都无法继续执行的一种状态,本文给大家详细介绍了Java死锁问题解决方案详解及实践样例,需要的朋友可以参考下... 目录1、简述死锁的四个必要条件:2、死锁示例代码3、如何检测死锁?3.1 使用 jstack3.2

解决JSONField、JsonProperty不生效的问题

《解决JSONField、JsonProperty不生效的问题》:本文主要介绍解决JSONField、JsonProperty不生效的问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录jsONField、JsonProperty不生效javascript问题排查总结JSONField

github打不开的问题分析及解决

《github打不开的问题分析及解决》:本文主要介绍github打不开的问题分析及解决,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、找到github.com域名解析的ip地址二、找到github.global.ssl.fastly.net网址解析的ip地址三

MySQL版本问题导致项目无法启动问题的解决方案

《MySQL版本问题导致项目无法启动问题的解决方案》本文记录了一次因MySQL版本不一致导致项目启动失败的经历,详细解析了连接错误的原因,并提供了两种解决方案:调整连接字符串禁用SSL或统一MySQL... 目录本地项目启动报错报错原因:解决方案第一个:第二种:容器启动mysql的坑两种修改时区的方法:本地

springboot加载不到nacos配置中心的配置问题处理

《springboot加载不到nacos配置中心的配置问题处理》:本文主要介绍springboot加载不到nacos配置中心的配置问题处理,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑... 目录springboot加载不到nacos配置中心的配置两种可能Spring Boot 版本Nacos