HI3516DV300/HI3519AV100/HI3559AV100 实现RTSP/RTMP视频流实时识别YOLOV3 识别速度14帧/S

本文主要是介绍HI3516DV300/HI3519AV100/HI3559AV100 实现RTSP/RTMP视频流实时识别YOLOV3 识别速度14帧/S，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

本教程是基于yolov3在硬件实现硬件的实时视频处理！
不是SAMPLE中的处理单张图片照片！
未采用opencv库，数据处理全部采用硬件加速！
直接对摄像头数据直接进行图像识别！
HI3516 识别速度 10帧/S
HI3519 识别速度 14帧/S

教程目的：在硬件实现视频流实时识别，将深度学习落地于实战项目中。

实现原理：

VPSS 使用3路，部分芯片VPSS CH0 不支持缩小，为保证输出帧率，保留第一路不使用。
VPSS CH1 当作 yolov3 的检测输入识别结果经过OVERLAY叠加到VENC中
VPSS CH2 实现720P视频输出，经过RTSP/RTMP/VO 实时查看。

一 YOLOV3 训练
二 YOLOV3 格式转换
a. 因为NNIE只支持CAFFE格式的转换，所以先将weights 文件转换为caffe文件
darknet2caffe cfg/yolov3.cfg weights/yolov3.weights prototxt/yolov3.prototxt caffemodel/yolov3.caffemodel
b 将转换好的caffe文件生成 NNIE识别的WK文件
先修改 yolov3-voc.prototxt 文件，确保转换成功
input: “data”
input_shape {
dim: 1
dim: 3
dim: 416
dim: 416
}
修改转换 inst_yolov3.cfg

# yolov3-coco 80种分类
[prototxt_file] ./data/detection/yolov3-nnie/model/yolov3.prototxt
[caffemodel_file]  ./data/detection/yolov3-nnie/model/yolov3.caffemodel
[instruction_name] ./data/detection/yolov3-nnie/inst_yolov3
[batch_num] 1
[net_type] 0
[sparse_rate] 0
# compile_mode 0 - 高速模式损失精度 1 - 高精度模式
[compile_mode] 0
[is_simulation] 0
[log_level] 2
[RGB_order] BGR
[data_scale] 0.0039062
[internal_stride] 16
[image_list] nnie_mapper/image_ref_list.txt
# 1 -   SVP_BLOB_TYPE_U8  3 SVP_BLOB_TYPE_YUV420SP
[image_type] 1                           
# [image_type] 3
[mean_file] null
[norm_type] 3

./nnie_mapper/bin/nnie_mapper_12 ./nnie_mapper/yolov3_inst.cfg
三、系统划分

核心代码：

1. 获取通道图像信息s32Ret = HI_MPI_VPSS_GetChnFrame(s32VpssGrp, as32VpssChn[1], &stExtFrmInfo, s32MilliSec);
2. 通过Yolov3输出识别s32Ret = SAMPLE_SVP_NNIE_Yolov3_Proc(pstParam,pstSwParam, &stExtFrmInfo,1280,720);
3. 将输出结果叠加到视频流中REGION_VENC_NNIE_DrawRect(0,&(pstSwParam->stRect),0xffff); // 绘制识别结果