【MindStudio训练营第一期】【昇腾AI训练营新手班学习笔记】大作业

介绍

大作业：使用MindStudio成功复现昇腾社区中的MindX SDK应用案例

选题：黑白图像上色 https://www.hiascend.com/zh/developer/mindx-sdk/case-studies/d0c56d6f-a6f9-4b77-8587-db8272f22f3b

步骤

运行

1. 使用MindStudio打开下载到的工程文件

2. 创建data、model、out文件夹

3. 准备测试图片

   这里从网上随机下载了一张照片，并用ps去色处理了一下，路径 data/test.png

   

4. 使用Tools->Deployment->Upload to将工程文件上传到服务器

5. cd到项目根目录

   

6. 下载model文件并解压缩

   cd model
   wget https://c7xcode.obs.cn-north-4.myhuaweicloud.com/models/colorization_picture-python/dog.png --no-check-certificate
   unzip model.zip
   

   带上–no-check-certificate参数否则会报错

7. 转换模型，得到coloriztion.om文件

   cd ../scripts
   bash atc_run.sh
   

8. 运行

   cd ../src
   python3 main.py ../data/test.png
   

9. 使用Tools->Deployment->Download from工具下载回本地

   运行结果：(out_test.png)

   

   原图：

   

10. 增加二次元浓度再试一次

    

    太为难这个模型了!

工程代码阅读

1. 初始化StreamManagerApi并加载pipeline文件

       streamManagerApi = StreamManagerApi()ret = streamManagerApi.InitManager()pipeline = b"../pipeline/colorization.pipeline" ret = streamManagerApi.CreateMultipleStreamsFromFile(pipeline)
   

2. 传入数据

       streamName = b'colorization'inPluginId = 0key0 = b"appsrc0"protobufVec = InProtobufVector()protobuf = MxProtobufIn()protobuf.key = key0protobuf.type = b'MxTools.MxpiTensorPackageList'protobuf.protobuf = tensorPackageList.SerializeToString()protobufVec.push_back(protobuf)uniqueId = streamManagerApi.SendProtobuf(streamName, inPluginId, protobufVec)
   

   将图像L通道的数据写入tensorVec中，用SendProtobuf发送给appsrc0元件

3. 取出结果数据

       key1 =  b"mxpi_tensorinfer0"keyVec = StringVector()keyVec.push_back(key1) inferRes = streamManagerApi.GetProtobuf(streamName, inPluginId, keyVec)
   

4. 合成上色后的结果图

       tensorList = MxpiDataType.MxpiTensorPackageList()tensorList.ParseFromString(inferRes[0].messageBuf)res = np.frombuffer(tensorList.tensorPackageVec[0].tensorVec[0].dataStr, dtype=np.float32)postprocess(res, inputPic, origShape, origL)
   

流程编排

1. 从代码阅读中可以看出，图像的前处理和模型后处理都在Python代码中完成了，整个pipeline流程仅包含一次推理，加上输入输出

   

2. 输入appsrc：设置block size为合适大小，案例中设置了409600

   

3. 模型推理:设置模型文件路径…/model/colorization.om;同时还手动指定了dataSource为appsrc0

   

4. 输出appsink, block size大小与输入元件一致

   

改一行

尝试给视频上色，仅需代码部分改一行，流程编排部分不需要改动

    seq_list = []temp_list = []vc = cv.VideoCapture('../data/test.mp4')c = 0rval = vc.isOpened()while rval:c = c + 1rval, frame = vc.read()if rval:cv.imwrite('../data/'+str(c) + '.png', frame)seq_list.append('../data/'+str(c) + '.png')temp_list.append('../out/out_'+str(c) + '.png')else:breakvc.release()for pic in seq_list:run(pic, streamManagerApi) #此处是原先代码中流的输入输出部分os.remove(pic)videoWriter = cv.VideoWriter('../out_video/out_test.mp4', cv.VideoWriter_fourcc(*'mp4v'), 30, (1280, 720))for pic in temp_list:![请添加图片描述](https://img-blog.csdnimg.cn/b604ee76101e489397a74904ff8ec0d1.gif)img = cv.imread(pic)img = cv.resize(img, (1280, 720))videoWriter.write(img)os.remove(pic)videoWriter.release()

结果：

太为难这个模型了！