ICCV 2021 | 新的去雪数据集CSD开源!更快更有效的去雪网络HDCW-Net

2023-11-01 11:40

本文主要是介绍ICCV 2021 | 新的去雪数据集CSD开源!更快更有效的去雪网络HDCW-Net,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

点击下方卡片,关注“CVer”公众号

AI/CV重磅干货,第一时间送达

ALL Snow Removed: Single Image Desnowing Algorithm Using Hierarchical Dual-tree Complex Wavelet Representation and Contradict Channel Loss

95f5e16c10d0b5bbaf0d2be4f43aeff3.png

论文链接:

https://openaccess.thecvf.com/content/ICCV2021/papers/Chen_ALL_Snow_Removed_Single_Image_Desnowing_Algorithm_Using_Hierarchical_Dual-Tree_ICCV_2021_paper.pdf

数据集链接:

https://ccncuedutw-my.sharepoint.com/:u:/g/personal/104501531_cc_ncu_edu_tw/EfCooq0sZxxNkB7F8HgCyKwB-sJQtVE59_Gpb9soatYi5A?e=5NjDhb

代码链接:

https://github.com/weitingchen83/ICCV2021-Single-Image-Desnowing-HDCWNet

简介

最近因为科研的需要,开始找寻去雪网络的相关文章,发现去雪的文章相对于去雾或是去雨来说相对少,而我找到最近台湾大学以及华硕电脑在今年ICCV发表了一个大型去雪数据集以及新的去雪网络HDCW-Net,在各项数据集达到SOTA的性能,并且在执行速度上优于现有的算法,相当有趣,所以写了一帖文章供小伙伴们参考。

此外,我也发现这个团队去年也有在ECCV'20发表另一篇去雪的工作,有兴趣可以参考:https://link.springer.com/chapter/10.1007/978-3-030-58589-1_45

Single Image Desnowing (单张影像去雪),字面上就是给予一张含有雪的场景,透过影像重建的技术,将影像中的雪以及受损的影像内容还原回来。此任务由于大型数据集深度学习的进步,在近年有着相当大的突破,例如著名的JSTASR [1]以及DeSnowNet [2]的提出。然而在现今的去雪算法当中仍然存在着下面的问题:

  1. 对于真实世界场景的鲁棒性:因为雪的型态多样且复杂,通常包含snow streak, snow flake, 以及veiling effect,除此之外,雪的大小差异也相当大,而尺寸较大的雪现有的网络无法有效地去除。

  2. 现有的数据集不能反映出真实世界的场景:在现有的数据集当中,如:Snow-100K [1]和RWD [2],都缺少了snow streaks,使得网络在训练时没办法学习到更全面雪的信息。

方法

针对上述问题,提出了一个基于Dual-tree Wavelet Transform (DTCWT)的阶层式(Hierarchical Architecture)网络。DTCWT是Discrete Wavelet Transform的改良版,他拥有较好的方向性,能够有效的捕捉不同方向的特征,而雪通常含有不同的方向,如下图所示,相比于传统的DWT,DTCWT可以更有效地将不同方向的雪去做型态上的捕捉。此外,为了能更有效地去解决不同大小雪的问题,使用阶层式的分解方式,可以将形状较大的雪去做切割,让较大的雪可以分解至每一个子频带,使得尺寸问题可以被解决。

05fb58ca8824d47287efbfefef51e633.png

3840d693829e2684fa6512ed824017e1.png

除了上面的网络设计外,还提出了一个新型的特征称为Contradict Channel (CC),此特征可用于雪的场景作为一种用来判断图片是否有残余的雪的特征。此特征可以被定义如下:

cf17e45451286f81c325945636b2f532.png

8fdf9fb2026bf2bcb91cea551ff788e1.png

相较于干净的影像,当影像含有残存的雪时,contradcit channel的值就会较大,接近1。运用这个特性,我们就可以利用它作为一个还原影像是否残留雪的指针,去帮助网络训练。

a0c0859e0a18e81e0fa8835140929b18.png

此外,针对snow streak的部分,论文当中也提出了一个新的大型数据集Comprehensive Snow Dataset (CSD),供这个领域的研究者使用。

d66d0a9c1912edd3af989a8fc90bca0b.png

实验结果

论文当中做了相当多实验去验证有效性

首先是消融实验(Ablation Study):

● 针对不同的feature extraction方式做比较:

30e34af32d063ce265a20b48b5a61bbf.png

上表当中证明了,对比于其他feature extraction方式,使用DTCWT对于网络而言是一种有效的方式去做雪的特征萃取。

● 使用阶层式对于网络效能的提升:

c388ea5fa77cd1c01ef437fa2c480310.png

而此实验验证了,使用阶层式的分解方式对于去雪的效能也是有显着的帮助的,但过度的分解可能会带来效能的降低。

● 使用contradict channel对于去雪的效能比较:

5b832c0a5db8ce33101fc9bea13ba8b6.png

Contradict Channel的有效性也在此实验被验证,使用contradict channel做为计算loss的方式能够有效地增强去雪的效能。

● 与现有方法的比较:

ccb78a0f1752a91a84f689e39982dd75.png

5c68aa4e6cc319ec4a685e67bcd909c6.png

● 计算复杂度比较:

67b999b779cdd639dab1fcaa65202d10.png

而提出的算法在去雪效果以及计算复杂度也明显优于现有的去雪网络,在单张影像去雪工作又往前进了一步。

结语

读完这篇文章后,有两个特点非常值得学习

  1. 使用DTCWT做为特征的萃取的工具搭配阶层式的分解似乎对于去雪工作有着不错的效果。

  1. 除了传统的dark channel以及bright channel外,contradict channel对于雪来说是一个有效评估的特征。

参考文献

[1] Chen, W. T., Fang, H. Y., Ding, J. J., Tsai, C. C., & Kuo, S. Y. (2020, August). JSTASR: Joint size and transparency-aware snow removal algorithm based on modified partial convolution and veiling effect removal. In European Conference on Computer Vision (pp. 754-770). Springer, Cham.

[2] Liu, Y. F., Jaw, D. W., Huang, S. C., & Hwang, J. N. (2018). DesnowNet: Context-aware deep network for snow removal. IEEE Transactions on Image Processing, 27(6), 3064-3073.

[3] Chen, W. T., Fang, H. Y., Hsieh, C. L., Tsai, C. C., Chen, I., Ding, J. J., & Kuo, S. Y. (2021). ALL Snow Removed: Single Image Desnowing Algorithm Using Hierarchical Dual-Tree Complex Wavelet Representation and Contradict Channel Loss. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 4196-4205).

ICCV和CVPR 2021论文和代码下载后台回复:CVPR2021,即可下载CVPR 2021论文和代码开源的论文合集后台回复:ICCV2021,即可下载ICCV 2021论文和代码开源的论文合集后台回复:Transformer综述,即可下载最新的两篇Transformer综述PDF
CVer-去一切交流群成立
扫码添加CVer助手,可申请加入CVer-去一切 微信交流群,方向已涵盖:目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch和TensorFlow等群。
一定要备注:研究方向+地点+学校/公司+昵称(如去一切+上海+上交+卡卡),根据格式备注,可更快被通过且邀请进群▲长按加小助手微信,进交流群
▲点击上方卡片,关注CVer公众号

整理不易,请点赞和在看109df544a8faabc7340dd22da0889029.gif

这篇关于ICCV 2021 | 新的去雪数据集CSD开源!更快更有效的去雪网络HDCW-Net的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/322703

相关文章

SQL中如何添加数据(常见方法及示例)

《SQL中如何添加数据(常见方法及示例)》SQL全称为StructuredQueryLanguage,是一种用于管理关系数据库的标准编程语言,下面给大家介绍SQL中如何添加数据,感兴趣的朋友一起看看吧... 目录在mysql中,有多种方法可以添加数据。以下是一些常见的方法及其示例。1. 使用INSERT I

Python使用vllm处理多模态数据的预处理技巧

《Python使用vllm处理多模态数据的预处理技巧》本文深入探讨了在Python环境下使用vLLM处理多模态数据的预处理技巧,我们将从基础概念出发,详细讲解文本、图像、音频等多模态数据的预处理方法,... 目录1. 背景介绍1.1 目的和范围1.2 预期读者1.3 文档结构概述1.4 术语表1.4.1 核

MySQL 删除数据详解(最新整理)

《MySQL删除数据详解(最新整理)》:本文主要介绍MySQL删除数据的相关知识,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友参考下吧... 目录一、前言二、mysql 中的三种删除方式1.DELETE语句✅ 基本语法: 示例:2.TRUNCATE语句✅ 基本语

Linux中压缩、网络传输与系统监控工具的使用完整指南

《Linux中压缩、网络传输与系统监控工具的使用完整指南》在Linux系统管理中,压缩与传输工具是数据备份和远程协作的桥梁,而系统监控工具则是保障服务器稳定运行的眼睛,下面小编就来和大家详细介绍一下它... 目录引言一、压缩与解压:数据存储与传输的优化核心1. zip/unzip:通用压缩格式的便捷操作2.

MyBatisPlus如何优化千万级数据的CRUD

《MyBatisPlus如何优化千万级数据的CRUD》最近负责的一个项目,数据库表量级破千万,每次执行CRUD都像走钢丝,稍有不慎就引起数据库报警,本文就结合这个项目的实战经验,聊聊MyBatisPl... 目录背景一、MyBATis Plus 简介二、千万级数据的挑战三、优化 CRUD 的关键策略1. 查

python实现对数据公钥加密与私钥解密

《python实现对数据公钥加密与私钥解密》这篇文章主要为大家详细介绍了如何使用python实现对数据公钥加密与私钥解密,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录公钥私钥的生成使用公钥加密使用私钥解密公钥私钥的生成这一部分,使用python生成公钥与私钥,然后保存在两个文

mysql中的数据目录用法及说明

《mysql中的数据目录用法及说明》:本文主要介绍mysql中的数据目录用法及说明,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录1、背景2、版本3、数据目录4、总结1、背景安装mysql之后,在安装目录下会有一个data目录,我们创建的数据库、创建的表、插入的

Navicat数据表的数据添加,删除及使用sql完成数据的添加过程

《Navicat数据表的数据添加,删除及使用sql完成数据的添加过程》:本文主要介绍Navicat数据表的数据添加,删除及使用sql完成数据的添加过程,具有很好的参考价值,希望对大家有所帮助,如有... 目录Navicat数据表数据添加,删除及使用sql完成数据添加选中操作的表则出现如下界面,查看左下角从左

解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘问题

《解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘问题》:本文主要介绍解决未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4... 目录未解析的依赖项:‘net.sf.json-lib:json-lib:jar:2.4‘打开pom.XM

SpringBoot中4种数据水平分片策略

《SpringBoot中4种数据水平分片策略》数据水平分片作为一种水平扩展策略,通过将数据分散到多个物理节点上,有效解决了存储容量和性能瓶颈问题,下面小编就来和大家分享4种数据分片策略吧... 目录一、前言二、哈希分片2.1 原理2.2 SpringBoot实现2.3 优缺点分析2.4 适用场景三、范围分片