图像复原天花板!IR开创性新作实现最佳视觉质量,修复更智能、更逼真

本文主要是介绍图像复原天花板!IR开创性新作实现最佳视觉质量,修复更智能、更逼真,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

图像复原(IR)指在已知图像退化的原因和模型的情况下,通过一系列的逆过程来恢复出原始图像的过程。这是一个长期的低级视觉任务,也是图像处理领域的一个重要课题。

随着深度学习技术的发展,图像复原领域不断出现新的网络架构、损失函数、训练策略等创新点,研究者们受此启发,提出了许多突破性成果。

目前,基于神经网络、transformer、生成先验等的图像复原新方法在处理复杂退化情况时表现出色。比如中国科学院大学、上海人工智能实验室提出的SUPIR、刷新多个low-level任务指标的Restormer。

  • SUPIR:一种突破性的图像复原方法,开创性结合文本引导先验和模型规模扩大。通过利用多模态技术和先进的生成先验,在智能和逼真的图像复原方面取得了重大进展。

  • Restormer:MPRNet与MIRNet的作者在图像复原领域的又一力作,极大程度上缓解了计算量与GPU缓存占用问题,刷新了多个图像复原任务的SOTA性能。

为帮助同学们了解这一重要课题的最新研究方向,我整理了12种最新的图像复原创新方案,简单分析了一些可参考的方法和创新点,并附上开源代码方便各位复现。

论文以及开源代码需要的同学看文末

SUPIR

Scaling Up to Excellence:Practicing Model Scaling for Photo-Realistic lmage Restoration In the Wild

方法:SUPIR是一种开创性的图像复原方法,它利用了生成先验和模型扩展的能力。通过使用多模态技术和先进的生成先验,SUPIR在智能和现实的图像复原方面取得了显著的进步。作为SUPIR中的一个关键催化剂,模型扩展极大地增强了其能力,并为图像复原展示了新的潜力。

创新点:

  • 提出了一种基于文本提示的图像修复方法,通过在大规模图像-文本对数据集上进行训练,并利用扩散模型的特征,可以根据人类提示有选择地修复图像。

  • 提出了一种抗降级编码器,可以减少降级对生成模型的影响,进一步防止生成模型将伪影误认为图像内容。

  • 提出的方法在感知质量方面明显优于现有的方法。通过与其他具有相同能力的先进方法进行比较,实验证明了该方法在感知质量上的显著优势。

Restormer

Restormer: Effcient Transformer for High-Resolution Image Restoration

方法:RNAN是一个基于Transformer的模型,用于处理高分辨率图像的恢复任务。它通过引入多头自注意力层和多尺度分层模块来提高计算效率。DeamNet是一个基于CNN的模型,也用于图像恢复任务。这两个模型在多个图像处理任务上进行了实验和分析,包括图像去雨、单图像运动去模糊、焦点去模糊和图像去噪。

创新点:

  • 渐进学习策略:通过在早期时期对小图像块和大批量进行训练,然后在后期时期对逐渐增大的图像块和小批量进行训练,使得Restormer能够从大图像中学习上下文,并在测试时提供质量性能的改进。

  • 高分辨率图像处理的Transformer模型:提出了一种能够处理高分辨率图像的高效Transformer模型,通过对多头自注意力层和多尺度分层模块进行关键设计,减轻了计算瓶颈。该模型能够学习长距离依赖关系,并保持计算效率。

  • 改进的前馈网络:引入了门控机制和局部机制,以及门控深度卷积,增强了前馈网络的性能。这些改进使得Restormer在噪声水平为50时相对于标准前馈网络获得了0.26 dB的PSNR增益。

MiOIR

Towards Effective Multiple-in-One Image Restoration:A Sequential and Prompt Learning Strategy

方法:论文研究了多任务图像恢复(MiO IR)问题,该问题包括了七个常见的图像恢复任务。研究发现MiO IR面临两个关键挑战:多样化目标的优化和适应多个任务。为了解决这些挑战,本文提出了两种简单而有效的策略。第一种策略是顺序学习,通过逐步学习单个IR任务,而不是将它们混合在一起,来优化多样化的目标。第二种策略是提示学习,通过帮助网络理解特定任务并提高泛化能力,来适应不同的IR任务。

创新点:

  • 提出了多任务图像恢复(MiO IR)问题,旨在训练一个单一模型来处理多个IR任务。

  • 引入了顺序学习策略,通过按顺序逐个学习不同的IR任务,而不是将它们混合在一起,以优化多样化的目标。

  • 提出了提示学习策略,通过提供额外的输入或自适应提取动态视觉提示,帮助网络理解特定任务并提高泛化能力,以适应不同的IR任务。

InstructIR

InstructIR: High-Quality Image Restoration Following Human Instructions

方法:作者提出了第一个使用人类编写指令来指导图像恢复模型的方法。给定自然语言提示,该模型可以从它们的退化对应物中恢复高质量的图像,考虑到多种退化类型。该方法在包括图像去噪、去雨、去模糊、去雾和(低光)图像增强等几个恢复任务上取得了最先进的成果。

创新点:

  • 引入了基于人类指令的图像修复模型,该模型可以根据人类指令对图像进行修复,实现了对多种类型和程度的图像退化进行修复的能力。

  • 设计了一个全新的图像模型,该模型具有4级编码器-解码器结构,并在编码器和解码器之间使用了4个中间块来进一步增强特征。此外,解码器使用了加法而不是串联来进行跳跃连接,这是一种新颖的方法。

  • 提出了一种基于文本编码器的训练方法,通过训练一个投影头来适应文本编码器,从而更好地编码图像修复模型所需的信息。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“图像复原”获取论文+代码

码字不易,欢迎大家点赞评论收藏

这篇关于图像复原天花板!IR开创性新作实现最佳视觉质量,修复更智能、更逼真的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/750059

相关文章

C++中零拷贝的多种实现方式

《C++中零拷贝的多种实现方式》本文主要介绍了C++中零拷贝的实现示例,旨在在减少数据在内存中的不必要复制,从而提高程序性能、降低内存使用并减少CPU消耗,零拷贝技术通过多种方式实现,下面就来了解一下... 目录一、C++中零拷贝技术的核心概念二、std::string_view 简介三、std::stri

C++高效内存池实现减少动态分配开销的解决方案

《C++高效内存池实现减少动态分配开销的解决方案》C++动态内存分配存在系统调用开销、碎片化和锁竞争等性能问题,内存池通过预分配、分块管理和缓存复用解决这些问题,下面就来了解一下... 目录一、C++内存分配的性能挑战二、内存池技术的核心原理三、主流内存池实现:TCMalloc与Jemalloc1. TCM

OpenCV实现实时颜色检测的示例

《OpenCV实现实时颜色检测的示例》本文主要介绍了OpenCV实现实时颜色检测的示例,通过HSV色彩空间转换和色调范围判断实现红黄绿蓝颜色检测,包含视频捕捉、区域标记、颜色分析等功能,具有一定的参考... 目录一、引言二、系统概述三、代码解析1. 导入库2. 颜色识别函数3. 主程序循环四、HSV色彩空间

mtu设置多少网速最快? 路由器MTU设置最佳网速的技巧

《mtu设置多少网速最快?路由器MTU设置最佳网速的技巧》mtu设置多少网速最快?想要通过设置路由器mtu获得最佳网速,该怎么设置呢?下面我们就来看看路由器MTU设置最佳网速的技巧... 答:1500 MTU值指的是在网络传输中数据包的最大值,合理的设置MTU 值可以让网络更快!mtu设置可以优化不同的网

Python实现精准提取 PDF中的文本,表格与图片

《Python实现精准提取PDF中的文本,表格与图片》在实际的系统开发中,处理PDF文件不仅限于读取整页文本,还有提取文档中的表格数据,图片或特定区域的内容,下面我们来看看如何使用Python实... 目录安装 python 库提取 PDF 文本内容:获取整页文本与指定区域内容获取页面上的所有文本内容获取

基于Python实现一个Windows Tree命令工具

《基于Python实现一个WindowsTree命令工具》今天想要在Windows平台的CMD命令终端窗口中使用像Linux下的tree命令,打印一下目录结构层级树,然而还真有tree命令,但是发现... 目录引言实现代码使用说明可用选项示例用法功能特点添加到环境变量方法一:创建批处理文件并添加到PATH1

Java使用HttpClient实现图片下载与本地保存功能

《Java使用HttpClient实现图片下载与本地保存功能》在当今数字化时代,网络资源的获取与处理已成为软件开发中的常见需求,其中,图片作为网络上最常见的资源之一,其下载与保存功能在许多应用场景中都... 目录引言一、Apache HttpClient简介二、技术栈与环境准备三、实现图片下载与保存功能1.

canal实现mysql数据同步的详细过程

《canal实现mysql数据同步的详细过程》:本文主要介绍canal实现mysql数据同步的详细过程,本文通过实例图文相结合给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的... 目录1、canal下载2、mysql同步用户创建和授权3、canal admin安装和启动4、canal

Nexus安装和启动的实现教程

《Nexus安装和启动的实现教程》:本文主要介绍Nexus安装和启动的实现教程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教... 目录一、Nexus下载二、Nexus安装和启动三、关闭Nexus总结一、Nexus下载官方下载链接:DownloadWindows系统根

SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程

《SpringBoot集成LiteFlow实现轻量级工作流引擎的详细过程》LiteFlow是一款专注于逻辑驱动流程编排的轻量级框架,它以组件化方式快速构建和执行业务流程,有效解耦复杂业务逻辑,下面给大... 目录一、基础概念1.1 组件(Component)1.2 规则(Rule)1.3 上下文(Conte