超越传统卷积!快速傅里叶卷积突破计算极限,加速高达7.93倍

本文主要是介绍超越传统卷积!快速傅里叶卷积突破计算极限,加速高达7.93倍,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

通过结合快速傅里叶变换的优势,快速傅里叶卷积(FFC)提供了一种高效的方式来执行卷积操作,特别是在需要全局上下文信息和跨尺度特征融合的场景中。

这种独特的频域操作不仅能提高特征提取的效率和质量,还可以加速计算过程。在实际应用中帮助我们提高模型性能,同时保持较低的计算成本。比如:

  • 英伟达等团队提出的基于傅里叶的神经网络预测模型FourCastNet,在节点小时(node-hour)基础上比传统 NWP 模型快约 45,000 倍。

  • 斯坦福团队引入FlashFFTConv来优化机器学习中长序列的FFT卷积,可将FFT卷积加速高达7.93倍。

为帮助同学们深入了解FFC原理,获取科研灵感,我整理了10个快速傅里叶卷积创新方案,来源文章以及开源代码也列上了,方便同学们复现。

论文和代码需要的同学看文末

FlashFFTConv: Efficient Convolutions for Long Sequences with Tensor Cores

方法:作者提出了一种新的系统FlashFFTConv,通过Monarch FFT分解对FFT卷积进行优化。该分解将FFT表示为一系列矩阵乘法操作,可以有效地映射到硬件上。通过简单的GPU成本模型,作者展示了如何根据序列长度调整分解的顺序p,以平衡FLOP成本和I/O成本。

FlashFFTConv还利用实值FFT算法将FFT操作的长度减半,并在输入进行零填充时有选择地跳过矩阵乘法操作的部分。此外,作者还提出了部分卷积和频率稀疏卷积的架构扩展,这些扩展可以减少内存占用和运行时间。

创新点:

  • FlashFFTConv是一种优化FFT卷积的新系统,通过Monarch分解FFT来提高卷积的效率和性能。

  • FlashFFTConv通过优化FFT卷积算法,提高了卷积序列模型的质量和效率。

  • FlashFFTConv还引入了部分卷积和频率稀疏卷积两种新的卷积算法,可以进一步减少内存占用和提高计算速度。

FOURCASTNET: A GLOBAL DATA-DRIVEN HIGH-RESOLUTION WEATHER MODEL USING ADAPTIVE FOURIER NEURAL OPERATORS

方法:FourCastNet是一种全球数据驱动的深度学习(DL)天气预报模型,基于Fourier神经算子(FNO)和自适应Fourier神经算子(AFNO)。FourCastNet能够以很高的准确性生成高分辨率的风速和降水预报,预测速度更快、计算成本更低,并且能够生成大规模的集合预报。

创新点:

  • FourCastNet 的分辨率比现有的最先进基于DL的全球天气模型高出八倍,使其能够准确解析极端事件,如热带气旋和大气河。

  • 在最长一周的预报时效内,FourCastNet 的预测结果可以与传统的数值天气预报(NWP)模型IFS相媲美,展现了数据驱动模型在补充甚至最终替代NWP方面的潜力。

  • FourCastNet 能够在数秒内生成非常大的集合预报,提高了对极端天气事件预警的可靠性,并能够快速评估其影响。

  • FourCastNet 比传统的NWP模型快大约45,000倍,并且能耗降低了12,000倍,使其成为天气预报的一种更高效、更经济的解决方案。

Fast-ParC: Capturing Position Aware Global Feature for ConvNets and ViTs

方法:本文提出了一种名为ParC(Positional Aware Circular Convolution)的新型插入式操作,将Transformer和ConvNet的优点相结合。ParC通过使用全局卷积核和循环卷积来捕捉全局特征,并使用位置编码保持位置敏感性。与MHA相比,ParC将全局操作的时间复杂度从O(n^2)降低到O(n^3/2)。通过使用FFT(Fast Fourier Transform),Fast-ParC将ParC的复杂度进一步降低到O(n log n)。

创新点:

  • ParC操作
    • ParC操作是一种新颖的插入式操作,结合了ViT中使用的自注意力机制和纯卷积操作,具有全局感受野。

    • ParC操作可以更方便地在不同硬件平台上支持,并提高网络在分类任务上的性能。

    • 基于ParC的模型在下游任务上也表现出优越性能。

  • Fast-ParC操作
    • Fast-ParC是ParC的一种基于FFT的加速版本,用于处理高分辨率输入特征。

    • Fast-ParC操作能够在高输入分辨率的情况下保持较低的计算预算,使ParC成为大多数计算机视觉任务的竞争性通用选择。

    • Fast-ParC操作进一步拓宽了ParC的应用场景。

ADAPTIVE FOURIER NEURAL OPERATORS: EFFICIENT TOKEN MIXERS FOR TRANSFORMERS

方法:论文研究了运算符学习和高分辨率令牌混合的有效变换器之间的关系。通过建立了运算符学习和高分辨率令牌混合之间的联系,并将FNO从PDEs中进行了适应,提出了一种具有准线性复杂度的高效混合器AFNO。

创新点:

  • 将运算符学习与高分辨率令牌混合相结合,将PDE中的FNO改编为具有准线性复杂度的高效混合器。

  • 通过引入块对角结构、自适应权重共享和稀疏性,以有原则的方式设计了AFNO,以提高其表达能力和泛化能力。

关注下方《学姐带你玩AI》🚀🚀🚀

回复“FFC模块”获取全部论文+代码

码字不易,欢迎大家点赞评论收藏

这篇关于超越传统卷积!快速傅里叶卷积突破计算极限,加速高达7.93倍的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/833926

相关文章

一文详解如何在idea中快速搭建一个Spring Boot项目

《一文详解如何在idea中快速搭建一个SpringBoot项目》IntelliJIDEA作为Java开发者的‌首选IDE‌,深度集成SpringBoot支持,可一键生成项目骨架、智能配置依赖,这篇文... 目录前言1、创建项目名称2、勾选需要的依赖3、在setting中检查maven4、编写数据源5、开启热

Python并行处理实战之如何使用ProcessPoolExecutor加速计算

《Python并行处理实战之如何使用ProcessPoolExecutor加速计算》Python提供了多种并行处理的方式,其中concurrent.futures模块的ProcessPoolExecu... 目录简介完整代码示例代码解释1. 导入必要的模块2. 定义处理函数3. 主函数4. 生成数字列表5.

MybatisX快速生成增删改查的方法示例

《MybatisX快速生成增删改查的方法示例》MybatisX是基于IDEA的MyBatis/MyBatis-Plus开发插件,本文主要介绍了MybatisX快速生成增删改查的方法示例,文中通过示例代... 目录1 安装2 基本功能2.1 XML跳转2.2 代码生成2.2.1 生成.xml中的sql语句头2

8种快速易用的Python Matplotlib数据可视化方法汇总(附源码)

《8种快速易用的PythonMatplotlib数据可视化方法汇总(附源码)》你是否曾经面对一堆复杂的数据,却不知道如何让它们变得直观易懂?别慌,Python的Matplotlib库是你数据可视化的... 目录引言1. 折线图(Line Plot)——趋势分析2. 柱状图(Bar Chart)——对比分析3

一文教你Java如何快速构建项目骨架

《一文教你Java如何快速构建项目骨架》在Java项目开发过程中,构建项目骨架是一项繁琐但又基础重要的工作,Java领域有许多代码生成工具可以帮助我们快速完成这一任务,下面就跟随小编一起来了解下... 目录一、代码生成工具概述常用 Java 代码生成工具简介代码生成工具的优势二、使用 MyBATis Gen

Java计算经纬度距离的示例代码

《Java计算经纬度距离的示例代码》在Java中计算两个经纬度之间的距离,可以使用多种方法(代码示例均返回米为单位),文中整理了常用的5种方法,感兴趣的小伙伴可以了解一下... 目录1. Haversine公式(中等精度,推荐通用场景)2. 球面余弦定理(简单但精度较低)3. Vincenty公式(高精度,

使用animation.css库快速实现CSS3旋转动画效果

《使用animation.css库快速实现CSS3旋转动画效果》随着Web技术的不断发展,动画效果已经成为了网页设计中不可或缺的一部分,本文将深入探讨animation.css的工作原理,如何使用以及... 目录1. css3动画技术简介2. animation.css库介绍2.1 animation.cs

SpringBoot快速搭建TCP服务端和客户端全过程

《SpringBoot快速搭建TCP服务端和客户端全过程》:本文主要介绍SpringBoot快速搭建TCP服务端和客户端全过程,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,... 目录TCPServerTCPClient总结由于工作需要,研究了SpringBoot搭建TCP通信的过程

Gradle在国内配置镜像加速的实现步骤

《Gradle在国内配置镜像加速的实现步骤》在国内使用Gradle构建项目时,最大的痛点就是依赖下载贼慢,甚至卡死,下面教你如何配置国内镜像加速Gradle下载依赖,主要是通过改写repositori... 目录引言一、修改 build.gradle 或 settings.gradle 的 reposito

Java注解之超越Javadoc的元数据利器详解

《Java注解之超越Javadoc的元数据利器详解》本文将深入探讨Java注解的定义、类型、内置注解、自定义注解、保留策略、实际应用场景及最佳实践,无论是初学者还是资深开发者,都能通过本文了解如何利用... 目录什么是注解?注解的类型内置注编程解自定义注解注解的保留策略实际用例最佳实践总结在 Java 编程