本文主要是介绍二、基于图像和结构化数据多模态融合的回归预测网络【框图讲解+源码】，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
整理读研期间做的项目与日常小实验
本篇未完待续…代码部分整理后补充
0. 背景
实验室有一些材料的SEM（扫描电镜）图像、也有对应的组分信息（结构化数据，包含类别特征和连续的数值特征），以及对应的力学性能指标。
当时看多模态论文比较多，便想着既然有数据，正好可以用这些数据练习一下，于是，搭建一个多模态融合的模型，融合图像信息和材料的组分信息两种模态的数据信息，进行回归预测。
1. 网络结构
搭建的多模态融合模型框架如下图所示：
网络模型如下图所示：
2. 结构分析
2.1 CBAM模块
CBAM模块如下：
2.2 网络A结构
2.3 网络B结构
2.4 AdaptiveFusion结构
(1) 结构1
(2) 结构2
Concat or Sum
(3) 结构3
MHSA
3. 代码
pass附录1、CNN卷积层特征图可视化
下图为SEM图像中间特征层的可视化效果：
实现代码可以参考下面：
【卷积神经网络卷积层提取的特征图可视化】
pass这篇关于二、基于图像和结构化数据多模态融合的回归预测网络【框图讲解+源码】的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
