Note-模型复杂度分析和mmlab实验测试

本文主要是介绍Note-模型复杂度分析和mmlab实验测试，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

简介

FLOPS:（floating-point operations per second）的缩写。“每秒浮点运算次数”，“每秒峰值速度”是“每秒所执行的浮点运算次数”。它常被用来估算电脑的执行效能，尤其是在使用到大量浮点运算的科学计算领域中。正因为FLOPS字尾的那个S，代表秒，而不是复数，所以不能省略掉。
FLOPs:乘加次数,计算量对应时间复杂度
例如:
$$\begin{gathered} flop{s}_{cov}=h\ast w\ast k^2\ast c_{in}\ast c_{out} \\ flop{s}_{downsample}=0 \\ flop{s}_{fc}=weigh{t}_{in}\ast weigh{t}_{out} \end{gathered}$$
params:参数量对应于我们之前的空间复杂度,参数量影响显存
$$\begin{gathered} param{s}_{cov}=k^2\ast c_{in}\ast c_{out} \\ 考虑bias:param{s}_{cov}=(k^2\ast c_{in}+1)\ast c_{out} \\ param{s}_{downsample}=0 \\ param{s}_{fc}=weigh{t}_{in}\ast weigh{t}_{out} \end{gathered}$$
参数量：即模型中需要学习的参数数量，它是衡量模型复杂度的另一个重要指标。模型的参数量越多，表示模型的表达能力越强，但也意味着模型需要更多的计算资源和数据来训练和推断。比如，在训练模型时需要更多的GPU内存，推断时需要更多内存来存储模型参数。
显存=模型自身的参数(params)+模型计算产生的中间变量(memory)

实验测试:

利用mmengine工程进行实验:

import torchvision
from mmengine.analysis import get_model_complexity_infoif __name__ == '__main__':resnet = torchvision.models.resnet18()input_shape = (3, 224, 224)analysis_results = get_model_complexity_info(resnet, input_shape)# 对于第一卷积层params1 = 7 * 7 * 3 * 64flops1 = 7 * 7 * 3 * 64 * 224 / 2 * 224 / 2activations = 64 * 112 * 112print('params={}K,params={}G,activations={}M'.format(params1 / pow(10.0, 3), flops1 / pow(10.0, 9),activations / pow(10.0, 6)))print(analysis_results['out_table'])pass

验证自己计算和mmengine打印结果是一样的

这篇关于Note-模型复杂度分析和mmlab实验测试的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！

---