本文主要是介绍CUDA编程 - Nsight system Nsight compute 的安装和使用 - (1) 学习记录，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！
Nsight system & Nsight compute
- 安装和下载地址
- 一、Nsight Systems
- 1.1、主要应用
- 1.2、比较常用的分析
- 1.2.1、情况一
- 1.2.2、情况二
- 二、Nsight Compute
- 2.1、主要应用
- 2.2、比较常用的分析
- 2.2.1、情况一
- 2.2.2、情况二
- 三、两者的比较
- 3.1、Nsight systems
- 3.2、Nsight compute
- 四、参考使用途径
- 方法一
- 方法二
- 方法三
- 方法四
在 cuda 编程中，经常会用到 Nsight system 和 Nsight compute 进行性能分析等，下面做个学习总结。
本篇包括安装和常用分析思路总结，具体实践操作总结会放在下一篇博客。
安装和下载地址
Nsight Systems
Nsight Compute
汇总下载地址
一、Nsight Systems
1.1、主要应用
主要倾向于观察全局的 Profiling,比如 核函数读写情况，核函数之间的调度情况，SM占有率，CPU和GPU之间的异步执行的情况等。
1.2、比较常用的分析
1.2.1、情况一
可以对 kernel 执行 和 memory 进行 timeline 分析，尝试寻找是否可以优化
常用的优化角度：
- 隐藏 memory access
- 多流调度
- 删除冗长的 memory access
- 融合kernel减少 kernel launch的overhead
- CPU与GPU的 overlapping
一、比如核函数与核函数之间的执行情况，是根据 timeline 进行分析的
比如下面的 timeline 可以发现核函数与核函数之间有延迟，或者是核函数的启动延迟等，都是可以展示出来的
二、 在多个 stream 的时候，可以查看调度情况和 Overlap 等，从而分析出如何进行更高效的调度
1.2.2、情况二
分析 DRAM 以及 PCIe 带宽的使用率 ，分析 SM 中 warp 的占有率
一、可以从中分析到哪些带宽没有被充分利用，从而进行优化
二、可以从中知道一个 SM 中资源是否被用满
二、Nsight Compute
官方使用说明链接
2.1、主要应用
主要分析核函数的内部的操作，比如显示不同block size核函数的执行时间，执行的吞吐量，带宽分析等。
2.2、比较常用的分析
2.2.1、情况一
一、roofline analysis
对核函数进行 roofline analysis，可以知道现在的核函数是计算密集型还是仿真密集型。即可以判断下一步优化是提高计算度，计算密度，还是优化访存等。
并且根据 base line 进行优化比较，比如设置两个核函数，对比核函数对性能的影响
比如在下图 蓝色在绿色的上方
2.2.2、情况二
二、occupancy analysis （占有率）
对核函数的各个指标进行估算一个warp的占有率的变化
三、memory bindwidth analysis
针对核函数中对各个memory的数据传输的带宽进行分析。可以比较好的理解memory架构
四、shared memory analysis
针对核函数中对 shared memory 访问以及使用效率的分析
三、两者的比较
3.1、Nsight systems
偏重于可视化application的整体的profiling以及各个细节指标
- PCIe bindwidth
- DRAM bindwidth
- SM Warp occupancy
- 所有核函数的调度信息
- 所有核函数的执行时间，以及占用整体时间的比例
- 多个Stream之间的调度信息
- 同一个stream中的多个队列的调度信息
- CPU和GPU之间的数据传输耗时
- Application整体上的各个核函数以及操作的消耗时间排序
- 捕捉同一个stream中的多个event
整体上会提供一些比较全面的信息，我们一般会从这里得到很多信息进而进行优化
3.2、Nsight compute
偏重于可视化每一个CUDA kernel的profiling以及各个细节指标
-SM中计算吞吐量
-L1 cache数据传输吞吐量
-L2 cache数据传输吞吐量
-DRAM数据传输吞吐量
-当前核函数属于计算密集型还是访存密集型
•Roofline model分析
-核函数中的L1 cache的cache hit几率, cache miss几率的多少
-核函数中各个代码部分的延迟
•精确到代码部分进行highlight
-核函数的load bandwidth, store bandwith, load次数, store次数
-L1 cache/shared memory, L2 cache, global memory中的memory access scheduling
-设置baseline，来进行核函数的优化前后的效率对比
整体上能够得到一个针对某一个kernel的非常精确的profiling，源码级别的性能捕捉，以及优化推荐
四、参考使用途径
方法一
在 host 端使用 Nsight 进行 ssh 远程 profiling
方法二
在 remote 端使用 Nsight 进行直接 profiling
方法三
在 remote 端通过CUI获取statistics之后传输到host端进行查看
***在当host端的nsight不能够直接ssh到 target device 情况下使用。比如说Jetson的profiling
方法四
在 remote 端直接使用CUI进行分析
***在当host端的nsight不能够直接ssh到 target device 情况下使用。比如说 Jetson 的profiling
在wsl中配置的问题参考链接
这篇关于CUDA编程 - Nsight system Nsight compute 的安装和使用 - (1) 学习记录的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！
