Mellanox OFED 命令

#查看 Mellanox 网卡
lspci -v | grep Mellanox

#查看网卡逻辑口和物理口的对应
ibdev2netdev -v

# 查询固件版本
# 查询PSID:                  HP_0230240009
# mst start 要先启动
mst start
flint -d /dev/mst/mt4099_pciconf0 query full

# 查询 LINK_TYPE_P1 之类的参数
flint -d /dev/mst/mt4099_pciconf0 query fullmstconfig -d 26:00.0 q

# 查询IB状态
ibv_devinfo

# 查询 Device Type Versions
mlxfwmanager

#设置为ether模式
mlxconfig -d /dev/mst/mt4099_pciconf0 set LINK_TYPE_P1=2 LINK_TYPE_P2=2

#重新加载驱动
/etc/init.d/openibd start#启动sm
/etc/init.d/opensmd start

#查看 ofed 版本
ofed_info

#测试rdma是否配置好了# 在A(192.168.10.12)机器上启动
rdma_server# 在b(192.168.10.20)上连接测试
rdma_client -s 192.168.10.12#结果rdma_client: start
rdma_client: end 0

#写入固件mstflint -d 03:00.0 -i /fxbox/driver/fw-ConnectX3-rel-2_42_5000-649283-B21_Cx-Dx-CLP-8025-FlexBoot-3.4.752.bin burn

ibstat

 InfiniBand — NTHU_SCC_2019 1.0 documentation

 

ibstatus

https://docs.oracle.com/cd/E19436-01/820-3522-10/ch4-linux.html#50536461_82843

#Datagram 和 Connected mode切换
#默认是Datagram模式
#切换为connected模式
vim /etc/infiniband/openib.conf
SET_IPOIB_CM=yes#修改后
/etc/init.d/openibd restart #查看模式
cat /sys/class/net/ib<n>/mode 
cat /sys/class/net/ib0/mode

 优化

Infiniband 网络性能测试 - osc_mpdk2b71的个人空间 - OSCHINA - 中文开源技术交流社区