安装步调简介:
查询体系版本和架构
下载对应体系版本架构的网卡驱动
上传网卡驱动安装文件到服务器
查抄体系是否辨认到网卡装备
挂载大概解压驱动包,安装网卡驱动
设置网卡静态ip地点
利用驱动自带性能测试工具测试网卡性能
具体安装过程
1.查询体系版本和架构
本文以CentOS8.2为例,演示安装NVIDIA/Mellanox网卡驱动过程。
查询体系信息:
[root@vincent-pc2~]#cat/etc/centos-releaseCentOSLinuxrelease8.2.2004(Core)
查询架构:
[root@vincent-pc2~]#uname-mx86_64
2.下载对应体系版本架构的网卡驱动
到官方驱动下载页面,选择对应体系版本架构,下载驱动安装包,根据上一步调查询到的信息,我们选择RHEL/CentOS8.2x86_64
对于Version版本,想要体验最新版本,就选择第一个,对稳固性和可靠性有要求的,发起选择LTS版本。
驱动包文件提供了3种范例的下载,通常选择ISO大概tgz,不发起利用源码包。
3.上传驱动安装包文件到服务器
3.1从Windows体系上传驱动包到服务器
假如你利用Windows体系,欣赏器默认下载驱动包到体系“下载”目次,保举利用Windows的scp下令直接上传文件到服务器。
利用快捷键Windows+R,输入powershell,打开powershell终端。
打开powershell终端后,默认在用户目次,切换到“下载”目次,上传驱动包文件到服务器.
4.查抄网卡装备
在正式安装驱动之前,发起先查抄服务器是否硬件已经辨认到网卡装备
[root@vincent-pc2~]#lspci|grepMellanox01:00.0Infinibandcontroller:MellanoxTechnologiesMT27800Family[ConnectX-6][root@vincent-pc2~]#
有雷同以上输出代表主机已辨认到一张Mellanox[ConnectX-6]网卡
5.安装驱动
假如下载的驱动包文件格式为ISO,那么挂载,假如是tgz包就直接解压,进入解压后的目次开始安装。
ISO方式:
[root@vincent-pc2~]#mountMLNX_OFED_LINUX-23.07-0.5.0.0-rhel8.2-x86_64.iso/mntmount:/mnt:WARNING:devicewrite-protected,mountedread-only.[root@vincent-pc2~]#cd/mnt[root@vincent-pc2mnt]#./mlnxofedinstall--all--force
假如碰到提示缺少依靠包,请按照提示安装对应的依靠包,比如下面的包,安装依靠竣事后,重新实行安装驱动脚本:
yuminstallgcc-gfortrantcltcshkernel-modules-extrapython36tk
假如碰到雷同提示,阐明体系内核已更新,驱动必要重新支持新内核
[root@vincent-pc2mnt]#./mlnxofedinstall--all--forceLogsdir:/tmp/MLNX_OFED_LINUX.6221.logsGenerallogfile:/tmp/MLNX_OFED_LINUX.6221.logs/general.logVerifyingKMPrpmscompatibilitywithtargetkernel...ThekernelKMPrpmscomingwithMLNX_OFED_LINUXarenotcompatiblewithkernel:4.18.0-348.7.1.el8_5.x86_64
利用内核支持参数重新安装驱动:
[root@vincent-pc2mnt]#./mlnxofedinstall--add-kernel-support
假如提示缺少相干依靠包,按照提示安装相应的包
yuminstallgdb-headlessrpm-buildlibtoolautoconfkernel-devel-4.18.0-348.7.1.el8_5.x86_64kernel-rpm-macrospython36-develautomakepatch
还要安装一个rmpbuild工具包:
yuminstallcreaterepoelfutils-libelf-devel
运行内核支持参数,安装脚本将会重新天生对应体系内核的安装包文件,编译文件,然后安装驱动,必要较长的时间,请耐烦等待,大概半小时。
驱动安装过程大概连续10分钟左右,请耐烦等待。
安装完成后,提示重启驱动:
[root@vincent-pc2mnt]#/etc/init.d/openibdrestartUnloadingHCAdriver:[OK]LoadingHCAdriverandAccessLayer:[OK][root@vincent-pc2mnt]#
查察驱动版本:
[root@vincent-pc2~]#ofed_info-sMLNX_OFED_LINUX-23.07-0.5.0.0:
6.设置网卡静态ip地点
[root@vincent-pc2mnt]#ibdev2netdevmlx5_0port1==ib0(Down)[root@vincent-pc2mnt]#cd/etc/sysconfig/network-scripts/[root@vincent-pc2network-scripts]#viifcfg-ib0TYPE=InfiniBandBOOTPROTO=noneNAME=ib0DEVICE=ib0ONBOOT=yesIPADDR=10.10.10.242NETMASK=255.255.255.0[root@vincent-pc2~]#ibdev2netdevmlx5_0port1==ib0(Up)
7.利用驱动自带性能测试工具测试网卡性能
通常利用到的测试下令:带宽测试:
ib_write_bw
ib_send_bw
ib_read_bw
延时测试:
ib_write_lat
ib_send_lat
ib_read_lat
留意:测试前必要关闭防火墙,大概放行测试工具的默认端标语18515
利用方法,至少利用2台服务器,一台开启服务端,别的一台开启客户端去访问服务端。
服务端
在pc1开启服务端:假设服务端ib网卡IP地点为10.10.10.241/24
[root@vincent-pc1~]#ib_write_bw--report_gbits-dmlx5_0
客户端
在pc2开启客户端去访问服务端:
[root@vincent-pc2~]#ib_write_bw--report_gbits-dmlx5_0-D3010.10.10.241
阐明:
--report_gbits#以Gb/s为单位表现测试结果-D30#测试时长30秒
以下是一个ib_write_bw测试截图
8.常见题目和诊断:
8.1IB互换机端口状态LED灯处于橙色状态,大概网卡处于初始化状态State:Initializing
root@ubuntu02:~#ibstatCA'mlx5_0'CAtype:MT4123Numberofports:1Firmwareversion:20.37.1014Hardwareversion:0NodeGUID:0xb88303ffff9ec6dcSystemimageGUID:0xb88303ffff9ec6dcPort1:State:InitializingPhysicalstate:LinkUpRate:100Baselid:65535LMC:0SMlid:0Capabilitymask:0xa651e84aPortGUID:0xb88303ffff9ec6dcLinklayer:InfiniBand
网卡处于初始化,阐明IB子网中,子网管理器(SM)没有开启,开启SM常见的2种方式:在互换机大概服务器(选择其一即可)在带管理的IB互换机(SB7800,QM8700,QM9700)开启SM:
ibswitch[standalone:master]enableibswitch[standalone:master]#configureterminalibswitch[standalone:master](config)#ibsmnodeibswitchenableibswitch[standalone:master](config)#showibsmenableibswitch[standalone:master](config)#writememory
在服务器开启子网管理器,发起在2台服务器开启SM:
root@ubuntu02:~#/etc/init.d/opensmdstartStartingopensmd(viasystemctl):opensmd.service.
root@ubuntu02:~#ibstatCA'mlx5_0'CAtype:MT4123Numberofports:1Firmwareversion:20.37.1014Hardwareversion:0NodeGUID:0xb88303ffff9ec6dcSystemimageGUID:0xb88303ffff9ec6dcPort1:State:ActivePhysicalstate:LinkUpRate:200Baselid:1LMC:0SMlid:1Capabilitymask:0xa651e84aPortGUID:0xb88303ffff9ec6dcLinklayer:InfiniBand
我要评论