Mellanox  IB 卡配置调试

1.     驱动安装

（1）  把MLNX_OFED_LINUX-2.0-2.0.5-rhel6.4-x86_64.iso或MLNX_OFED_LINUX-2.0-2.0.5-rhel6.4-x86_64.tgz包复制到/opt目录下

(2)   #cd /opt   

#ls         

#mount–o ro,loop MLNX_OFED_LINUX-2.0-2.0.5-rhel6.4-x86_64.iso /mnt

#cd /mnt

#ls          

#./mlnxofedinstall      //开始安装驱动程序

这时，系统可能会给出以下提示：

tcl rpm is required to install mft

tk  rpm is required to install mft

tcl rpm is required to install ibutils2

tk  rpm is required to install ibutils2

因此，如果在安装过程中有以上提示信息，就需要先安装完tcl-8.5.7-6.el6.x86_64.r  pm，  tcl-devel-8.5.7-6.el.x86_64.rpm ，tk-8.5.7-5.el6.x86_64.rpm三个rpm包后才能继续进行MLNX_OFED_LINUX-2.0-2.0.5-rhel6.4-x86_64.iso驱动包的安装。

（3）从Http://pkgs.org/centos-6-rhel-6/centos-rhel-x86_664下载以上所需的rpm包并复制到/opt目录下。

#cd /opt

#ls

#rpm –ivh tcl-8.5.7-6.el6.x86_64.rpm

#rpm  -ivh tcl-devel-8.5.7-6.el.x86_64.rpm

#rpm  -ivh tk-8.5.7-5.el6.x86_64.rpm

（4）三个rpm包安装完成之后继续进行MLNX_OFED_LINUX-2.0-2.0.5-rhel6.4-x86_64的安装。

#./mlnxofedinstall

系统会提示以下信息：

This program will install the MLNX_OFED_LINUX package on your machine.

Note that all other Mellanox,OEM,OFED,or Distribution IB packages will be removed.

Do you want to continue ? [Y/N]:            

此时键盘输入y，回车后系统开始驱动程序的安装。

当系统给出“Installation finished successfully”信息时，证明MLNX_OFED_LINUX-2.0-2.0.5-rhel6.4-x86_64.iso包已经安装成功。

  接着驱动程序会自动更新网卡的固件：

Programming HCA firmware for /dev/mst/mt26448_pci-cro device

  提示信息有：

 Current FW version on flash: 2.8.600

 New FW version on flash: 2.9.1000

 Burning FW image without signature  -ok

 Restoring signature

 -I- Image burn completed successfully

 Configuring /etc/security/limits.conf

 Please reboot your system for the changes to take effect

然后重启系统使固件更新升级生效

#reboot 

     

(5) 驱动安装完成并重启系统后查看网卡详细信息，包括网卡端口信息，固件版本，等等。

#/etc/init.d/openibd restart     //重启一下驱动

#ibvdev2netdev

#ibstat

#ibstatus

#ibv_devinfo

# hca_self_test.ofed

# lspci|grep Mell

# lspci -xxxvvv –s PCIE_ID

2.  配置端口IP

把所有服务器上的IB端口全部连接到交换机IS50XX上.

(1)#ifconfig  -a 

(2) 配置IB端口IP

#cd /etc/sysconfig/network-scripts/

#vi ifcfg-ib0 

DEVICE=ib0

BOOTPROTO=static

NM_CONTROLLED=yes

ONBOOT=yes

TYPE= InfiniBand

IPADDR=192.168.10.3  

GATEWAY=192.168.10.1

NETMASK=255.255.255.0

或者更简单的配置方法：

#ifconfig ib0 192.168.10.3 netmask 255.255.255.0

#ifdown ib0

#ifup ib0    //先关闭再开启使刚才的配置生效

或者用 #service network restart命令重启全部网络端口也可以。

#ifconfig //再次查看端口信息，看看配置是否生效

3.  开启子网管理器SM（SubnetManager）

#/etc/init.d/opensmd start       //打开子网管理器

或：

#service opensmd start

#ibstat                          //查看端口状态

以上过程完成之后可用 ping命令查看连接到交换机上的任意2个服务器端口之间是否连通。

4.     测试带宽和延迟性能

带宽测试：#ib_write_bw  ( 先起 client 端 )

          #ib_write_bw 10.11.1.12  （后起 server 端）

延迟测试：#ib_write_lat  ( 先起 client 端 )

          #ib_write_lat 10.11.1.12  （后起 server 端）