1、OFED工具

1.1、OFED工具介紹

NVIDIA OFED (MLNX_OFED) 是經(jīng) NVIDIA 測試和打包的 OFED 版本，支持使用相同 RDMA（遠程 DMA）和稱為 OFED verbs的內(nèi)核繞過 API 的兩種互連類型 — InfiniBand 和以太網(wǎng)。OFED 支持在 10/25/40/50/100/200GbE 上高達 200Gb/s InfiniBand 和 RoCE（基于 RDMA over Converged Ethernet 標準），使 OEM 和系統(tǒng)集成商能夠滿足上述終端用戶的需求市場。

以下所有子工具都包含在OFED中，以下的所有操作都是基于設(shè)備安裝OFED工具包。

?

1.2、支持范圍

　　1、56GbE 是 NVIDIA 專有的鏈接速度，可以在將 NVIDIA 適配卡連接到 NVIDIA? SX10XX 交換機系列或?qū)?NVIDIA 適配卡連接到另一個 NVIDIA 適配卡時實現(xiàn)。

　　2、在強制模式和自動協(xié)商模式下支持 NRZ 和 PAM4 模式的速度。

　　3、僅支持 PAM4 模式的速度。

?

1.3、下載工具

https://network.nvidia.com/products/infiniband-drivers/linux/mlnx_ofed/　　

映像名稱的格式為 MLNX_OFED_LINUX-<ver>-<OS label><CPU arch>.iso。它可以從https://www.nvidia.com/en-us/networking/→ 產(chǎn)品→軟件→ InfiniBand/VPI 驅(qū)動程序 → Mellanox OFED Linux (MLNX_OFED) 下載。

????????①向下滾動到下載向?qū)?，然后單擊下載選項卡。

????????②根據(jù)您的主機操作系統(tǒng)選擇您的相關(guān)軟件包。

????????③單擊所需的ISO/tgz包。

????????④要獲取下載鏈接，請接受最終用戶許可協(xié)議(EULA)。

1.4、安裝工具

①驗證系統(tǒng)是否裝了NVIDIA網(wǎng)卡適配器

命令示例：

②以root身份登錄

③掛載下載完成的軟件包（iso格式）

命令示例：

當然你也可以下載壓縮包（tgz格式）進行解壓

注：MLNX_OFED_LINUX-<ver>-<OS label>-<CPU arch>.iso為下載的軟件包的鏡像名。

MLNX_OFED_LINUX-<ver>-<OS label>-<CPU arch>.tgz為下載的軟件包的壓縮文件名。

?

④運行安裝子程序

命令示例（注意，您解壓在哪或掛載在哪兒，就去找那個目錄下的mlnxofedinstall運行就行了，下面的代碼都是只給您舉個例子）：

注：安裝期間設(shè)備會多次詢問，需要人為輸入“Y”或“N”來確認，若不想設(shè)備詢問，可添加靜默安裝參數(shù)。命令：/mnt/mlnxofedinstall --force

?

注：安裝失敗或者其他安裝問題可以通過獲取安裝日志來確認問題所在，包含日志文件的目錄路徑，格式如下：

Logs dir: /tmp/MLNX_OFED_LINUX-4.4-1.0.0.0.IBMM2150110033.logs

?

1.5、安裝失敗-缺少必須的內(nèi)核

在安裝時，程序需要系統(tǒng)自帶有某些內(nèi)核支撐程序順利安裝，如果缺少相應(yīng)的內(nèi)核會安裝程序會提示安裝失敗，并告知缺少的內(nèi)核。安裝好所需的內(nèi)核后可繼續(xù)執(zhí)行安裝程序。

（1）當前服務(wù)器已聯(lián)網(wǎng)

①使用apt-get命令直接在線安裝缺失的內(nèi)核。

注：內(nèi)核的名稱，根據(jù)軟件報錯提示缺失的內(nèi)核名稱

命令示例：

（2）當前服務(wù)器未聯(lián)網(wǎng)

①在網(wǎng)上下載需要的內(nèi)核安裝包，通常為.tar.gz格式。

②將下載的包復(fù)制到服務(wù)器中，以U盤為例。

1）、掛載U盤。?

?注：sdb1為U盤的盤符/分區(qū)號?

2）、將文件復(fù)制桌面

3）、解壓縮文件

? ?注：解壓縮后文件名基本以.deb格式為主。

4）、安裝內(nèi)核

1.6、安裝失敗-不支持當前內(nèi)核

在安裝時，可能會出現(xiàn)內(nèi)核已變更，不再適用于當前下載系統(tǒng)版本對應(yīng)的驅(qū)動包，那么解壓系統(tǒng)包之后我們可以看到里面有一個mlnx_add_kernel_support.sh，那這個文件可以根據(jù)你現(xiàn)有的內(nèi)核進行編譯，然后重新打包驅(qū)動

在這里我舉個例子，我下載的是centos7.5的OFED驅(qū)動，在/tmp/下解壓的

驅(qū)動包名字為MLNX_OFED_LINUX-5.4-3.6.8.1-rhel7.5-x86_64

那么操作順序依次是

（進入驅(qū)動目錄）

（編譯并將編譯好的新驅(qū)動打包至/tmp目錄下）

注意，如果編譯提示你如下錯誤

那么請加入--skip-repo參數(shù)，像這樣

編譯完成后去/tmp/下找到編譯好的壓縮包

解壓新壓縮包

進新的解壓的驅(qū)動

安裝ofed驅(qū)動

安裝完成之后會提示你

然后跟著綠色提示加載驅(qū)動

打完驅(qū)動輸入ibstat或者ibstatus就會出現(xiàn)輸出啦！