繞過(guò)CPU：英偉達(dá)與IBM致力推動(dòng)GPU直連SSD以大幅提升性能

通過(guò)與幾所大學(xué)的合作，英偉達(dá)和 IBM 打造了一套新架構(gòu)，致力于為 GPU 加速應(yīng)用程序，提供對(duì)大量數(shù)據(jù)存儲(chǔ)的快速“細(xì)粒度訪問(wèn)”。所謂的“大加速器內(nèi)存”（Big Accelerator Memory）旨在擴(kuò)展 GPU 顯存容量、有效提升存儲(chǔ)訪問(wèn)帶寬，同時(shí)為 GPU 線程提供高級(jí)抽象層，以便輕松按需、細(xì)粒度地訪問(wèn)擴(kuò)展內(nèi)存層次中的海量數(shù)據(jù)結(jié)構(gòu)。

以 CPU 為中心的傳統(tǒng)模型示例

顯然，這項(xiàng)技術(shù)將使人工智能、分析和機(jī)器學(xué)習(xí)訓(xùn)練等領(lǐng)域更加受益。而作為 BaM 團(tuán)隊(duì)中的重量級(jí)選手，英偉達(dá)將為創(chuàng)新項(xiàng)目?jī)A注自身的廣泛資源。

比如允許 NVIDIA GPU 直接獲取數(shù)據(jù)，而無(wú)需依賴于 CPU 來(lái)執(zhí)行虛擬地址轉(zhuǎn)換、基于頁(yè)面的按需數(shù)據(jù)加載、以及其它針對(duì)內(nèi)存和外存的大量數(shù)據(jù)管理工作。

對(duì)于普通用戶來(lái)說(shuō)，我們只需看到 BaM 的兩大優(yōu)勢(shì)。其一是基于軟件管理的 GPU 緩存，數(shù)據(jù)存儲(chǔ)和顯卡之間的信息傳輸分配工作，都將交給 GPU 核心上的線程來(lái)管理。

通過(guò)使用 RDMA、PCI Express 接口、以及自定義的 Linux 內(nèi)核驅(qū)動(dòng)程序，BaM 可允許 GPU 直接打通 SSD 數(shù)據(jù)讀寫。

BaM 模型示例

其次，通過(guò)打通 NVMe SSD 的數(shù)據(jù)通信請(qǐng)求，BaM 只會(huì)在特定數(shù)據(jù)不在軟件管理的緩存區(qū)域時(shí)，才讓 GPU 線程做好參考執(zhí)行驅(qū)動(dòng)程序命令的準(zhǔn)備。

基于此，在圖形處理器上運(yùn)行繁重工作負(fù)載的算法，將能夠通過(guò)針對(duì)特定數(shù)據(jù)的訪問(wèn)例程優(yōu)化，從而實(shí)現(xiàn)針對(duì)重要信息的高效訪問(wèn)。

顯然，以 CPU 為中心的策略，會(huì)導(dǎo)致過(guò)多的 CPU-GPU 同步開銷（以及 I/O 流量放大），從而拖累了具有細(xì)粒度的數(shù)據(jù)相關(guān)訪問(wèn)模式 —— 比如圖形與數(shù)據(jù)分析、推薦系統(tǒng)和圖形神經(jīng)網(wǎng)絡(luò)等新興應(yīng)用程序的存儲(chǔ)網(wǎng)絡(luò)帶寬效率。

為此，研究人員在 BaM 模型的 GPU 內(nèi)存中，提供了一個(gè)基于高并發(fā) NVMe 的提交 / 完成隊(duì)列的用戶級(jí)庫(kù)，使得未從軟件緩存中丟失的 GPU 線程，能夠以高吞吐量的方式來(lái)高效訪問(wèn)存儲(chǔ)。

BaM 設(shè)計(jì)的邏輯視圖

更棒的是，該方案在每次存儲(chǔ)訪問(wèn)時(shí)的軟件開銷都極低，并且支持高度并發(fā)的線程。而在基于 BaM 設(shè)計(jì) + 標(biāo)準(zhǔn) GPU + NVMe SSD 的 Linux 原型測(cè)試平臺(tái)上開展的相關(guān)實(shí)驗(yàn)，也交出了相當(dāng)喜人的成績(jī)。

作為當(dāng)前基于 CPU 統(tǒng)管一切事務(wù)的傳統(tǒng)解決方案的一個(gè)可行替代，研究表明存儲(chǔ)訪問(wèn)可同時(shí)工作、消除了同步限制，并且 I/O 帶寬效率的顯著提升，也讓應(yīng)用程序的性能不可同日而語(yǔ)。

此外 NVIDIA 首席科學(xué)家、曾帶領(lǐng)斯坦福大學(xué)計(jì)算機(jī)科學(xué)系的 Bill Dally 指出：得益于軟件緩存，BaM 不依賴于虛擬內(nèi)存地址轉(zhuǎn)換，因而天生就免疫于 TLB 未命中等序列化事件。

最后，三方將開源 BaM 設(shè)計(jì)的新細(xì)節(jié)，以期更多企業(yè)能夠投入到軟硬件的優(yōu)化、并自行創(chuàng)建類似的設(shè)計(jì)。有趣的是，將閃存放在 GPU 一旁的 AMD Radeon 固態(tài)顯卡，也運(yùn)用了類似的功能設(shè)計(jì)理念。