如今無論所見何處，數據密集型應用都在以驚人的速度增長著，而Nvidia是身處於這一發展趨勢核心的公司之一，最近，Nvidia因其生產的AI晶片而一路走高。
前不久Nvidia舉辦了一場分析師簡報會，Nvidia公司數據科學工程高級總監John Zedlewski介紹了Nvidia是如何實現加速計算，本文包含了對這次簡報會的一些觀點。
幾十年前，Nvidia就處於加速計算的基礎層上，那個時候Nvidia取得了很大的進步，並且在過去的一兩年裡速度大大加快。談到系統架構，John提出了一個有趣的觀點。
他說：「所有這些硬體都很棒，儘管有時候有些奇特，但如果沒有軟體來運行硬體的話，就不會取得成功。我們希望讓開發人員能夠輕鬆地從這個極其複雜的硬體中獲得最大性能，並讓這樣的性能輕鬆融入到您的應用領域。」
Zedlewski指出，Nvidia將產品打包在Nvidia AI等平台和端到端框架中，例如用於大型語言模型的Nemo和用於醫學成像的Monet。大多數人認為，Nvidia是一家GPU製造商，儘管Nvidia在這個領域可以說是一流的企業，但它的系統方法領先於競爭對手英特爾和AMD。
Nvidia將GPU與軟體開發套件、加速庫、系統軟體和硬體打包在一起，形成端到端的解決方案，這簡化了使用Nvidia技術的過程，幾乎變得「即插即用」。
他補充說，在訓練大型語言模型之前，首先要確定所需的數據集（甚至可能與網際網路上的所有文本一樣廣泛），這會帶來大量數據科學和數據管理方面的問題。
他說：「如果你想有效地做到這一點，如果你希望能夠疊代、細化和改進你的數據，你就需要一種加速它的方法，這樣你就不必為每次疊代而等待數月了。我們總是從預測合作夥伴那裡聽到這樣的說法。他們說，『看，我們的遺留系統非常擅長每月和每周的預測。』」
這些合作夥伴需要一種方法來構建模型並且更快地運行這些模型以便進行預測，而不是每月、每周、甚至是每天，他們需要做到實時。速度在欺詐檢測、基因組學和網路安全等其他應用中也是至關重要的，這些應用必須隨著事件的展開而分析大量數據集。數據科學家使用的工具無法滿足梳理大量數據存儲的需求。
Nvidia的Triton是一個專門用於深度學習推理的開源推理平台，經過增強之後可以支持數據科學家和機器學習工程師仍在整個行業構建的許多基於樹的模型。
Zedlewski表示：「我們越來越多地看到人們對包含矢量搜索的部署框架很感興趣，無論是具有矢量搜索組件、圖像搜索還是推薦系統的大型語言模型，所以我們還有RAPIDS Raft的矢量搜索加速器。」
Nvidia讓數據科學家們能夠輕鬆處理具有數億行的數據集。而且Nvidia還認識到，沒有一種工具可以包攬一切，因此Nvidia擁有100多個開源和商業軟體集成。Zedlewski表示，這些集成是為了使各項工作順利無縫地展開，從而讓構建複雜的多組件管道變得更加簡單。
Nvidia的GitHub開源項目有350名貢獻者。Zedlewski表示，有超過25%的財富500強企業在使用RAPIDS，企業採用率還在不斷上升。使用RAPIDS的公司包括Adobe、沃爾瑪和AstraZeneca。
其中，沃爾瑪使用CPU模型無法做大每晚在固定窗口中處理足夠的數據來預測有多少易腐爛的商品運送到他們的商店——這一決定可能會產生重大的財務影響。因此，為了適應時間窗口，沃爾瑪的數據科學家犧牲了他們的模型質量。
這種方法行不通，因此沃爾瑪成為RAPIDS的首批用戶之一。結果，沃爾瑪利用RAPIDS將特徵工程速度提高了100倍，模型訓練速度提高了20倍。
Zedlewski告訴我，他從大型合作夥伴那裡聽說，當他們嘗試在模型中集成圖形特徵的實驗方法或者是在必須提供數據時集成圖形分析步驟時，這會提高模型的準確性，特別是對於欺詐和網路來說。
對於這樣的挑戰，RAPIDS cuGraph可以進行現代圖形分析所需的預處理、後處理和傳統算法。在此過程中，它可以支持數萬億個以上的邊緣圖，所有這些都可以與熟悉的應用編程接口配合使用，發生速度比CPU快85倍。
RAPIDS RAFT加速器可以解決一個具有挑戰性的問題——篩選數億甚至十億的內容，可能是一個產品、一張圖像或者一段文本——並建立在最近鄰和接近於最近鄰方法的基礎上，使得吞吐量提高10倍，構建時間提高33倍，讓過去需要消耗大量伺服器的事情現在可以用一台機器即可快速完成。
關於Nvidia RAPIDS是否與超以太網聯盟進行了集成（該聯盟有望比InfiniBand更好地加速計算和人工智慧），Nvidia方面表示：「我們都認為以太網需要在AI時代取得發展，而我們的Quantum和Spectrum-X端到端平台已經體現出這些AI計算結構的優點，這些平台將繼續發展，我們將支持可能出現的新標準。」
話雖如此，網路供應商幾十年來一直在嘗試取代InfiniBand，但仍然無法取代以太網來實現高性能工作負載。Nvidia一直致力於為客戶提供最好的服務，因此如果超以太網確實兌現了承諾，相信Nvidia一定會提供支持的，在此之前，久經考驗的InfiniBand還將存在下去。
如今我們幾乎每天都看到快速的發展，但重要的是要記住，我們正迎來加速計算的黎明，這有點像1994年的Web，我們看看未來30年我們會走向何方吧。
