近年來，世界各國的HPC大師們正紛紛轉向超大規模與雲設施領域。但不同於在供應商處任職，他們往往更傾向在自己熟悉的崗位上不斷深耕。蘿倫斯利弗莫爾國家實驗室計算部門的首席技術官Bronis de Supinski就是其中之一。
他於1987年在芝加哥大學獲得數學學士學位，在經歷五年平平淡淡的普通工作之後，又於1998年繼續在弗吉尼亞大學拿下電腦科學博士學位。Supinski隨後加入了蘿倫斯利弗莫爾國家實驗室，並一直工作至今。他領導的團隊在2005年和2006年兩次獲得戈登·貝爾獎（國際高性能計算應用領域的最高獎項），自己也成為HPC開發環境方面的專家，負責管理美國能源部高級科學計算（ASC）項目的應用程序開發環境與性能團隊。2012年，他被任命為利弗莫爾計算部門的首席技術官，與全球各計算引擎、網路和系統製造商共同設計大型HPC系統，同時統領實施和運行這些性能巨獸的技術團隊。
在ISC23大會期間，我們與de Supinski探討了如何部署創新架構的AI設備，也了解到El Capitan這套百億億級CPU-GPU混合系統的最新消息。就在今年晚些時候，這台有望衝擊全球最強寶座的HPC超算設備即將在利弗莫爾實驗室安裝落地。
主持人：我聽說宣傳新架構的從業者都想跟利弗莫爾實驗室牽上線，而您的部分工作內容就是嘗試各種新事物，看看哪些新玩具有潛力、哪些沒搞頭。
Bronis de Supinski: 我覺得這種說法並不太準確。
ASC項目在桑迪亞國家實驗室已經試驗了很長時間。但我們之所以要做嘗試，是因為我們認定這些成果對我們把握未來的技術發展方向非常重要，或者認為它們在當下就能立刻創造價值。因此，我們現在之所以部署的這些創新架構，是因為相信它們將來會在更大規模的系統中真正為我們帶來回報。當然，在具體選擇技術成果時，我們會挑選那些目前看起來有趣、而將來可能真正有用的方案。
比如說市面上現在有50甚至不止100家供應商，可以說是真正的百家爭鳴、百花齊放。而我們從這麼多AI加速器廠商中選擇了兩家，分別是SambaNova Systems和Cerebras Systems，原因就是看中了他們做出的有趣探索。
主持人：那利弗莫爾實驗室是怎麼逐步確定關注對象的？您會把這些創新架構和設備用於哪些工作負載？畢竟除了最直觀的大規模混合精度矩陣數學運算之外，我們實在想不到它們還能幹什麼。
Bronis de Supinski: 對於任何一套給定系統，都得具體問題具體分析。首先，我們會以開放的心態看待每一家供應商，當然最初肯定會先做一波篩選。畢竟大家都知道我擔任利弗莫爾實驗室計算部門的CTO，所以我的郵箱裡每天都充斥著各種宣傳郵件。不過對於那些以嚴肅態度認真研究大規模計算技術的從業者，我們也會同樣認真傾聽他們的意見，關注他們在做些什麼。
大部分公司其實有點乏善可陳，或者說至少在我們看來有點乏善可陳。在AI領域，90%廠商所追求的其實是既節能又具備一定性能的嵌入式AI處理器。換言之，他們只需要考慮推理階段，並不關注模型訓練。功率和性能間的關係屬於帕累托式曲線——各項因素在曲線上都有體現，但進行整體拉高或降低時，總有某些部分升得更高、某些部分降得更低。
主持人：像利弗莫爾這樣的國家實驗室，肯定願意在帕累托曲線上做出取捨，比如承受更高的發熱量來換取更強的性能。
Bronis de Supinski: 當然會的。我們在國家實驗室構建的也不是嵌入式系統。但請不要誤會，我不會主觀抗拒某些技術，唯一的考核標準就是更好地處理我們的工作負載。
在AI領域，核心關鍵就是實現認知模擬，也就是尋求用表徵替代模型的方法。具體來講，AI模型會計算我們在某種特定類型的物理、多物理模塊或多物理應用場景下能做什麼。因此用代碼團隊的行話來說，這是把傳統意義上的軟體包替換成AI模型。我們模擬的每一種物理現實都對應一個包。為此，我們需要首先為這個包建立模型。也許GPT-4能夠在快速訓練之後掌握這種能力，但我們還沒有掌握建立模型所需要的全部數據。
主持人：考慮到您的工作內容，特別是核武器管理對於國家安全的影響，我寧願永遠不把這些數據交給GPT-4。
Bronis de Supinski: 確實。我們終究得認真思考哪些東西可以交給AI去訓練，哪些不行。在進行認知模擬時，我們還面臨另一個懸而未決的問題：要不要做動態訓練？
目前困擾我們的問題可以總結成這樣的形式：我們的某些成果已經能夠為應用運行所在的空間構建起非常好的模型，所以我們就用這個替代模型就能滿足模擬需求。但如果著眼於長遠，未來我們還需要模擬更複雜的東西，甚至無法確切描述輸入的包究竟是個什麼樣子。換言之，我們可能沒有豐富的訓練數據，甚至根本沒有可供訓練的數據。在這種情況下，我們也許會在實際物理模型中運行一段時間的詳盡模擬，再依靠生成的數據開展訓練。總之，我們先占據空間中的一部分，之後再慢慢填充其他部分。
主持人：這聽起來有點像在純虛擬場景下訓練自動駕駛汽車。虛擬環境中的運行速度比現實世界快好幾個數量級，涉及的變量也更多。
Bronis de Supinski: 沒錯，確實有點這個意思。最重要的是加快替代模型的獲取速度，所以我們特別重視有望顯著加快訓練速度的方案。
主持人：那在使用這些創新架構訓練AI模型時，您會在同樣的設施之上運行AI推理，還是傾向於把推理任務交給目前的「Sierra」和今年晚些時候即將落地的「El Capitan」等系統？
Bronis de Supinski: 有可能會交給它們，但具體還是要看情況。我們目前正在進行的大部分實驗中，訓練和推理實際是彼此獨立的，推理大多由AI加速器承載。但我們也可以假想一種在HPC系統上能輕鬆運行AI模型的情況——我們實際上也正在研究這兩種架構，發現HPC中確實有不少適合推理運行的特性。總之，HPC系統也許能夠輕鬆加載整個模型並快速運行推理。這樣我們就能隨時調用該模型，而後將任務發送至加速器，由此實現模型推理和系統其他軟體包間的無衝突運行。只要能把整個設想的延遲水平控制在合理範圍內，也就是實現了並行性。
主持人：我看到谷歌在TPU上做過的一些實驗，Cerebras在自己的晶圓級處理器上也做過探索。他們都希望在這類設備上運行某些HPC式模擬和建模數學計算，並努力把精度控制在FP64以下。您有沒有探索過這方面可能性？也許目前CPU和GPU上運行的某些計算，完全可以在Cerebras或SambaNova設備上完成？
Bronis de Supinski: 我們討論過這些思路，也正在與兩家公司開展合作。目前，這兩個系統都屬於單精度引擎。比方說，分子動力學研究中的很多問題靠單精度計算就足夠了，但也有一些問題必須依賴雙精度。不久之前，我還跟同事交流說到底有多少代碼真正需要以雙精度浮點運算進行。我們一直在努力為此尋找答案。
但最重要的總體思路，是考慮這些數據流架構如何工作。它們不像內存那樣把數據存放進來，而是任由數據流過。它們不斷移動數據，藉此完成一輪又一輪的計算，而我們則為其建立起了龐大的管道。除非後面還要用到，否則我們不會把數據存儲起來，正因為這樣我們的架構才擁有這麼理想的整體功耗和每瓦性能。眾所周知，往內存里存數據是個既費時又費電的過程。
主持人：如果能把精度提升到FP64，會讓系統的實用性更進一步嗎？您又能否說服這些合作方？
Bronis de Supinski: 我們正在努力說服他們，但之前提到的問題仍然懸而未決，就是到底有多少任務需要64位浮點運算。畢竟相較於32位或16位數學運算，支持64位運算器需要更多的電晶體。按我目前的想法，也許在充分理解這個問題的實質之後，我們可以找到一種以可變精度對應用程序進行高效編碼的方式。
可能本周之內，我就會做一點初步嘗試。假定我正以某一精度處理一項任務，而在該精度上遇到了巨大的捨入誤差。那我能不能立即轉向更高的精度？這樣會不會影響我的回答質量？之後則自然接續另一個問題：我還能再返回之前較低的精度嗎？
所以在El Capitan之後，我們的下一個大項目預計將在2029至2030年間落地。ASC方面正在努力控制預算，所以這個時間節點也比常規的每五年一次稍晚些許。對於下一台超級電腦，我們會非常明確地將AI加速和對整體工作流程的作用納入考量。比如說它在整體系統中將扮演怎樣的角色？我們如何在採購期間發布徵求意見書，吸引更多人積極投標？我們不想給供應商強加一個答案，而是希望大家能向我們提出更多有趣的建議和方案。因此，我們先明確表達自己正在做什麼，再由供應商提出最能高效滿足工作需求的系統，而這就是我們所需要的最佳答案。
我們當然希望自己的系統能在超算Top500中表現出色，畢竟這既是理想的考查標準、也是很好的宣傳渠道。但必須承認，我們的用戶並不關心什麼超算排名。這最多也就是有利於我們招聘技術人員，而內部整個應用團隊都認為如果沒法順暢承載相應的軟體，那在Top500里排名多少根本沒有意義。
主持人：那能不能透露一點關於El Capitan的新消息？
Bronis de Supinski: 你盡可以提問，但我不一定回答。
主持人：怎麼老是故作神秘？El Capitan的機架已經在安裝當中了嗎？如果是，那裡面的組件部署好了沒有？
Bronis de Supinski: 我只能說，El Capitan的部署設備已經在進行交付和驗收。
主持人：那部署時間是在第三季度，還是更晚一點？如果我沒記錯，El Capitan宣稱今年年底安裝完畢，明年正式投入使用。
Bronis de Supinski: 安裝會在今年晚些時候開始進行。
主持人：所以不會延誤嘍，那挺好的。
順帶一問，只有你和我會將El Capitan中計算引擎稱為MI300A，而且我嚴重懷疑我們猜對了。這裡的A，應該是指該GPU的APU版本。
Bronis de Supinski: 我跟AMD的合作方聊過，發現他們在討論這東西時有時帶A、有時又不帶A。
主持人：A代表的應該是APU，就是說他們從中取掉了幾個GPU小晶片，改換成了2塊CPU小晶片。反正我非常堅信這一點。另外，我覺得還會有另一個MI300變體，上面裝有8個GPU小晶片，但沒有任何CPU小晶片。這些主要是面向離散用例設計的，所以CPU跟GPU的比例可以靈活改變。
Bronis de Supinski: 你的猜測很有道理，但我無法對AMD的產品路線圖做出評論。我只能說，縱觀目前的市場態勢，肯定會有部分潛在客戶擁有這方面需求。其中的權衡，將集中在建立這部分業務需要投入多少成本、和這部分業務能帶來多少收入之間。
主持人：看來您還真是身經百戰，那只有等El Capitan揭開面紗之後我們再就架構做深入討論了。另外，我懷疑您拿到的Instinct MI300A跟最初的計劃不同，比如獲得了高於最初設想的集成化高帶寬內存。當然，這只是我的懷疑，您可以不發表任何評論。
在我看來，你們正幫助AMD將一些有趣的技術成果推向商業應用，這當然也是國家實驗室的重要職責所在。反正作為納稅人，我支持你們把預算用在這個方面。
Bronis de Supinski: 謝謝你的理解，我一直覺得自己在這方面的責任，也把它當成了自己工作的一部分。技術只有被真正轉化成產品，才會吸引到人們的關注和支持，並最終發揮自己的全部潛力。
我們最近經常談到的Rabbit存儲模塊就是其中一例，我們對此感到非常興奮。
主持人：知道知道吧，我們最近兩年一直在關注。
Bronis de Supinski: 到目前為止，HPE還沒有將其打造成實際產品，甚至有可能永遠不會正式推出。但我還是希望HPE能為這項技術找到相應的客戶，我自己就知道有企業對此抱有興趣。
主持人：確實，也許我們可以給HPE點支持，幫他們建立信心。
Bronis de Supinski: 老實說，我聽說HPE接下來會銷售搭載MI300A的其他系統，那就不如同時引入Rabbit模塊。我們也積極期待能為自己的商用Linux系統開發出類似Rabbit模塊的技術。
