在過去的三十年間，高性能計算（HPC）取得了突飛猛進的進展，在科學計算等領域發揮著重要的作用。而當前，云計算和移動計算正逐漸成為主流的計算范式，與此同時深度學習等AI方法所帶來的顛覆性影響，給HPC與AI的融合帶來了新的挑戰和機遇。在第十屆全國社會媒體處理大會（SMP 2022）上，圖靈獎得主Jack Dongarra梳理了高性能計算近年來最主要的應用和發展。

Jack Dongarra，高性能計算專家，2021年圖靈獎獲得者，美國田納西大學創新計算實驗室主任。其對數值算法和庫的開創性貢獻，使高性能計算軟件在四十多年中與硬件的指數級改進保持同步。他獲得過諸多學術成就，包括 2019 年他獲得 SIAM / ACM 計算科學與工程獎，2020 年他因高性能數學軟件領域的領導能力獲得 IEEE 計算機先鋒獎。他是 AAAS、ACM、IEEE 和 SIAM 的研究員，英國皇家學會的外國研究員，以及美國國家工程院的成員。

1 高性能計算廣泛應用于科學的“第三極”

當前，高性能計算（HPC）方法廣泛地應用于科研仿真，而仿真也被譽為科學研究的“第三極”。一直以來，科學研究和工程研究通常采用基于理論和實驗的范式。然而，這兩種方法存在很多固有的限制，比如，通常建造大型的風洞非常的困難，試驗飛機引擎與飛鳥碰撞的成本將非常昂貴，等待觀察氣候變化將會非常的耗時與緩慢，新藥品和武器等試驗將會非常的危險等等。此外，我們有時無法通過實驗來研究某些問題，比如研究星系運動和研發新藥品等。因此，研究者們逐漸利用科學計算手段進行仿真，研究此類問題。這種方法通常基于已知的物理規律和數字計算方法，通過高性能的計算機系統仿真相應的物理現象。

2 算力之巔——超級計算機

人們一般基于商品化的成熟芯片構建典型的超級計算機，在一個板卡上集成多個芯片，每個芯片中都擁有多個核心（Core）。同時，通常會在板卡上使用圖形處理單元（GPU）等作為增強算力的加速器。在同一機架柜上，不同的板卡通過高速的鏈接進行通信，不同的機柜通過交換機（switch）互聯在一起，這樣組成的一個超級計算機可能需要占用兩個網球場那么大的空間。

這樣的超級計算機的并行性非常之高，通常采用的是分布式內存和「MPI+Open-MP」的編程范式。與數據的浮點計算相比，在HPC系統不同部分之間數據的移動非常的昂貴。現有的超級計算機支持包括64，32，16，8等位寬的不同的精度的浮點計算。

當前，最快的超級計算機能夠提供Exaflop/s級別（1018）的算力。這是一個非常巨大的數值，如果每個人一秒鐘完成一次乘加計算，那么，需要全球所有人花費四年的時間才能完成超級計算機一秒鐘完成的計算。同時，為了維持這樣的超級計算機的運轉，每年需要花費千萬美元的電費。

從過去近三十年間全球超級計算機TOP500的性能變化情況可以發現，超算性能近乎保持著指數級的增長速度。有趣的是，如今日常所用的MacBook的性能，比1993年當時世界上最先進的超級計算機的性能還要強大，當時那臺計算機制造于洛斯阿拉莫斯國家實驗室，主要用于核武器設計。今年6月的數據顯示，全球排名前10的超級計算機當中，有5個來自美國，有2個來自中國（分別位于無錫和廣州），其余3個來自芬蘭、日本和法國。

3 “和而不同”的HPC & ML/AI

HPC和ML計算有著即相似又不同的特性。HPC屬于數字計算密集型的，通常輸入非常有限的數據，經過非常大量的數字計算，輸出大量的數據。而在ML領域進行高性能數據處理（HPDA），通常需要輸入大量的數據，輸出的卻是相對比較少的數據。兩者使用的數據精度也非常不同，在科學仿真等高性能計算場景下通常使用64比特浮點數據，而在機器學習場景下會使用16比特浮點數據。

?

AI在科學研究的諸多不同的方面發揮著非常重要的作用：AI能夠在不同領域輔助科學發現，提高計算體系結構的性能，以及在邊緣管理和處理大量數據。因此，在科學計算領域機器學習等技術被應用到氣候學、生物學、藥學、流行病學、材料學、宇宙學甚至高能物理等等很多學科以提供增強的模型和更先進的仿真方法。比如，用深度學習輔助藥品研發、預測流行病以及對基于醫學影像的腫瘤進行分類等等。

科研仿真和AI計算可以非常有效地進行聯合，因為二者都需要模型和數據。通常，仿真使用（數學）模型產生數據，（AI）分析使用數據來生成模型。使用分析方法得到的模型和其他的模型一起可以被用到仿真中去；仿真產生的數據和其他來源的數據一起可以被用于分析。這樣就形成了一個相互促進的良性循環。

除了在具體的應用領域相互補充之外，HPC&AI在基本開發方法、軟件與軟件基礎設施和AI硬件架構等領域都有非常多的聯系。同時也將二者更廣泛地聯系起來，比如：AI可以用來引導仿真、更快地調整仿真應用的參數、提供定制化的計算核函數，以及將傳統的HPC和神經形態計算相結合等很多內容。AI&ML具有顛覆性的影響力，正如通常所說：「AL&ML并不會代替科學家，但是使用AI&ML工具的科學家會代替那些不使用這些工具的科學家」。

4 展望未來：HPC系統將更加定制化

未來的HPC系統將可以被定制化。當前，HPC主要有CPU和GPU兩種類型的處理器，未來將采用更多不同的單元，比如FPGA、ML加速器和ASIC芯片等等。更多采用不同結構和范式的處理器將會越來越多地添加HPC計算系統當中，比如神經形態處理處理、量子計算以及光計算等或將發揮越來越重要作用。在構建新的HPC系統的時候，人們將能夠按需使用相應的模塊與功能。

5 總結

HPC硬件在不斷地演進，有標量計算機器、向量計算機器、分布式系統、加速器以及混合精度計算機器等等。當前計算機領域發生著三個重大的變化，高性能計算、深度學習、以及邊緣計算與人工智能。算法和軟件應該隨著硬件不斷的進化，正如Leiserson等人的論文所述，在摩爾定律之后，仍然存在很大的空間可以通過算法、軟件和硬件架構去提升HPC系統的終極性能。

6 Q&A

問題１：當前，業界和學界都比較關注神經網絡大模型的訓練，比如GPT3等具有超過１７0０億的參數量，通常需要百個高性能的GPU訓練１～３個月。未來采用高性能計算機可以在幾天或幾個小時內完成相關的訓練嗎？

回答1：GPU給計算機提供了強大的數值計算的能力。例如，超級計算機中98％的算力來自于GPU。而在CPU和GPU之間移動數據非常耗時。為了減少成本高昂的數據移動，可以通過將GPU和CPU距離更加貼近的方法，采用Chiplet等芯片設計方法或更為切實可行的實現路徑。另外，直接將數據和對應的處理單元離得更近的方法對于解決數據搬運成本高昂的問題也將非常有幫助。

問題2：我們觀察到一個現象，當前很多機器學習算法可以和硬件一起演化，并且相互影響。比如，當前ML領域性能最好的Transformer模型，英偉達等公司專門為其設計了專用的架構，使得Transformer更好用。您是否觀察到這樣的現象，如何評論？

回答2：這是一個非常好的例子，展現了硬件設計和其他方面的相互促進。當前很多硬件研究人員密切關注行業的變化，并對趨勢做出判斷。將應用與硬件進行聯合設計可以顯著地提升性能，進而銷售更多的硬件。我認同這種「算法和硬件共同演化」的說法。

問題3：您指出未來高性能計算將是一個異構的混合體。集成這些部分將是一個非常困難的問題，甚至將會導致性能的降低。如果我們只是單純地使用GPU，可能會導致更好的性能。您如何評價？

回答3：當前，高性能計算機中將CPU和GPU非常松散地耦合在一起，需要將數據從CPU傳輸到GPU上進行計算。未來，采用不同的硬件相互耦合到一起的趨勢會繼續延續。比如，使用專門的硬件做ML計算，可以是對GPU的進一步的增強。通過將ML相關的算法加載到對應的加速器上，在加速器上執行算法的細節并將計算結果傳輸給對應的處理器。未來也可實現可插拔的量子加速器，使其執行對應的量子算法等等。

問題4：HPC是非常昂貴的，尤其對于研究者和中小企業而言。是否存在類似云計算等方式能夠讓從事研究的師生和中小企業也用得起HPC？

回答4：在美國，使用HPC需要向有關部門提交相關的申請，說明正在研究的問題和需要的計算量。如果得到批準，就不用擔心HPC使用的費用問題。在美國進行過一項是否應該將所有的HPC轉變為基于云的系統的研究。結果表明，基于云的方案比直接使用HPC系統貴２－３倍。需要注意的是這背后的經濟學假設：HPC被足夠多的人共同使用，并且需要解決的問題有時需要使用整個HPC系統。這種情形下擁有一個專用的HPC更優于購買云服務。在美國和歐洲所觀察到的現狀是這樣。