英偉達的 AI 加速卡，現在有了旗鼓相當的對手。

今天凌晨，英特爾在 Vision 2024 大會上展示了 Gaudi 3，這是其子公司 Habana Labs 的最新一代高性能人工智能加速器。

Gaudi 3 將于 2024 年第三季度推出，英特爾現已開始向客戶提供樣品。憑借 1835 TFLOPS 的 FP8 計算吞吐量，英特爾相信它足以在廣闊的（且昂貴的）AI 計算領域中分得一杯羹。

根據內部基準測試，英特爾估計 Gaudi 3 性能部分超過了英偉達的 H100，并且具有更好的能耗比。在一些關鍵的大型語言模型中，Gaudi 3 能夠擊敗英偉達的旗艦 H100/H200 Hopper 架構 GPU。

在當前這個科技領域搶購英偉達 GPU 的時刻，Gaudi 3 或許能為英特爾在 AI 加速器市場打開一扇門。

Gaudi 3 的發布也正值英特爾對其 AI 加速器產品的定位發生變化之際：當前，Gaudi 系列已升級為英特爾旗艦 AI 加速器。

Gaudi 3 是 Gaudi 2 硬件的直接演變。Habana Labs 在這一代沒有對架構進行大規模修改（這將在 Falcon Shores 中進行）。

上一代 Gaudi 2 加速器基于臺積電 7nm 工藝打造，在 Gaudi 3 上 Habana 引入了更先進的 5nm 工藝。Gaudi 3 芯片又添加了適量的計算硬件，從 2 個矩陣數學引擎和 24 個張量核心擴展到 4 個矩陣數學引擎和 32 個張量核心。鑒于 Gaudi 3 的架構變化有限，我們或許可以假設這些張量核心仍然是 256 字節寬的 VLIW SIMD 單元。

圖片來自 Anandtech

Habana 團隊罕見地公開了 Gaudi 3 芯片 FP8 精度的總吞吐量：1835 TFLOPS，這讓 Gaudi 3 使用 8 位浮點計算產生的 AI 算力是 Gaudi 2 的兩倍，BFloat 16 格式的算力提升則達到了四倍。

在大語言模型的實際處理上，英特爾預計用 Gaudi 3 訓練 GPT-3 175B 大型語言模型的時間比 H100 要快 40%，Llama2 的 70 億和 80 億參數版本的訓練結果甚至比這個數字還要好。

在推理方面，兩者性能各有勝負，新芯片為兩個版本的 Llama 提供了 H100 95% 至 170% 的性能。而對于 Falcon 180B 型號來說，Gaudi 3 卻取得了四倍的優勢。不出所料，與 Nvidia H200 相比，英特爾芯片的優勢較小 ——Llama 為 80% 至 110%，Falcon 為 3.8 倍。

英特爾聲稱在測量能效時獲得了更引人注目的結果，預計 H100 在 Llama 上的優勢高達 220%，在 Falcon 上的數字則是 230%。

雖然英特爾沒有透露 Gaudi 3 芯片的晶體管總數，但新硬件的面積足夠小，以至于英特爾能夠將兩個 die 封裝到單個芯片上，從而使完整的 Gaudi 3 加速器成為雙芯配置。與英偉達最近發布的 Blackwell 類似，兩塊相同的芯片被封裝在一起，并通過高帶寬鏈路連接，以便為芯片提供統一的內存地址空間。

據英特爾稱，組合后的芯片將像單個芯片一樣工作，但英偉達沒有透露連接鏈路的任何重要細節。

奇怪的是，與芯片匹配的是有點「過時」的 HBM2e 內存控制器，與 Gaudi 2 支持的內存類型相同。由于堅持使用 HBM2e，可用的最高容量堆棧為 16GB，為加速器提供了總共 128GB 的內存。其時鐘頻率為 3.7Gbps/pin，總內存帶寬為 3.7TB / 秒。每塊 Gaudi 3 芯片均提供 4 個 HBM2e PHY，使芯片總數達到 8 個內存堆棧。

同時，每個 Gaudi 3 芯片都具有 48MB 板載 SRAM，為整個芯片提供 96MB SRAM。英特爾稱，SRAM 總帶寬為 12.8TB / 秒。英特爾沒有透露 Gaudi 3 加速器的時鐘速度。鑒于現有硬件數量增加了一倍多，這里或許會考慮整體較低的時鐘速度。

在這一點上，基本風冷式 Gaudi 3 加速器的 TDP 為 900 瓦，比其前身的 600 瓦限制高出 50%。英特爾在這里使用 OAM 2.0 外形尺寸，它提供比 OAM 1.x (700W) 更高的功率限制。不過，英特爾還在開發并驗證 Gaudi 3 的液冷版本，它將提供更高的性能，以換取更高的 TDP。所有形式的 Gaudi 3 都將使用 PCIe 連接其主機 CPU。

網絡連接

除了 Gaudi 3 的核心架構之外，Habana 對 Gaudi 3 的另一項重大技術升級是在 I/O 方面。回到 Gaudi 的早期，Habana 的芯片就依賴于全以太網架構，使用以太網進行節點內芯片到芯片連接和橫向擴展節點到節點連接。它本質上與英偉達所做的相反 —— 是將以太網擴展到芯片級別，而不是將 NVLink 擴展到機架級別。

上一代的 Gaudi 2 每塊芯片提供 24 個 100Gb 以太網鏈路，Gaudi 3 將這些鏈路的帶寬增加了一倍，達到 200Gb / 秒，使芯片的外部以太網 I/O 總帶寬達到 8.4TB / 秒。

與此同時，每塊芯片的剩余 3 個鏈路將用于為六組 800Gb 八路小型可插拔 (OSFP) 以太網鏈路提供信號。通過使用重定時器，端口將被分成兩個塊，然后在 5 個加速器上進行平衡。

最終，英特爾希望提升 Gaudi 3 的可擴展性。由于先進大語言模型需要將許多節點鏈接在一起形成一個集群，以提供訓練所需的內存和計算性能，一直以來，英特爾都希望通過采用純以太網配置來贏得那些不想投資 InfiniBand 等專有 / 替代互連技術的客戶。

英特爾已經開發了多達 512 個節點的網絡拓撲，使用 48 個主干交換機連接多達 32 個集群，每個集群包含 16 個節點。據英特爾稱，Gaudi 3 還可以進一步擴展，達到數千個節點。

性能對比

英特爾表示，與目前業內先進的 AI 加速器英偉達 H100 相比，Gaudi 3 在 16 個加速器集群中以 FP8 精度訓練 Llama2-13B 時，性能比 H100 快 70%。盡管 H100 已經問世 2 年，但如果 Gaudi 3 成功的話，在任何訓練方面都大幅擊敗 H100 對于英特爾來說將是一個巨大的勝利。

與此同時，英特爾預計采用 Gaudi 3 的 H200/H100 的推理性能將提高 1.3 倍至 1.5 倍，也許最值得注意的是，功耗比將提高多至 2.3 倍。

當然，在這些推理工作負載中，英特爾有時仍然會輸給 H100，尤其是那些沒有 2K 輸出的工作負載，因此 Gaudi 3 還遠未橫掃一切。

不過值得贊揚的是，英特爾是迄今為止唯一一家提供 MLPerf 結果的主要硬件制造商。因此，無論 Gaudi 3 的表現如何（以及 Gaudi 2 目前的表現），他們在發布行業標準測試結果方面比大多數人都光明正大得多。

樣品第二季度出貨

總而言之，英特爾將在下個季度發布首款 Gaudi 3 產品。該公司已經在其實驗室中擁有風冷版本的 OEAM 加速器以進行資格認證，并向客戶提供樣品，同時液冷版本將于本季度提供樣品。

最后，對于 Gaudi 團隊來說，英特爾還將首次提供采用更傳統 PCIe 外形規格的 Gaudi 3 版本。HL-338 卡是一款 10.5 英寸全高雙槽 PCIe 卡。它提供與 OAM Gaudi 3 相同的所有硬件，甚至可達到 1835 TFLOPS FP8 的峰值性能。然而，它將配備對 PCIe 插槽更友好的 600 瓦 TDP，比 OAM 卡低 300 瓦，因此持續性能應該會明顯降低。

盡管英特爾 Keynote 中未有展示，但 PCIe 卡提供了兩個 400Gb 以太網端口，用于橫向擴展配置。與此同時，英特爾將為 PCIe 卡提供一個「頂板」，類似于英偉達的 NVLink 橋，可以連接最多 4 個 PCIe 卡以進行卡間通信。OAM 外形尺寸仍將是實現每個加速器最高性能和最大化橫向擴展潛力的途徑，但對于需要在傳統 PCIe 插槽中即插即用的客戶來說，現在也有了一個選擇。

PCIe 版本的 Gaudi 3 將于今年第四季度推出，同時推出液冷版本的 OAM 模塊。