7納米制程2.6萬億晶體管、比ipad還大，初創公司推「巨無霸」芯片
近年來大量芯片進入市場，旨在加速人工智能和機器學習工作負載。基于不同的機器學習算法，這些芯片通常專注于幾個關鍵領域，但它們大多有一個共同的限制——芯片大小。
兩年前，Cerebras 揭開了芯片設計領域的一場革命：他們研發了一款名為 Wafer Scale Engine（WSE）的芯片，擁有 1.2 萬億個晶體管，是英偉達 GPU Titan V 的 57 倍。WSE 的尺寸比一臺 iPad 還要大。Cerebras 的「暴力美學」曾引發人們驚呼：「WSE 的晶體管數量已經超過人類大腦中的神經元了！」Cerebras 也因此在業界聞名。
今天，該公司又宣布其下一代芯片 Wafer Scale Engine 2（WSE 2）將于今年第三季度上市，采用 7nm 制程工藝，晶體管數量翻倍到 2.6 萬億個，含有 850000 個 AI 核心。
WSE-2：46225 平方毫米，2.6 萬億個晶體管。圖源：https://cerebras.net/
Cerebras 一直致力于將機器學習問題邏輯解決方案的作用發揮到極致。2015 年 Andrew Feldman 成立該公司時，訓練神經網絡需要花費較多的時間，大型網絡則需要數周。最大的瓶頸是數據必須在處理器和外部 DRAM 存儲器之間進行多次傳輸，既浪費時間又消耗能源。WSE 的研發團隊指出：我們可以擴大芯片，使它與 AI 處理器內核一起容納所需的所有數據。隨著自然語言處理、圖像識別等領域的發展，神經網絡也變得非常龐大，AI 領域需要一個非常大的芯片。有多大？盡可能大，這意味著是整塊晶圓，46225 平方毫米。
CEO Feldman 表示：「當你想做出改變時，總是會遇到物理設計上的挑戰。所有的東西都與幾何有關。這真的很難，但臺積電是我們非凡的合作伙伴。」
7 納米技術的發展意味著巨大的進步，但據 Feldman 表示，該公司還對其 AI 核心的微架構進行了改進。他不愿透露細節，但表示在與客戶合作一年多后，Cerebras 吸取了一些經驗教訓，并將其整合到新的核心中。
WSE 2：7 納米制程工藝、2.6 萬億個晶體管
WSE 2 采用臺積電 7 納米制程工藝。這使得其可以按比例縮小，并能夠在一定程度上縮小 SRAM，WSE 2 上具有 850000 個 AI 核心。WSE 2 的晶片尺寸與 WSE 保持一致，但幾乎所有功能都翻倍增加，如下表所示：
與一代 WSE 一樣，WSE 2 在 46225 平方毫米的硅片上擁有數十萬個 AI 核心。WSE 2 擁有 850000 個核心，2.6 萬億個晶體管——相比之下，市場上第二大的 AI CPU 約為 826 平方毫米，擁有 0.054 萬億個晶體管。相比于 Ampere A100 的 40MB 內存，Cerebras 引入了 40GB SRAM 的板載內存，是前者的 1000 倍。
圖中是 WSE 1，WSE 2 與其外觀相同，但核心數量翻倍。
其核心通過一個帶有 FMAC 數據路徑的 2D 網格（2D Mesh）進行連接。Cerebras 與 WSE 的目標是提供一個通過創新專利設計的單一平臺，該平臺允許用于 AI 計算的更大處理器，現已擴展到更廣泛的 HPC 工作負載中。
WSE 2 以第一代為基礎
第一代 WSE 芯片擁有 1.2 萬億個晶體管，其數量是英偉達旗艦 GPU Titan V 的 57 倍，使用臺積電 16 納米制程工藝打造，面積 46,225 平方毫米，包含 400,000 個核心，片上存儲高達 18G，功耗 1.5 萬瓦（約等于 6 臺電磁爐的功率），內存帶寬 9PB / 秒，通信結構帶寬 100PB / 秒。此外，第一代 WSE 還實現了 3000 倍的速度提升以及 10000 倍的存儲帶寬擴展。
WSE-2 設計的關鍵是自定義圖形編譯器，它采用 PyTorch 或 TensorFlow，并將每一層映射到芯片的物理部分，并允許數據流進行異步計算，擁有如此大的處理器意味著不會浪費能源。編譯器和處理器在設計時也考慮到了稀疏性，無論批處理大小如何，都允許高利用率，或者允許參數搜索算法同時運行。
WSE 2 與第一代相比如何？
兩者相比，芯片本身的大小沒有改變，300 毫米仍然是大規模生產中的最大晶圓尺寸，因此 WSE 2 芯片的外形尺寸沒有改變，但是 AI 核心翻了一倍。WSE 2 仍然被劃分成一個 7×12 的矩形陣列。
WSE 2（左）與 WSE 1（右）對比。
此外，承載 WSE 2 的計算機系統 CS-2 也沒有太大變化。CS-2 旨在實現快速、靈活的訓練和低延遲的數據中心推斷。目前，CS-2 由 WSE-2 提供動力，與其他數據中心 AI 解決方案相比，CS-2 具有更高的計算密度、更快的內存和更高的帶寬互連，并使用領先的 ML 框架進行編程。
迅速成長的初創公司 Cerebras
Cerebras Systems 公司 2015 年在美國加州成立，聯合創始人及 CEO Andrew Feldman 此前曾創立服務器芯片公司 SeaMicro。
Cerebras 聯合創始人及 CEO Andrew Feldman
經過幾年的迅速發展，該公司的規模已基本翻倍，在硅谷，圣地亞哥，多倫多和東京擁有約 300 名工程師。
