用于智能物聯(lián)網設備的深度學習處理器
By Frank Lee is the co-founder and CEO of Eurika Solutions
在過去的幾年中，人工智能領域已進入高速增長階段，這在很大程度上受諸如深度學習（DL）和強化學習（RL）之類的機器學習方法的推動。這些技術的組合展示了在解決各種問題方面的空前性能，這些問題從以超人的角度玩Go到像專家一樣診斷癌癥。
在我們以前的博客中，智能物聯(lián)網和霧計算趨勢以及物聯(lián)網中無處不在的計算機視覺的興起，我們談到了物聯(lián)網中DL的一些有趣用例。應用將是廣泛而深入的。它們將在未來幾十年內刺激對新型處理器的需求。
深度學習工作流程概述
DL / RL創(chuàng)新正以驚人的速度發(fā)生（每年在眾多與AI相關的會議上發(fā)表數千篇有關新算法的論文）。盡管預測最終的解決方案為時尚早，但硬件公司正在爭相構建處理器、工具和框架。他們試圖利用多年研究人員的經驗來確定DL工作流程中的痛點和瓶頸（圖1）。
圖1：深度學習基礎流程
訓練DL模型的平臺
讓我們從培訓平臺開始?；趫D形處理單元（GPU）的系統(tǒng)通常是訓練高級DL模型的選擇。Nvidia早已意識到將GPU用于通用高性能計算的優(yōu)勢。
GPU有數百個計算核心，它們支持大量的硬件線程和高吞吐量的浮點計算。 Nvidia開發(fā)了Compute Unified Device Architecture（CUDA）編程框架，使GPU友好地供科學家和機器學習專家使用。
CUDA工具鏈改善了耗時問題，為研究人員提供了一種靈活而友好的方式來實現高度復雜的算法。幾年前，Nvidia恰當地發(fā)現了DL的機會，并為大多數DL運營不斷開發(fā)CUDA支持。 Caffe、Torch和Tensorflow等標準框架均支持CUDA。
在AWS之類的云服務中，開發(fā)人員可以選擇使用CPU還是GPU（更具體地說是Nvidia GPU）。平臺的選擇取決于神經網絡的復雜性、預算和時間。基于GPU的系統(tǒng)通?？梢员菴PU減少訓練時間幾倍，但價格更高（圖2）。
圖2：AWS EC2 GPU實例
GPU / CPU的替代品
替代品來了。 Khronos在2009年提出了OpenCL，這是一種用于在各種硬件（例如CPU、GPU、DSP或FPGA）上進行并行計算的開放標準。它將使其他處理器（如AMD GPU）進入DL培訓市場，為開發(fā)人員提供更多選擇。
但是，它在DL庫支持方面仍落后于CUDA。希望這種情況在未來幾年內會有所改善。英特爾還通過收購Nervana開發(fā)了針對DL培訓定制的處理器。
DL推理的競爭格局
DL推理是一個競爭激烈的市場。通?？梢愿鶕美囊笤诙鄠€級別上部署應用：
- 云/企業(yè)：圖像分類、網絡安全、文本分析、NLP等。
- 智能網關：生物識別、語音識別、智能代理等。
- 邊緣端點：移動設備、智能相機等。
云推理
在Google、Facebook、百度或阿里巴巴等互聯(lián)網巨頭的大力推動下，云推理市場將實現巨大的增長。例如，Google Cloud和Microsoft Azure提供了非常強大的圖像分類、自然語言處理和面部識別API，開發(fā)人員可以輕松地將其集成到他們的云應用中。
云推理平臺將需要可靠地支持數百萬并發(fā)用戶。擴展吞吐量的能力至關重要。此外，降低能耗是控制服務運營成本的另一個重中之重。
在云推理空間上，除GPU外，數據中心還使用FPGA或定制處理器來使云推理應用更具成本效益和功效。例如，Microsoft Project Brainwave使用英特爾FPGA來證明在運行諸如CNN、LSTM等的DL算法時的強大性能和靈活性。
圖3：Intel 14nm Stratix FPGA
FPGA具有優(yōu)勢。硬件邏輯、計算內核和內存配置可針對特定類型的神經網絡進行定制，從而使其更有效地處理預訓練模型。但是，一個缺點是與CPU或CUDA相比編程困難。如上一節(jié)所述，OpenCL將有助于使FPGA對軟件開發(fā)人員更加友好。
除了FPGA之外，Google還制造了定制的處理器，稱為TPU。它是一種專注于高效矩陣計算的ASIC。但是，僅Google自己的服務支持該功能。
以下是DL云推斷中的一些參與者。
用于智能邊緣計算的嵌入式DL推理
在邊緣，DL推理解決方案需要解決針對不同用例和市場的多種需求。
自動駕駛平臺
自動駕駛平臺目前是最熱門的市場，最新的DL和RL方法正在應用中，以實現最高水平的自動駕駛。 Nvidia一直領導著從Tegra到Xavier的幾類DL SoC市場。 例如，Xavier SoC內置于Nvidia的Drive PX平臺中，該平臺可實現多達320個TFLOP。 它的目標是5級自動駕駛。
移動處理器
另一個快速增長的領域是移動應用處理器。 DL啟用了智能手機上以前無法實現的新功能。 一個例子是蘋果將神經引擎集成到A11 Bionic芯片中，從而使其能夠在iPhone X上添加高精度面部鎖定。
中國芯片制造商海思半導體還發(fā)布了麒麟970處理器，該處理器具有神經處理單元（NPU）。 華為的一些最新智能手機（圖4）已經使用新的DL處理器進行了設計。 例如，使用NPU，智能手機相機會“知道”正在查看的內容，并會根據場景的主體（例如人、植物、風景等）自動調整相機設置。
圖4：Huawei Mate 10 Pro –主題識別相機
下表列出了一些用于DL推理應用的處理器。
新架構
值得一提的是，有一類新的處理器，稱為神經形態(tài)處理器，它緊密模仿人類大腦神經元和突觸的機制。他們可以實現一種稱為“脈沖神經網絡（SNN）”的神經網絡，它可以在空間和時間域中學習。
原則上，與現有的DL架構相比，它們具有更高的能源效率，并且在解決在線機器學習問題方面具有優(yōu)勢。
IBM的TrueNorth和英特爾的Loihi基于神經形態(tài)架構。研究人員正在探索這些芯片的功能，顯示出一些潛力。目前尚不清楚何時將新型處理器準備用于廣泛的商業(yè)用途。諸如Applied Brain Research和Brainchip之類的許多初創(chuàng)公司也專注于這一領域，開發(fā)工具和IP。
圖5：英特爾Loihi
這是一個有趣的時代
在短短的幾年內，AI / DL / RL / ML已成為許多行業(yè)的重要工具。從IP、處理器、系統(tǒng)設計到工具鏈和軟件方法論的底層生態(tài)系統(tǒng)已經進入了快速的創(chuàng)新周期。新的處理器將支持許多以前無法實現的新物聯(lián)網應用。
但是，物聯(lián)網和機器學習應用仍在不斷發(fā)展。芯片設計人員和開發(fā)人員將需要幾代處理器才能提出正確的架構組合，從而滿足各種市場的需求。
