從異構算力，到可以升級的 GPU 驅動，高通的手機芯片，總能引領行業的新方向。
11 月 30 日，高通發布的全新一代驍龍 8 移動平臺（驍龍 8 Gen 1）讓我們對即將推出的安卓旗艦手機有了期待，從最近解禁的跑分來看，這塊芯片 GPU 峰值性能提升了 59.7%，在 GFXBench 上分數甚至要比 iPhone 13 Pro 的 A15 還要高。
這還不是最大的，全新一代驍龍 8 可謂進行了全方位的升級，其搭載的第 7 代 AI 引擎實現了性能翻四倍的表現，提升了不止一個臺階，帶來了全新的體驗。
除了展臺上的工程機可以穩定 60 幀玩《原神》，在驍龍技術峰會上，人工智能的概念貫穿始終，驍龍已被打造成為了所有移動終端協同工作的核心。
多個 AI 模型同時跑
過去，App 通常同時只會運行一到兩個神經網絡。但為了更好的體驗，我們的應用中增加了越來越多的機器學習模型，隨著終端特性的發展，這些神經網絡每年又都在變得更復雜。
高通表示，第 7 代 AI 引擎可以在維持低功耗的同時搞定這些需求。
作為重要手機芯片廠商的產品，驍龍的 AI 引擎正在為 18 億人提供支持，已經實現的一些強大功能包括：在拍攝照片時，機器學習算法會自動幫助人們調整相機設置，獲得最優成像效果。AI 還能識別并理解用戶語音，并基于用戶指令完成任務。在一些品牌的手機上，系統應用甚至能夠實時將人們的對話翻譯成不同語言。
驍龍的「專用 AI 處理單元」Hexagon 處理器的情感判斷處理速度要比 CPU 快 30 倍，允許手機進行諸如 Transformer 架構模型的本地處理。
高通展示了 Hugging Face 通過自然語言處理模型 BERT 處理分析手機上所有下拉通知中的內容，AI 會分析每條信息文字中的語氣和情緒，將其按照緊急、重要、不緊急等情形分類顯示，讓你不會錯過老板催促的郵件。如果消息太多找不到，你還可以用語音發出指令搜素特定類型的消息。
在傳感器中樞模塊上，驍龍 8 還獨創性的加入了一枚「always on」芯片模塊，這枚功耗極低的 ISP 可關聯終端的攝像頭，帶動相機 7×24 小時全天候啟動，從而帶來一些方便和安全特性——如果探測到二維碼，手機將自動喚醒應用進行識別；在你用完手機放在桌面上時，它會自動鎖屏；如果你拿著手機，有別人越過你的肩膀偷看，手機也會自動鎖屏；又或者你想給別人分享手機屏幕主屏上的內容，這時短消息的提示橫幅會被自動隱藏。
很多人在買來手機時有一件要做的事就是把各種息屏顯示、抬手喚醒功能關掉以追求省電，不過在驍龍 8 上你不用這么做了，新一代傳感器模塊 AI 算力提升了 75%，能耗降低了 50%。高通還承諾新的 ISP 在工作時不進行拍照或攝像，數據不出模塊單元，可確保用戶的隱私安全。
高通展示了基于第 7 代 AI 引擎的攝像頭 AI 應用。手機攝像頭支持更出色的自動對焦、自動曝光和自動白平衡調節，手勢檢測讓用戶無需按下任何按鍵即可拍照，還有基于 AI 的視頻背景虛化等特性。
背景虛化 + 面部識別 + 姿態識別 + 手勢，多種神經網絡的效果現在已經可以同時在手機端實時完成了。
人臉上的細節也很重要。高通 Spectra 首次全面取代了構成攝影基礎的傳統算法，讓 AI 徹底接手了拍攝任務 ，其可識別人臉特征，確定拍攝對象的眼睛是否睜開，甚至是否在微笑。全新的人臉特征引擎可以檢測 300 個特征點，而且還針對更多人臉特征進行了訓練，包括眉毛、嘴唇、下頜線等。
除了對焦和特效，AI 引擎和相機引擎可以協同工作，每秒處理 32 億像素，實現更強的變焦能力。去年搭載于驍龍 888 上的「夜間模式」將大約六幀照片組合在一起形成合成圖像。而驍龍 8 的相機多幀大引擎將結合大約 30 幀，提供「五倍的夜間模式」。因為在暗光條件下有更多的像素被追蹤到，相機可以智能過濾掉因手抖引起的模糊，進而獲得更清晰的圖像。同時，人工智能還可以消除廣角鏡頭的畫面扭曲。
隨后是虛擬現實技術，高通展示了 AI 變革購物體驗的新方向。通過 AR 技術，人們可以在家中布置虛擬家具、虛擬試穿運動鞋，實現更多個性化的購物體驗。這些應用都是通過高通 AI 引擎優化實現的。
在驍龍 8 移動平臺上，高通還將 AI 技術融入到調制解調器和射頻系統中，帶來了全球首個 AI 天線調諧技術，檢測用戶握持終端時手部的位置并切換接收信號的天線，旨在實現更快數據傳輸、更佳網絡覆蓋和更久電池續航。
第 7 代 AI Engine，性能能效都翻倍
這些都是如何做到的？我們知道，要想跑得起 AI 模型就需要強大的算力。在驍龍 8 移動平臺的 AI 引擎上，高通實現了迄今為止最大的一次 AI 算力進步。
具體來說，第 7 代 AI 引擎包含多個低功耗的 AI 子系統，由下一代 Adreno GPU、Hexagon 處理器、Kryo CPU 和第 3 代高通傳感器中樞（Sensing Hub）組成，它們分別處理不同的計算需求。整個 SoC 的多個計算單元實現了 6TOPS 的異構算力。
在應用廣泛的一些 AI 模型上，如 inceptionv3、mobilenet_v2、Resnet50、VDSR 等，推理速度比前代 AI 引擎快 4 倍，同時 AI 運算能效比前代提升了 1.7 倍。
第 7 代 AI 引擎能夠實現如此量級的提升，很大程度上得益于新一代的 AI 軟件：除了 Hexagon 處理器張量計算性能翻倍，共享內存翻倍以外，其 AI 軟件性能也提升了 2 倍，現在支持了 INT8 + INT16 的混合精度計算。
更大的內存意味著芯片可以運行更大、更深的神經網絡，而更高的精度則可以讓算法推理的結果更加準確。開發工具上，新的神經網絡處理 SDK 更新了算子支持，Qualcomm AI Engine Direct 可直接接入移動端深度學習框架 TensorFlow Lite 和 Android NN API，方便開發者將自己的 AI 模型更快地應用在移動端。
用手機完成臺式機的任務
新的 AI 技術層出不窮，要如何把機器學習模型塞進手機呢？對于工程師們來說這是一個非常有挑戰性的工作，使用 AI 技術自動來完成是一個很有前景的方向。高通和谷歌合作，將神經網絡架構搜索（NAS）引入了驍龍平臺，并已集成進第 7 代高通 AI 引擎。
正如 AutoML 的思路，高通提供的 NAS 工具 Neual Processing SDK 可以將硬件配置、工作需求（如幀數、準確度）作為參數輸入，由 AI 算法幫助工程師快速實現深度學習模型的最優設計。
AI 可以從最基礎層面開始，根據初始網絡搜索并進行優化構建符合移動端硬件的模型。它能夠考慮時延、網絡規模、精度、功耗等目標，讓模型在手機上運行得更快，而開發者的工作時間也可以從數月縮短到數周。
驍龍是全球首個支持 Google Cloud Vertex AI NAS 的移動平臺。此前，高通有關提煉最佳神經網絡架構的研究 DONNA 還被人工智能學術頂會 ICCV 2021 接收。高通希望在未來讓 NAS 功能幫助多端部署工作，讓 AI 模型快速部署至手機、筆記本電腦、VR 設備和汽車上。
除了以上提到的技術和用例之外，驍龍 8 的 AI 引擎還能夠實現哪些黑科技？比如，高通表示他們在與 Sonde Health 合作，開發一種基于音頻識別的診斷技術，讓手機只需要傾聽你的聲音就可以判斷是否有抑郁、哮喘等健康問題。
當然還有游戲畫面中的超分辨率技術：
通過利用歷史幀數據和 GPU 優化運動估計，Adreno 圖像運動引擎可以讓一些游戲的畫面以雙倍幀率運行，同時保持近乎相同的功耗。
如今全球的游戲玩家已經超過 30 億，而手機游戲每年的收入占比高達 52%。這其中，支持 Snapdragon Elite Gaming 的芯片組出貨量已經超過 8 億顆，高通的新技術會讓很多玩家受益。按照高通的說法，就是要讓移動游戲玩家享受端游級游戲體驗。
高通和各家 OEM 廠商、科技公司僅在今年就交付了超過 200 個機器學習模型。未來我們還可以看到更多以往無法想象的技術在手機上出現。
開啟移動體驗的新變革，就需要最先進的技術。明年搭載驍龍 8 的旗艦手機上，性能強大，功耗降低，功能豐富的 AI 技術會給我們帶來怎樣的體驗？讓我們拭目以待。
