人工智能正在引領新一輪變革，最近幾年人工智能從科技行業開始，快速滲透到各行各業，我們的生活中已經充滿了AI的氣息。當前，全行業對人工智能技術的采用普遍使用云的方式落地，人工智能云服務AIaaS（AI as a Service）成為云服務商新的增長點。人工智能的深度學習算法已經比較成熟，如何提升效率成為關鍵。作為業界知名的云服務提供商，CDS首云軟硬結合的AI云服務技術探索給出了方向。

一、AI云化是明確趨勢，

軟硬結合是關鍵

人工智能正在從技術探索轉為大規模應用，人工智能已經成為基礎設施，這就決定了AI云化是明確趨勢。

首先是用戶需求，對于企業來講，必須不斷增加競爭力深化數字化轉型，人工智能成為必然的選擇，從而帶來大量需求。隨著對云的深度使用，企業希望人工智能能夠像云一樣易用，好用，并且按量計費。

第二是云廠商的增長點，對于云廠商來講，增強人工智能能力，為企業賦能，是新的增長點，這也是為什么許多云廠商給名字加上“智能”的原因。

第三是人工智能涉及硬件、軟件，技術復雜，需要持續優化，只有云廠商有這方面的資源和技術實力。

如同IaaS的底層是虛擬化技術一樣，AI云服務依賴深度神經網絡的算法和軟硬結合的算力。算法的實現依賴于軟件，人工智能開源軟件是趨勢，而算力取決于軟硬結合的能力。

二、開源、軟硬結合是AI技術趨勢，

OpenVINO™二者兼具

人工智能技術方面，一方面開源是主流，比如知名的TensorFlow、Caffe、MXNet、Kaldi等深度學習框架。另外一方面，算力非常重要，算力決定了人工智能應用的速度。所以人工智能的效果取決軟硬結合。但是由于開源框架很多，對于用戶來說，如果使用不同的深度學習框架，不同的硬件，需要一一進行優化，工作量繁重。

OpenVINO™工具套件的出現，解決了這一問題，OpenVINO™工具套件開源，支持主流深度學習框架，支持英特爾架構內不同硬件，提供統一接口，兼具了開源、軟硬結合的趨勢。

OpenVINO™工具套件介紹

OpenVINO™工具套件是英特爾基于自身現有的硬件平臺開發的可以加快高性能計算和深度學習應用開發速度工具套件，是用于快速開發應用程序和解決方案，以解決各種任務（包括人類視覺模擬、自動語音識別、自然語言處理和推薦系統等）的綜合工具套件。

該工具套件基于最新一代的人工神經網絡，包括卷積神經網絡(CNN)、遞歸網絡和基于注意力的網絡，可擴展跨英特爾硬件的計算機視覺和非視覺工作負載，從而最大限度地提高性能。它通過從邊緣到云部署的高性能、人工智能和深度學習推理來為應用程序加速。

OpenVINO™工具套件優勢

OpenVINO™ 工具套件的有四大優勢：

支持基于卷積神經網絡的深度學習推理；

支持跨英特爾CPU、英特爾顯卡、英特爾神經電腦棒和英特爾Movidius™視覺處理器運行；

通過一套易用的計算機視覺功能庫和預優化內核庫來加速上市時間；

針對計算機視覺標準進行優化的調用，包括OpenCV*和OpenCL™。

下圖表顯示了典型的 OpenVINO™ 工作流程

圖 OpenVINO™ 工作流程

英特爾OpenVINO™工具套件發行版包含以下主要組件：

• 深度學習模型優化器：跨平臺的命令行工具，用于導入模型并為推理引擎的優化執行準備模型。模型優化器會導入、轉換、優化模型，這些模型在流行的框架中訓練，比如Caffe、TensorFlow、MXNet、Kaldi和ONNX；
• 深度學習推理引擎：統一的API，可在多種硬件類型上進行高性能推理；
• 推理引擎樣本：一套簡單的控制臺應用程序，展示了如何在應用程序中使用推理引擎；
• 附加工具：一套模型協作的工具，包括準確度檢查器實用程序、訓練后優化工具指南、模型下載器等。

OpenVINO™工具套件開源，深受人工智能開發者喜愛，在Github上目前獲得了1.9k的Star，787個Fork。

圖 OpenVINO™ Github界面

下面讓我們來看看知名云服務商CDS首云，如何利用OpenVINO™提升AI云服務能力的案例。

三、CDS首云案例

技術解析

作為AI能力輸出的關鍵環節，AI模型的部署和推理效率會對整體性能表現產生直接影響，CDS首云與英特爾一起，在其高性能K8S容器平臺上導入了OpenVINO™ Model Server，為 AI模型的快速部署及推理效率的提升助力。

目前這一全新方案已在CDS首云內部的AI應用場景中進行了初步部署和驗證，實踐結果表明基于OpenVINO™ Model Server的新方案不僅在用戶并發接入能力上遠優于傳統AI模型部署工具，同時在檢測時延等關鍵性能指標上也有更為出色的表現。

首云AI云服務方案架構

AI云服務不能僅僅限于提供面向AI應用加速的硬件基礎設施，一定要在其上部署能夠高效分配、調度底層基礎設施資源的云平臺，以及能在這一云平臺上為AI應用和模型提供完備運行環境的中間件或框架，云平臺和AI運行環境的搭配越合理、協作越高效，AI云服務的整體表現就越出色。CDS首云打造AI云服務方案的過程，就秉承了這一原則，其架構如圖所示：

圖 CDS首云AI云服務方案架構

• 在基礎設施架構層，由英特爾提供的一系列先進計算、存儲與網絡產品，輸出了強大的數據處理、存儲與傳輸能力；
• K8S虛擬化層，則負責為底層架構提供節點管理和擴展服務，在將基礎設施層的能力物盡其用的同時，也讓方案擁有良好的可擴展性；
• 方案提供的AI服務將通過容器，為上層的多樣化應用場景輸出AI能力。

基于這一架構，CDS首云的AI云服務能力既能通過解決方案的形式，為選擇云平臺或裸金屬平臺的用戶提供附加本地服務能力，也能以服務API的形式，為用戶提供遠程AI能力輸出。

OpenVINO™ Model Server是方案核心

OpenVINO™ Model Server是OpenVINO™工具套件的重要組件，OpenVINO™工具套件的作用是幫助用戶實現模型優化和加速，以達到降本增效的目的，OpenVINO™ Model Server則是基于和利用英特爾®️架構基礎設施提供的算力，來幫助CDS首云新方案大幅簡化模型部署流程，從而能更高效、便捷地將AI模型部署到生產環境，并有效提升推理性能。

圖OpenVINO™ Model Server 架構

如圖所示，OpenVINO™ Model Server對外提供了gRPC和REST兩種標準的網絡API接口，供用戶在不同場景下調用，不論用戶是在本地，還是在遠程啟動AI工作任務，這些任務都將被接入到部署在容器內的OpenVINO™ Model Server服務。

上述架構設計及工作流程，讓OpenVINO™ Model Server具備了以下四大AI云服務部署和應用優勢：

• 面向英特爾架構內不同類別硬件基礎設施實施性能優化，這一優勢可以讓用戶完成模型訓練后，即可將模型部署于不同場景中實施快速推理，有效降低部署和運維成本；
• 與K8S良好的集成，OpenVINO™ Model Server能通過鏡像方式便捷地實現模型快速部署、維護和擴展，并具有更優的橫向可擴展性，便于為用戶提供密集型計算托管服務；
• 對常見的主流深度學習框架均有良好支持，可幫助用戶在設計、部署AI方案時擺脫框架束縛，根據需求引入最優框架，增強AI服務能力；
• 統一網絡API訪問能力，允許最終用戶基于CDS首云的云平臺或裸金屬平臺部署本地化的AI能力，也可以采用遠端網絡調用該能力。對gRPC和REST等不同API接口模式的支持，也使方案的可用性大為增強。

實戰：助不良內容檢測兼顧高性能和低成本

在全新AI云服務方案成形后，CDS首云啟動了有針對性的實踐驗證工作，并優先選擇內部應用需求較為迫切的不良內容檢測場景作為“實驗田”。

圖 CDS首云AI不良內容檢測流程

之前，CDS首云主要采用TensorFlow Serving服務框架等開源工具，來將深度學習模型部署到生產環境進行推理，但這一過程中，用戶經常會面臨以下幾個方面的挑戰：

• 首先是模型在訓練和推理的不同過程中，不論采用什么工具，性能和精度都可能存在差異，如果不進行適當調優，就無法更為充分地發揮出工作效能；
• 其次是針對應用場景的變化，用戶可能需要選擇不同的深度學習框架；
• 尤為重要的是，AI模型在不同架構硬件基礎設施上構建的生產環境中，推理性能會有明顯的差異，而方案使用者如果要針對每一種硬件環境進行重復且繁瑣的配置和調試，勢必會消耗大量時間，且會對工作效率造成負面影響。

所有這些問題，在CDS首云打造的全新AI云服務方案中均得到了妥善的解決。得益于OpenVINO™ Model Server的部署和應用優勢，新方案不僅能讓用戶獲得高可用、易維護且一鍵部署AI應用的能力，在推理性能上也得到了明顯的提升，同時還可幫助用戶降低TCO。

圖 CDS首云針對不良視頻內容檢測場景的驗證測試結果

測試結果如圖所示，使用OpenVINO™ Model Server的方案在所支持的用戶并發數量上遠超對比組，相比采用TensorFlow Serving的方案提升了2.4倍，同時每個并發客戶端的延時也控制在了30毫秒以內，意味著整個檢測流程能夠跟上視頻播放的速度，達到了實時檢測的效果。

未來，OpenVINO™ Model Server方案帶來的應用優勢，也會在CDS首云全面走向公有云市場時轉化成為競爭優勢。接下來，除要在更多應用場景中進一步優化新方案的效能外，CDS首云還計劃與英特爾一道，探索將基于 OpenVINO™ Model Server的AI云服務與邊緣計算融合的解決方案。這類方案可將AI云服務的應用范圍進一步擴展到安防、自動檢測、門禁系統等應用場景中，為用戶提供更具多樣化、差異化優勢的云服務能力。

四、總結，OpenVINO™是AI云服務未來

演進方向

作為業界知名的云服務提供商，CDS首云及時捕捉到用戶對于AI云服務的迫切需求，攜手英特爾，使用OpenVINO™ Model Server為用戶打造更加高效、便捷和完善的AI云服務能力，增強了競爭力。

AI能力是云服務的新領地，OpenVINO™套件是構筑AI云服務的利器。基于OpenVINO™的云服務，可以支持英特爾架構內不同硬件，支持K8S，支持主流的開源深度學習框架，提供統一的API。相信基于OpenVINO™的AI云服務將是未來演進方向，用戶選擇這樣的AI云服務，是對投入很好的保障。