國美深度學習初體驗，開啟社交電商的智能時代！
原創【51CTO.com原創稿件】本周五(2017 年 7 月 21 日)，由 51CTO 主辦的 WOTI2017 全球創新技術峰會將于北京富力萬麗酒店舉行，此次峰會設有全天的***論壇，及深度學習、人機交互和智+應用等分論壇。
國美大數據中心副總監楊驥，將出席深度學習分論壇，做主題為“深度學習開啟社交電商智能時代”的演講。在會前交流中，楊驥介紹了此次演講的部分技術干貨，讓我們搶先看。
人工智能、機器學習與深度學習的關系
從馮諾依曼體系結構的提出開始，人類使用計算機就有了智能化的訴求。也就是使用計算機或機器人能夠幫助人類做繁雜或者做不到的事情，從根本上來說，就是提升整個社會的生產效率。
相對于機器學習和深度學習，人工智能的概念更為寬泛。在機器學習方法興起之前，大部分的人工智能應用都是基于邏輯推理實現，即設定N多規則，在不同場景，讓機器或者程序做選擇。
作為人工智能的一個分支，機器學習利用統計或者幾何表達的形式處理問題，專門研究計算機怎樣模擬或實現人類的學習行為，以獲取新的知識和技能。直到上世紀90年代，伴隨著互聯網行業的興起，機器學習掀起了人工智能領域一個新的熱潮。
深度學習屬于神經網絡模型的范疇，本身并不是一個新的概念，早在上世紀四、五十年代，就有了最簡單的神經網絡——感知機模型。
2006 年，Geoffrey Hinton 提出了 LayerwisePre-Training 方法訓練多層 RBM 網絡(即 DBN)，神經網絡在大數據規模上的效果取得了長足的進展。
深度學習本身就是對訓練數據進行分層表達，將低層級特征逐步抽象成高層級特征的過程，同時擬合出非常復雜的高維非線性函數，這是大多數機器學習模型難以望其項背的。
機器學習在國美的應用實踐
目前機器學習在國美的應用，常規階段已經趨近成熟，如基礎數據收集、數據處理、特征工程、模型部署等方面，目前的主要工作是算法和業務邏輯的快速迭代。
接下來我們會在深度學習、計算機視覺、自然語言處理、語音識別等方面繼續加大研發力度，除了搜索、推薦、廣告等線上業務外，還會重點支持線下門店的新興購物場景，實現國美社交電商的新零售平臺落地。
我入職時，國美在機器學習方面還比較薄弱，之后團隊建設、整套算法和架構部署等都由我親自建設起來。相比之前的效果，GMV 提升幅度非常大。舉例來說，在商品推薦過程中，利用機器學習排序和傳統的排序方式相比，各方面都有很大改變。
初期針對 Web 首頁、手機 APP 首頁等一些推薦位置，系統基于冷啟數據，做一些歸類、統計等，展示到頁面上，這時每個用戶訪問的時候，看到的效果毫無差別。
這樣就會使得用戶對推薦產品不感興趣，毫無粘性可言，同時將其他商品寶貴的曝光機會浪費掉了。那么如何做到推薦個性化?這里就涉及到利用機器學習進行推薦的個性化排序。
如下圖，是機器學習排序工作流：
先要對海量的數據進行訓練，基于用戶、查詢、商家數據找特征，之后做模型訓練，經過線上部署之后，正式上線。
如下圖，是推薦排序的訓練流程：
推薦排序訓練流程分別為場景恢復、訓練樣本構建、模型訓練和線上實驗這四部分。
推薦離線模型的構建流程：
- 收集用戶行為，包括點擊、加購、關注、下單等。
- 對行為進行過濾，比如：join(白名單)、統計截斷、position-bias、多次加/刪購等處理。
- 制定行為評分規則，生成評分矩陣。
- 訓練矩陣分解模型。
- 導入緩存，請輸入文案。
如下圖，是推薦離線模型的評分規則：
這里值得提醒的是在打分之前，必須要對數據進行清洗，去除“點擊狂人”、“用戶誤點”、“買后查單”等情況。其中，對非?；钴S的用戶要對他的行為進行降采樣。
深度學習在國美的應用實踐
傳統計算機視覺工作流是由計算機視覺專家進行特征的設計，如 SIFT，KAZE，HoG，SURF 等。之后是訓練分類器，進行多目標識別。
如下圖，是傳統計算機視覺工作流程：
傳統計算機視覺領域不僅需要領域知識，還需要耗費巨量時間，深度學習的發展給這個領域帶來了新的變革。
深度學習工作流是根據訓練數據自動構建特征，將特征抽取和分類/檢測任務同時進行。深度學習專家需要做的事情就是定義神經網絡架構，并進行訓練。
如下圖，是深度學習工作流：
深度學習會自動訓練出好的特征，并且很多方法可以在各個領域中通用。在國美的做法是深度學習+CV 工作流，也就是將計算機視覺特征和深度學習特征相結合。
同時，抽取計算機視覺特征和 DNN 特征，之后進行多目標的識別。如下圖：
深度學習與視覺特征
利用機器學習對圖像視覺特征進行提取的過程，可以分為四步，分別是圖像標注、提取特征、降維和匹配檢索：
圖像標注。對國美全站的商品圖像進行標注，這個過程中最主要的工作是數據清洗，即把不能和品類對應的圖片刪除或者重新進行品類校準。
先統計國美全站最近一年內各品類下商品總數的分布，然后按照分布進行圖片抽樣。
提取特征。圖片的特征分為通過深度學習得到的特征和圖像局部的特征?？衫?caffe 訓練 CNN。
將倒數第二層輸出作為 Feature Learning 的結果提取出來(Deep Learning + Transfer Learning)，可利用局部特征算子(SIFT，kaze等)提取出圖像的局部特征。
降維。用積量化(ProductQuantization)的方法對深度學習得到的特征進行降維，用 Fisher Vector 對圖像局部特征進行降維。
匹配檢索。采用最近鄰搜索的方法找出每一個商品的相似商品集合。
深度學習構建 GomePlus 新場景：“拍照購”
基于深度學習構建的“拍照購”場景在國美已經上線，它可以實現根據用戶上傳的圖片預測品類，推薦相關商品。具體步驟如下圖：
當用戶拍照或者從 PC 和手機選取商品圖片上傳成功以后，系統就會進行特征向量的計算及匹配。之后猜測用戶想要的商品，根據商品圖片庫的相關結果進行展示。
深度學習構建 GomePlus 新場景：搭配購推薦
基于深度學習的檢索技術可以得到一套通用的商品特征學習框架。
在此基礎上，針對不同種類商品，尤其是服裝類商品，可以進行搭配推薦。同時有待進一步研究分布式檢索引擎、特征壓縮、CNN 模型移動端部署等。
深度學習構建 GomePlus 新場景：相似推薦
進行拍照購的同時，我們還在個性化推薦場景下嘗試了基于圖片的相似推薦，因為目前主流的推薦召回方法都是在大規模用戶協同行為數據上進行建模，會造成召回結果比較集中的問題。
從用戶的角度，相似推薦的場景訴求還是想找到和主商品“相貌相同或者相似”的商品。因此利用圖像找相似更符合用戶的需求，同時還提高了推薦結果的多樣性和新穎性。
寫在***
利用機器學習和深度學習構建推薦場景時，***的難點是數據源頭，即數據收集問題?，F在，大多數企業做算法，基本是如何做特征、如何訓練模型。
正確的做法應該是從數據收集、前端進行埋點，數據科學部門就應該參與，而不是被動的等待數據進來，基于提供的數據做事情，這是非常關鍵的點。
未來國美在前沿技術方面的布局著重在計算機視覺和語言識別兩大方向，如線下店鋪的人臉識別、商品識別、深度學習的云平臺、智能輔助購物等。同時，國美還將在圖片描述生成、圖像 2D 轉 3D、以及深度學習個性化排序等方面進行嘗試。
作者：王雪燕
技術編輯：王雪燕，關注架構、算法，運維等技術領域，有投稿、尋求報道意向技術人請聯絡 wangxy@51cto.com
楊驥
國美互聯網大數據中心副總監
負責個性化搜索和推薦平臺規劃及搭建。畢業于中國傳媒大學，獲得機器學習和計算機視覺方向博士學位。先后任職于凡客、京東。多年來致力于機器學習在互聯網領域的應用。在搜索、推薦、用戶畫像、圖像分析等方面有著豐富的實戰經驗和項目管理心得。目前專注于社交電商領域的深度學習技術。
【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】
