你相親成功的幾率有多高?機器學習硬核預測
????一 序
人工智能(AI)是一個自從計算機被發(fā)明開始就存在的一個技術(shù)領(lǐng)域。從1956年Marvin Minsky、John McCarthy等人在達特茅斯學院的會議中第一次提出人工智能這個概念開始,AI這個領(lǐng)域的概念、技術(shù)和研究經(jīng)歷了非常長足的發(fā)展。
其中,機器學習是人工智能領(lǐng)域當中最核心也是最廣泛應用的一個子領(lǐng)域,旨在通過一系列數(shù)學的方法,如統(tǒng)計、概率論、線性代數(shù)等方法,設計和分析讓計算機可以自動學習的算法。這些算法通過從大量數(shù)據(jù)中獲取規(guī)律,來對未知的的數(shù)據(jù)進行預測和決策。
機器學習的算法被廣泛地用到計算機視覺、語音、自然語言處理、數(shù)據(jù)挖掘、搜索、廣告、游戲、機器人、金融等各種行業(yè)。
隨著深度學習的興起,產(chǎn)業(yè)界對于機器學習產(chǎn)生了非常強烈的興趣,也使得機器學習領(lǐng)域開始迅速地走向工程化和系統(tǒng)化。
除了機器學習算法本身的不斷創(chuàng)新之外,數(shù)據(jù)和算力的增加也是不可忽視的:大量的數(shù)據(jù),特別是移動互聯(lián)網(wǎng)的興起,使機器學習算法得以打破傳統(tǒng)數(shù)據(jù)量的限制;由于GPGPU等高性能處理器開始提供大量的算力,又使得我們能夠在可控的時間內(nèi)(以天為單位甚至更短)進行exaflop級別的算法訓練。
在這些的綜合作用下,工業(yè)界開始浮現(xiàn)出大量的機器學習系統(tǒng)創(chuàng)新。以2011年Google Brain,即谷歌大腦為代表,機器學習開始迅速從實驗室轉(zhuǎn)向業(yè)界。
毫無疑問,深度學習(DeepLearning)是當下最熱門的人工智能技術(shù),在智能推薦、圖像識別、機器翻譯、計算廣告、自動駕駛等領(lǐng)域都有突破性的進展和應用。而深度學習的成功很大部分得益于新的計算框架和異構(gòu)計算硬件,譬如Tensorflow和NVIDIA GPU。
然而,對于算法工程師來說,要搭建這樣一套學習和工作的環(huán)境不是一件容易的事情:需要一個特定版本的操作系統(tǒng)(最好是Linux),一張或多張GPU卡,安裝GPU驅(qū)動,安裝深度學習計算框架和其依賴的軟件包等。在調(diào)試深度學習算法的過程中,如果說嘗試不同的驅(qū)動版本和切換各種版本的軟件庫還勉強可以接受,那么切換硬件環(huán)境,特別是更換GPU卡就傷筋動骨了。
那么,有沒有能夠一勞永逸解決這些苦惱的方式?阿里云機器學習平臺PAI出品的一款云端深度學習開發(fā)環(huán)境:DSW(Data Science Workshop)試圖告訴你,這是個肯定的答案。
二 云端IDE:阿里巴巴機器學習與PAI-DSW
經(jīng)過20年的快速發(fā)展,阿里巴巴已經(jīng)組建了一個龐大的商業(yè)生態(tài)圈,并在支付、云計算、本地生活服務等行業(yè)保持互聯(lián)網(wǎng)巨頭地位。其中電商年交易額達到5.7萬億元、占據(jù)中國網(wǎng)購市場超6成份額,阿里云支撐了2019年雙11 期間峰值 54.4 萬筆/秒、單日數(shù)據(jù)處理量達到 970PB 的世界級的流量洪峰,成為業(yè)界第一個實現(xiàn)此壯舉的云計算公司。
阿里云機器學習平臺正是伴隨著這樣龐大而復雜的阿里經(jīng)濟體業(yè)務需求成長起來的。下面我們將帶著大家掀開阿里云機器學習技術(shù)大圖的一角,看看阿里云機器學習,特別是機器學習工程上的發(fā)展、沉淀和創(chuàng)新。
阿里機器學習技術(shù)大圖
我們從用戶和技術(shù)的兩個角度來梳理機器學習的技術(shù)體系大圖。從用戶的角度來說,根據(jù)使用機器學習的深度不同,在云棲大會上,我們展示了飛天AI平臺的技術(shù)分層關(guān)系:
?? 
核心樣例
從技術(shù)的角度說,機器學習從算法到底層的硬件,都涉及到不同的技術(shù)方向。下面是我們對于核心技術(shù)能力上的一個總體描述:
?? 
每個技術(shù)方向上都形成各自的布局和沉淀,接下來我們會重點講述作為機器學習重要組成部分的工程能力體系建設。
機器學習工程能力體系
阿里云在機器學習工程體系建設上,也經(jīng)歷了各領(lǐng)域業(yè)務需求驅(qū)動和技術(shù)驅(qū)動分階段螺旋式遞進上升的過程。由最初的通過傳統(tǒng)機器學習算法進行數(shù)據(jù)價值的粗加工,到今天以深度學習為主、支撐各類“行業(yè)大腦”解決方案的人工智能工程體系。
阿里云的機器學習工程能力體系建設始終圍繞著更高效的融合人工智能三要素(算法、數(shù)據(jù)、算力)進行展開,即追求不斷提升整個工程體系中的計算效率、數(shù)據(jù)效率以及工程效率,從而能夠更好的支撐阿里經(jīng)濟體各方面業(yè)務快速發(fā)展的需求,并通過阿里云對外進行技術(shù)輸出,推動人工智能領(lǐng)域的技術(shù)變革,產(chǎn)生更大的社會效益,實現(xiàn)普惠人工智能。
經(jīng)過多年的發(fā)展創(chuàng)新,阿里云在AI托管平臺技術(shù)層進行了系統(tǒng)性的建設,極大提升了算法研發(fā)、共享、部署、輸出的效率,在此基礎上沉淀出多個具有用戶粘性和場景差異化的開發(fā)平臺,這里我們選取阿里云機器學習PAI(Platform of Artificial Intelligence)作為代表來著重來介紹。
PAI是一款覆蓋機器學習全流程的一站式機器學習平臺產(chǎn)品,集數(shù)據(jù)預處理、特征工程、自動調(diào)參、模型訓練、在線預測為一體,為用戶提供低門檻、高性能的云端機器學習服務。
PAI相關(guān)技術(shù)脫胎于阿里集團內(nèi)數(shù)十個BU的上千個業(yè)務體系,沉淀了大量的覆蓋各個領(lǐng)域的優(yōu)質(zhì)分布式算法、框架、平臺等,同時也在不斷完善和擴充機器學習生態(tài)。
?? 
阿里云機器學習PAI-DSW
作為在AI戰(zhàn)線上辛勤耕耘的算法工作者,你是否也常常遇到下面的情形:
- 算法需要運行在GPU上,可是長時間申請不到GPU機器,只能干著急。
- 終于GPU機器申請到了,安裝GPU驅(qū)動和各種依賴,感覺是在浪費時間。
- 好不容易環(huán)境弄好了,當某天更新算法代碼后變得很慢, 排查半天才發(fā)現(xiàn)是GPU驅(qū)動需要升級補丁,很是無奈。
- 生產(chǎn)環(huán)境機器網(wǎng)絡隔離,在線上要debug代碼,只能使用GDB在命令行進行,開發(fā)效率大大降低。
- 在本地采用PyCharm這樣的IDE開發(fā)好代碼,而數(shù)據(jù)在生產(chǎn)環(huán)境,不允許下載,只能把代碼拷貝到線上機器運行,發(fā)現(xiàn)問題時,又得回到本地修改調(diào)試后再來一遍,非常不便。
- PAI Studio采用圖形化拖拽式,像搭積木一樣分分鐘就構(gòu)建一個完整的工作流,很炫酷。但想要定制發(fā)布自己的組件時,卻不知從何下手。
- 在長期與算法工程師同學溝通合作的過程中,我們發(fā)現(xiàn)了算法工程師面臨的這些問題。提升機器學習工程效率,降低人工智能使用門檻,急需一個簡單、輕量、好用的工具平臺,從而讓算法工程師更加專注于模型設計本身。PAI DSW就是PAI團隊為解決算法工程師的以上痛點,新推出的一款云端機器學習開發(fā)IDE。
- PAI-DSW集成了Jupyterlab、WebIDE等多種開源項目,在阿里巴巴集團內(nèi)上百個BU和上千名工程師的打磨之下性能和功能上都進行了一定的調(diào)優(yōu)。數(shù)據(jù)上打通了ODPS等多個數(shù)據(jù)源,方便用戶在構(gòu)建模型的時候免去重新構(gòu)建數(shù)據(jù)管道的工作。
同時,在深度學習上,PAI-DSW內(nèi)置了Tensorboard,可以通過簡單的拖拽的方式來幫助深度學習的開發(fā)者更好的完成深度學習場景下神經(jīng)網(wǎng)絡的建模。下圖展示了DSW在機器學習平臺PAI產(chǎn)品架構(gòu)中的位置:
?? 
DSW在機器學習平臺PAI產(chǎn)品架構(gòu)中的位置
簡單來說,PAI-DSW可以實現(xiàn)多實例、多環(huán)境,GPU/CPU資源、JupyterLab、WebIDE以及全屏使用Terminal無干擾工作。目前PAI-DSW已經(jīng)向所有阿里云的用戶免費開放了探索者版,只需要登陸阿里云然后打開 https://dsw-dev.data.aliyun.com/#/ 即可開始云上數(shù)據(jù)科學之旅。接下來將詳細介紹如何使用PAI-DSW這一簡單好用的工具。
三 新手上路:PAI-DSW實驗室創(chuàng)建攻略
Step 1 : 創(chuàng)建并打開你的DSW實驗室
前往 https://dsw-dev.data.aliyun.com/#/ 即可創(chuàng)建并進入你的實驗室。之前需要確保已經(jīng)登陸了阿里云賬號和天池賬號。進入之后等待幾秒后我們會看到如下頁面:
?? 
左側(cè)是DSW實驗室的文件區(qū),雙擊文件夾即可進入。中間是工作區(qū),右側(cè)是計算資源區(qū)域,點擊右邊計算資源區(qū)的箭頭,即可彈出資源詳情,如下圖所示:
?? 
這里我們也可以點擊切換按鈕選擇我們需要的資源進行切換。
?? 
在文件資源管理區(qū)的頂部還有4個按鈕,從左到右分別對應的是:打開DSW Launcher啟動器,新建文件夾,上傳文件以及刷新當前文件夾。
?? 
在文件夾左側(cè)還有一欄Tab,每個圖標從上到下分別代表了:文件資源管理器,案例代碼,正在運行的Notebook,命令面板,在工作區(qū)打開的Tab,以及天池的數(shù)據(jù)搜索引擎。
然后我們回到DSW Launcher啟動器,也就是工作區(qū)默認打開的界面,然后點擊Notebook區(qū)域中的Python3,如下圖所示:
?? 
Step 2 : 創(chuàng)建一個Notebook
點擊了Python3圖標后,DSW會自動創(chuàng)建一個ipynb notebook文件。如下圖所示:
?? 
Step 3 :寫下你的第一行代碼并運行
用鼠標點擊第一個框框(我們下面以Cell稱呼),我們就可以開始從只讀模式進入編輯模式開始寫代碼了。
?? 
這里我們可以先輸入一個簡單的:
然后我們同時按下 shift+ enter回車這兩個鍵,就可以看到我們的執(zhí)行結(jié)果了,如下圖所示:
?? 
圖中標紅的數(shù)字1表示這個Cell是第一個被執(zhí)行的,藍色區(qū)域則表示當前聚焦(Focus)的Cell。我們可以在Focus的Cell按下 Enter回車鍵進入編輯模式。我們也可以按下 Esc鍵來退出編輯模式回到只讀模式。在只讀模式中,我們可以通過方向鍵上下來切換Focus的Cell。
Step 4 : 計算一個斐波那契數(shù)列
很好,現(xiàn)在你已經(jīng)熟悉了DSW最基本的運行Cell的方式,接下來就讓我們編寫一個簡單的斐波那契數(shù)列計算的函數(shù)來計算這個數(shù)列的第10項。把下方的代碼拷貝到新生成的Cell中即可:
同樣,輸入代碼后,我們按下 shift+ enter回車 這兩個鍵,就可以看到我們的執(zhí)行結(jié)果了,如下圖所示:
?? 
這樣,你就掌握了DSW最基本的創(chuàng)建Notebook,便攜代碼和運行代碼的方式。
四 快速進階:PAI-DSW案例實戰(zhàn)指南
本著理論與實踐相結(jié)合的方針,本部分將手把手教你從實戰(zhàn)場景參與進來,實現(xiàn)從入門到快速進階。
案例:大數(shù)據(jù)算命系列之用機器學習評估你的相親戰(zhàn)斗力
"用姓名測試愛情,80%準確率!俗話說,名如其人,緣分就是人生的后半生,為了尋找真緣分的大有人在,因此也就有了姓名緣分測試。您現(xiàn)在是不是也正在心動猶豫,也想要一個屬于自己的名字配對緣分測試了呢?那就請您趕緊行動吧!" 以上這段話,你一定已經(jīng)在很多個微信公眾號、電視節(jié)目,甚至奇奇怪怪的小網(wǎng)站上看到過。
你一定很好奇,這個緣分測試背后到底是不是有科學依據(jù)支撐的。
今天,雖然不能直接幫你測試你和某個特定的人直接的緣分,但是我們可以借助哥倫比亞大學多年研究相親找對象的心血,通過幾個簡單的特征來評估你的相親戰(zhàn)斗力指數(shù)。
具體模型的測試頁面在這里[1]。在正式開始實驗之前,我們需要尋找一個簡單好用方便上手的工具,這里推薦阿里云的DSW探索者版[2],它對于個人開發(fā)者是免費的,同時還有免費的GPU資源可以使用,同時實驗的數(shù)據(jù)還會免費保存30天,不需要購買,只要登陸就可以使用。今天我們就會通過這個工具來探索人性的奧秘,走進兩性關(guān)系的神秘空間嘿嘿嘿。
整個實驗的數(shù)據(jù)收集于一個線下快速相親的實驗[3]。在這個實驗中,參與者被要求參加多輪與異性進行的快速相親,每輪相親持續(xù)4分鐘,在4分鐘結(jié)束后,參與者雙方會被詢問是否愿意與他們的對象再見面。只有當雙方都回答了“是”的時候,這次相親才算是配對成功。
同時,參與者也會被要求通過以量化的方式從外觀吸引力,真誠度,智商,風趣程度,事業(yè)心,興趣愛好這六個方向來評估他們的相親對象。
這個數(shù)據(jù)集同時也包含了很多參加快速相親的參與者的其他相關(guān)信息,比如地理位置,喜好,對于理想對象的偏好,收入水平,職業(yè)以及教育背景等等。關(guān)于整個數(shù)據(jù)集的具體特征描述可以參考相關(guān)文件[4]。
本次我們實驗的目的主要是為了找出,當一個人在參加快速相親時,到底會有多高的幾率能夠遇到自己心動的人并成功牽手。
在我們建模分析探索人性的秘密之前,讓我們先讀入數(shù)據(jù),來看看我們的數(shù)據(jù)集長什么樣。
通過觀察,我們不難發(fā)現(xiàn),在這短短的兩年中,這個實驗的小酒館經(jīng)歷了8000多場快速相親的實驗。由此我們可以非常輕易的推斷出,小酒館的老板應該賺的盆滿缽滿(大霧)。
然后從數(shù)據(jù)的寬度來看,我們會發(fā)現(xiàn)一共有接近200個特征。關(guān)于每個特征的具體描述大家可以參考這篇文檔[5]。然后我們再觀察數(shù)據(jù)的完整度,看看是否有缺失數(shù)據(jù)。
通過以上代碼,我們不難發(fā)現(xiàn),其實還有很多的特征是缺失的。這一點在我們后面做分析和建模的時候,都需要關(guān)注到。因為一旦一個特征缺失的數(shù)據(jù)較多,就會導致分析誤差變大或者模型過擬合/精度下降。看完數(shù)據(jù)的完整程度,我們就可以繼續(xù)往下探索了。
然后第一個問題就來了,在這8000多場的快速相親中,到底有多少場相親成功為參加的雙方找到了合適的伴侶的?帶著這個問題,我們就可以開始我們的第一個探索性數(shù)據(jù)分析。
?? 
從上邊的餅圖我們可以發(fā)現(xiàn),真正通過快速相親找到對象的比率僅有16.47%。
然后我們就迎來了我們的第二個問題,這個比率和參加的人的性別是否有關(guān)呢?這里我們也通過Pandas自帶的filter的方式:
來篩選數(shù)據(jù)集中的性別。通過閱讀數(shù)據(jù)集的文檔,我們知道0代表的是女生,1代表的是男生。然后同理,我們執(zhí)行類似的代碼:
來找出女生和男生分別在快速相親中找到對象的幾率的。
女生的幾率:
?? 
男生的幾率:
?? 
不難發(fā)現(xiàn),在快速相親中,女生相比于男生還是稍微占據(jù)一些優(yōu)勢的。女生成功匹配的幾率比男生成功匹配的幾率超出了0.04。
然后第二個問題來了:是什么樣的人在參加快速相親這樣的活動呢?真的都是大齡青年(年齡大于30)嘛?這個時候我們就可以通過對參加人群的年齡分布來做一個統(tǒng)計分析。
?? 
不難發(fā)現(xiàn),參加快速相親的人群主要是22~28歲的群體。這點與我們的預期有些不太符合,因為主流人群并不是大齡青年。接下來的問題就是,年齡是否會影響相親的成功率呢?和性別相比,哪個對于成功率的影響更大?這兩個問題在本文就先埋下一個伏筆,不一一探索了,希望閱讀文章的你能夠自己探索。
但是這里可以給出一個非常好用的探索相關(guān)性的方式叫做數(shù)據(jù)相關(guān)性分析。通過閱讀數(shù)據(jù)集的描述,我已經(jīng)為大家選擇好了一些合適的特征去進行相關(guān)性分析。這里合適的定義是指:1)數(shù)據(jù)為數(shù)字類型,而不是字符串等無法量化的值;2)數(shù)據(jù)的缺失比率較低。
?? 
通過上面這張圖這張相關(guān)性分析的熱力圖,我們可以先關(guān)注一些特別亮的和特別暗的點。比如我們可以發(fā)現(xiàn),在pf_o_att這個表示相親對象給出的外觀吸引力這個特征上,和其他相親對象給出的評分基本都是嚴重負相關(guān)的,除了pf_o_fun這一特征。由此我們可以推斷出兩個點:
- 大家會認為外觀更加吸引人的人在智商,事業(yè)心,真誠度上表現(xiàn)會相對較差。換句話說,可能就是顏值越高越浪。
- 幽默風趣的人更容易讓人覺得外觀上有吸引力,比如下面這位幽默風趣的男士(大霧):
然后我們再看看我們最關(guān)注的特征 match,和這一個特征相關(guān)性比較高的特征是哪幾個呢?不難發(fā)現(xiàn),其實就是:
這幾個特征,分別是相親對方給出的關(guān)于外觀,真誠度,智商,風趣程度,事業(yè)線以及興趣愛好的打分。接下來我們就可以根據(jù)這個來進行建模了。首先我們將我們的特征和結(jié)果列都放到一個Dataframe中,然后再去除含有空值的紀錄。最后我們再分為X和Y用來做訓練。當然分為X,y之后,由于我們在最開始就發(fā)現(xiàn)只有16.47%的參與場次中成功匹配了,所以我們的數(shù)據(jù)有嚴重的不均衡,這里我們可以用SVMSMOTE[6]來增加一下我們的數(shù)據(jù)量避免模型出現(xiàn)過度擬合。
數(shù)據(jù)準備好之后,我們就可以進行模型的構(gòu)建和訓練了。通過以下代碼,我們可以構(gòu)建一個簡單的邏輯回歸的模型,并在測試集上來測試。
?? 
我們可以看到結(jié)果為0.83左右,這樣我們就完成了一個預測在快速相親中是否能夠成功配對的機器學習模型。針對這個模型,數(shù)據(jù)科學老司機我還專門制作了一個小游戲頁面[7],來測試你的相親戰(zhàn)斗力指數(shù)。
相關(guān)鏈接
[1]https://tianchi.aliyun.com/specials/promotion/dsw-hol?referFrom=alijishu
[2]https://dsw-dev.data.aliyun.com/#/
[3]https://faculty.chicagobooth.edu/emir.kamenica/documents/genderDifferences.pdf
[4]https://pai-public-data.oss-cn-beijing.aliyuncs.com/speed_dating/Speed%20Dating%20Data%20Key.doc
[5]https://pai-public-data.oss-cn-beijing.aliyuncs.com/speed_dating/Speed%20Dating%20Data%20Key.doc
[6]https://imbalanced-learn.readthedocs.io/en/stable/generated/imblearn.over_sampling.SVMSMOTE.html
[7]https://tianchi.aliyun.com/specials/promotion/dsw-hol?referFrom=alijishu
【本文為51CTO專欄作者“阿里巴巴官方技術(shù)”原創(chuàng)稿件,轉(zhuǎn)載請聯(lián)系原作者】
























