當(dāng)今企業(yè)擁有越來(lái)越多的數(shù)據(jù)，但這些數(shù)據(jù)并沒(méi)有完全被轉(zhuǎn)化成可操作的信息。在過(guò)去的幾年里，我和我的MIT調(diào)查小組一直在尋找一個(gè)基本問(wèn)題的答案：如何讓企業(yè)通過(guò)機(jī)器學(xué)習(xí)，將蘊(yùn)藏于其數(shù)據(jù)儲(chǔ)存內(nèi)的潛能全部釋放出來(lái)。

當(dāng)我們與不同行業(yè)的合作伙伴一起設(shè)計(jì)基于機(jī)器學(xué)習(xí)的解決方案時(shí)，我們發(fā)現(xiàn)已有的解決方案通常情況下是不適合的，這是為什么呢?

首先，每當(dāng)我們問(wèn)到機(jī)器學(xué)習(xí)專家們(專長(zhǎng)于預(yù)測(cè)模型訓(xùn)練和測(cè)試的數(shù)據(jù)科學(xué)家們)，在工作中最困難的部分，被一次次提及的答案是——“數(shù)據(jù)雜亂無(wú)章”。一開始，從字面意思上理解，我們認(rèn)為這是一個(gè)經(jīng)典的數(shù)據(jù)問(wèn)題——數(shù)據(jù)缺失或者數(shù)據(jù)庫(kù)之間缺乏一致性。隨著我們的進(jìn)一步挖掘，我們意識(shí)到該問(wèn)題和經(jīng)典的數(shù)據(jù)問(wèn)題略有不同，兩者面臨的數(shù)據(jù)形式有一定的區(qū)別。企業(yè)的原始數(shù)據(jù)(Raw data)，甚至是干凈數(shù)據(jù)(Cleandata：在Raw data的基礎(chǔ)上，進(jìn)一步處理后得到的數(shù)據(jù))量多且復(fù)雜，即使是專家，***眼也很難理解這些數(shù)據(jù)。因?yàn)檫@樣的數(shù)據(jù)有太多的數(shù)據(jù)表和字段，同時(shí)數(shù)據(jù)的粒度又非常高(例如，在線點(diǎn)擊流每一次點(diǎn)擊都會(huì)生成新數(shù)據(jù)、傳感器每秒會(huì)進(jìn)行125次的數(shù)據(jù)收集)。而機(jī)器學(xué)習(xí)專家們通常習(xí)慣使用聚合過(guò)后的，有用的數(shù)據(jù)，例如一個(gè)用戶訪問(wèn)過(guò)的網(wǎng)站數(shù)目，而不是用戶在某個(gè)網(wǎng)站上的行為數(shù)據(jù)表。

與此同時(shí)，我們經(jīng)常聽到商業(yè)專家抱怨“我們有大量的數(shù)據(jù)，但沒(méi)有通過(guò)這些數(shù)據(jù)做成任何事”。更深入的調(diào)查顯示這種說(shuō)法也不完全對(duì)。而這種挫敗感主要來(lái)源于兩個(gè)方面。

一方面是由于時(shí)間問(wèn)題。由于機(jī)器學(xué)習(xí)中，理解、規(guī)劃及處理數(shù)據(jù)等一系列過(guò)程所需要花費(fèi)的時(shí)間，機(jī)器學(xué)習(xí)專家常常更加關(guān)注流程的后面部分——嘗試不同的模型或者在問(wèn)題制定完成后，調(diào)整模型參數(shù)，而不是針對(duì)不同的商業(yè)問(wèn)題制定新的預(yù)測(cè)模型。因此，當(dāng)商業(yè)專家想到某個(gè)新的問(wèn)題時(shí)，機(jī)器學(xué)習(xí)專家無(wú)法做到總是及時(shí)跟上他們的步伐。

另一方面，經(jīng)常來(lái)說(shuō)，機(jī)器學(xué)習(xí)專家并沒(méi)有圍繞著“產(chǎn)生商業(yè)價(jià)值”，這一建模的最終目標(biāo)，來(lái)展開工作。在大部分情況下，預(yù)測(cè)模型旨在提高效率、增加收益或者減少支出。但實(shí)際上，建立模型的工作者卻很少問(wèn)這樣的問(wèn)題“這個(gè)預(yù)測(cè)模型提供的價(jià)值是什么?我們又該如何去量化其價(jià)值?”。思考這一價(jià)值導(dǎo)向的問(wèn)題常常會(huì)改變最初的問(wèn)題規(guī)劃(problem formulation)，通常情況下比建模后期再進(jìn)行過(guò)程調(diào)整更加有用。最近在一個(gè)機(jī)器學(xué)習(xí)愛好者小組中，我向約150名觀眾進(jìn)行了調(diào)查，當(dāng)問(wèn)到“有多人建立過(guò)機(jī)器學(xué)習(xí)模型?”大約有三分之一的人舉了手。緊接著，當(dāng)我問(wèn)到“有多少人真正應(yīng)用自己建立的模型產(chǎn)生價(jià)值，并量化模型產(chǎn)出價(jià)值?”時(shí)，所有人的手都放下了。

換句話說(shuō)，機(jī)器學(xué)習(xí)專家更傾向于將時(shí)間花在構(gòu)建模型上，而不是處理海量數(shù)據(jù)集或者將商業(yè)問(wèn)題轉(zhuǎn)化為預(yù)測(cè)問(wèn)題。無(wú)獨(dú)有偶，當(dāng)前的技術(shù)環(huán)境，無(wú)論是商業(yè)還是學(xué)術(shù)，關(guān)注點(diǎn)都在實(shí)現(xiàn)更加復(fù)雜的模型(LVM潛變量模型)、模型學(xué)習(xí)算法(分布式計(jì)算)，或者微調(diào)(貝葉斯優(yōu)化)。本質(zhì)上，這些都屬于數(shù)據(jù)科學(xué)項(xiàng)目后期的過(guò)程。然而，按照我們的經(jīng)驗(yàn)，我們認(rèn)為這些關(guān)注點(diǎn)并不是最恰當(dāng)?shù)摹?/p>

如果公司想要從數(shù)據(jù)中獲得價(jià)值，需要將重點(diǎn)放在加速對(duì)數(shù)據(jù)的人為理解，在短時(shí)間內(nèi)調(diào)整可構(gòu)建的模型問(wèn)題數(shù)量以及預(yù)測(cè)這些模型所的成效。在與公司的合作中，我們得出結(jié)論，想要通過(guò)機(jī)器學(xué)習(xí)帶來(lái)真正的改變，需要將重點(diǎn)放在以下四個(gè)方面：

堅(jiān)持簡(jiǎn)單的模型

簡(jiǎn)單的模型，例如邏輯回歸、基于隨機(jī)森林或者決策樹的模型。這些模型已經(jīng)足夠解決手頭上的任務(wù)。關(guān)鍵是減少數(shù)據(jù)采集時(shí)間，盡早進(jìn)行***個(gè)簡(jiǎn)單預(yù)測(cè)模型的開發(fā)。

探索更多的問(wèn)題

數(shù)據(jù)科學(xué)家需要有能夠快速而簡(jiǎn)單的定義和探索多個(gè)預(yù)測(cè)模型的能力。公司應(yīng)該探索更多的商業(yè)問(wèn)題，為每一個(gè)商業(yè)問(wèn)題建立一個(gè)簡(jiǎn)單的預(yù)測(cè)模型，并評(píng)估其價(jià)值，而不是用超級(jí)復(fù)雜的機(jī)器學(xué)習(xí)模型去探索僅僅一個(gè)商業(yè)問(wèn)題。

從數(shù)據(jù)樣本中而不是全部的數(shù)據(jù)中學(xué)習(xí)

不要過(guò)多的關(guān)注如何使用分布式計(jì)算讓任何一個(gè)處理模型都能進(jìn)行大數(shù)據(jù)處理，而是在能夠從子樣本數(shù)據(jù)中導(dǎo)出相似結(jié)論的技術(shù)上進(jìn)行投資。規(guī)避大量計(jì)算資源的使用，將會(huì)給予我們更多的空間去探索更多的假設(shè)。

關(guān)注自動(dòng)化

為減少***個(gè)預(yù)測(cè)模型產(chǎn)生的時(shí)間和加快探索的速度，公司必須能夠自動(dòng)化處理在正常情況下需要人工完成的過(guò)程。通過(guò)在不同數(shù)據(jù)問(wèn)題上的反復(fù)探索，我們發(fā)現(xiàn)很多時(shí)候都在使用相似的數(shù)據(jù)處理技術(shù)，無(wú)論是將數(shù)據(jù)轉(zhuǎn)化為有用的聚合數(shù)據(jù)，還是為預(yù)測(cè)模型準(zhǔn)備數(shù)據(jù)。是時(shí)候流水線化這些任務(wù)，開發(fā)算法和軟件，使這些過(guò)程能夠自動(dòng)化完成。

專注于上述四個(gè)目標(biāo)，準(zhǔn)確理解數(shù)據(jù)科學(xué)家如何與數(shù)據(jù)交互，以及項(xiàng)目瓶頸之所在，幫助我們成功啟動(dòng)了MIT的“TheHuman-Data Interaction Project”項(xiàng)目。

我們的目標(biāo)是快速探索預(yù)測(cè)模型，并將這些模型應(yīng)用于解決真實(shí)企業(yè)中的實(shí)際問(wèn)題。這些模型簡(jiǎn)單，同時(shí)自動(dòng)化讓非專業(yè)的用戶也能夠在幾個(gè)小時(shí)內(nèi)建立成百甚至上千個(gè)預(yù)測(cè)模型。而這在今天，通常需要花費(fèi)專家們一整個(gè)月的時(shí)間才能做到。