從SGI的***科學(xué)家John R. Masey在1998年提出大數(shù)據(jù)概念，到大數(shù)據(jù)分析技術(shù)廣泛應(yīng)用于社會的各個領(lǐng)域，已經(jīng)走過了17年的時間。現(xiàn)在再也沒有企業(yè)懷疑大數(shù)據(jù)分析的力量，并且都在競相利用大數(shù)據(jù)來增強自己企業(yè)的業(yè)務(wù)競爭力。但是，即使17年過去，大數(shù)據(jù)分析行業(yè)仍然處于快速發(fā)展的初期，每時每刻都在產(chǎn)生新的變化。

從概念到實用、從結(jié)構(gòu)化數(shù)據(jù)分析到非結(jié)構(gòu)化數(shù)據(jù)分析，大數(shù)據(jù)分析技術(shù)在不斷地進化。雖然國內(nèi)仍然在關(guān)注輿情分析，但是記者注意到，在美國，大數(shù)據(jù)分析的研究已經(jīng)進入到了一個全新的階段，“預(yù)測分析”技術(shù)成為***有代表性的未來技術(shù)方向。

那么，“預(yù)測分析”技術(shù)和傳統(tǒng)的大數(shù)據(jù)分析有什么不同？記者就此采訪了美國數(shù)據(jù)科學(xué)家、前北卡大學(xué)夏洛特分校助理敎授、夏洛特視覺中心主任以及非結(jié)構(gòu)化數(shù)據(jù)智能分析平臺Taste Analytics的CEO，Derek Wang（汪曉宇）博士。

大數(shù)據(jù)行業(yè)爆發(fā)，現(xiàn)在的技術(shù)不夠用了

汪曉宇博士正好經(jīng)歷了整個大數(shù)據(jù)產(chǎn)業(yè)爆發(fā)的全過程。他和記者回憶說，在2010年的時候，來他們夏洛特視覺中心進行交流的還僅僅是大公司的數(shù)據(jù)硏究員，2011年已經(jīng)變成了公司的主任，而到了2012年，來的幾乎全是CIO和CTO們了。他們甚至還為企業(yè)開了一門數(shù)據(jù)分析的進修課程，講座雖然只有兩天，但注冊學(xué)費幾千美金，學(xué)員們?nèi)际莵碜試鴥?nèi)各大公司的資深高管。

從這可以看出，在這個數(shù)據(jù)時代，中美都在用盡一切辦法實現(xiàn)數(shù)據(jù)上領(lǐng)先的概念和追求。而在這技術(shù)飛速發(fā)展的幾年間，數(shù)據(jù)本身呈現(xiàn)出了不少新的特點，市場也相應(yīng)地對大數(shù)據(jù)分析技術(shù)提出了新要求。

首先，數(shù)據(jù)點越來越多，也越來越碎片化

在汪曉宇博士看來，大數(shù)據(jù)時代就是人的時代，數(shù)據(jù)形態(tài)越來越豐富和多樣。除去社交網(wǎng)站等傳統(tǒng)數(shù)據(jù)點以外，新形態(tài)的數(shù)據(jù)點也已經(jīng)出現(xiàn)，比如Airbnb和Uber這種O2O服務(wù)。如果再看遠一點，隨著可穿戴設(shè)備、物聯(lián)網(wǎng)等先進設(shè)備和個人的信息結(jié)合起來，隨時隨地產(chǎn)生和收集數(shù)據(jù)更加成為可能。在這樣的情況下，每個人隨時隨地的“情緒”和“狀態(tài)”這些都會成為商家必須要重視的數(shù)據(jù)源。
與此相對應(yīng)的，非結(jié)構(gòu)化數(shù)據(jù)分析將越來越重要。而非結(jié)構(gòu)化數(shù)據(jù)的模塊化更加靈敏，不是傳統(tǒng)的單一解決方案可以做到的。這導(dǎo)致人們在進行大數(shù)據(jù)分析時使用的工具將更加細化，利用垂直創(chuàng)新的工具進行非常縱深的研究將成為主流。

其次，大數(shù)據(jù)分析技術(shù)成為了決定社會服務(wù)效率的關(guān)鍵

有報道指出，隨著信息技術(shù)的發(fā)展，包括公共服務(wù)、物流等在內(nèi)的人們衣食住行的服務(wù)會紛紛電子化，虛擬世界和物理世界的邊界將進一步模糊。這個大的產(chǎn)業(yè)背景一旦形成，大數(shù)據(jù)分析能力就將成為整個產(chǎn)業(yè)服務(wù)最關(guān)鍵的競爭力。

這樣就意味著，大數(shù)據(jù)分析工具應(yīng)該越來越實用化。汪曉宇博士介紹說，在面對新的技術(shù)和工具時，美國企業(yè)高層都會迅速做出決斷，考慮怎么把數(shù)據(jù)分析和現(xiàn)有業(yè)務(wù)進行快速整合。他舉例說，在他們和美國一家大型銀行合作時，對方的CIO就可以迅速做出反應(yīng)，和他們探討應(yīng)該怎么把他們開發(fā)的創(chuàng)新型非結(jié)構(gòu)化數(shù)據(jù)分析技術(shù)應(yīng)用到自家銀行某一個產(chǎn)品中去。

決定下一代大數(shù)據(jù)產(chǎn)業(yè)的新技術(shù)：“預(yù)測分析”

在這樣的數(shù)據(jù)特點和市場要求下，中國和美國各大公司和科研中心都在大力投入，研發(fā)下一代數(shù)據(jù)分析技術(shù)。但是，在這方面，美國還是有著3-5年時間的領(lǐng)先。

根據(jù)汪曉宇博士的分析，國內(nèi)在科研上的眼光很高，水平層次力度都在，但是商業(yè)化不行，研發(fā)出來轉(zhuǎn)到應(yīng)用上和美國有一定差距。中國大部分公司對于大數(shù)據(jù)分析的概念還停留在“輿情分析”的階段，但是美國已經(jīng)跨越“輿情分析”和“情感分析”，進入到了“預(yù)測分析”階段。

由汪曉宇博士一手打造的Taste Analytics團隊，就在進行“預(yù)測分析”技術(shù)的研發(fā)。它擺脫了傳統(tǒng)的“輿情分析”和“情感分析”的框架，更進一步，把人們在社交網(wǎng)站和其他平臺上產(chǎn)生的數(shù)據(jù)都收集起來，進行實時、全面地分析，幫助企業(yè)建立用戶的立體形象，了解他們的品味和喜惡，從而提供預(yù)測性地判斷。這聽來似乎和傳統(tǒng)的“推薦系統(tǒng)”、類Clickstream分析有些類似，但是實際上完全不同。

首先，傳統(tǒng)的“推薦系統(tǒng)”會需要一個很長的建立過程，也就說，它需要很多強相關(guān)的、相似的歷史數(shù)據(jù)，才有可能實現(xiàn)推薦功能。比如它只能根據(jù)你買電飯鍋的行為，才能向你推薦其他廚具。

但是企業(yè)怎么能在一開始就知道，顧客想要買電飯鍋呢？這就是“預(yù)測分析”的強大之處。它不需要這樣的歷史數(shù)據(jù)，而是直接通過人們在社交網(wǎng)絡(luò)上的留言和在各大平臺上留下的信息，來進行預(yù)測。也就是說，當(dāng)你在社交網(wǎng)絡(luò)上留下類似“好想在家做飯”的狀態(tài)，系統(tǒng)就有可能已經(jīng)知道你想買廚具了。

汪曉宇博士舉例說，“預(yù)測分析”技術(shù)發(fā)展成熟的話，就會非常接近美國科幻電影《少數(shù)派報告》里的情景——它會根據(jù)你在網(wǎng)絡(luò)留下的痕跡，來理解你的性格、行為、情緒，來建立一個隨時更新的、立體的形象。無論是HR、企業(yè)、客服、公共機構(gòu)，都可以根據(jù)這些信息來提供真正的前瞻性、個性化的服務(wù)。

其次，Clickstream無法解決冷啟動的問題，而且很難精準到個人、到細節(jié)。Clickstream分析技術(shù)的實現(xiàn)，是通過不同的cookie，來追蹤人們的點擊，它無法解決的是冷啟動過程中數(shù)據(jù)的缺乏。比如你***次登陸優(yōu)酷，沒有任何觀看記錄，系統(tǒng)應(yīng)該怎么進行推薦呢？而且，人們的誤點擊操作很有可能就被系統(tǒng)追蹤下來，進行了錯誤的分析。

但是這對于“預(yù)測分析”技術(shù)就不是問題。通過對各大社交平臺上的多重語義分析和疊加驗證，一個人的具體形象已經(jīng)建立起來：這個人比較保守，不喜歡暴力，最近正在談戀愛……那么這時，向他推薦浪漫喜劇就會非常對味。

“我們在做的，就是在集合的范圍上進行分析。”汪曉宇博士說，“以前的技術(shù)是告訴你們?nèi)藗冊?lsquo;說什么’，現(xiàn)在我們已經(jīng)進化到人們在行動之前‘有什么感覺’。這個核心技術(shù)的突破，就能實現(xiàn)對于整個數(shù)據(jù)分析市場的革新變化。”

再次，“預(yù)測分析”比起傳統(tǒng)的大數(shù)據(jù)分析方法，可以更好地實現(xiàn)人機互動。盡管人工智能非常火熱，但是汪曉宇博士仍然指出了這項技術(shù)的局限性：它的可控性很差，沒有依靠人的能動力。在他看來，大數(shù)據(jù)分析應(yīng)該更好地利用人機互動的機制，來發(fā)揮***功用。

汪曉宇博士介紹說，以前的數(shù)據(jù)分析技術(shù)，機器只能做到一半，到后面的時候還需要人來負責(zé)數(shù)據(jù)輸入。但是現(xiàn)在他們在研究的“預(yù)測分析”技術(shù)，可以把大范圍的用戶數(shù)據(jù)總結(jié)集成在一起，自動給出結(jié)果。人和機器的互動，將主要在于洞察內(nèi)涵、提供反饋，讓機器知道人的傾向。這就是新型的人機互動先進所在。

“比如說，某個產(chǎn)品本來定位年輕人，但是機器通過收集數(shù)據(jù)進行分析，發(fā)現(xiàn)它在中年人之間更受歡迎，那么人就可以來調(diào)整產(chǎn)品的市場定位，做出加大在中年人群體中加大宣傳的決策。這就是非常典型的人機互動。” 汪曉宇博士說。

中國為什么沒有出現(xiàn)“預(yù)測分析”技術(shù)？

作為美國最前沿的大數(shù)據(jù)分析技術(shù)，“預(yù)測分析”仍然處在研發(fā)的早期階段，各家公司都在發(fā)力，想要在這個方向上取得領(lǐng)先地位，技術(shù)挑戰(zhàn)仍然非常大。

預(yù)測分析***的難度在于精準度。汪曉宇博士說，精準度越高，系統(tǒng)就越能把人的性格全面呈現(xiàn)出來，而且會在不同時間地點下進行分析，做出一個高維的性格理解。要實現(xiàn)這個精準度，光是數(shù)據(jù)挖掘方面就會有很大挑戰(zhàn)，而且在面向不同客戶時，比如企業(yè)、HR、公共服務(wù)等，還要把影響他們的特征分別提取出來，這又把難度上升了一個層次。

目前，汪曉宇博士已經(jīng)在帶領(lǐng)Taste Analytics團隊在打造這樣的“預(yù)測分析”系統(tǒng)，而且，他透露，目前他們向特定的幾個企業(yè)提供了試用版本；而他們提供的非結(jié)構(gòu)化數(shù)據(jù)分析服務(wù)，也就是“預(yù)測分析”的基礎(chǔ)，已經(jīng)被6家福布斯全球500強公司以及多家美國主流企業(yè)使用，并通過實踐“實時分析”、“數(shù)據(jù)驅(qū)動”（Data-driven）、“人機互動”等***的數(shù)據(jù)分析理念，為新的“預(yù)測分析”系統(tǒng)提供研究基礎(chǔ)和進一步的反饋。
“美國市場上現(xiàn)在領(lǐng)先的數(shù)據(jù)分析公司，都只精專一點。” 汪曉宇博士說，“這也是行業(yè)進化到一定程度的結(jié)果，因為其實每一個環(huán)節(jié)都很難，沒有一個數(shù)據(jù)分析公司是可以把所有的都做完；但是反過來，精細化研究才可以激發(fā)更多創(chuàng)新。”

反觀中國市場，仍然在流行SAP、SAS這類的整體解決方案。雖然這些方案可以覆蓋到數(shù)據(jù)分析的基本方面，但是卻失去了對數(shù)據(jù)的深入挖掘能力，也就錯失了數(shù)據(jù)分析的新機會，進一步來說，就很難誕生類似“預(yù)測分析”這樣領(lǐng)先的研究。

“中國企業(yè)也應(yīng)當(dāng)大膽嘗試新工具。如果總是尋求舊的解決方案，那么企業(yè)將無法真正挖掘出數(shù)據(jù)的價值。”汪曉宇博士說，“到時候，不僅是預(yù)測分析，中美在大數(shù)據(jù)分析技術(shù)和商業(yè)應(yīng)用上的整體差異還將進一步擴大。”