[[177274]]
圖為IBM大數(shù)據(jù)與分析事業(yè)部全球研發(fā)副總裁Dinesh Nirmal。

今年是莎士比亞逝世四百周年。在莎翁名劇《尤利烏斯·凱撒》中一個占卜師有這樣一句沒有上下文的預(yù)言：“請小心‘三月’中”， 凱撒聽后不知道這句話是何意思，于是說讓這個占卜師繼續(xù)做夢吧。結(jié)果在三月十五日，凱撒被密謀暗殺。類似的，今天的預(yù)測算法可以告訴你一個預(yù)言，但卻無法提供合適的上下文，這讓人難以做出進(jìn)一步行動的決策。

另一個關(guān)于預(yù)測算法的例子是在最新的《復(fù)仇者聯(lián)盟3》中，出現(xiàn)了一個人工智能合成物“奧創(chuàng)”。奧創(chuàng)只能按字面理解任務(wù)，于是把“拯救地球”理解成了“殺死所有的人類”。這就像一個典型的預(yù)測算法，按字面理解任務(wù)而忽略掉了其它的可能性或任務(wù)的現(xiàn)實(shí)意義。

于是，2016年1月，哈佛商學(xué)院教授Michael Luca、經(jīng)濟(jì)學(xué)教授Sendhil Mullainathan以及康奈爾大學(xué)教授Jon Kleinberg聯(lián)合在《哈佛商業(yè)評論》發(fā)表了一篇題為《算法也需要管家》的文章，呼吁全球科技界和商界在機(jī)器學(xué)習(xí)算法和人工智能時代要注意算法的管理問題。因?yàn)椋绻幸惶欤惴軌驔Q定“凱撒”或地球的命運(yùn)，那么誰來管理算法呢?

IBM大數(shù)據(jù)與分析事業(yè)部全球研發(fā)副總裁Dinesh Nirmal最近現(xiàn)身在北京舉辦的2016機(jī)器學(xué)習(xí)和行業(yè)應(yīng)用國際峰會，他介紹了IBM作為全球大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)和人工智能的前沿科技企業(yè)將如何面對一個復(fù)雜的算法世界，這就為機(jī)器學(xué)習(xí)造一個可以自學(xué)習(xí)、自調(diào)整、自優(yōu)化的機(jī)器管家——基于Spark的機(jī)器學(xué)習(xí)云服務(wù)。

Apache Spark是一個分布式計(jì)算框架，是專為滿足低延遲任務(wù)和內(nèi)存數(shù)據(jù)存儲而優(yōu)化的開源大數(shù)據(jù)系統(tǒng)。由于其并行計(jì)算性能以及兼顧速度、可擴(kuò)展性、內(nèi)存處理以及容錯性等，再加上可大幅簡化編程的豐富API，讓Spark成為了機(jī)器學(xué)習(xí)算法的主流計(jì)算平臺。IBM在2015年6月宣布加入Spark開源社區(qū)，并承諾將把Spark作為自己的分析與商務(wù)平臺核心。

2016年6月開始，IBM花了5個月時間開發(fā)了基于Spark的機(jī)器學(xué)習(xí)云服務(wù)，該云服務(wù)將提供公有云、本地部署及混合云部署等版本，該云服務(wù)還可部署在IBM大型主機(jī)z系列上。Dinesh強(qiáng)調(diào)，該云服務(wù)除了在獲取數(shù)據(jù)、抽取特征、訓(xùn)練模型、部署模型、做出預(yù)測等經(jīng)典機(jī)器學(xué)習(xí)過程中進(jìn)行優(yōu)化外，還加入了持續(xù)反饋、自動建模、重新訓(xùn)練模型等自動化管理。

在自動建模中，IBM的機(jī)器學(xué)習(xí)云服務(wù)能夠根據(jù)數(shù)據(jù)模型自動推薦最優(yōu)算法，并根據(jù)數(shù)據(jù)特征值來評價(jià)模型的性能和表現(xiàn)，當(dāng)模型訓(xùn)練好后可在實(shí)時環(huán)境、生產(chǎn)環(huán)境和離線批量環(huán)境中部署模型。當(dāng)數(shù)據(jù)變化后，該云服務(wù)還能實(shí)時監(jiān)控模型的表現(xiàn)，然后自動重新訓(xùn)練模型。整個過程中不需要把模型離線訓(xùn)練后再重新上線，極大方便了實(shí)時生產(chǎn)環(huán)境中的商業(yè)應(yīng)用。

Dinesh認(rèn)為，在機(jī)器學(xué)習(xí)的世界里，開源是一個大趨勢。為此，IBM開源了自己的重量級機(jī)器學(xué)習(xí)框架SystemML，并在舊金山設(shè)立Spark技術(shù)中心，還在全球投入超過3500名IBM研究和開發(fā)人員開展與Spark相關(guān)項(xiàng)目。2016年6月，IBM把自己的開源軟件與基于Apache Spark的H2O、RStudio、Jupyter Notebooks等開源科研分析交互環(huán)境相結(jié)合推出了Data Science Experience云服務(wù)，以提升數(shù)據(jù)科學(xué)家的機(jī)器學(xué)習(xí)和數(shù)據(jù)分析速度。

為了進(jìn)一步加強(qiáng)自己的數(shù)據(jù)分析產(chǎn)品和技術(shù)生態(tài)圈，IBM從2015以來為Apache Toree、EclairJS、Apache Quarks、Apache Mesos、Apache Tachyon(現(xiàn)更名為Alluxio)等開源項(xiàng)目做了大量貢獻(xiàn)，也為Apache Spark的子項(xiàng)目如SparkSQL、SparkR、MLLib和PySpark等做了深入貢獻(xiàn)。如今，Spark已經(jīng)與IBM的Watson、商務(wù)、分析、系統(tǒng)和云等超過45種核心產(chǎn)品相結(jié)合。

IBM對于Spark的投入已經(jīng)超過3億美金，并把Spark視為數(shù)據(jù)分析的操作系統(tǒng)。推出基于Spark的機(jī)器學(xué)習(xí)云服務(wù)是IBM的最新進(jìn)展，是為了給機(jī)器學(xué)習(xí)算法提供一個安全、高可靠的統(tǒng)一管理平臺。在此基礎(chǔ)之上，IBM進(jìn)一步把Watson用于機(jī)器學(xué)習(xí)，讓人工智能幫助機(jī)器學(xué)習(xí)算法更“聰明”地理解人的意圖，這就是剛推出的Watson數(shù)據(jù)平臺。

Dinesh介紹說IBM正在把所有的機(jī)器學(xué)習(xí)、人工智能、數(shù)據(jù)分析、數(shù)據(jù)管理等整合起來到一個統(tǒng)一的基于Spark的平臺上，這包括開源的算法以及IBM自有的算法等，再經(jīng)過優(yōu)化和配備企業(yè)級解決方案，最終以混合云方式為企業(yè)打造一個可以自由選擇的數(shù)據(jù)與算法管理平臺。

2017年，我們將迎來一個移動互聯(lián)網(wǎng)大發(fā)展的大時代，數(shù)據(jù)與算法將更加容易地“統(tǒng)治”世界。從在線音樂、在線游戲、在線廣告到各類生活服務(wù)、社交溝通以及內(nèi)容消費(fèi)等，機(jī)器學(xué)習(xí)算法在不知不覺中替人們做了很多選擇。因此在歡呼機(jī)器解放人類的同時，也要警惕算法帶來的“偏見”，這就需要能夠自學(xué)習(xí)、自校正的機(jī)器。

從機(jī)器學(xué)習(xí)到學(xué)習(xí)的機(jī)器，這是人工智能商業(yè)化道路上的必經(jīng)之路。