揭穿數(shù)據(jù)分析的12個(gè)神話
在IT業(yè)界中,炒作越多,誤解就越多,數(shù)據(jù)分析也不例外。作為當(dāng)今IT技術(shù)最熱門(mén)的方向之一,數(shù)據(jù)分析可以帶來(lái)顯著的業(yè)務(wù)收益,但是帶來(lái)的誤解可能也會(huì)阻礙順利地、及時(shí)地交付可能讓業(yè)務(wù)用戶(hù)和最終客戶(hù)受益的分析能力。
隨著企業(yè)組織創(chuàng)建或者擴(kuò)展其分析戰(zhàn)略,這里有十幾個(gè)需要揭穿的數(shù)據(jù)分析神話需要他們牢記在心。
神話1:數(shù)據(jù)分析需要大量投資
現(xiàn)在來(lái)看,幾乎每一項(xiàng)技術(shù)都必須經(jīng)過(guò)財(cái)務(wù)穩(wěn)健性的過(guò)濾。“這項(xiàng)技術(shù)成本多少?”這個(gè)問(wèn)題是IT和業(yè)務(wù)經(jīng)理們?cè)谔岢鰡?dòng)新項(xiàng)目或者開(kāi)發(fā)新工具的時(shí)候,會(huì)被問(wèn)到的第一個(gè)問(wèn)題。
有些人認(rèn)為,數(shù)據(jù)分析的本質(zhì)是一項(xiàng)成本高昂的工作,因此僅限于那些有著充足預(yù)算或者大量?jī)?nèi)部資源的企業(yè)組織。但并非所有數(shù)據(jù)分析項(xiàng)目都需要大量投資,移動(dòng)和在線房地產(chǎn)服務(wù)提供商Trulia副總裁Deep Varma這樣表示。
“現(xiàn)在市場(chǎng)上有這么多的開(kāi)源工具和其他可用工具,可以幫助你開(kāi)始展示數(shù)據(jù)分析的價(jià)值。你需要很好地了解你的內(nèi)部數(shù)據(jù)存儲(chǔ)和你試圖解決哪些問(wèn)題。云也讓嘗試用分析來(lái)解決業(yè)務(wù)問(wèn)題變得更輕松。”
現(xiàn)代分析“是基于云系統(tǒng)和大數(shù)據(jù)架構(gòu)的,從定義上看其成本不如傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)那么高,”咨詢(xún)公司EY全球分析負(fù)責(zé)人Beatriz Sanz Saiz表示。
“而且,數(shù)據(jù)和分析通常用于實(shí)現(xiàn)三個(gè)結(jié)果:改善流程效率、收入增長(zhǎng)和主動(dòng)風(fēng)險(xiǎn)管理??偠灾瑪?shù)據(jù)和分析的應(yīng)用,給任何公司帶來(lái)了重要的成本收益。”
神話2:你需要大數(shù)據(jù)來(lái)執(zhí)行分析
對(duì)很多人來(lái)說(shuō),大數(shù)據(jù)和分析這兩個(gè)概念是齊頭并進(jìn)的。這個(gè)想法是說(shuō),企業(yè)組織需要在執(zhí)行分析之前收集大量數(shù)據(jù),以便產(chǎn)生業(yè)務(wù)洞察,改進(jìn)決策等。
大數(shù)據(jù)分析的某些好處已經(jīng)很明確了,那些擁有資源的企業(yè)確實(shí)可以通過(guò)利用數(shù)據(jù)存儲(chǔ)作為分析的一部分來(lái)獲得顯著的競(jìng)爭(zhēng)優(yōu)勢(shì)。但是,大數(shù)據(jù)是分析必不可少的想法是不正確的。
人力資源公司Allegis Global Solutions商業(yè)智能執(zhí)行總監(jiān)Tim Johnson表示:“人們經(jīng)常試圖獲取盡可能多的數(shù)據(jù),他們聽(tīng)到大數(shù)據(jù)就會(huì)興奮不已。有一個(gè)誤解就是,數(shù)據(jù)越多越好,機(jī)器會(huì)對(duì)所有這些數(shù)據(jù)進(jìn)行篩選。”
但是,分析師們需要的是特定的數(shù)據(jù),而不是更多的數(shù)據(jù)。Johnson表示:“有95%的用戶(hù)在尋求與他們工作相關(guān)的信息,來(lái)支持決策和改善業(yè)績(jī)。”但是企業(yè)組織必須考慮業(yè)務(wù)用戶(hù)來(lái)決定他們需要哪些數(shù)據(jù),還有如何呈現(xiàn)這些,他們需要的不是數(shù)據(jù)越多越好。
Johnson說(shuō):“要能夠以各種方式訪問(wèn)每一條信息,這有點(diǎn)不太可能,實(shí)際上也會(huì)阻礙信息的采用。相反,你要找出對(duì)他們最重要的信息、你如何以最簡(jiǎn)單的形式向他們呈現(xiàn)這些信息。”
神話3:分析可以消除人為偏差
自動(dòng)化系統(tǒng)執(zhí)行的方式不應(yīng)該是有偏見(jiàn)的。但是技術(shù)是由人開(kāi)發(fā)的,所以消除所有的偏差幾乎是不可能的。有人認(rèn)為,分析和機(jī)器學(xué)習(xí)會(huì)消除人為偏差。
“遺憾的是,這根本不是真的。我們使用‘訓(xùn)練數(shù)據(jù)’來(lái)優(yōu)化算法和分析,這會(huì)重新引發(fā)訓(xùn)練數(shù)據(jù)所具有的特征。”
在某些情況下,這會(huì)給分析結(jié)果帶來(lái)偏差;有些情況下,則有更嚴(yán)重的偏差。Mason表示:“算法這么說(shuō),并不意味著回答是公平的或者有用的。”
神話4:最好的算法總是會(huì)勝出
事實(shí)上,有了足夠的數(shù)據(jù),“有時(shí)候算法并不重要,”Mason表示。在他援引的一篇題為“數(shù)據(jù)的不合理有效性”的IEEE文章中,Google工程師認(rèn)為,簡(jiǎn)單的統(tǒng)計(jì)模型,加上非常大量的數(shù)據(jù),可以比包含了大量特性和總結(jié)的“智能優(yōu)越”模型實(shí)現(xiàn)更好的結(jié)果。
“在某些情況下,僅僅處理大量數(shù)據(jù)就能實(shí)現(xiàn)最好的結(jié)果,”Mason說(shuō)。
神話5:算法是安全的
從很大程度上看,人們固有信念中是信任統(tǒng)計(jì)模型和算法的,隨著企業(yè)組織建立他們的分析程序,他們?cè)絹?lái)越多地依賴(lài)復(fù)雜模型來(lái)支持決策。
“因?yàn)槿藗儾涣私饽P?、算法和其他先進(jìn)的數(shù)據(jù)科學(xué)實(shí)踐,所以人們信任這些。用戶(hù)不覺(jué)得自己具有挑戰(zhàn)這些模型的知識(shí),所以他們反過(guò)來(lái)覺(jué)得必須信任建立了這些模型的‘聰明人’。”
“在過(guò)去50到60年中,我們一直聽(tīng)到有關(guān)于人工智能將在未來(lái)20年內(nèi)占主導(dǎo)的說(shuō)法,我們還會(huì)繼續(xù)聽(tīng)到有人這么說(shuō)。在我們公然地相信機(jī)器學(xué)習(xí)及其結(jié)果之前,我們還有很多沒(méi)有涉足的領(lǐng)域。在那之前,我們需要向那些構(gòu)建了算法和模型的人發(fā)起挑戰(zhàn),解釋這些答案是怎么來(lái)的。這并不是說(shuō)我們不能依靠結(jié)果,而是我們需要透明度讓我們可以信任分析、并對(duì)分析進(jìn)行驗(yàn)證。”
神話6:數(shù)據(jù)科學(xué)是一種神秘的“黑色藝術(shù)”
數(shù)據(jù)科學(xué)這個(gè)學(xué)科近些年來(lái)受到了很多關(guān)注,有時(shí)候會(huì)產(chǎn)生混淆,數(shù)據(jù)科學(xué)究竟是什么?基本上,數(shù)據(jù)科學(xué)涉及到使用算法來(lái)發(fā)現(xiàn)數(shù)據(jù)中的模式。
“數(shù)據(jù)科學(xué)似乎很神秘,因?yàn)檫@些算法能夠分析比人腦能理解的更多變量和更大的數(shù)據(jù)集,”數(shù)據(jù)存儲(chǔ)公司Micron首席信息官Trevor Schulze表示。
Schulze說(shuō):“近幾年隨著計(jì)算能力和內(nèi)存的擴(kuò)大,我們現(xiàn)在能夠快速解決10年前技術(shù)解決不了的問(wèn)題。數(shù)據(jù)科學(xué)是統(tǒng)計(jì)推斷技術(shù)的自然演變。一旦你了解了數(shù)學(xué),數(shù)據(jù)科學(xué)就沒(méi)有什么神秘的地方了。”
神話7:要做更多的數(shù)據(jù)科學(xué),你就需要更多的數(shù)據(jù)科學(xué)家
數(shù)據(jù)科學(xué)家是當(dāng)今所有技術(shù)專(zhuān)業(yè)人員中最迫切的人才類(lèi)型。如果企業(yè)組織重新定位數(shù)據(jù)科學(xué)家的工作內(nèi)容,那么用更少一點(diǎn)的數(shù)據(jù)科學(xué)家就可以做到同樣的事情。
“有很多數(shù)據(jù)科學(xué)家的時(shí)間是花在了非增值活動(dòng)上,例如尋找數(shù)據(jù)集、把數(shù)據(jù)放在可以處理的地方、轉(zhuǎn)換和清理數(shù)據(jù)。鑒于聘請(qǐng)數(shù)據(jù)科學(xué)家是很困難的一件事,所以你肯定不是想讓數(shù)據(jù)科學(xué)家來(lái)做這些低價(jià)值的工作吧。”
“Uber的Michelangelo平臺(tái)讓數(shù)據(jù)科學(xué)家可以專(zhuān)注于功能設(shè)計(jì)、提取和分析,而不是對(duì)數(shù)據(jù)進(jìn)行挖掘,這樣可以大大提高生產(chǎn)力。”
神話8:分析需要的時(shí)間太長(zhǎng)
現(xiàn)在快速完成工作對(duì)于企業(yè)來(lái)說(shuō)是一個(gè)巨大的競(jìng)爭(zhēng)考量因素,不管這個(gè)工作是將產(chǎn)品或者服務(wù)推向市場(chǎng),還是以接近實(shí)時(shí)的方式響應(yīng)客戶(hù)詢(xún)問(wèn)。分析聽(tīng)起來(lái)像是需要花費(fèi)很長(zhǎng)時(shí)間,這與實(shí)現(xiàn)速度和靈活性的目標(biāo)背道而馳。
“分析項(xiàng)目需要花費(fèi)很長(zhǎng)時(shí)間并且非常復(fù)雜——這個(gè)誤解仍然存在。最終,這是關(guān)于人才的問(wèn)題。通過(guò)恰當(dāng)?shù)募寄芙M合和敏捷方法的運(yùn)用,大問(wèn)題可以在幾天或者幾周內(nèi)得到解決,而不是幾個(gè)月的時(shí)間。”
神話9:技術(shù)是最難的部分
今天可用的技術(shù)越來(lái)越多,選擇部署和集成合適的工具組合來(lái)從分析團(tuán)隊(duì)那里得到預(yù)期的結(jié)果,這不是像公園里散步這么簡(jiǎn)單的事,咨詢(xún)公司ISG的IT外包和數(shù)字咨詢(xún)服務(wù)總監(jiān)James Burke表示。
真正難的部分是“把組織結(jié)構(gòu)和運(yùn)營(yíng)模式結(jié)合到一起,把所有從人、流程、技術(shù)角度所需要的東西結(jié)合到一起。而且,你如何在現(xiàn)有企業(yè)組織內(nèi)部或者臨近的地方做這件事情,似乎對(duì)企業(yè)來(lái)說(shuō)是最難的部分。”
不要以為分析工具會(huì)完成所有工作,這一點(diǎn)也很重要。咨詢(xún)公司W(wǎng)est Monroe的技術(shù)實(shí)踐高級(jí)總監(jiān)Greg Layok表示:“技術(shù)本身并不會(huì)解決任何業(yè)務(wù)問(wèn)題。如果企業(yè)組織急于創(chuàng)建數(shù)據(jù)湖的話,最終會(huì)陷入沼澤,一個(gè)其他任何人都無(wú)法了解的信息沼澤中。”
技術(shù)并不解決分析問(wèn)題,Layok表示。“首先,發(fā)現(xiàn)一個(gè)業(yè)務(wù)問(wèn)題,然后問(wèn)‘我需要哪些數(shù)據(jù)來(lái)解決這個(gè)問(wèn)題?’這將幫助你發(fā)現(xiàn)企業(yè)組織內(nèi)的數(shù)據(jù)鴻溝。”
神話10:數(shù)據(jù)分析應(yīng)該是一個(gè)單獨(dú)的部門(mén)
在有些企業(yè)組織內(nèi),數(shù)據(jù)分析是作為一個(gè)單獨(dú)的部門(mén)運(yùn)作的,還有一些是被嵌入到了一個(gè)跨職能部門(mén)中,咨詢(xún)和數(shù)據(jù)收集公司Delvinia總裁兼首席創(chuàng)新關(guān)Steven Mast這樣說(shuō)。
“不過(guò),隨著數(shù)據(jù)擴(kuò)展到所有業(yè)務(wù)領(lǐng)域,以及這一變化的快速發(fā)生,部門(mén)模式已經(jīng)不起作用了。隨著企業(yè)組織變得更加以客戶(hù)為中心,數(shù)據(jù)驅(qū)動(dòng)的分析專(zhuān)家應(yīng)該成為業(yè)務(wù)部門(mén)的核心,而不是作為一個(gè)你打電話許尋求支持的部門(mén)來(lái)運(yùn)作。”
今天企業(yè)組織面臨的很多復(fù)雜問(wèn)題都是發(fā)生在業(yè)務(wù)部門(mén)的,這些問(wèn)題的很多解決方案卻隱藏在數(shù)據(jù)中心。Mast表示:“數(shù)據(jù)科學(xué)家和數(shù)據(jù)專(zhuān)家正在與這些部門(mén)緊密合作,使用大型數(shù)據(jù)集和人工智能,這將成為培育下一代產(chǎn)品、服務(wù)和客戶(hù)體驗(yàn)的關(guān)鍵。”
神話11:分析僅限于有博士學(xué)位的人
在分析團(tuán)隊(duì)中有很多受過(guò)良好教育的人才是很棒的,但并不是成功的要求條件。
Saiz說(shuō):“企業(yè)往往認(rèn)為,團(tuán)隊(duì)中沒(méi)有博士的話他們就無(wú)法實(shí)現(xiàn)最佳的分析?,F(xiàn)代分析需要融合的技能——那些精通新興技術(shù)和開(kāi)源軟件的人。用擁有不同技能的人才來(lái)打造團(tuán)隊(duì),包括大數(shù)據(jù)架構(gòu)師、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、數(shù)據(jù)可視化專(zhuān)家,這才能體現(xiàn)差異。”
神話12:人工智能會(huì)毀掉人類(lèi)的工作、破壞經(jīng)濟(jì)
從歷史上看,新技術(shù)的引入顛覆了就業(yè)和行業(yè),人們擔(dān)心人工智能會(huì)消除人類(lèi)執(zhí)行某些任務(wù)的需求。
“人工智能解決方案在解決特定問(wèn)題方面要比人類(lèi)好得多,人工智能讀得更快、記得更多、計(jì)算復(fù)雜數(shù)據(jù)關(guān)系比任何人類(lèi)都好。但是,人工智能不能處理新出現(xiàn)的情況,這是人類(lèi)擅長(zhǎng)的地方。”
可以肯定的是,人工智能的發(fā)展已經(jīng)讓很多工作消失或者減少,接下來(lái)也還會(huì)有很多工作如此,“但是,我們?nèi)祟?lèi)理解和應(yīng)對(duì)完全不可預(yù)見(jiàn)的環(huán)境方面不會(huì)被現(xiàn)有任何已知的人工智能技術(shù)所取代。對(duì)于可預(yù)見(jiàn)的未來(lái),最有效的方法就是利用人工智能系統(tǒng)來(lái)增強(qiáng)人類(lèi)能力,讓人工智能執(zhí)行某些‘繁重任務(wù)’,這方面算法的表現(xiàn)是好于人類(lèi)的。盡管很多工作會(huì)因人工智能而妨礙變,但是人類(lèi)仍然是這個(gè)商業(yè)生態(tài)系統(tǒng)中的重要組成部分。”































