數(shù)據(jù)分析對(duì)公司來(lái)說(shuō)是非常有價(jià)值的，它可以提供對(duì)數(shù)據(jù)的深刻見解，而這些見解原本可能是不可見的。

正因?yàn)槿绱?，?shù)據(jù)分析也繼續(xù)吞噬著IT預(yù)算的很大一部分。據(jù)2020年的CIO狀況調(diào)查顯示，37%的IT主管表示，數(shù)據(jù)分析也將繼續(xù)推動(dòng)公司今年的IT投資，是最高的單一類別。

但即使如此也不能保證數(shù)據(jù)分析的投資一定會(huì)有回報(bào)。事實(shí)上，這門學(xué)科可能已經(jīng)充滿了問題，這些問題可能暫時(shí)會(huì)使這些項(xiàng)目脫軌，或者讓它們走向失敗。

但避免負(fù)面結(jié)果是任何想要利用數(shù)據(jù)分析的公司都能做到的--只要他們投入必要的準(zhǔn)備和工作。以下是一些組織可以采取的步驟，以避免數(shù)據(jù)分析災(zāi)難的發(fā)生和帶來(lái)失望。

制定全面的數(shù)據(jù)管理策略

公司應(yīng)該采取的第一步是建立一個(gè)全面的數(shù)據(jù)管理策略，以定義數(shù)據(jù)的收集、處理和分析，IT專業(yè)組織CompTIA的技術(shù)分析高級(jí)主管Seth Robinson說(shuō)。

“企業(yè)已經(jīng)采取了類似的措施，將網(wǎng)絡(luò)安全作為了IT的關(guān)鍵業(yè)務(wù)組件，但數(shù)據(jù)管理也應(yīng)該遵循同樣的路徑，因?yàn)閿?shù)據(jù)對(duì)企業(yè)運(yùn)營(yíng)來(lái)說(shuō)已變得如此重要。”Robinson表示。

CompTIA最近發(fā)布了一份名為“數(shù)據(jù)管理趨勢(shì)”的報(bào)告，該報(bào)告是基于對(duì)美國(guó)400名IT專業(yè)人士在2019年12月進(jìn)行的一項(xiàng)在線調(diào)查。報(bào)告顯示，許多企業(yè)都處于制定數(shù)據(jù)管理戰(zhàn)略的早期階段。

在接受調(diào)查的組織中，只有25%的人認(rèn)為他們?cè)诠緮?shù)據(jù)管理方面正處于理想狀態(tài)。報(bào)告稱，盡管數(shù)據(jù)長(zhǎng)期以來(lái)一直就是IT運(yùn)營(yíng)的一部分，但在工作角色或已定義的組件方面并沒有受到太多關(guān)注。

該戰(zhàn)略的一個(gè)重要組成部分是擁有正確的數(shù)據(jù)分析技能，以滿足公司的需求。

“數(shù)據(jù)相關(guān)的技能差距是企業(yè)在制定數(shù)據(jù)管理計(jì)劃時(shí)必須面臨的(第三大)挑戰(zhàn)，它們需要一系列不同的數(shù)據(jù)技能。”Robinson表示。其中包括了數(shù)據(jù)庫(kù)管理、數(shù)據(jù)分析和數(shù)據(jù)可視化。“其中的一些技能可以傳授給現(xiàn)有的員工，而其他技能則可能需要新的招聘或合作。”他說(shuō)。

根據(jù)CompTIA的數(shù)據(jù)，只有44%的公司表示，他們內(nèi)部已經(jīng)有了專門從事數(shù)據(jù)管理或數(shù)據(jù)分析的IT員工。雖然人們關(guān)注的是像數(shù)據(jù)科學(xué)家這樣的新職位，但依然會(huì)有更多傳統(tǒng)角色的機(jī)會(huì)，包括數(shù)據(jù)庫(kù)管理員。

“你必須咨詢或培訓(xùn)你的業(yè)務(wù)員工，使其具備數(shù)據(jù)素養(yǎng)，否則你的團(tuán)隊(duì)中可能沒有人知道可以如何開始關(guān)于數(shù)據(jù)分析的討論。”咨詢公司W(wǎng)est Monroe技術(shù)實(shí)踐的高級(jí)架構(gòu)師Jeremy Wortz補(bǔ)充道。

“不是每個(gè)人都需要成為數(shù)據(jù)科學(xué)家，但所有的商業(yè)領(lǐng)袖都需要對(duì)分析如何驅(qū)動(dòng)價(jià)值有一個(gè)基本的理解。”

優(yōu)先考慮數(shù)據(jù)集成

與數(shù)據(jù)分析相關(guān)的最常見的問題實(shí)際上是出現(xiàn)在整個(gè)數(shù)據(jù)流過(guò)程的早期，缺乏數(shù)據(jù)集成，Robinson說(shuō)。“如果沒有將所有的公司數(shù)據(jù)聯(lián)系在一起，數(shù)據(jù)分析就將在尋找聯(lián)系和洞察力方面受到限制。”他說(shuō)。

CompTIA的研究發(fā)現(xiàn)，整合數(shù)據(jù)將會(huì)是解決問題的關(guān)鍵。公司在其數(shù)據(jù)管理戰(zhàn)略中列舉了兩個(gè)挑戰(zhàn)。只有加快數(shù)據(jù)分析的步伐才能在挑戰(zhàn)中名列前茅。

幾年來(lái)，CompTIA research發(fā)現(xiàn)，在技術(shù)計(jì)劃上獨(dú)立工作的業(yè)務(wù)部門最終會(huì)面臨集成方面的挑戰(zhàn)。因此，組織正在試圖避免影子IT，轉(zhuǎn)而采用協(xié)作性的方法，這種方法可以在保持對(duì)所有業(yè)務(wù)系統(tǒng)的包容性視圖的同時(shí)，仍然給業(yè)務(wù)部門一些自由。

CompTIA的報(bào)告說(shuō)，將數(shù)據(jù)收集到一個(gè)單一的存儲(chǔ)庫(kù)中將會(huì)是這種方法的一部分，另外，對(duì)于能夠在盡可能廣泛的數(shù)據(jù)集上運(yùn)行AI計(jì)劃也是至關(guān)重要的。該研究指出，盡管數(shù)據(jù)集成可能會(huì)是最大的挑戰(zhàn)，但在被調(diào)查者中，數(shù)據(jù)孤島問題依舊沒有被廣泛認(rèn)為是一個(gè)問題。

考慮到82%的公司表示他們有一個(gè)高度的或中等程度的數(shù)據(jù)孤島，“在數(shù)據(jù)孤島方面究竟有多大的問題，以及如何將它們準(zhǔn)確地集成到一個(gè)公共數(shù)據(jù)集上，存在明顯的脫節(jié)。”報(bào)告說(shuō)。

除了數(shù)據(jù)源的技術(shù)集成之外，企業(yè)還需要在各個(gè)業(yè)務(wù)部門和IT職能部門之間建立數(shù)據(jù)共享流程。

“就像其他的許多方面一樣，這些組織之間的合作需求也在不斷的增長(zhǎng)。”Robinson說(shuō)。“業(yè)務(wù)部門帶來(lái)的知識(shí)將是最有幫助的見解，而IT團(tuán)隊(duì)則擁有交付技術(shù)解決方案的專業(yè)知識(shí)。定期溝通將有助于建立適當(dāng)?shù)姆答佈h(huán)，以優(yōu)化數(shù)據(jù)分析，為業(yè)務(wù)提供最佳的服務(wù)。”

進(jìn)行有效的DataOps實(shí)踐

DataOps(data operations)是一種自動(dòng)化的、面向流程的方法，數(shù)據(jù)分析團(tuán)隊(duì)可以使用它來(lái)提高分析質(zhì)量和縮短分析周期。它最初只是一組最佳實(shí)踐，而現(xiàn)在已經(jīng)成熟為了一種新的、獨(dú)立的數(shù)據(jù)分析方法。

該方法適用于從數(shù)據(jù)準(zhǔn)備到報(bào)告的整個(gè)數(shù)據(jù)生命周期，并承認(rèn)了數(shù)據(jù)分析團(tuán)隊(duì)和IT運(yùn)營(yíng)之間的內(nèi)在聯(lián)系。

與DevOps類似，DataOps整合了敏捷方法，以縮短分析開發(fā)的周期，使之能夠與業(yè)務(wù)目標(biāo)保持一致。DevOps可以通過(guò)利用IT資源和自動(dòng)化測(cè)試和部署來(lái)持續(xù)交付高質(zhì)量的軟件，而DataOps的目標(biāo)也是為數(shù)據(jù)分析帶來(lái)同樣的改進(jìn)。

跨國(guó)生物制藥公司Amgen的數(shù)據(jù)戰(zhàn)略與運(yùn)營(yíng)高級(jí)總監(jiān)James Royster表示，如果企業(yè)想要改善分析結(jié)果，“全面實(shí)施DataOps是至關(guān)重要的”。

該公司已經(jīng)從DataKitchen部署了一個(gè)DataOps平臺(tái)，并取得了“巨大的成功”，Royster說(shuō)。“DataOps涉及到需要設(shè)計(jì)一個(gè)帶有內(nèi)置錯(cuò)誤處理的數(shù)據(jù)分析，”他說(shuō)。“數(shù)據(jù)分析需要使用自動(dòng)化的方法來(lái)測(cè)試和控制數(shù)據(jù)的質(zhì)量，以便減少錯(cuò)誤并避免數(shù)據(jù)的完整性問題。”

組織經(jīng)常會(huì)遇到數(shù)據(jù)錯(cuò)誤的問題，這些問題可能會(huì)危及項(xiàng)目本身，Royster說(shuō)。這些錯(cuò)誤包括了底層數(shù)據(jù)集的錯(cuò)誤。“所以你必須對(duì)原始數(shù)據(jù)進(jìn)行清理和預(yù)處理，”他表示。“錯(cuò)誤在任何大型數(shù)據(jù)集中都是很常見的。”

此外，從具有不同業(yè)務(wù)規(guī)則的不同位置獲取相同的數(shù)據(jù)也可能會(huì)產(chǎn)生錯(cuò)誤。“同一企業(yè)中的不同組織可能會(huì)使用不同的算法、工作流或假設(shè)來(lái)處理相同的數(shù)據(jù)。”Royster說(shuō)。

許多公司還不能快速連接和轉(zhuǎn)換數(shù)據(jù)以滿足當(dāng)前的需求。“市場(chǎng)在迅速發(fā)展，業(yè)務(wù)需求也在變化，”Royster說(shuō)。“數(shù)據(jù)團(tuán)隊(duì)必須能夠更新數(shù)據(jù)轉(zhuǎn)換，以跟上用戶和利益相關(guān)者的請(qǐng)求。”

提出正確的數(shù)據(jù)分析問題

組織需要堅(jiān)持不懈地關(guān)注那些能夠通過(guò)數(shù)據(jù)分析傳遞價(jià)值的關(guān)鍵問題，West Monroe的Wortz說(shuō)。

“事實(shí)是，無(wú)論你的工具和技術(shù)有多先進(jìn)，你的數(shù)據(jù)本身都不會(huì)帶來(lái)任何價(jià)值，除非你能獲得驅(qū)動(dòng)戰(zhàn)略結(jié)果的洞察力，”Wortz說(shuō)。所有的分析，包括人工智能和機(jī)器學(xué)習(xí)，都應(yīng)該產(chǎn)生深刻的見解，他補(bǔ)充道。

實(shí)現(xiàn)這一目標(biāo)的關(guān)鍵是能夠提出與價(jià)值創(chuàng)造相關(guān)的有影響力的問題，Wortz說(shuō)。“潛在客戶需要多長(zhǎng)時(shí)間才能成為真正的客戶?為什么客戶會(huì)流失?他們什么時(shí)候會(huì)帶來(lái)變化?”他說(shuō)。“一旦你有了基本的答案，你就可以提出與業(yè)務(wù)相關(guān)的假設(shè)，然后用新的、更簡(jiǎn)單的問題重新開始這個(gè)過(guò)程。”

West Monroe最近在與一個(gè)客戶合作，進(jìn)行了一個(gè)以銷售為中心的人工智能和機(jī)器學(xué)習(xí)項(xiàng)目。

“機(jī)器學(xué)習(xí)模型為組織帶來(lái)了大量的收入，但是我們?cè)跒樗惴ㄗ鰷?zhǔn)備的整個(gè)過(guò)程中都保持著對(duì)數(shù)據(jù)集的洞察力，”Wortz說(shuō)。“我們中的許多人都認(rèn)為，通過(guò)在數(shù)據(jù)中發(fā)現(xiàn)普遍適用的洞見(例如基于特定產(chǎn)品的特定地區(qū)的特定客戶問題)，ML的工作所產(chǎn)生的價(jià)值與向AI算法所輸入的數(shù)據(jù)一樣多。

這給了該組織一個(gè)快速增值的機(jī)會(huì)，因?yàn)閃est Monroe建立了ML系統(tǒng)的長(zhǎng)期價(jià)值，“同時(shí)這也為算法提供了更高質(zhì)量的數(shù)據(jù)集，”Wortz說(shuō)。

只分析干凈、準(zhǔn)確的數(shù)據(jù)

這種做法可能是屬于構(gòu)建和執(zhí)行總體數(shù)據(jù)管理戰(zhàn)略的范疇。但它本身作為一種最佳實(shí)踐仍然值得一提。如果分析的數(shù)據(jù)不準(zhǔn)確，結(jié)果和見解就會(huì)受到污染。

“在我看來(lái)，最重要的步驟是，在提供任何見解之前，數(shù)據(jù)必須是可辯護(hù)的、可理解的和可接受的，”技術(shù)研究和咨詢公司ISG的首席數(shù)據(jù)和分析官Kathy Rudy表示。

“這意味著數(shù)據(jù)需要是干凈的、最新的、有效的，并且來(lái)自可信的記錄系統(tǒng)，”Rudy說(shuō)。“干凈的數(shù)據(jù)意味著在進(jìn)行任何分析之前，你可能已經(jīng)花了大量時(shí)間來(lái)檢查和清理數(shù)據(jù)。”這通常會(huì)花費(fèi)相當(dāng)多的時(shí)間，尤其是在跨數(shù)據(jù)庫(kù)交付報(bào)告的情況下。”

Rudy表示，這會(huì)是一個(gè)關(guān)鍵的步驟，通常被稱為主數(shù)據(jù)管理。

“管理層必須確認(rèn)數(shù)據(jù)的來(lái)源、流通和準(zhǔn)確性，否則他們就不會(huì)接受結(jié)果，而你將需要花更多的時(shí)間來(lái)捍衛(wèi)數(shù)據(jù)，而不是交付價(jià)值，”Rudy說(shuō)。“它還會(huì)給數(shù)據(jù)團(tuán)隊(duì)帶來(lái)不必要的周期，可能會(huì)讓你失去可信度。”

在線學(xué)生服務(wù)提供商Kaplan Higher Education的首席信息官Pratyush Rai表示，擁有堅(jiān)實(shí)的技術(shù)基礎(chǔ)非常重要，“尤其是在數(shù)據(jù)準(zhǔn)備方面，而在許多組織中，對(duì)底層架構(gòu)的關(guān)注顯然不夠。”這會(huì)導(dǎo)致重復(fù)記錄和臟數(shù)據(jù)的產(chǎn)生，使得數(shù)據(jù)分析更具有挑戰(zhàn)性。”

創(chuàng)建一個(gè)有凝聚力的協(xié)作分析團(tuán)隊(duì)

成功的分析以及避免失望需要團(tuán)隊(duì)的合作，這通常也意味著必須消除部門的孤立。

“組織通常很難創(chuàng)建和共享數(shù)據(jù)體驗(yàn)，因?yàn)閿?shù)據(jù)往往是存儲(chǔ)在多個(gè)孤島上的，并且缺乏用于治理、數(shù)據(jù)發(fā)現(xiàn)、編目的工具，以及工程、分析和業(yè)務(wù)團(tuán)隊(duì)之間的協(xié)作，”為能源行業(yè)提供分析服務(wù)的公司Vortexa的首席技術(shù)官M(fèi)aksym Schipka表示。

“你需要把你的團(tuán)隊(duì)組織成多功能的團(tuán)隊(duì)，在一個(gè)團(tuán)隊(duì)中平衡業(yè)務(wù)分析師、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、軟件工程師和質(zhì)量保證，”Schipka說(shuō)。“要避免陷入擁有一個(gè)單獨(dú)的數(shù)據(jù)科學(xué)團(tuán)隊(duì)的陷阱。因?yàn)檫@肯定會(huì)導(dǎo)致項(xiàng)目的失敗。”

Vortex確保了分析團(tuán)隊(duì)能夠完全掌握它所使用的分析工具的選擇，比如來(lái)自Lenses.io的數(shù)據(jù)操作平臺(tái)和來(lái)自Amazon Web services的云服務(wù)。

但Schipka表示，無(wú)論使用何種分析工具，組織都應(yīng)該期望在數(shù)據(jù)分析團(tuán)隊(duì)中擁有數(shù)據(jù)科學(xué)家和數(shù)據(jù)工程師的組合。“確切的比例將取決于需要回答的業(yè)務(wù)問題的復(fù)雜性，以及實(shí)現(xiàn)這一目標(biāo)所需技術(shù)的復(fù)雜性。”她說(shuō)。