01 什么是數(shù)據(jù)科學(xué)?數(shù)據(jù)科學(xué)是做什么的?

首先從數(shù)據(jù)科學(xué)領(lǐng)域的討論開始。 讓我們從定義數(shù)據(jù)科學(xué)以及數(shù)據(jù)科學(xué)家的角色和責(zé)任開始討論，這兩個角色描述了人工智能和機(jī)器學(xué)習(xí)的領(lǐng)域和執(zhí)行其計劃所需要的技能(請注意，很多專業(yè)角色越來越普遍，如機(jī)器學(xué)習(xí)工程師)。

盡管數(shù)據(jù)科學(xué)家通常有許多不同的教育背景和工作經(jīng)驗，但大多數(shù)人應(yīng)該在四個基本領(lǐng)域(理想情況下是專家)都很強(qiáng)，我稱之為數(shù)據(jù)科學(xué)專業(yè)知識的四大支柱。數(shù)據(jù)科學(xué)家應(yīng)該具備下述這些領(lǐng)域(沒有特別的順序)的專業(yè)知識：

• 商業(yè)或相關(guān)的商業(yè)領(lǐng)域
• 數(shù)學(xué)(包括統(tǒng)計和概率)
• 計算機(jī)科學(xué)(包括軟件編程)
• 書面和口頭交流

還非常需要其他的一些技能和專業(yè)知識，但在我看來，主要是上述四項。

實際上，人們通常在四個支柱中的一個或兩個方面很強(qiáng)大，但很少在四個方面都強(qiáng)大。如果碰巧遇到一個在四個方面都很強(qiáng)大的數(shù)據(jù)科學(xué)家，那么他是真正的專家，您就發(fā)現(xiàn)了一個常被稱為獨(dú)角獸的人。在四個支柱中都擁有相當(dāng)程度專業(yè)知識和能力的人很難找到的，嚴(yán)重缺乏。

因此，許多公司已經(jīng)開始圍繞數(shù)據(jù)科學(xué)的特定支柱設(shè)置專門的角色，當(dāng)把這些人集合在一起時，就相當(dāng)于擁有了數(shù)據(jù)科學(xué)家。

例如組建一個三人團(tuán)隊，其中一個人有MBA背景，一個是統(tǒng)計學(xué)家，另一個是機(jī)器學(xué)習(xí)或軟件工程師，當(dāng)然團(tuán)隊還可以包括數(shù)據(jù)工程師。這個團(tuán)隊就可以同時執(zhí)行多個任務(wù)，每個人在任何給定時間都專注于計劃的某個方面。

基于這些支柱，數(shù)據(jù)科學(xué)家應(yīng)該能夠利用現(xiàn)有數(shù)據(jù)源，根據(jù)需要創(chuàng)建新數(shù)據(jù)源，以提取有意義的信息、產(chǎn)生深入可操作的洞見、支持?jǐn)?shù)據(jù)驅(qū)動的決策、以及構(gòu)建人工智能解決方案。

這需要業(yè)務(wù)領(lǐng)域的專業(yè)知識、有效的溝通和結(jié)果解讀，以及利用所有相關(guān)的統(tǒng)計技術(shù)、編程語言、軟件包、庫和數(shù)據(jù)基礎(chǔ)設(shè)施。簡而言之，這就是數(shù)據(jù)科學(xué)所要做的事情。

02 機(jī)器學(xué)習(xí)的定義及其關(guān)鍵特點(diǎn)

機(jī)器學(xué)習(xí)經(jīng)常被認(rèn)為是人工智能的子集。我們先討論機(jī)器學(xué)習(xí)。

記住我們對人工智能的簡單定義，即機(jī)器展示的智能。這基本上描述了機(jī)器從信息中學(xué)習(xí)并應(yīng)用所學(xué)知識做事以及繼續(xù)從經(jīng)驗中學(xué)習(xí)的能力。

在許多人工智能應(yīng)用中，機(jī)器學(xué)習(xí)是人工智能應(yīng)用過程中用于學(xué)習(xí)的一組技術(shù)。一些具體技術(shù)可以被視為人工智能和機(jī)器學(xué)習(xí)的子集，通常包括神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)，如圖4-1所示：

▲圖4-1 人工智能，機(jī)器學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)之間的關(guān)系

我非常喜歡這個簡潔的機(jī)器學(xué)習(xí)定義，這是我在谷歌設(shè)計博客文章中讀到的：“機(jī)器學(xué)習(xí)是一門根據(jù)模式和關(guān)系進(jìn)行預(yù)測的科學(xué)，這些模式和關(guān)系是從數(shù)據(jù)中自動發(fā)現(xiàn)的。”

我對機(jī)器學(xué)習(xí)通常的非技術(shù)定義是：機(jī)器學(xué)習(xí)是不需要顯性編程，從數(shù)據(jù)中自動學(xué)習(xí)的過程，而且具有根據(jù)經(jīng)驗擴(kuò)展知識的能力。

機(jī)器學(xué)習(xí)與基于規(guī)則技術(shù)的關(guān)鍵區(qū)別在于不需要顯性編程，特別是在特定領(lǐng)域、行業(yè)和業(yè)務(wù)功能方面。諸如深度學(xué)習(xí)之類的高級技術(shù)可能根本不需要領(lǐng)域的專門知識，而在其他情況下，領(lǐng)域的專門知識是以選擇或設(shè)計訓(xùn)練模型特征的形式提供的(在非機(jī)器學(xué)習(xí)應(yīng)用程序中，稱為變量、數(shù)據(jù)字段或數(shù)據(jù)屬性)。

在這兩種情況下，不需要顯性編程絕對關(guān)鍵，而且實際上是機(jī)器學(xué)習(xí)要理解的最為重要的方面。讓我們通過下面的案例來解釋。

在機(jī)器學(xué)習(xí)出道之前，假設(shè)您是負(fù)責(zé)創(chuàng)建預(yù)測模型的程序員，該模型能夠預(yù)測某類貸款的申請人是否會拖欠，因此決定是否應(yīng)該批準(zhǔn)該筆貸款。為此您可能編寫一個很長的專門針對金融行業(yè)的軟件程序，輸入個人的FICO分?jǐn)?shù)、信用記錄和貸款申請類型等信息。

代碼包含許多非常明確的編程語句(例如條件語句和循環(huán)語句)。偽代碼看上去(用普通英語編寫的代碼)可能像下面這樣：

If the persons FICO score is above 800, then they will likely not default 
    and should be approved 
Else if the persons FICO score is between 700 and 800 
    If the person has never defaulted on any loan, they will likely not 
      default and should be approved 
    Else the will likely default and should not be approved 
Else if the persons FICO score is less than 700 
        ... 

這是一個非常顯性的編程(基于規(guī)則預(yù)測的模型)案例，它包含以代碼形式表達(dá)的貸款行業(yè)特定領(lǐng)域的專業(yè)知識。該程序?qū)儆谟簿幋a，只能做一件事。它需要領(lǐng)域及行業(yè)的專業(yè)知識來確定規(guī)則(場景)。

該程序非常死板，不一定代表所有可能導(dǎo)致潛在貸款違約的因素。對于貸款行業(yè)出現(xiàn)的各種新變化，還必須通過手動輸入來更新程序。

看得出來這種方式不是特別有效或最優(yōu)，也不會產(chǎn)生可能的最佳預(yù)測模型。另一方面，機(jī)器學(xué)習(xí)使用正確的數(shù)據(jù)卻可以做到這一點(diǎn)，而且無需任何顯性編程，特別是包含貸款行業(yè)專業(yè)知識的代碼。

這里對機(jī)器學(xué)習(xí)做出了有些過于簡單的解釋，機(jī)器學(xué)習(xí)能夠在不知道相關(guān)數(shù)據(jù)或領(lǐng)域的情況下以數(shù)據(jù)集作為輸入，經(jīng)過同樣不知道相關(guān)數(shù)據(jù)或領(lǐng)域的機(jī)器學(xué)習(xí)算法處理生成預(yù)測模型，該模型擁有專業(yè)知識并了解如何將輸入映射到輸出，使最準(zhǔn)確的預(yù)測成為可能。

如果能理解這一點(diǎn)，大概就在高層次上理解了機(jī)器學(xué)習(xí)的目的。

值得一提的是，雖然機(jī)器學(xué)習(xí)算法本身能夠在不需要顯性編程的情況下學(xué)習(xí)，但是在構(gòu)思、構(gòu)建和測試基于機(jī)器學(xué)習(xí)的人工智能解決方案的整個過程中，仍然非常需要人的參與。

03 機(jī)器學(xué)習(xí)的方式

機(jī)器通過各種不同的技術(shù)從數(shù)據(jù)中學(xué)習(xí)，其中最主要的包括有監(jiān)督、無監(jiān)督、半監(jiān)督、強(qiáng)化和轉(zhuǎn)移學(xué)習(xí)。用于訓(xùn)練和優(yōu)化機(jī)器學(xué)習(xí)模型的數(shù)據(jù)通常被分為有標(biāo)簽和無標(biāo)簽兩類，如圖4-2所示。

▲圖4-2 有標(biāo)簽與無標(biāo)簽數(shù)據(jù)

有標(biāo)簽數(shù)據(jù)有目標(biāo)變量或值，對于給定的特征值組合(也稱為變量、屬性、字段)，可以對目標(biāo)變量或值進(jìn)行預(yù)測。預(yù)測建模(機(jī)器學(xué)習(xí)的應(yīng)用)在有標(biāo)簽數(shù)據(jù)集上訓(xùn)練模型，然后預(yù)測新特征值組合的目標(biāo)值。因為數(shù)據(jù)集中存在目標(biāo)數(shù)據(jù)所以稱為有標(biāo)簽數(shù)據(jù)。

另一方面，無標(biāo)簽數(shù)據(jù)也有特征值，但沒有特定的目標(biāo)數(shù)據(jù)或標(biāo)簽。這使得無標(biāo)簽數(shù)據(jù)特別適合于分組(即聚類和分割)及異常檢測。

值得注意的是，很不幸，可能很難獲得足夠數(shù)量的有標(biāo)簽數(shù)據(jù)，而且產(chǎn)生這些數(shù)據(jù)可能會花費(fèi)大量的金錢和時間。可以把標(biāo)簽自動添加到數(shù)據(jù)記錄中，也可能需要人工添加(數(shù)據(jù)記錄也稱為樣本，可以想象為電子表格中的一行)。

有監(jiān)督學(xué)習(xí)是指使用有標(biāo)簽數(shù)據(jù)的機(jī)器學(xué)習(xí)，而無監(jiān)督學(xué)習(xí)使用無標(biāo)簽數(shù)據(jù)。半監(jiān)督學(xué)習(xí)使用有標(biāo)簽和無標(biāo)簽的混合數(shù)據(jù)。

讓我們從高層次簡要討論不同的學(xué)習(xí)類型。有監(jiān)督學(xué)習(xí)有許多潛在的應(yīng)用，如預(yù)測、個性化推薦系統(tǒng)和模式識別。

有監(jiān)督學(xué)習(xí)又被進(jìn)一步細(xì)分為回歸和分類兩類應(yīng)用。這兩種方法都被用來做預(yù)測。回歸主要用于預(yù)測單個離散或?qū)崝?shù)值，而分類則用于將一個或多個類分配給某組輸入數(shù)據(jù)(例如電子郵件中的垃圾或非垃圾郵件)。

無監(jiān)督學(xué)習(xí)最常見的應(yīng)用是聚類和異常檢測，一般來說，無監(jiān)督學(xué)習(xí)主要聚焦在模式識別。其他應(yīng)用包括主成份分析(PCA)和奇異值分解(SVD)的降維(減少數(shù)據(jù)變量的數(shù)量，簡化模型的復(fù)雜性)。

盡管基礎(chǔ)數(shù)據(jù)無標(biāo)簽，但是當(dāng)標(biāo)簽、特征或配置通過無監(jiān)督學(xué)習(xí)過程本身以外的過程應(yīng)用于集群(分組)發(fā)現(xiàn)時，無監(jiān)督學(xué)習(xí)技術(shù)就可以應(yīng)用到有用的預(yù)測中。

無監(jiān)督學(xué)習(xí)的挑戰(zhàn)之一是沒有特別好的方法來確定無監(jiān)督學(xué)習(xí)生成模型的性能。輸出全憑您對它的理解，沒有正確或錯誤。這是因為數(shù)據(jù)中沒有標(biāo)簽或目標(biāo)變量，因此沒有可用于比較模型結(jié)果的數(shù)據(jù)。盡管存在這種局限性，無監(jiān)督學(xué)習(xí)仍然非常強(qiáng)大，并且有許多實際應(yīng)用。

當(dāng)無標(biāo)簽數(shù)據(jù)很豐富，而有標(biāo)簽數(shù)據(jù)不多時，半監(jiān)督學(xué)習(xí)可以是一種非常有用的方法。

在涉及有標(biāo)簽和無標(biāo)簽數(shù)據(jù)的機(jī)器學(xué)習(xí)任務(wù)中，該過程接受數(shù)據(jù)輸入并將其映射到某種類型的輸出。大多數(shù)機(jī)器學(xué)習(xí)模型的輸出非常簡單，要么是一個數(shù)字(連續(xù)的或離散的，例如3.1415)，要么是一個或多個類別(即類;例如“垃圾郵件”，“熱狗”)，要么是概率(例如35%的可能性)。

在更高級的人工智能案例中，輸出可能是結(jié)構(gòu)化的預(yù)測(即一組預(yù)測值而非單個值)，預(yù)測的一系列字符和單詞(例如短語、句子)，或最近芝加哥小熊隊比賽的人工生成簡要報道(加油小熊!)

04 人工智能的定義和概念

前面給出了人工智能的簡單定義，即機(jī)器展示的智能，其中包括機(jī)器學(xué)習(xí)和諸如深度學(xué)習(xí)之類的特定技術(shù)子集。在進(jìn)一步明確人工智能的定義之前，我們先定義普通智能的概念。智能的定義是：

學(xué)習(xí)、理解和應(yīng)用所學(xué)的知識來實現(xiàn)一個或多個目標(biāo)。

因此，智能基本上是利用所學(xué)知識實現(xiàn)目標(biāo)和執(zhí)行任務(wù)的過程(對人類來說，例子包括決策、交談和做事)。現(xiàn)在已經(jīng)定義了普通智能，很容易看出人工智能只是機(jī)器展示的智能。

更具體地說，人工智能描述的是：當(dāng)一臺機(jī)器能夠從信息(數(shù)據(jù))中學(xué)習(xí)，產(chǎn)生某種程度的理解，然后利用所學(xué)知識去做一些事情。

人工智能領(lǐng)域涉及并從一些科學(xué)中吸取經(jīng)驗，包括神經(jīng)科學(xué)、心理學(xué)、哲學(xué)、數(shù)學(xué)、統(tǒng)計學(xué)、計算機(jī)科學(xué)、計算機(jī)程序設(shè)計等。因為人工智能的基礎(chǔ)及其與認(rèn)知關(guān)系，它有時也被稱為機(jī)器智能或認(rèn)知計算;也就是說與形成知識和理解有關(guān)的心理過程。

更具體地說，認(rèn)知和更廣泛的認(rèn)知科學(xué)領(lǐng)域是用來描述大腦的過程、功能和其他機(jī)制的術(shù)語，這些機(jī)制使收集、處理、存儲和使用信息生成智能和驅(qū)動行為成為可能。認(rèn)知過程包括注意力、知覺、記憶、推理、理解、思考、語言、記憶等等。其他相關(guān)的、更深層次的哲學(xué)概念包括思想、感覺、感受和意識。

那么是什么力量推動智能呢?對于人工智能應(yīng)用，答案是以數(shù)據(jù)形式提供的信息。對于人類和動物來說，通過五官從經(jīng)驗和周圍環(huán)境中不斷收集新信息。然后把這些信息傳遞給大腦的認(rèn)知過程和功能。

令人驚訝的是，人類還可以通過運(yùn)用已有的信息和知識來理解和形成有關(guān)其他事物的知識，以及形成人們對新話題的想法和看法，例如，從大腦中學(xué)習(xí)已有的信息和知識。有多少次思考過一些已經(jīng)理解了的信息，然后一個“啊哈!”導(dǎo)致對其他事物有了全新理解的時刻?

經(jīng)驗因素也嚴(yán)重影響人工智能。人工智能是通過利用給定任務(wù)的相關(guān)數(shù)據(jù)進(jìn)行訓(xùn)練和優(yōu)化過程實現(xiàn)的。隨著新數(shù)據(jù)的出現(xiàn)，人工智能應(yīng)用可以不斷地更新和改進(jìn)，這是人工智能從經(jīng)驗中學(xué)習(xí)的一面。

能夠不斷地從新數(shù)據(jù)中學(xué)習(xí)很重要，其原因很多。首先，世界及人類在不斷地變化。新技術(shù)潮來潮往，創(chuàng)新不斷出現(xiàn)，舊產(chǎn)業(yè)被顛覆。

例如今天網(wǎng)上購物的數(shù)據(jù)可能與您明天或幾年后的完全不同。汽車制造商可能會開始問，什么因素對購買飛行車輛的貢獻(xiàn)最大，或許不是目前正在日益普及和廣泛使用的電動汽車。

最終，數(shù)據(jù)和從中訓(xùn)練出來的模型會過時，該現(xiàn)象被稱為模型漂移。因此，通過不斷學(xué)習(xí)新數(shù)據(jù)繼續(xù)獲得經(jīng)驗和知識，更新任何人工智能應(yīng)用至關(guān)重要。

05 數(shù)據(jù)推動人工智能

人工智能、機(jī)器學(xué)習(xí)、大數(shù)據(jù)、物聯(lián)網(wǎng)和任何其他形式的分析驅(qū)動的解決方案都有一個共同點(diǎn)：數(shù)據(jù)。事實上，數(shù)據(jù)為數(shù)字技術(shù)的各個方面提供了動力。

1. 大數(shù)據(jù)

世界從未像今天這樣收集或存儲過如此之多的數(shù)據(jù)。此外，數(shù)據(jù)的多樣性、容量和生成速率正在以驚人的速度增長。

大數(shù)據(jù)領(lǐng)域是關(guān)于如何高效地從那些龐大、多樣和快速移動的數(shù)據(jù)集中，有效地獲取、集成、準(zhǔn)備和分析信息。但是，由于硬件及計算條件的限制，從數(shù)據(jù)集中處理和提取數(shù)值可能不具備可行性或不可實現(xiàn)。

為了應(yīng)對這些挑戰(zhàn)，需要創(chuàng)新硬件工具、軟件工具和分析技術(shù)。大數(shù)據(jù)是用來描述數(shù)據(jù)集、相關(guān)技術(shù)和訂制工具組合的術(shù)語。

此外，如果沒有某種形式的伴隨性分析(除非數(shù)據(jù)是貨幣化的)，任何類型的數(shù)據(jù)基本上都沒有用途。除了前面給出的描述之外，人們還用大數(shù)據(jù)來描述在非常大的數(shù)據(jù)集上進(jìn)行的分析，這可能包括諸如人工智能和機(jī)器學(xué)習(xí)之類的先進(jìn)分析技術(shù)。

可以把數(shù)據(jù)從高層次分為結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化三類，如圖4-4所示。

▲圖4-4 數(shù)據(jù)類型

2. 特定的數(shù)據(jù)源

有許多特定類型的數(shù)據(jù)源，任何大型公司都有許多數(shù)據(jù)源在同時使用。某些類型的數(shù)據(jù)可以用于自動化和優(yōu)化面向客戶的產(chǎn)品和服務(wù)，而其他類型的數(shù)據(jù)更適合于優(yōu)化內(nèi)部應(yīng)用。以下是一份可能的數(shù)據(jù)源清單，我們將逐一討論：

• 客戶
• 銷售和營銷運(yùn)營
• 活動和交易
• 物聯(lián)網(wǎng)
• 非結(jié)構(gòu)化
• 第三方
• 公共

大多數(shù)公司都在使用客戶關(guān)系管理工具(客戶關(guān)系管理系統(tǒng))。這些工具用來管理現(xiàn)有和潛在的客戶、供應(yīng)商和服務(wù)提供商之間的互動關(guān)系。

此外，許多客戶關(guān)系管理系統(tǒng)工具可以采用本地部署或集成的方式來管理多種渠道的客戶營銷、通信、目標(biāo)定位和個性化。因此，客戶關(guān)系管理系統(tǒng)工具對于以客戶為中心的人工智能應(yīng)用來說是非常重要的數(shù)據(jù)源。

盡管許多公司使用客戶關(guān)系管理系統(tǒng)工具作為其主要的客戶數(shù)據(jù)庫，但客戶數(shù)據(jù)平臺(CDP)工具(如Agilone)，通過整合客戶行為、參與度和銷售方面的數(shù)據(jù)源，創(chuàng)建單一、統(tǒng)一的客戶數(shù)據(jù)庫。類似于數(shù)據(jù)倉庫，客戶數(shù)據(jù)平臺(CDP)工具旨在供非技術(shù)人員使用，用于推動高效分析、洞見收集和目標(biāo)營銷。

銷售數(shù)據(jù)即使不是公司最重要的數(shù)據(jù)，也應(yīng)該是比較重要的數(shù)據(jù)。典型的數(shù)據(jù)源包括那些有實體營業(yè)網(wǎng)點(diǎn)的銷售點(diǎn)數(shù)據(jù)、在線購物應(yīng)用的電子商務(wù)數(shù)據(jù)以及服務(wù)銷售的應(yīng)收賬款數(shù)據(jù)。許多實體公司也在網(wǎng)上銷售產(chǎn)品，因此能夠同時使用這兩種數(shù)據(jù)源。

市場營銷部門通過多個渠道向客戶傳達(dá)和提供報價，并生成相應(yīng)的基于特定渠道的數(shù)據(jù)。常見的營銷數(shù)據(jù)源包括電子郵件、社交、付費(fèi)搜索、程序廣告、數(shù)字媒體參與(如博客、白皮書、網(wǎng)絡(luò)研討會、信息圖表)和移動應(yīng)用通知推送。

運(yùn)營數(shù)據(jù)以業(yè)務(wù)功能和流程為中心。示例包括與客戶服務(wù)、供應(yīng)鏈、庫存、訂購、IT(如網(wǎng)絡(luò)、日志、服務(wù)器)、制造、物流和會計相關(guān)的數(shù)據(jù)。運(yùn)營數(shù)據(jù)通常最適合用于深入了解公司的內(nèi)部運(yùn)營，改進(jìn)甚至自動化流程，以實現(xiàn)諸如提高運(yùn)營效率和降低運(yùn)營成本等目標(biāo)。

像軟件即服務(wù)(SaaS)和移動應(yīng)用這些主要圍繞數(shù)字產(chǎn)品的公司，通常會生成和收集大量基于事件和事務(wù)的數(shù)據(jù)。

值得注意的是，盡管單個銷售的數(shù)據(jù)可以被認(rèn)為屬于交易性質(zhì)，但并非所有銷售數(shù)據(jù)都與交易有關(guān)。事件和事務(wù)數(shù)據(jù)可以包括銀行轉(zhuǎn)賬、提交應(yīng)用、放棄在線購物車、用戶交互和參與數(shù)據(jù)(如點(diǎn)擊數(shù)流)以及由谷歌分析等應(yīng)用收集的數(shù)據(jù)。

研究表明，隨著物聯(lián)網(wǎng)革命的全面展開，2025年將通過全球超過750億臺連接設(shè)備創(chuàng)造高達(dá)11萬億美元的經(jīng)濟(jì)價值。毋庸諱言，連接的設(shè)備和傳感器所產(chǎn)生的數(shù)據(jù)量越來越大。這些數(shù)據(jù)對人工智能應(yīng)用非常有價值。

公司還擁有大量非常有價值的非結(jié)構(gòu)化數(shù)據(jù)，這些數(shù)據(jù)通常大都未被使用。前面討論過的非結(jié)構(gòu)化數(shù)據(jù)可以包括圖像、視頻、音頻和文本。源于產(chǎn)品或服務(wù)的客戶評論、反饋和調(diào)查結(jié)果等文本數(shù)據(jù)對于自然語言處理應(yīng)用特別有用。

最后，公司通常會使用多個第三方的軟件工具，這些工具可能沒有在本節(jié)中提到。許多軟件工具允許數(shù)據(jù)與其他工具集成，也可以導(dǎo)出以便于分析和轉(zhuǎn)移。在許多情況下，可以購買第三方的數(shù)據(jù)。

最后，隨著互聯(lián)網(wǎng)的爆炸式增長和開放源碼運(yùn)動的開展，還可以使用大量免費(fèi)、可用和非常有價值的公開數(shù)據(jù)。