最新的KDnuggets調查統計了數據科學家們實際工作中最常使用的算法，在大多數學術和產業界，都有驚人發現哦!

根據Gregory Piatetsky, KDnuggets，最新的調查問題是：在最近的12個月中，你在實際數據科學相關應用中用到了那些模型/算法?

于是就有了以下基于844份答卷的結果。

◆ ◆ ◆

排名前十的算法和它們在投票者中所占比例

圖1：數據科學家最常用的10大算法，所有算法見文末表格

每個受訪者平均用到了8.1種算法，這相比于 2011 的相似調查顯示的結果有了巨大的增長。

相比2011年對數據分析算法的調查，我們注意到最常用的方法仍然是回歸，聚類，決策樹/規則以及可視化。比例增幅最大的是(增幅=%2016/%2011 -1)：

Boosting算法，提升了40%。由2011年的23.5%提升倒2016年的40%

文本挖掘(Text Mining)，提升了30%。從27.7%提升到35.9%

可視化(Visualization)，提升了27%。從38.3%提升到48.7%

時間序列/序列分析(Time series/Sequence analysis)，提升了25%。從29.6%提升到37.0%

異常檢測(Anomaly/Deviation detection)，提升了19%，從16.4%提升到19.5%

組合方法(Ensemble methods)，提升了19%，從28.3%提升到33.6%

支持向量機(SVM)，提升了18%，從28.6%提升到33.6%

回歸(Regression)，提升了16%，從57.9%提升到67.1%

◆ ◆ ◆

2016年新秀中最為流行的是

K-最近鄰法(K-nearestneighbors), 46%

主成分分析(PCA), 43%

隨機森林(Random Forests), 38%

優化(Optimization), 24%

神經網絡-深度學習(Neural networks - Deep Learning), 19%

奇異值分解(Singular ValueDecomposition), 16%

◆ ◆ ◆

降幅最大的是

關聯規則(Associationrules),下降了47%，從28.6%降為15.3%

Uplift modeling,下降了36%，從4.8% 降為3.1%(出人意料的低，因為有很多相關文獻發表)

因子分析(Factor Analysis),下降了24%，從18.6%降為14.2%

存活分析(SurvivalAnalysis),下降了15%，從9.3%將為7.9%

下面的表格顯示了不同的算法類型的使用場所：監督算法，無監督算法，元算法和其它算法。應用類型未知(NA，4.5%)或者其它職業類型(3%)的不包括在內。

表1：不同職業類型的算法使用

我們注意到，幾乎所有的人都在使用監督學習算法。政府和產業界的數據科學家們使用的算法類型比學生和科學界要多。產業數據科學家們更傾向于使用元算法。

◆ ◆ ◆

不同職業類型最常用的10大算法+深度學習情況

接下來，我們分析了不同職業類型最常用的10大算法+深度學習情況

表2: 不同職業類型的10大算法+深度學習

為了更清楚地展示這些差異，我們用一個公式來計算不同職業類型的算法使用率偏倚：

偏倚=某種職業類型的算法使用率/所有職業類型的算法使用率-1

圖2：不同場所的算法使用率偏倚

我們注意到，產業數據科學家們更傾向于用回歸，可視化，統計，隨機森林和時間序列。政府/非盈利組織則更傾向于使用可視化，主成分分析和時間序列。學術界的研究人員們更多的用到主成分分析和深度學習。學生們普遍使用的算法較少，但多用到文本挖掘和深度學習。

接下來，我們看看某一具體地域的參與度，表示整體的KDnuggets用戶。

參與調查人員的地區分布：

美國/加拿大, 40%

歐洲, 32%

亞洲, 18%

拉丁美洲, 5.0%

非洲/中東, 3.4%

澳大利亞/新西蘭, 2.2%

在2011年的調查中，我們把產業和政府兩個行業的被調查者合為一組，把學術研究者和學生合為一組，然后計算行業政府組的算法使用親切度：

(行業政府組的算法使用率/學術學生組的算法使用率)/(行業政府組的人數/學術學生組的人數)-1

因此，親切度為0的算法表示它在產業/政府組和學術學生組使用率相同。越高IG親切度說明該算法越偏向于產業，結果越小則算法越偏向于學術。

最偏向于“產業算法”是：

uplifting modelling, 2.01

異常檢測, 1.61

存活分析, 1.39

因子分析, 0.83

時間序列/序列分析, 0.69

關聯規則, 0.5

盡管uplift modeling再次成為最偏向于“行業算法”，令人吃驚的卻是它使用率極低，只有3.1%，是整個調查中比例最低的。

最偏向于“學術算法”是：

神經網絡, -0.35

樸素貝葉斯, -0.35

支持向量機, -0.24

深度學習, -0.19

最大期望, -0.17

下圖顯示了所有算法及其產業/學術親切度。

圖3：KDnuggets調研：數據科學家使用最多的算法：產業與學術領域對比

下表是所有算法調研結果的細節，分別是2016年受訪人群使用比例，2011年使用比例，變化(2016年比例/2011年比例-1)以及上文提及的產業親切度。

表3：KDnuggets2016調研：數據科學家使用的算法

下方的表格是所有算法的調研結果細節，不同列依次代表的是：

排名: 根據使用比例的排名

算法：算法名稱

類型: S – 有監督, U – 無監督, M – 元(meta), Z – 其他方法,

在2016年調查中使用該算法的人數比例

在2016年調查中使用該算法的人數比例

變化：(%2016 / %2011 -1),

產業親切度見上文的解釋.

表4：KDnuggets 2016 調研：數據科學家使用的算法