人們常說「隔行如隔山」，機(jī)器學(xué)習(xí)社區(qū)在外行人眼里是什么樣的？

近日，一位來自傳統(tǒng)行業(yè)的從業(yè)者觀察了機(jī)器學(xué)習(xí)研究社區(qū)的現(xiàn)狀，發(fā)現(xiàn)了一些問題并在 reddit 上發(fā)帖，不少機(jī)器學(xué)習(xí)從業(yè)者也紛紛表達(dá)觀點，參與討論。

帖子作者注意到，機(jī)器學(xué)習(xí)社區(qū)內(nèi)有很多研究者正致力于優(yōu)化、控制、信號處理等「舊領(lǐng)域」的交叉研究，他們會突然發(fā)表大量聲稱要解決某個問題的論文，問題本身通常是近期的，使用的方法會包含一些深度神經(jīng)網(wǎng)絡(luò)。

然而仔細(xì)一看，這些研究唯一新穎的地方只有提出的問題，而不是研究人員解決該問題的方案。

讓他困惑的是，為什么大量這種看起來水平一般，幾乎就是對各領(lǐng)域內(nèi) 20 世紀(jì) 80 年代，甚至 60 年代以后的技術(shù)重新編排的文章卻能夠被接受？經(jīng)過仔細(xì)研究，作者發(fā)現(xiàn)機(jī)器學(xué)習(xí)社區(qū)存在一些問題。

只有機(jī)器學(xué)習(xí)頂會歡迎

許多研究者只在機(jī)器學(xué)習(xí)會議上發(fā)表論文，而不會在其研究的專屬會議或期刊（例如優(yōu)化和控制領(lǐng)域期刊）上發(fā)表。例如，在一篇對抗機(jī)器學(xué)習(xí)論文中，整篇論文的內(nèi)容幾乎都是關(guān)于解決一個優(yōu)化問題的，但提出的優(yōu)化方法基本是其他成熟研究成果的變體。作者還注意到，如果一篇論文沒有被 NeurIPS 或 ICLR 接收，它就會被轉(zhuǎn)投給 AAAI 或其他名氣小一點的會議，真是一點也不浪費。 

[[388405]]

有人評論稱，這其實和會議的名氣有關(guān)：「在 NeurIPS 等機(jī)器學(xué)習(xí)頂會上發(fā)表的研究，收益可能是其他會議的十倍。但有一些子領(lǐng)域的會議也很受重視，比如計算機(jī)視覺領(lǐng)域的 CVPR、自然語言處理領(lǐng)域的 ACL 會議等。」

審稿人不了解領(lǐng)域內(nèi)研究進(jìn)展

通過開放評審，我發(fā)現(xiàn)審稿人（不只是研究者）對所屬的具體領(lǐng)域一無所知。他們似乎只是在審核論文的正確性，而不是新穎性。實際上，我對審稿人是否了解該方法的新穎程度表示懷疑。

評論區(qū)有網(wǎng)友表示：這一問題也是存在的，但似乎很難解決。因為機(jī)器學(xué)習(xí)領(lǐng)域正在呈爆炸式增長，并不是每個審稿人都能夠跟得上該領(lǐng)域的發(fā)展步伐，有些審稿人掌握的知識信息的確有些滯后。

引用混亂

通常，ML 領(lǐng)域的研究人員只會從最近幾年的研究中引用自己或其他機(jī)器學(xué)習(xí)從業(yè)者的研究。偶爾會有一個引用數(shù)百年前研究的情況，那可能是因為與牛頓、柯西等人的經(jīng)典研究有關(guān)。然后引用研究的年份就會突然跳到 2018、2019 年。

有人指出，這一問題主要是追溯難度太大造成的。經(jīng)過多年的發(fā)展，很多名詞術(shù)語的叫法已經(jīng)和幾十年前不一致了。當(dāng)前機(jī)器學(xué)習(xí)社區(qū)中的論文引用主要來自于谷歌搜索，有些名詞想要找到其原始出處并不容易。

堆砌數(shù)學(xué)公式

論文中經(jīng)常存在堆砌數(shù)學(xué)公式的情況，形成一堵巨大的「數(shù)學(xué)墻」，例如證明特征值、梯度、雅可比矩陣等數(shù)學(xué)問題的深奧條件。有些定理其實并不適用，因為在高度非凸的深度學(xué)習(xí)應(yīng)用中，定理的前提條件就不滿足。因此，從這些錯綜復(fù)雜的數(shù)學(xué)定理中唯一獲得的東西就是一些微弱的直覺，這些直覺還可能會被立刻推翻。

有網(wǎng)友指出，「數(shù)學(xué)墻」非常令人沮喪。由于帶有數(shù)學(xué)公式的論文似乎更容易被接收，很多論文都加入了公式，但有時公式并不是必要的。

為什么會出現(xiàn)這種情況？有人猜測說，一個不太專業(yè)的審稿人可能會拒絕自己看不懂的想法，因為 ta 不喜歡這個想法。但在看到「數(shù)學(xué)墻」之后，ta 可能會給出更加嚴(yán)謹(jǐn)?shù)膶徃褰Y(jié)果，如「弱接收（Weak Accept）」或「弱拒稿（Weak Reject）」。

缺乏后續(xù)研究

作者還發(fā)現(xiàn)，有些研究者在提出一個超越其他研究的新基準(zhǔn)之后，并不會進(jìn)行更多后續(xù)研究來進(jìn)一步發(fā)展該研究提出的技術(shù)方法。但在其他領(lǐng)域，研究團(tuán)隊中的一些成員后續(xù)會花費大量時間和精力去完善該研究所提出的方法，有些研究甚至?xí)灤┠承┭芯空叩穆殬I(yè)生涯。

上述幾個問題使得機(jī)器學(xué)習(xí)社區(qū)在某種程度上成為一個「回聲室」，研究者只是將大量已知的研究結(jié)果重新編排，并用其問題的新穎性來掩飾創(chuàng)新的缺失。然而這些論文都能被接收，因為很少有人能發(fā)現(xiàn)這些研究是缺乏新穎性的。

綜合以上問題，這位來自傳統(tǒng)行業(yè)的作者最后表示：「機(jī)器學(xué)習(xí)社區(qū)就像一棵自動接收論文的搖錢樹。」

討論

在評論區(qū)，我們還發(fā)現(xiàn)了一些新的觀點和看法。

一位來自物理學(xué)領(lǐng)域的研究者表示：「理論物理學(xué)等硬科學(xué)中也存在一些類似問題。『（論文）不發(fā)表就會被埋沒（Publish or Perish）』的觀念根深蒂固，以至于沒有人理智地嘗試解決一些實際且有意義的問題。」

這位理論物理學(xué)家還指出，不僅研究方向有所偏頗，發(fā)表論文的周期也在變短，研究質(zhì)量因此降低。發(fā)表論文量成為了一種評價標(biāo)準(zhǔn)，很少有研究者潛心解決科學(xué)難題了。

此外，有人表示：「有些 ML 研究者似乎并不了解性能提升的根本原因，他們只是做了一些簡單的改進(jìn)。」這也是一件令人沮喪的事情。

盡管這些問題只代表原帖作者和部分機(jī)器學(xué)習(xí)從業(yè)者的看法，但這不失為機(jī)器學(xué)習(xí)社區(qū)的一種縮影，有待解決與改善。