你以為的學(xué)術(shù)頂級(jí)會(huì)議期刊審稿人，都是來(lái)自各自領(lǐng)域的大牛？

事實(shí)上，你辛辛苦苦幾個(gè)月做的研究論文，審稿人很有可能是一群本科生或研究生？

最近，來(lái)自洛桑聯(lián)邦理工學(xué)院（école polytechnique fédérale de Lausanne (EPFL)）的女物理學(xué)家Lenka Zdeborova就在推特上吐槽頂會(huì)的審稿人機(jī)制。

研究生院的申請(qǐng)人就已經(jīng)有頂會(huì)審稿經(jīng)驗(yàn)？而且數(shù)量還不少。

我正在審查EPFL計(jì)算機(jī)科學(xué)研究生院的申請(qǐng)，我看到許多申請(qǐng)人都有擔(dān)任頂級(jí)ML會(huì)議審稿人的經(jīng)驗(yàn)，我想知道如果同行評(píng)議的很大一部分是由本科生完成的，我們?yōu)槭裁催€要費(fèi)心去進(jìn)行同行評(píng)議！？

Lenka Zdeborová是EPFL的物理學(xué)和計(jì)算機(jī)科學(xué)教授，她領(lǐng)導(dǎo)計(jì)算機(jī)學(xué)院的統(tǒng)計(jì)物理學(xué)科。

她是Journal of Physics A、Physical Review E、Physical Review X、SIMODS、Machine Learning: Science and Technology、Information and Inference等眾多學(xué)術(shù)期刊的編委。

Lenka擅長(zhǎng)的領(lǐng)域是將統(tǒng)計(jì)物理學(xué)的概念（例如高級(jí)平均場(chǎng)方法、復(fù)制方法和相關(guān)消息傳遞算法）應(yīng)用于機(jī)器學(xué)習(xí)、信號(hào)處理、推理和優(yōu)化中的問(wèn)題。

一些圈內(nèi)人士也表示贊同，研究生一年級(jí)的學(xué)生竟然已經(jīng)可以在頂會(huì)審稿，而且沒有人覺得這是個(gè)問(wèn)題。

你以為的審稿人是這些學(xué)界大佬，事實(shí)上其實(shí)是他們帶的本科生或研究生......

知乎答主「卡卡卡卡比」認(rèn)為這種現(xiàn)象已經(jīng)是司空見慣了，從ICLR到AAAI,審稿人的水平參差不齊，保不齊你的paper就落到了某個(gè)本科生手里。

抱怨完審稿人水平之后，關(guān)鍵還是要思考如何能夠?qū)懗鲎尨蠹襪ake sense并且能兼顧大多人審稿taste的工作。

來(lái)源：卡卡卡卡比

另一位答主「歇斯底里i」也認(rèn)為，審稿人很少懂你的領(lǐng)域，所以你要把論文的結(jié)果清晰明了地呈現(xiàn)出來(lái)，讓別人看不懂就是你的問(wèn)題了。

來(lái)源：歇斯底里i

頂會(huì)審稿到底怎么審

那么頂會(huì)審稿究竟怎么審？

同行評(píng)審（Peer-review）是現(xiàn)代科學(xué)的基石，幾乎所有機(jī)器學(xué)習(xí) (ML) 頂會(huì)（如NeurIPS、ICML、AAAI）都依靠它來(lái)決定提交的論文是否與社區(qū)相關(guān)，以及原創(chuàng)性是否足以在那里發(fā)表。

不幸的是，隨著過(guò)去十年提交文章數(shù)量呈指數(shù)級(jí)增長(zhǎng)，審稿質(zhì)量也以同樣快的速度下降。

如果您曾經(jīng)向其中一個(gè)會(huì)議提交過(guò)論文，在為您認(rèn)為是一個(gè)絕妙的想法而努力工作了幾個(gè)月之后，您得到的是糟糕的、無(wú)用的，而且（更糟糕的是 ) 具有諷刺意味的評(píng)論意味著你將不得不重新經(jīng)歷一次提交過(guò)程，而沒有任何關(guān)于你的論文存在什么問(wèn)題的提示。

圖靈獎(jiǎng)獲得者Geoffrey Hinton在2018年接受 Wired 雜志采訪時(shí)給出了造成這種情況的原因之一：

現(xiàn)在如果你提交的論文有一個(gè)全新的想法，它根本就沒有機(jī)會(huì)被接受，因?yàn)檫@些年輕的初級(jí)審稿人根本無(wú)法理解。

或者它會(huì)遇到一位高級(jí)審稿人，他審閱了太多的論文，第一次看并不理解，并認(rèn)為它一定是胡說(shuō)八道。我認(rèn)為這真的很糟糕。

知乎答主電光幻影煉金術(shù)對(duì)審稿被拒做了個(gè)假設(shè)，如果你發(fā)現(xiàn)你的論文因?yàn)橐恍└拍顔?wèn)題審稿人沒理解被給了低分，有三種可能：

（1）審稿人是個(gè)本科生/低年級(jí)博士生，他看不懂這些概念。

（2）審稿人是個(gè)超級(jí)大佬，他很重視基礎(chǔ)概念問(wèn)題，并且他已經(jīng)不做這個(gè)領(lǐng)域多年。

（3）審稿人是個(gè)超級(jí)大佬，但他沒有時(shí)間，他交給了他的低年級(jí)博士學(xué)生來(lái)審稿。所以說(shuō)，學(xué)術(shù)圈就是一個(gè)輪回，本科生的表現(xiàn)和超級(jí)大佬最像。

• 你以為理想中的審稿人：

周一打開論文，看看摘要，速讀一遍，評(píng)估一下novelty。周二細(xì)細(xì)看方法，挑挑毛病。周三看一下實(shí)驗(yàn)，看看baseline的相關(guān)論文，查對(duì)實(shí)驗(yàn)細(xì)節(jié)。周四開始寫審稿意見，決定審稿分?jǐn)?shù)。周五補(bǔ)充一些審稿意見，提交審稿分?jǐn)?shù)。

• 實(shí)際審稿人：

周一上午八點(diǎn)打開審稿論文，讀了讀摘要，感覺沒什么novelty。看了看圖片，感覺不看正文看不明白。翻到后面看了看實(shí)驗(yàn)數(shù)字，感覺提升也不大。看看方法，四頁(yè)好多看不完。下午還有事，給個(gè)5分走人吧。周一上午十一點(diǎn)半結(jié)束審稿工作。

我們?cè)賮?lái)看看ICML2022的審稿規(guī)則：

• 選題意義：

這部分評(píng)審的目的是向MR（Meta-reviewer）和作者展示您對(duì)這篇論文的理解程度以及您對(duì)這篇論文的看法。

• 寫作創(chuàng)新性、相關(guān)性、重要性：

它們與我們的社區(qū)相關(guān)嗎？它們是新的嗎？如果答案是否定的（或部分否，例如，引用早期論文中的精確結(jié)果），則需要一個(gè)精確的理由，以便作者知道如何修復(fù)論文。

• 健全性：

理想情況下，一篇論文提出的主張應(yīng)該得到理論論據(jù)或?qū)嶒?yàn)結(jié)果的充分支持。

• 寫作質(zhì)量：

這篇論文是否組織良好并且寫得很清楚？它是否很好地解釋了新穎性和結(jié)果？該論文是否包含支持其聲明所需的足夠信息？

• 參考文獻(xiàn)：

這篇論文是否被恰當(dāng)?shù)刂糜诋?dāng)代文學(xué)中？如果沒有，請(qǐng)具體說(shuō)明缺少的內(nèi)容。請(qǐng)注意，由于論文有頁(yè)數(shù)限制，因此通常需要判斷是否應(yīng)提及結(jié)果。

而這些屬于第一階段審稿人的審核標(biāo)準(zhǔn)，符合審核標(biāo)準(zhǔn)的則可以進(jìn)入第二階段。

通過(guò)第一階段的論文，會(huì)再經(jīng)過(guò)元審稿人（MR）、項(xiàng)目主席過(guò)目，之后還會(huì)有額外的審稿人來(lái)確保論文審核質(zhì)量。

而為什么現(xiàn)在的頂會(huì)審稿人的水平參差不齊，甚至冒出了一群本科生和研究生，原因主要在于行業(yè)發(fā)展太快，投稿量的增加速度遠(yuǎn)高于合格審稿人的培養(yǎng)速度。

這不僅導(dǎo)致有能力審稿的人占比少了，而且有能力的審稿的人對(duì)每篇文章能投入的時(shí)間也少了。