船新論文評審Python程序,淘汰人工審核,自動給arXiv打分
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。
什么?同行評審已經可以被AI程序取代了?
就在4月1日,英國牛津大學提出了最新的評審標準算法——State-Of-the-Art Review,SOAR,同時開源了它的Python程序代碼。

SOAR優化了過去同行評審多目標、大規模分布、延遲極高的缺陷。
這篇顛覆現在同行評審制度的論文,已被“國際AI頂會”SIGBOVIK 2020收錄。
SIGBOVIK是在每年4月1日舉辦的學術會議,只有一天的議程,但是接收的論文都是全球頂尖名校和科技巨頭的頂級研究。

今年在大會上發表的SOAR智能系統,必將把人工審核機制掃進歷史垃圾堆。
其他還靠人工審核論文的AI頂會表示瑟瑟發抖。不過大會評委們倒是很開心,因為以后不必做吃力不賺錢的活了。
船新的論文評分系統
目前同行評審系統存在著無法擴展、運行速度慢、結果不一致的問題。其中,審稿人看稿速度慢是主要問題,另外暴增的博士生數量也不可忽略。
從1990年到2010年,授予博士學位的人數呈指數式增長,但是谷歌搜索收錄的論文數量在過去幾年中卻沒有太大變化,即使旋轉坐標軸也無法保持上升趨勢。

以上證據表明,要么是現在博士的工作效率比其之前都要低,要么是現有的評審系統沒有提供足夠的能力審核越來越多的論文。
很顯然是后者。
因此來自牛津大學的研究人員提出了SOAR計劃。SOAR包含兩個重要參數:
1、對文章中的SOTA單詞數量進行計數,數字越高越可信。
2、另外就是判斷文章新穎性,統計文中novelty這個單詞出現的數量。
然后我們就得到了SOAR的計算公式:

計算SOAR分數的代碼也很簡單,我們可以通過Python 3.7.2的collections.Counter對象傳遞來實現SOAR算法。
而且,算法實現的成本很低,即使你沒有計算機,也可以讓研究生通過鉛筆劃線的方式,手工算出SOAR。
不過第二種算法的難度在于,需要提高研究生的忍耐力,并說服其更好地利用時間,這一點在實驗上還未得到驗證。
arXiv網站是我們看論文常去的地方。
如果你沒有“SOAR人肉計算器”,牛津大學的研究人員還開發了arXiv的SOAR插件,可以對未經同行評審的論文打分,節省科研工作者的篩選時間。
插件的實際效果如下:

頂會SIGBOVIK真的很“頂”
SIGBOVIK從2007年開始舉辦,最初由CMU的高級計算機科學家Harry Q. Bovik帶頭,計算機異端學會組織,今年已是第14屆。
SIGBOVIK是一個研究內容相當多元化的計算機頂級學術會議。
過去SIGBOVIK討論的內容就有:無能專家系統、深空導航、困惑理論、大型多人在線游戲、后悔最少算法、獨自編譯、人工智障、自然智能等等。
今年的大會可謂一波三折,本來計劃3月1日截止投稿,但是一拖再拖,直到3月27日才截止。4月1日就舉辦了大會。

如此高的審核效率,不得不讓人懷疑今年的大會評審是不是就已經用上了SOAR系統。
SIGBOVIK大會今年總共只接受了11篇論文,其中不乏CMU這樣的名校,也不乏Google、Yandex等知名科技公司,
廣大科研工作認為,在SOAR系統的加持下,SIGBOVIK將會是超越ICLR、CVPR水平的頂會。
以上內容純屬娛樂。
論文地址:
https://arxiv.org/abs/2003.14415
SIGBOVIK大會首頁:
http://sigbovik.org/
會議全程錄像:
https://www.youtube.com/watch?v=ClfBtwoHPeg
































