OpenAI發(fā)布新公告：董事會現(xiàn)在有權(quán)否決奧特曼的決定。

特別是針對GPT-5等前沿模型安全風(fēng)險(xiǎn)是否過高，是否對外發(fā)布等關(guān)鍵問題。

圖片

作為上個(gè)月內(nèi)訌的后果之一，總裁Greg Brockman與前首席科學(xué)家Ilya Sutskever已退出董事會，公司管理層無人再兼任董事會成員，兩種角色完全分離。

現(xiàn)在公司管理層做決策，董事會有權(quán)推翻。

圖片

上一屆董事會指責(zé)奧特曼“溝通不誠懇”，并稱這是解雇他的主要原因。

這次專門成立了安全顧問團(tuán)隊(duì)，每個(gè)月同時(shí)向公司管理層和董事會匯報(bào)，確保所有決策者充分了解情況。

圖片

除此之外，這份“前沿風(fēng)險(xiǎn)防范框架”還給OpenAI自己的技術(shù)開發(fā)設(shè)立了諸多限制。如針對不同種類的AI風(fēng)險(xiǎn)，必須確保模型安全得分達(dá)標(biāo)后才能進(jìn)入下一個(gè)開發(fā)階段。

有OpenAI員工表示：一般情況下不要相信公司說的“價(jià)值觀”，除非他們真的花高昂代價(jià)展開了行動。

而且是增加內(nèi)部摩擦力、給競爭對手超車機(jī)會這種對自己沒有明顯好處的事。

圖片

但不少用戶依舊不買賬：以安全的名義，現(xiàn)在ChatGPT的表現(xiàn)就像個(gè)土豆。

圖片

隨公告發(fā)布的還有一個(gè)動態(tài)文檔，會不斷更新對風(fēng)險(xiǎn)的跟蹤、評估、預(yù)測和防范流程。

總之看起來，對AI可能帶來災(zāi)難性風(fēng)險(xiǎn)這回事，他們是認(rèn)真的。

圖片

三個(gè)安全團(tuán)隊(duì)，分管當(dāng)下和未來

對于不同時(shí)間尺度的AI風(fēng)險(xiǎn)，OpenAI成立了三個(gè)團(tuán)隊(duì)來分別應(yīng)對。

圖片

安全系統(tǒng)團(tuán)隊(duì)（Safety Systems）負(fù)責(zé)當(dāng)下，減少現(xiàn)有模型如ChatGPT的濫用，由翁麗蓮領(lǐng)導(dǎo)。

圖片

新成立準(zhǔn)備團(tuán)隊(duì)（Preparedness）負(fù)責(zé)不久的將來，識別和管理GPT-5等正在開發(fā)的前沿模型帶來的新風(fēng)險(xiǎn)，由MIT教授Aleksander Madry領(lǐng)導(dǎo)。

圖片

超級對齊團(tuán)隊(duì)（Superalignment）負(fù)責(zé)遙遠(yuǎn)的未來，給超越人類的超級智能安全性奠定基礎(chǔ)，由Ilya Sutskever和Jan Leike領(lǐng)導(dǎo)。

圖片

四種安全風(fēng)險(xiǎn)，最高災(zāi)難級

對于開發(fā)中的前沿模型，OpenAI主要跟蹤4個(gè)類別的安全風(fēng)險(xiǎn)：

• 網(wǎng)絡(luò)安全
• CBRN（化學(xué)、生物、放射性、核威脅）
• 說服能力
• 模型自主性

評估期間將增加2倍的有效計(jì)算量把模型推向極限，并制作“記分卡”，分為“低、中、高、重大危險(xiǎn)”四個(gè)等級。

網(wǎng)絡(luò)安全風(fēng)險(xiǎn)，定義為利用模型破壞計(jì)算機(jī)系統(tǒng)的機(jī)密性、完整性、可用性。

圖片

CBRN風(fēng)險(xiǎn)，專注于與模型輔助創(chuàng)建化學(xué)、生物、放射性和/或核威脅相關(guān)的風(fēng)險(xiǎn)。

圖片

說服風(fēng)險(xiǎn)，側(cè)重于與說服人們改變他們的信念或采取行動有關(guān)的風(fēng)險(xiǎn)。

通常強(qiáng)大的說服力很少見，需要大量人力（例如一對一對話，或者精心制作的媒體內(nèi)容）；然而，模型可以在能力范圍內(nèi)使所有內(nèi)容幾乎零成本生成。

圖片

模型自主性風(fēng)險(xiǎn)就是比較科幻的那種，AI改進(jìn)自己、阻止自己被關(guān)機(jī)、逃出實(shí)驗(yàn)室了。

圖片

采取緩解措施后，四個(gè)方面得分取最高值作為一個(gè)模型的總評分。

• 只有緩解后風(fēng)險(xiǎn)評分為“中”或更低時(shí)才能部署
• 只有緩解后風(fēng)險(xiǎn)評分為“高”或更低時(shí)才能進(jìn)一步開發(fā)
• 對緩解前為“高”或“重大風(fēng)險(xiǎn)”的模型采取額外安全措施

下圖僅為示例模板，不代表當(dāng)前模型的評分。

圖片

此外準(zhǔn)備團(tuán)隊(duì)還將定期安全演習(xí)，對業(yè)務(wù)和公司自身文化進(jìn)行壓力測試，發(fā)現(xiàn)緊急問題并快速響應(yīng)。

也將延續(xù)開發(fā)GPT-3.5和GPT-4時(shí)的傳統(tǒng)，邀請第三方組成紅隊(duì)，對模型做獨(dú)立評估。

最后，OpenIA還透露已開創(chuàng)一項(xiàng)新的研究，衡量風(fēng)險(xiǎn)如何隨模型規(guī)模擴(kuò)大而演變，提前預(yù)測風(fēng)險(xiǎn)，嘗試解決“未知的未知”。

參考鏈接：
[1]https://openai.com/safety/preparedness
[2]https://twitter.com/OpenAI/status/1736809603311280489