聽證會(huì)之后，Sam Altman帶著團(tuán)隊(duì)在歐洲開啟了「旅行」。

而在最近的一次訪談中，Altman也沒有藏著掖著，自曝自家AI的一切進(jìn)展，全得等GPU跟上了再說。

他討論了OpenAI的API，以及產(chǎn)品計(jì)劃，引起了許多人的關(guān)注。

許多網(wǎng)友紛紛表示，我喜歡Altman的坦誠。

值得一提的是，GPT-4的多模態(tài)能力，2024年應(yīng)該大部分Plus用戶就能上手了，前提還是有足夠GPU才行。

微軟老大哥斥資12億美元給OpenAI建的超算，還遠(yuǎn)遠(yuǎn)無法滿足GPT-4運(yùn)行時(shí)所需的算力。畢竟，GPT-4參數(shù)據(jù)稱有100萬億。

另外，Altman還透露，GPT-3也在OpenAI的開源計(jì)劃之中。

不知道是不是這次采訪內(nèi)容透露了太多OpenAI的「機(jī)密」，源文稿目前已被刪除，快點(diǎn)碼了。

劃重點(diǎn)

最新訪談，是來自AI開發(fā)平臺(tái)Humanloop的首席執(zhí)行官Raza Habib主持，采訪了Altman以及其他20位開發(fā)人員。

這次討論涉及到實(shí)際的開發(fā)者問題，以及與OpenAI的使命和AI的社會(huì)影響相關(guān)的更大的問題。

以下是關(guān)鍵要點(diǎn)：

1. OpenAI急缺GPU

2. OpenAI的近期路線圖：GPT-4多模態(tài)2024年開放

3. 通過API訪問ChatGPT插件近期不會(huì)發(fā)布

4. OpenAI只做ChatGPT這一「殺手級(jí)應(yīng)用」，目標(biāo)是讓ChatGPT成為一個(gè)超級(jí)智能的工作助手

5. GPT-3在開源計(jì)劃中

6. 模型性能的縮放法則繼續(xù)有效

接下來，將從6大點(diǎn)介紹Sam Altman究竟說了啥。

OpenAI目前嚴(yán)重依賴GPU

采訪的一切話題都是圍繞，「OpenAI太缺GPU了」。

這已經(jīng)拖延了他們?cè)S多的短期計(jì)劃。

目前，OpenAI的許多客戶都在抱怨API的可靠性和速度。Sam Altman解釋道，主要還是GPU太缺了。

OpenAI是英偉達(dá)DGX-1超算首位客戶

至于，支持32k tokens的上下文長度還不能推出給更多的人。

由于OpenAI還沒有克服技術(shù)上的障礙，看起來他們似乎今年就會(huì)有支持100k-1M tokens的上下文，但需要在研究上取得突破。

微調(diào)（Fine-Tuning）API也目前受到GPU可用性的限制。

OpenAI還沒有使用像Adapters或LoRa這樣的高效微調(diào)方法，因此微調(diào)對(duì)于運(yùn)行和管理來說是非常計(jì)算密集型的。

不過，未來他們將對(duì)微調(diào)提供更好的支持。甚至，OpenAI可能會(huì)托管一個(gè)社區(qū)貢獻(xiàn)的模型市場(chǎng)。

最后，專用容量提供也受到GPU可用性的限制。

今年年初，網(wǎng)友爆出OpenAI正在悄悄推出一個(gè)新的開發(fā)者平臺(tái)Foundry，讓客戶在專用容量上運(yùn)行該公司的新機(jī)器學(xué)習(xí)模型。

這一產(chǎn)品就是「為運(yùn)行較大工作負(fù)載的尖端客戶設(shè)計(jì)」。要使用這項(xiàng)服務(wù)，客戶必須愿意預(yù)付$100k的費(fèi)用。

然而，從透露的圖片信息可以看出，實(shí)例并不便宜。

運(yùn)行GPT-3.5的輕量級(jí)版本，3個(gè)月的委托將花費(fèi)78,000美元，一年將花費(fèi)264,000美元。

從另一側(cè)面也可以看出，GPU消耗價(jià)格不菲。

OpenAI近期路線圖

Altman分享了OpenAI API的暫定近期路線圖：

2023：

· 又快又便宜的 GPT-4ーー這是OpenAI的首要任務(wù)。

總的來說，OpenAI的目標(biāo)是，盡可能地降低「智能成本」。因此他們將努力繼續(xù)降低 API 的成本。

· 更長的上下文窗口ーー在不久的將來，上下文窗口可能支持高達(dá)100萬個(gè)tokens。

· 微調(diào) API——微調(diào)API將擴(kuò)展到最新的模型，但具體的形式將取決于開發(fā)人員真正想要的是什么。

· 有記憶的API ーー目前大部分token被浪費(fèi)在上文的傳輸中，將來會(huì)有一個(gè)能夠記住對(duì)話歷史的API版本。

2024：

· 多模態(tài)能力ーーGPT-4發(fā)布時(shí)曾演示了強(qiáng)大的多模態(tài)能力，但是在GPU得到滿足之前，這一功能還無法拓展到所有人。

插件「沒有 PMF」，短期內(nèi)不會(huì)出現(xiàn)在API中

許多開發(fā)者對(duì)通過API訪問ChatGPT插件非常感興趣，但Sam表示這些插件不會(huì)很快發(fā)布。

「除了Browsing外，插件系統(tǒng)還沒有找到PMF?！?/span>

他還指出，很多人想把他們的產(chǎn)品放到ChatGPT里，但實(shí)際上他們真正需要的是把ChatGPT放到他們的產(chǎn)品里。

除了ChatGPT，OpenAI不會(huì)發(fā)布更多產(chǎn)品

OpenAI的每一次動(dòng)作，都讓開發(fā)者們抖三抖。

不少開發(fā)人員表示，OpenAI可能發(fā)布與他們競爭的產(chǎn)品的時(shí)候，對(duì)使用OpenAI API構(gòu)建應(yīng)用感到緊張。

而Altman表示，OpenAI不會(huì)在ChatGPT之外發(fā)布更多的產(chǎn)品。

在他看來，偉大的公司有一個(gè)「殺手級(jí)應(yīng)用」，ChatGPT就是要做這個(gè)創(chuàng)紀(jì)錄的應(yīng)用。

ChatGPT的愿景是成為一個(gè)超級(jí)智能的工作助理。OpenAI不會(huì)觸及到更多其他GPT的用例。

監(jiān)管是必要的，但開源也是必要的

雖然Altman呼吁對(duì)未來模型進(jìn)行監(jiān)管，但他并不認(rèn)為現(xiàn)有的模型是危險(xiǎn)的。

他認(rèn)為，監(jiān)管或禁止現(xiàn)有模型將是一個(gè)巨大的錯(cuò)誤。

采訪中，他重申了自己對(duì)開源重要性的信念，并表示OpenAI正在考慮將GPT-3開源。

而現(xiàn)在，OpenAI還沒有開源的部分原因是，他對(duì)有多少個(gè)人和公司有能力托管，和提供大模型表示懷疑。

模型性能「縮放法則」仍有效

近來，許多文章聲稱，巨型人工智能模型的時(shí)代已經(jīng)結(jié)束。然而，并沒有準(zhǔn)確反應(yīng)Altman原意。

OpenAI的內(nèi)部數(shù)據(jù)表明，模型性能的縮放法則（scaling laws）仍然有效，讓模型變大將繼續(xù)產(chǎn)生性能。

不過，縮放的速度不能維持，因?yàn)镺penAI在短短幾年內(nèi)已經(jīng)將模型擴(kuò)大了數(shù)百萬倍，未來這樣做將不可持續(xù)。

這并不意味著OpenAI不會(huì)繼續(xù)嘗試使模型更大，只是意味著它們可能每年只會(huì)增加1倍/2倍，而不是增加多個(gè)數(shù)量級(jí)。縮放法則繼續(xù)有效的事實(shí)對(duì)AGI開發(fā)的時(shí)間線有重要的影響。

縮放假設(shè)是我們可能已經(jīng)有了構(gòu)建AGI所需的大部分部件，剩下的大部分工作將是將現(xiàn)有的方法擴(kuò)展到更大的模型和更大的數(shù)據(jù)集。

如果縮放的時(shí)代結(jié)束了，那么我們可能應(yīng)該預(yù)期AGI會(huì)更遠(yuǎn)?？s放法則繼續(xù)有效強(qiáng)烈暗示了實(shí)現(xiàn)AGI時(shí)間線會(huì)變短。

網(wǎng)友熱評(píng)

有網(wǎng)友調(diào)侃道，

OpenAI：必須通過法規(guī)來保護(hù)我們的護(hù)城河。還是OpenAI：Meta在我們的護(hù)城河里撒尿，讓我們也暗示一下我們的模型要開源吧。

還有人稱，如果GPT-3真的開源了，像LLMa一樣，需要大約5天的時(shí)間在M1芯片上就能運(yùn)行了。

社區(qū)開發(fā)人員能夠幫OpenAI解決GPU瓶頸，前提是他們開源模型。沒幾天，開發(fā)者們就能讓其運(yùn)行在CPU和邊緣設(shè)備。

GPU短缺一事，有人認(rèn)為是OpenAI資金鏈出了問題，買不起。

然而還有人稱，明顯是缺乏供應(yīng)。除非芯片制造業(yè)發(fā)生革命，否則相對(duì)于消費(fèi)GPU來說，可能總是會(huì)出現(xiàn)供應(yīng)不足的情況。

還有網(wǎng)友懷疑，英偉達(dá)的價(jià)值還是被低估？計(jì)算需求的階梯式變化可能持續(xù)數(shù)年...

英偉達(dá)剛剛加入萬億美元俱樂部，這樣說來，無限的算力需求或許會(huì)成就一個(gè)世界超越2萬億美元的芯片廠。

參考資料：

https://humanloop.com/blog/openai-plans

https://news.ycombinator.com/item?id=36141544