Claude 3反超GPT-4競技場登頂!小杯Haiku成開發(fā)者新寵:性價比無敵

GPT-4真的被反超了!
大模型競技場上,Claude 3大杯Opus新王登基,Elo分?jǐn)?shù)來到榜首。

連小杯Haiku也躋身第二梯隊(duì),超過了GPT-4-0613這個型號,把GPT-3.5-turbo遠(yuǎn)遠(yuǎn)甩在身后。

Haiku的輸入token價格,可是比GPT-3.5-turbo還便宜了一半,輸出方面,每100萬token也比GPT-3.5-turbo便宜近2塊錢。

跟GPT-4相比,價格更是只有1/20。并且Haiku同樣支持200k上下文。

難怪有開發(fā)者直言:
GPT-3.5在Claude Haiku面前不堪一擊。
不僅僅是價格更便宜,Haiku還更上一層樓了。

而在Claude 3加入競技之前,GPT-4家族已經(jīng)霸榜快一年了。

給新來的朋友補(bǔ)充一下背景知識:大模型競技場榜單(LMSYS Chatbot Arena Leaderboard)的評分標(biāo)準(zhǔn)是人類打分,同一個問題同時拋給A、B兩個模型,人類裁判覺得哪個回答得好就給哪個投票。
小杯Haiku成開發(fā)者新寵
值得一提的是,在競技場官方賀電中,Haiku這個型號也被專門高亮了出來:
根據(jù)我們的用戶偏好,Claude 3 Haiku達(dá)到了GPT-4級別。
其速度、功能和上下文長度在目前的市場上是獨(dú)一份的。

具體有多快,已經(jīng)有網(wǎng)友做了個直觀的對比:
博爾特還沒跑完100米,Haiku已經(jīng)讀完100k token的文檔了……


事實(shí)上,憑借其超高的性價比,在開發(fā)者社群中,Claude 3小杯Haiku確已成新寵。
已經(jīng)有人第一時間大開腦洞,搞出了能讓Haiku效果“超頻”到大杯Opus水準(zhǔn)的開源項(xiàng)目,吸引不少關(guān)注。

簡單來說,就是讓Opus給Haiku當(dāng)老師:
先用Opus生成執(zhí)行任務(wù)的范例,再用這些教學(xué)案例來提高Haiku的姿勢水平。
劃重點(diǎn):Haiku的價格僅為Opus的1/60,而響應(yīng)速度則是Opus的10倍。
這個名為gpt-prompt-engineer的項(xiàng)目目前在GitHub上累計攬下7.3k標(biāo)星。

還是這位馬特老哥,還用Opus和Haiku搞了個“AI股票分析師”,直接火上了GitHub熱榜。

不少應(yīng)用產(chǎn)品也在第一時間接入了Haiku。比如能依據(jù)Prompt自動生成網(wǎng)站UI的Vercel。
△就說快不快吧
不過,就在一片給Claude 3新王點(diǎn)贊的聲音中,也有網(wǎng)友認(rèn)為:
GPT-3.5作為一個“老”模型,至今仍在與最新的模型競爭,這件事本身就很瘋狂了。

但最讓開發(fā)者們期待的當(dāng)然還是:

OpenAI,快起來卷(doge)。



































