一款號稱代碼能力超越GPT-4的模型，引發了不少網友的關注。

準確率比GPT-4高出超過10%，速度卻接近GPT-3.5，而且窗口長度也更長。

據開發者描述，他們的模型取得了74.7%的Pass@1通過率，超過了原始GPT-4的67%，登上了Big Code榜首。

這個模型名叫Phind，和以其為基礎的面向開發者的AI搜索工具同名。

它是由開發團隊在CodeLlama-34B的基礎之上微調得到的。

Phind利用TensorRT-LLM在H100上可以跑出每秒100個token的速度，是GPT-4的5倍。

此外，Phind的上下文長度達到了16k，其中12k可供用戶輸入，另外4k保留給檢索結果中的文本。

針對這個產品，網友們議論紛紛，結果是喜憂參半：

支持的人，如著名創業投資公司YCombinator創始人Paul Graham表示，Phind可以讓人們用更少的資源和大廠抗衡。

也有網友具體列出了Phind的優點：

不認可Phind的網友則說，自己之前用GPT-4寫的代碼，Phind寫不出來：

更是有人吐槽說，GPT“每天都在被打敗”，但是從來沒被超越過。

有意思的是，在Phind應用當中，自研模型又被稱作“fast model”，而“best model”仍然是GPT-4。

（雖然沒明說，但是GPT-4和best model的剩余可用次數是同步變化的）

所以，這個號稱“擊敗了GPT-4”的模型到底是不是真的那么好用，我們進行了一番實測。

Phind vs GPT-4

正式開始之前，先來說說對Phind的第一印象。

它的界面十分簡潔，主要就是一個搜索框，而且不需要登錄就能無限量使用。

左下角有一個Pair Programmer的開關，直觀上的區別就是開啟之后回答界面更側重對話，不開啟的話則更像搜索引擎。

此外，還可以從自研模型和GPT-4中選擇，GPT-4則需要登錄，而且每天只能用10次。

接下來就是和GPT-4進行的對比測試，GPT-4沒有開啟代碼解釋器。

首先還是從LeetCode題目開始測起，Prompt就是是原問題加上下面這段話：

請用Python寫一段代碼解決這個問題，給出通用的解法，不需要設定參數值，代碼需要以如下內容開頭：
（LeetCode頁面中給出的起始片段）

為了防止Phind通過檢索來“作弊”，我們還在Phind的Prompt結尾加入了這句話：

不要檢索任何信息，靠你自己的能力創建代碼

第一題在LeetCode中被歸為組合數學問題，難度為困難，通過率67.1%。

Phind給出了這樣的代碼和解釋，經過測試，20條測試數據中有19項正確。

出錯的是這一條，這里的輸出結果應該是3，但Phind給出的程序運行結果是4。

我們試著反饋給Phind，看它能不能找出錯誤的原因，結果分析一番之后給出了新的代碼，并通過了測試。

而GPT-4這邊，則是一次性通過。

進入下一題，這道題目涉及到了動態規劃，通過率為53.9%。

這次Phind和GPT-4都是以一次通過。

第三道題目的通過率只有約30%，但它的難度可能在于用來判題的測試數據太龐大了。

Phind給出的這段代碼就在通過前12組測試數據之后出現了運行時間超限的現象。

我們讓它試著進行優化，結果這次直接是算不對了。

而GPT-4則輕松解決，不過在解釋說明部分有些錯誤，因為超級回文數的概念中的描述是“回文數的平方”而不是“平方是回文數”。

三道LeetCode題目測試下來，Phind以一平兩負的成績輸給了GPT-4。

但需要說明的是，這里我們為了測試模型本身表現，通過提示詞關閉了Phind的檢索功能，但從實用角度出發，如果保留搜索，Phind還是能很好地解決這些問題的。

接著，我們又測試了一下他們的實際開發能力，這次的題目是掃雷游戲。

Phind會問我們有沒有什么特殊要求，這里我們直接點跳過。

然后Phind會對任務進行拆解，對每個子任務又分別進行檢索。

這時的代碼也是分段給出的，有趣的是，在生成過程中，Phind會使用不同來源中的代碼。

然后我們讓Phind給出完整代碼，并通過鏈接的第三方平臺直接運行。

結果呢，我們一進去就看到程序已經非?！百N心”地把雷的位置清楚地標注好了。

不過這次，GPT-4的代碼更加離譜一些，運行出來是這樣的：

雖然都沒做對，但硬要比較的話，這一輪，Phind略勝一籌。

一路測試下來，很難判斷它們孰優孰劣，但考慮到搜索能力，以及免費免登錄的特性，Phind還是可圈可點的。

參考鏈接：

https://www.phind.com/blog/phind-model-beats-gpt4-fast。