事實表明，AI無法替代開發者，但更適用于優秀的開發者。而識別大型語言模型（LLM）生成的代碼什么時候會出錯，需要開發人員具有豐富的知識和經驗。

軟件工程師David Showalter在談到AI編程時表示：“目前，AI模型在幫助編程人員提高工作效率方面表現出色。”那么，這一觀點是否站得住腳？Showalter的言論實則是對AI專家Santiago Valdarrama的回應——他認為大型語言模型(LLM)作為編碼助手目前還不完全可靠。Valdarrama說：“除非LLM給我們同樣的保證(就像編程語言一樣讓計算機始終響應命令)，否則它們只能被視為華而不實的‘炫技’， 對多數應用程序的開發來說并無實際價值。”他的觀點頗具見地，LLM在如何回應提示方面顯然是不一致的，即使是同一提示可能會得到截然不同的回應。因此，Showalter的看法可能過于樂觀：雖然AI模型在輔助開發人員編寫更多代碼方面有不俗的表現，但這并不等同于能夠生成高質量的可用代碼。

AI和軟件開發成功的關鍵在于敏銳地識別那些潛在的不完善之處。許多開發人員并沒有意識到這一點，他們過于依賴LLM的輸出結果。正如計算機科學網站HackerNews的一位評論員所說，“我想知道的是，用戶對于ChatGPT的信任有多少是建立在那些看似完美無缺的示例之上的……尤其是對于特定類型的用戶來說。”為了能夠在軟件開發中有效地使用AI，開發人員需要足夠的經驗判斷LLM的輸出什么時候可能不夠準確或存在誤導。

并沒有簡單的解決方案

關于LLM在軟件開發中的應用和表現存在不同的看法。正如HackerNews網站的一些評論所展示的那樣，許多開發人員并不贊同過度依賴LLM的輸出。他們反駁的理由通常歸結為：“當然，開發人員不能盲目地信任LLM的輸出，就像他們不會無條件地信任在Stack Overflow上找到的代碼，或者完全依賴集成開發環境（IDE）等工具一樣。”

就目前而言，這種看法是正確的，但現實往往并不盡如人意。例如，雖然開發人員不應該完全相信他們使用的集成開發環境（IDE），但IDE在處理基本編程任務時具備一定程度的準確性和穩定性，例如不會隨意“破壞”程序或弄亂Lisp括號。ChatGPT很可能會出錯，但是IDE很少出現這種情況。

對于堆棧溢出（Stack Overflow）上的代碼來說，可能有不同的使用方式。有些開發人員可能會直接復制粘貼代碼，而不進行檢查。但明智的開發人員則會采取更為審慎的態度。他們會首先查看有關代碼的評論，以評估其質量和適用性。

LLM的輸出并不包含這樣的信號。正如一位開發人員所建議的那樣，“將Stack Overflow和LLM的輸出都視為可能是錯誤的結果，并且可能是由經驗不足的開發人員編寫的代碼。”這是一種明智的做法。即使存在錯誤，這些代碼片段或建議也可能為提供有價值的啟示，幫助開發人員朝著正確的方向前進。

同樣，這需要開發人員具備足夠的經驗以識別Stack Overflow的代碼示例或LLM生成的代碼是否存在錯誤。或者開發人員足夠明智，只將這些代碼用在“200行樣板文件”或“React頁面中的大表”等常見的場景中。在這些場景中，可以不必完全信任這些代碼，只需在完成之后進行測試即可。

總之，正如一位開發人員所總結的那樣，“我對LLM的信任程度就像我對初級開發人員或實習生的信任一樣。我會給它分配一些我知道如何完成的任務，以此驗證其準確性，但不會在這些任務上花費過多的時間。這無疑是最佳的策略。從AI中獲益最大的開發人員是那些明智的人，他們知道LLM什么時候可能會出錯，但同時也能從中得到一些好處。”

尋求正確使用的方法

開源Python工具Datasette創始人Simon Wilison曾經提出這樣的觀點，“從AI中獲得最佳結果實際上需要大量的知識和經驗，因為很多都歸結于直覺。”他建議經驗豐富的開發人員測試不同LLM的局限性，以衡量它們的相對優勢和劣勢，即便一些LLM模型表現不盡如人意，仍然可以利用其價值。

初級開發人員如何有效利用AI進行編程？AWS AI開發者體驗主管Doug Seven表示，像Amazon Q Developer（前身為CodeWhisperer）這樣的編碼助手，對經驗不足的開發人員同樣可以提供幫助。這些工具能夠為他們提供有價值的建議，幫助他們明確編程思路，從而減少編程過程中頻繁向他人求助的需求。

也許正確的答案是：取決于具體情況！

而且重要的是，軟件開發的理念通常不是“更快、更多地編寫代碼”。實際上，優秀的開發人員編寫代碼的時間很少，而花費更多的時間思考需要解決的問題以及如何找到最佳解決方案。LLM可以在這方面提供幫助，正如Willison所指出的那樣：“ChatGPT(以及GitHub Copilot)為我節省了大量的‘深思熟慮’的時間。從在Bash中編寫For循環到記住如何在Javascript中進行跨域CORS請求，我甚至不需要再查找其他資料。”