譯者 | 張怡
審校 | 梁策 孫淑娟
就像國際汽車工程師學(xué)會(SAE)對自動駕駛汽車分級一樣，為了預(yù)測人工智能系統(tǒng)的成本，給它們分個“級別”想必也是不錯的選擇。采用分級系統(tǒng)可以幫助組織計劃和準(zhǔn)備AI系統(tǒng)，且隨著時間的推移，AI系統(tǒng)的復(fù)雜性也會不斷增加。
Photo by Hitesh Choudhary on Unsplash
設(shè)計和構(gòu)建人工智能系統(tǒng)不是件容易事。傳統(tǒng)軟件的大部分成本都在部署前的開發(fā)過程中，而AI系統(tǒng)的大部分成本都在部署后。人工智能系統(tǒng)的行為不斷學(xué)習(xí)，且很可能會從最初的部署中改變。如果不持續(xù)投資數(shù)據(jù)和進(jìn)行參數(shù)調(diào)整，機(jī)器學(xué)習(xí)模型會隨著時間的推移而“退化”。設(shè)計決策直接影響人工智能系統(tǒng)的擴(kuò)展能力，其難點就是理解AI系統(tǒng)如何隨著時間的推移而發(fā)生變化。
在構(gòu)建AI系統(tǒng)時，分級可以為不同AI系統(tǒng)的行為提供參考。進(jìn)行分級并根據(jù)級別進(jìn)行權(quán)衡可以幫助簡化部署后的差異。
理解系統(tǒng)可能會發(fā)生何種行為變化，并將其納入系統(tǒng)設(shè)計中是非常重要的。以下的分級框架概述了各級系統(tǒng)隨時間變化的主要差異，我們可以在設(shè)計和操作系統(tǒng)時對這些差異加以利用。不同的系統(tǒng)可以處于不同的級別，而對其差異有一個整體的認(rèn)知可以幫助組織更好的規(guī)劃和執(zhí)行。
系統(tǒng)的復(fù)雜性可以由其輸入(a)、輸出(b)和目標(biāo)(c)的范圍來定義。
AI級別
一般來說，隨著級別的上升，成本也會增加。比如我們設(shè)想將一個運行在1級的系統(tǒng)提升到2級，但是系統(tǒng)構(gòu)建的復(fù)雜性和成本也會隨著級別的上升而增加。顯然，我們的新功能應(yīng)該先從一個系統(tǒng)行為容易理解的“低”級別開始，再逐漸增加級別——隨著級別的增加，系統(tǒng)的失敗案例變得越難理解。
隨著我們從傳統(tǒng)軟件(0級)升級到完全智能軟件(4級)，不同級別的AI系統(tǒng)差異明顯，極大地影響了系統(tǒng)成本。級別4的系統(tǒng)基本上可以自行維護(hù)和改進(jìn)，無需內(nèi)部開發(fā)團(tuán)隊的任何工作。
升級是需要權(quán)衡的。例如，從1級到2級減少了持續(xù)的數(shù)據(jù)需求和定制工作，但引入了一個自我強化的偏差問題。選擇升級需要認(rèn)識到新的挑戰(zhàn)，以及在設(shè)計AI系統(tǒng)時需要采取那些措施。
在系統(tǒng)升級過程中，其可擴(kuò)展性、通用性、穩(wěn)健性等均發(fā)揮關(guān)鍵作用。在第N級的項目上工作時，我們應(yīng)該考慮達(dá)到第N+1級的工作成本和收益，同時應(yīng)該根據(jù)自己的目標(biāo)設(shè)定合適的分級，并意識到何時需要升級現(xiàn)有的AI系統(tǒng)。
0級：可靠型(傳統(tǒng)型)Deterministic
不需要訓(xùn)練數(shù)據(jù)，不需要測試數(shù)據(jù)，不涉及學(xué)習(xí)的算法處于0級。
0級(計算機(jī)科學(xué)中的傳統(tǒng)算法)的最大好處是非常可靠，只要解決了問題就是最優(yōu)解。在某種程度上，很多的算法(比如二分搜索)都是對數(shù)據(jù)的“自適應(yīng)”。我們通常不認(rèn)為排序算法是“學(xué)習(xí)”的。學(xué)習(xí)涉及到記憶——系統(tǒng)在過去學(xué)習(xí)的基礎(chǔ)上改變未來的行為。
然而，有些問題采用預(yù)先指定的算法很難解決。對于那些人類難以詮釋的問題(如語音到文本、翻譯、圖像識別、語言提示等)，它很難執(zhí)行。
示例：
- 用于信用卡驗證的Luhn算法
- 基于正則表達(dá)式的系統(tǒng)
- 信息檢索算法，如TFIDF檢索或BM25
- 基于字典的(Dictionary-based)拼寫校正
注意：在某些情況下，可能會有少量參數(shù)需要調(diào)優(yōu)。例如，ElasticSearch提供了修改BM25參數(shù)的能力(例如一鍵設(shè)置set and forget)。
Level 1：學(xué)習(xí)型Learned
靜態(tài)訓(xùn)練數(shù)據(jù)，靜態(tài)測試數(shù)據(jù)。
您可以在脫機(jī)環(huán)境中訓(xùn)練模型，再將訓(xùn)練好的“固化”的權(quán)重部署到生產(chǎn)系統(tǒng)中。模型可能會有一個更新的節(jié)奏，但是模型運行的環(huán)境不會影響模型。
Level 1可以讓你嘗試學(xué)習(xí)和部署任何功能，但訓(xùn)練數(shù)據(jù)是有限的。這是一個嘗試不同類型解決方案的演練場。此外，對一些常見的問題(如語音識別)，你可以從邊際成本遞減中獲益。
Level 1的缺點是對單個用例的定制化學(xué)習(xí)：你需要為每個用例管理訓(xùn)練數(shù)據(jù)，而用例可能會隨著時間的推移而改變，因此需要不斷地添加訓(xùn)練數(shù)據(jù)以保持模型的性能。這個成本是難以承受的。
示例：
- 自定義文本分類模型
- 語音到文本(聲學(xué)模型)
Level 2：自學(xué)習(xí)型Self-learning
動態(tài)+靜態(tài)訓(xùn)練數(shù)據(jù)，靜態(tài)測試數(shù)據(jù)。
Level 2是使用由系統(tǒng)生成的訓(xùn)練數(shù)據(jù)對模型進(jìn)行改進(jìn)的系統(tǒng)。在某些情況下，數(shù)據(jù)的生成是獨立于模型的。所以我們希望隨著時間的推移以及更多的數(shù)據(jù)加入模型，性能會增加;在其他情況下，模型干預(yù)會增強模型偏差，并且隨著時間的推移，表現(xiàn)會變得更糟。為了消除模型偏差，我們需要靜態(tài)數(shù)據(jù)集重新評估模型。
這樣來看，Level 2性能似乎可以隨著時間的推移而自動提高。但是如果不加以管理，系統(tǒng)可能會隨著數(shù)據(jù)的增加變得更糟。因為本質(zhì)上依賴于靜態(tài)數(shù)據(jù)集(一開始生成自己模型的訓(xùn)練數(shù)據(jù))，處于Level 2的系統(tǒng)改進(jìn)能力有限，而要解決這種模型偏差很有挑戰(zhàn)性。
示例：
- Naive垃圾郵件過濾器
- 語音-文本模型(語言模型)
Level 3：自動型Autonomous (or self-correcting)
動態(tài)訓(xùn)練數(shù)據(jù)，動態(tài)測試數(shù)據(jù)。
Level 3系統(tǒng)既能改變?nèi)祟惖男袨?例如建議一個操作并讓用戶選擇)，又能直接從該用戶行為中學(xué)習(xí)(例如用戶的選擇偏好)。從2級升級到3級意味著系統(tǒng)的可靠性和總體可實現(xiàn)性能將大幅提高。
相較于Level 2，Level 3，系統(tǒng)可以隨著時間的推移而改善。當(dāng)然，它也更加復(fù)雜。它可能需要真正驚人的數(shù)據(jù)量，或者非常精心的設(shè)計，才能比簡單的系統(tǒng)做得更好;但是它適應(yīng)環(huán)境的能力也使測試非常困難，甚至可能出現(xiàn)災(zāi)難性的惡性循環(huán)。例如，測試人員糾正一個垃圾郵件過濾器——雖然人類只糾正了系統(tǒng)所做的錯誤分類，但是系統(tǒng)意識到其所有預(yù)測可能都是錯誤的(過于敏感)，并將自己的預(yù)測整個顛倒過來。
Level 4：智能型Intelligent (or globally optimizing)
動態(tài)訓(xùn)練數(shù)據(jù)，動態(tài)測試數(shù)據(jù)，動態(tài)目標(biāo)。
Level 4是既能與環(huán)境動態(tài)交互又能全局優(yōu)化的系統(tǒng)。例如，AutoSuggest模型并不優(yōu)化當(dāng)前方法，而是優(yōu)化一系列事件以達(dá)到最佳的對話框的目標(biāo)。
雖然如何實現(xiàn)還有漫長的探索之路要走，Level 4的前景確實一片光明。精準(zhǔn)定位問題，引入獎勵與懲罰機(jī)制，評估模型的行為，這些都是重大而艱巨的任務(wù)。
附錄：
原文鏈接：https://www.kdnuggets.com/2022/03/level-system-help-forecast-ai-costs.html
譯者介紹
張怡，51CTO社區(qū)編輯，中級工程師。主要研究人工智能算法實現(xiàn)以及場景應(yīng)用，對機(jī)器學(xué)習(xí)算法和自動控制算法有所了解和掌握，并將持續(xù)關(guān)注國內(nèi)外人工智能技術(shù)的發(fā)展動態(tài)，特別是人工智能技術(shù)在智能網(wǎng)聯(lián)汽車、智能家居等領(lǐng)域的具體實現(xiàn)及其應(yīng)用。
