譯者 | 布加迪

策劃 | 梁策 孫淑娟

您可能已經熟悉機器學習及其在當今世界的應用。人工智能(AI)和機器學習(ML)便于開發這樣的智能軟件：能夠準確預測結果，自動化執行通常由人執行的各項工作。盡管將機器學習納入應用程序至關重要，但對于組織而言，確保機器學習順利運行更為重要。

為此，許多公司利用一套名為“機器學習運營”(MLOps)的最佳實踐。而MLOps對于任何企業未來的繁榮正在變得至關重要。據德勤聲稱，到2025年，這個市場的產值可能會擴大40億美元，自2019年以來增長近12倍。

盡管機器學習為諸多業務流程帶來了種種優勢，但許多公司仍難以實施ML方法以提高生產力。

MLOps最佳實踐以及如何運用?

別以為僅僅注冊新的SaaS提供商或創建新的云計算實例，MLOps就能正常工作了。它需要細致的準備，還需要諸團隊和部門采用統一的方法。以下是成功實施MLOps的幾個最佳實踐。

1.跨多個細分市場驗證模型

模型可重復使用，但軟件不能。模型的有用性會逐漸降低，因此需要再訓練。每個新的情況都需要調整模型，需要訓練管道來完成這項任務。

雖然試驗監控可以幫助我們管理模型版本控制和可重復性，但在使用模型之前驗證模型也很重要。

離線或在線驗證是企業可以根據優先事項來使用的一種選擇。使用測試數據集評估模型對實現業務目標的適用性，重點關注精度和準確性等指標。在做出升級決策之前，應將指標與當前的生產/基線模型進行比較。

如果您的試驗在元數據方面得到了很好的跟蹤和管理，可以輕松執行升級或回滾。本文著眼于使用A/B測試來驗證在線模型，看看它在面對真實數據時是否表現良好。

機器學習系統越來越意識到可以從數據中獲得的偏差。這方面的一個例子是Twitter的圖像裁剪工具，它對某些用戶無效。可以將模型的性能與不同的用戶組進行比較，發現并修復這種不準確性。模型的性能還應在各種數據集上進行測試，以確認它符合要求。

2.嘗試新事物，跟蹤結果

超參數搜索和特征工程是不斷發展的領域。考慮到技術現狀和數據不斷變化的模式，ML團隊的目標是生成最佳系統。

然而，這需要與最新的趨勢和標準保持同步。此外，測試這些概念，看看它們是否可以幫助您的機器學習系統更好地執行。

數據、代碼和超參數都可以在試驗中使用。每個可能的變量組合都會生成可以與其他試驗的結果進行比較的指標。進行調查所在的環境也可能會改變結果。

您可能還需要部署時間跟蹤軟件，以確保結果的及時性，并跟蹤花在每個項目上的時間。

3.了解MLOps的成熟度

微軟和谷歌等領先的云提供商使用針對MLOps采用的成熟度模型。

實施MLOps需要組織變革和新的工作實踐。隨著組織的系統和程序開始完善，這種情況逐漸發生。

任何成功的MLOps實施都需要如實評估組織的MLOps成熟度進度。進行有效的成熟度評估后，公司可以學會邁入到新的成熟度水平。改變部署過程(比如實施DevOps或引入新的團隊成員)是其中的一部分。

有多種方法可以存儲用于機器學習的數據，比如特征商店(feature store)。特征商店對于數據基礎架構比較完善的組織很有幫助。它們需要確保不同的數據團隊使用相同的特征，并減少重復工作量。如果組織只有少數幾個數據科學家或分析員，特征商店可能不值得花精力搞。

組織可以利用MLOps成熟度模型，讓技術、流程和團隊共同成熟起來。它確保了迭代的可能性以及實施之前測試工具。

4.進行成本效益分析

確保您了解MLOps可以為貴組織做些什么。如果您在進行另一次購買時遵循策略，可以有效地處理每筆交易。假設您是想挑一輛汽車的購車者。面前有諸多選擇，比如跑車、SUV、緊湊轎車和豪華轎車等。您得先選擇最適合需求的類別，確保購買的車子符合需求，然后根據預算分析不同的類別和型號。

為貴公司選擇最佳的MLOps技術時，同樣如此。比如說，跑車和SUV有不同的優缺點。同理，您可以分析幾種MLOps工具的優缺點。

為了做出明智的戰略決策，您必須考慮幾個變量，包括貴公司的預算和目標、打算進行的MLOps活動、打算處理的數據集的來源和格式以及團隊的能力。

5.保持溝通渠道暢通

產品經理和用戶體驗設計師會影響支持系統的產品如何與客戶互動。機器學習工程師、DevOps工程師、數據科學家、數據可視化專家和軟件開發人員需要齊心協力，實施和管理長期的機器學習系統。

員工績效由經理和企業主審核和鑒定，而負責合規的專業人員驗證活動是否符合公司的政策和監管標準。

如果需要機器學習系統在面對不斷變化的用戶、數據模式和期望時繼續滿足業務目標，它們要相互聯系。

6.將自動化融入工作流程

由于廣泛而先進的自動化，公司的MLOps成熟度可能會提高。許多機器學習任務必須在缺乏MLOps的環境中手動執行。這包括特征工程、數據清理及轉換、將訓練和測試數據分割成更小的塊、構建模型訓練代碼等。

數據科學家手動執行這些任務，從而為錯誤和浪費時間埋下了禍根，這些時間原本可用于探索。

持續再訓練是自動化實際運用的典型例子，數據分析員可能為驗證、數據攝取、特征工程、試驗和模型測試建立管道。持續再訓練可防止模型漂移，通常被視為自動化機器學習的早期步驟。

原文鏈接：https://www.kdnuggets.com/2022/04/mlops-best-practices-apply.html