在GenAI出現之前，我們Rest(澳大利亞最大的養老基金之一)就已開始實施一項戰略，旨在為會員簡化退休投資體驗。

然而，隨著2022年11月ChatGPT的推出，行業格局發生了巨變，我們認識到這項技術有潛力為會員進一步提升效率，但同時也可能為這個受到高度監管的組織帶來額外風險。

我們約50%的會員年齡在30歲以下，許多人從事兼職和非全日制工作，這意味著他們的賬戶余額往往低于全國平均水平，因此，我們在確保投資獲得豐厚回報的同時，必須高效運營。GenAI為此提供了絕佳機會，但正如許多企業所發現的，利用GenAI實現有意義的商業價值頗具挑戰。

為了從技術角度實現目標，我們需要一種務實、可控的方法來釋放GenAI的潛力，這種方法要與我們的組織戰略和風險承受能力相契合。

為了滿足這一需求，我們基于精益創業法開發了一個框架。我們的模型——“測試、衡量、擴展、放大”——旨在指導并擴大GenAI項目的規模，同時降低風險并實現可衡量的商業成果。

正在尋找一種實用的項目管理方法以提供以價值為導向的GenAI解決方案的企業，或許可以從采用或調整我們Rest構建的以下四步框架中找到指引。

第一步：測試——從小處著手驗證想法

與精益創業法以“構建”為第一步不同，我們的框架以實驗開篇。在許多情況下，GenAI模型已經“可供消費者使用”，無需大量軟件開發即可啟動，但在為AI計劃投入大量資源之前，從小處著手并驗證想法至關重要。

在這一階段，我們進行了幾次實驗，包括引入RestGPT以提高員工生產力。在首次發布時，我們在企業基礎設施上使用ChatGPT的“引擎”，在安全的環境中運行，數據存儲在我們獨立的租戶中。

為確保我們采取有控制和結構化的方法，我們設立了防護措施，包括制定負責任的使用政策，要求員工同意按照我們的風險和治理方法使用GenAI。

然后，我們成立了一個工作組，作為公司內部的倡導者，幫助激發對該項目的興趣，我們選擇了一些關鍵用例進行測試，這些用例與我們的目標一致，即提高效率以惠及會員。

為了使這成為一個真正的實驗，我們為每個用例設定了明確的基準。在引入GenAI之前，了解員工在每個任務上花費的時間至關重要，這樣我們才能衡量任何實際的改進。

這個測試階段使我們能夠以可控的方式驗證GenAI，確保其符合業務需求，同時系統地管理風險。

第二步：衡量——確定關鍵指標

我們框架中的衡量階段根據測試階段設定的指標對每個用例進行評估，這是一個特別重要的步驟，因為項目團隊將在這個階段就是否繼續投資某個用例或停止投資并專注于更高價值的機會做出關鍵決策。

在最高峰時，我們約90%的員工都在使用RestGPT工具，但正如IT和項目負責人所知，工具的使用率只是一個指標，而非關鍵績效指標。必須衡量與戰略目標相符的生產力提升，對我們而言，就是提高效率以惠及會員。

例如，我們與RestGPT測試的一個用例是讓財務團隊分析市場洞察報告。在RestGPT的協助下，進行分析所需的時間減少了約85%，這在試點期間為我們的分析師節省了大量時間。

這正是衡量階段要尋找的結果類型：清晰、可量化的效率提升，因為這是價值的有力指標，并證明擴大該用例規模的合理性。

第三步：擴展——擴大有效用例的規模

在我們框架的擴展階段，我們確定額外的用例，以擴大GenAI在我們實驗成功的領域的影響，然而，我們也認識到，并非每個用例都能如預期那樣擴大規模。

在確認RestGPT在測試階段提高了生產力后，我們開始超越基于聊天的GenAI，探索企業級AI集成。

我們還并行測試了一款聊天自動化工具，該工具旨在通過為在線聊天生成推薦回復來支持員工，該工具提供AI生成的回復，客服人員可以在與會員的實時聊天互動中復制、編輯和發送這些回復。

從紙面上看，結果非常出色，該工具提供了大量高度準確的回復建議，但當我們分析實際采用情況時，發現只有一小部分建議被員工使用，他們只是不愿意依賴AI實時撰寫回復，我們沒有繼續推進這個未被使用的解決方案，而是在僅兩周半后就暫停了該計劃，以調整我們的方法。

這是一個關鍵的學習時刻：并非每個GenAI用例都能成功擴大規模，即使它通過了初步測試，采用率與準確性同樣重要。

相比之下，呼叫中心的其他試點項目，如語音轉文本轉錄和通話數據分析，立即顯現了價值，將通話后的工作時間減少了50%。

擴展階段將使你能夠完善GenAI在哪些方面和如何產生最大影響。通過保持靈活性并專注于采用率，你可以根據需要進行調整。

第四步：放大——釋放全部潛力

我們框架的最后一步是項目團隊退后一步，評估進展，并確定將產生最大影響的更多用例。

在這一階段，項目團隊專注于大規模實現最大價值的用例。對我們而言，我們根據兩個關鍵因素進行評估：

? 影響：根據實施成本與“節省的員工工時”或“質量提升”計算，擴展該用例的凈現值(NPV)是多少?

? 實用性：考慮到與現有系統的集成、現成解決方案的可用性和潛在風險，大規模實施該項目的可行性如何?

基于這種方法，我們發現了GenAI可以顯著增強我們戰略的兩個明確領域：

Rest員工的AI助手。我們的第一個放大計劃涉及升級RestGPT，以擴大其在800多名員工中的使用。通過利用一個企業平臺，我們可以將其集成到許多后臺系統中，如ServiceNow、Atlassian、M365和Desk預訂，這使我們能夠集中知識檢索和任務自動化，包括IT請求。

通過升級到企業平臺，我們現在可以跟蹤哪些類型的員工在使用該工具以及用于什么目的。跟蹤實際節省的工時對我們來說是一個改變游戲規則的因素。這使我們能夠識別從初級分析師到高級管理人員任何人節省的時間，并讓我們對實現的價值充滿信心。

呼叫中心的對話輔助。我們的第二個計劃專注于提升呼叫中心會員體驗。通過將AI與人類專業知識相結合，我們在員工與會員通話時為他們提供定制指導。

通過與一個GenAI平臺合作，我們看到了提高每天1600個通話效率的機會，通過將每個通話的平均處理時間縮短2.5分鐘，我們估計每年可節省總計20000小時，這使我們的呼叫中心員工每天能夠幫助更多會員。

我們的放大階段帶來了另一個關鍵學習時刻：利用GenAI，你可以發現意想不到的好處。例如，我們低估了能夠分析通話數據的價值，現在正利用這些數據更深入地了解會員最關注的話題。

利用GenAI交付成果

在Rest，這個框架在應對GenAI應用的復雜性方面發揮了關鍵作用，確保我們的計劃與戰略目標保持一致，并為會員帶來切實價值。

當你考慮自己的GenAI之旅時，我們希望采用“測試、衡量、擴展、放大”這樣的框架將有助于你開發以價值為導向的用例，并有效地將其擴展到企業級。