充分利用企業(yè)數(shù)據(jù)是當今 IT 領導者最關心的問題。隨著企業(yè)在業(yè)務決策中尋求更多的數(shù)據(jù)驅(qū)動，IT 領導者必須制定數(shù)據(jù)戰(zhàn)略，以便從數(shù)據(jù)中創(chuàng)造價值，無論數(shù)據(jù)存在于何處或以何種形式存在。

對于許多企業(yè)來說，文本、視頻、音頻、社交媒體、圖像、傳感器和其他格式的非結構化數(shù)據(jù)仍然是難以捉摸和尚未開發(fā)的。據(jù)行業(yè)研究估計，多達 90% 的企業(yè)數(shù)據(jù)是非結構化數(shù)據(jù)，但根據(jù) Foundry 的研究，61% 的 IT 領導者表示，管理非結構化數(shù)據(jù)是他們組織面臨的一個問題，另有 24% 的 IT 領導者甚至沒有將非結構化數(shù)據(jù)列入他們的數(shù)據(jù)和分析短名單。

非結構化數(shù)據(jù)資源對于獲得業(yè)務洞察力和解決問題極具價值。關鍵在于如何創(chuàng)造這種價值。能夠熟練利用這些龐大信息資源的企業(yè)，可以在為關鍵業(yè)務流程提供可操作的洞察力方面獲得顯著優(yōu)勢。

下面我們來看看那些富有創(chuàng)造力的企業(yè)是如何將非結構化數(shù)據(jù)轉化為商業(yè)價值的，以及如何讓非結構化數(shù)據(jù)為您的組織工作的一些技巧。

01 ｜增強創(chuàng)意流程

移動游戲開發(fā)公司 RetroStyle Games 的數(shù)據(jù)分析師 Ivan Konoval 說，在該公司，非結構化數(shù)據(jù)已被證明是一座 “金礦”，可直接促進業(yè)務增長和游戲改進。

在 RetroSyle Games 使用非結構化數(shù)據(jù)的眾多方式中，影響最大的可能是收集概念圖和音頻數(shù)據(jù)。

Konoval 說：“我們游戲開發(fā)人員的創(chuàng)意過程往往始于草圖、情緒板或概念圖。"這些作品雖然沒有結構，但卻捕捉到了我們希望在游戲中表達的精髓。為了確保這些作品不會遺失在其他作品中，并在將來制作游戲續(xù)集時可以很容易地找到，我們使用了先進的圖像識別工具。”

這些工具會對作品中的各種元素進行分類和標記，無論是角色、風景還是其他元素。Konoval 認為：“這樣我們的美術師和開發(fā)人員就能快速找到相關的作品，從而保證設計的一致性，加快開發(fā)進程。此外，這個系統(tǒng)還允許我們存儲有關公司藝術品開發(fā)的信息，這在培訓新員工時非常有用。”

關于音頻數(shù)據(jù)，配音在玩家的游戲世界體驗中起著關鍵作用，科諾瓦爾說：“我們從游戲中的對話、背景聲音和玩家語音聊天中收集了大量數(shù)據(jù)。通過語音識別和聲音分析，我們可以提取出細微差別，如情緒和情感。”

例如，如果某個對話框?qū)е峦婕沂冀K帶著興奮的情緒進入語音聊天，開發(fā)人員就會注意到這一點。同樣，背景噪音等與環(huán)境不符的異常情況也會被識別出來并加以解決。

Konoval 說：“從這些音頻數(shù)據(jù)中獲得的洞察力直接有助于改善游戲的音頻體驗，確保玩家在游戲中始終保持情感投入，并與環(huán)境互動。”

Konoval 指出，游戲是動態(tài)的，游戲產(chǎn)生的數(shù)據(jù)也是動態(tài)的。游戲內(nèi)聊天情感分析等功能需要實時處理，以過濾玩家的不當行為。他說：“我們利用 Apache Kafka 等流處理框架解決了這個問題。這使我們的游戲管理員能夠?qū)崟r應對任何新出現(xiàn)的模式和問題。”隨著每款游戲的發(fā)布和更新，處理的非結構化數(shù)據(jù)量都會呈指數(shù)級增長。他說：“如此龐大的數(shù)據(jù)量給存儲和高效處理帶來了嚴峻的挑戰(zhàn)。”

為了解決這個問題，RetroStyle Games 投資了數(shù)據(jù)湖。Konoval 說：“這不僅使我們能夠存儲大量非結構化數(shù)據(jù)，還能對其進行高效查詢和分析，為我們的數(shù)據(jù)科學家和開發(fā)人員提供即時訪問所需的信息。”

02 ｜為生成式人工智能提供動力

員工識別和體驗軟件供應商 Workhuman 正在其基于云的平臺上以多種方式利用非結構化數(shù)據(jù)，該公司分析主管兼執(zhí)行董事 Jesse Harriott 表增：“非結構化數(shù)據(jù)是最普遍的數(shù)據(jù)形式，但也是最難有效利用的數(shù)據(jù)。”

"哈里奧特說："非結構化數(shù)據(jù)是最普遍的數(shù)據(jù)形式，但也是最難有效使用的數(shù)據(jù)。

Workhuman 云包含來自世界各地員工的數(shù)百萬條表揚信息，他們分享了對同事的積極反饋。

Harriott 說：“他們用自己的話來表達，因此每個表揚時刻都是完全獨一無二的。我們利用這些數(shù)據(jù)建立人工智能模型，幫助公司更好地定義員工在組織中的合作方式、信息中最常出現(xiàn)的主題以及整個組織的表彰獎勵是否公平。”

該公司還使用大型語言模型（LLM）來總結一段時間內(nèi)的表彰趨勢，并為有效的表彰信息提供語言建議。

Harriott 說：“我特別自豪的一項舉措是我們的工具 Inclusion Advisor，這是一個基于人工智能的即時輔導工具，可以在獎勵語言發(fā)送給受獎人之前，識別并建議糾正無意識的偏見。”

從非結構化數(shù)據(jù)中獲取價值所面臨的最大挑戰(zhàn)之一是，對于企業(yè)重點關注的業(yè)務用例而言，獲得可靠、有效的培訓數(shù)據(jù)的途徑有限。

Harriott 表示：“你可以擁有大量的非結構化數(shù)據(jù)，但如果沒有有效的訓練數(shù)據(jù)來創(chuàng)建和驗證模型，進度和質(zhì)量都會受到影響。利用 LLM 當然可以在這方面有所幫助，但現(xiàn)有的 LLM 無法有效捕捉許多業(yè)務用例。”

此外，Harriott 指出：“在 LLM 中，訓練數(shù)據(jù)仍可能存在偏差問題。Workhuman 有一個語言學團隊，負責數(shù)據(jù)注釋、增強和驗證，以解決其中的一些問題。我們還與大型跨國客戶合作，確保模型產(chǎn)生有意義和有用的結果。”

03 ｜將非結構化數(shù)據(jù)轉化為價值的技巧

Harriott、Konoval 和其他數(shù)據(jù)專家就如何確保在處理非結構化數(shù)據(jù)時取得成功提出了建議。

1. 將計劃與業(yè)務成果掛鉤。Harriott 認為，IT 領導者應確保利用非結構化數(shù)據(jù)的計劃與業(yè)務需求緊密結合，并得到高管的支持。

Harriott 說：“通常情況下，一個團隊可能對非結構化數(shù)據(jù)有一個創(chuàng)造性的使用案例，但與關鍵業(yè)務成果之間的聯(lián)系對其他人來說并不明顯，因此可能會失去支持。領導者有責任讓組織了解使用案例為何重要，以及如何直接或間接地推動業(yè)務效益。”

2. 認可過程。此外，數(shù)據(jù)領導者還應該設定并慶祝計劃的里程碑，尤其是考慮到利用非結構化數(shù)據(jù)創(chuàng)造價值的挑戰(zhàn)有多么困難。

Harriott 說：“讓非結構化數(shù)據(jù)具有可操作性可能需要比業(yè)務預期更多的時間和精力。通過認可里程碑，領導者可以讓其他利益相關者了解正在取得的進展，還可以確保團隊成員對他們?yōu)閷崿F(xiàn)非結構化數(shù)據(jù)可操作性所付出的努力感到贊賞。”

3. 質(zhì)量是第一要務。成功的另一個關鍵是優(yōu)先考慮數(shù)據(jù)質(zhì)量。

Konoval 說：“垃圾進，垃圾出'這句諺語再恰當不過了。在不確保數(shù)據(jù)質(zhì)量的情況下進行分析可能會適得其反。我們一直采取這種方法：清理數(shù)據(jù)，刪除不必要的內(nèi)容，確保數(shù)據(jù)符合質(zhì)量標準。”

Konoval 指出：“在游戲行業(yè)。錯誤的決策可能會導致昂貴的功能開發(fā)，而玩家可能不會產(chǎn)生共鳴，更有甚者，可能會出現(xiàn)有損我們聲譽的錯誤。我們嚴格的數(shù)據(jù)治理框架確保了我們分析的基礎堅如磐石。”

4. 將可操作的數(shù)據(jù)與信息分開。優(yōu)先考慮業(yè)務用戶可以采取行動的數(shù)據(jù)也至關重要。主機托管和數(shù)據(jù)服務提供商 DataBank 首席運營官 Joe Minarik 說：“重要的是數(shù)據(jù)量，以及能夠區(qū)分哪些是可操作的，哪些是信息性的。”

為了強調(diào)這一點的重要性，Minarik 以使用非結構化數(shù)據(jù)進行系統(tǒng)監(jiān)控為例。他說：“必須對可操作的方面進行優(yōu)先排序并快速處理。由于對系統(tǒng)的許多方面都進行了監(jiān)控，因此一個問題就會從下游設備中產(chǎn)生警報和信息，導致警報、報警和信息過多，需要對這些信息進行篩選，以確定真正需要解決的單一方面。”

5. 充分利用人工智能。繼續(xù)舉例說明，Minarik 指出了人工智能和機器學習在長期分析非結構化數(shù)據(jù)流方面發(fā)揮的重要作用。他說：“它可以幫助你建立系統(tǒng)相關性。這可以讓你放棄噪音，立即找到根本問題。”

例如，企業(yè)可以部署命名實體識別（NER），這是自然語言處理（NLP）的一個組成部分，重點是識別非結構化文本中的命名實體并對其進行分類，標記如“人”、“組織”或 “地點”。

Minarik 指出：“在實際應用中，實體識別在眾多應用中發(fā)揮著至關重要的作用。這些應用包括索引和組織內(nèi)容的信息檢索系統(tǒng)、在文本中定位答案的問題解答系統(tǒng)，以及根據(jù)識別實體個性化內(nèi)容的內(nèi)容推薦引擎。通過識別命名實體并對其進行分類，NER 使數(shù)據(jù)分析師和系統(tǒng)工程師能夠從收集到的大量數(shù)據(jù)中獲得有價值的見解。”

6. 通過可視化確保價值。Minarik 認為，使非結構化數(shù)據(jù)可用的過程并不止于分析。報告和結果交流是這一過程的高潮。

Minarik 說：“報告通常包括對主要發(fā)現(xiàn)、方法和分析意義的結構化呈現(xiàn)。可視化，如圖表、圖形和儀表盤，有助于以易于理解的格式傳達復雜的數(shù)據(jù)。可視化的表現(xiàn)形式不僅有助于理解，還能讓利益相關者更容易識別趨勢、異常值和關鍵見解，確保及時做出數(shù)據(jù)驅(qū)動的決策。”

7. 邊做邊監(jiān)控。Minarik 說，另一個有時被忽視的關鍵做法是需要持續(xù)監(jiān)控和維護。他說：“現(xiàn)實生活中的數(shù)據(jù)是動態(tài)的，不斷變化的。持續(xù)監(jiān)控和維護是確保數(shù)據(jù)長期可用的關鍵。”

Minarik 表示，關鍵在于定期清理和執(zhí)行質(zhì)量檢查，以保持數(shù)據(jù)的準確性和可靠性。必須及時發(fā)現(xiàn)并糾正數(shù)據(jù)異常、不一致和重復，以防止分析出現(xiàn)偏差或錯誤。

8. 保持團隊技能的敏銳性。最后，投資開發(fā)正確的技能是一種良好的做法--鑒于基礎工具的不斷發(fā)展，這項工作必須持續(xù)進行。

Konoval 認為：“數(shù)據(jù)分析的世界，尤其是圍繞非結構化數(shù)據(jù)的分析，是動態(tài)的。最小的優(yōu)勢，比如一支熟練掌握最新圖像識別技術和分析概念圖的團隊，就能決定一款游戲是成功還是失敗。我們已經(jīng)看到先進技術的成果如何影響我們游戲的故事講述和設計，從而帶來積極的反饋并提高玩家的參與度。”

來源：www.cio.com