我們從嬰兒時期就開始吸收語言。簡單的詞出現在第一年或第二年。到 6 歲時，我們的詞匯量增加了數千個，到了青少年時期，已學習的單詞超過 100,000 個。但是，盡管語言是人類與生俱來的能力，但機器發現它非常困難。

[[421700]]

這是莫拉維克悖論的一個典型例子，它指出機器容易的事情對人來說很難，反之亦然。軟件可以快速、完美地計算大量集合的數學運算，但它在日常人類活動中遇到困難，例如識別周圍環境中的物體或理解語言。盡管開發以與人類相同的方式理解自然語言的軟件已經有大量的活動，但這仍然是一個重大挑戰。

文字不是數字

在過去的 20 年中，產生和捕獲的所有形式的數據量都呈爆炸式增長。從廣義上講，這些數據分為兩類：結構化和非結構化。結構化數據是數字化和有組織的，根據定義是數學運算的基本輸入。得益于機器學習(ML) 和數據處理能力的整體增長，人工智能在從結構化數據中為從潛在機器故障到欺詐檢測等所有方面產生預測性見解方面取得了堅實的進展。如果您能夠以數字方式表達和構建數據，那么您就有了機器學習驅動洞察力的潛在候選人。

但數字技術也導致非結構化數據的大量增加，包括圖片、視頻和語言數據。這就是傳統的基于機器學習的自然語言處理 (NLP) 技術的不足之處。語言是數據密集型的——它攜帶著大量的潛在信息，具體取決于它的使用方式。

作為思考練習，只需列出任何常見單詞(如“bat”)的含義和用法的數量。這些含義來自上下文。語言學家 RJ Firth 寫道：“你應該知道它所擁有的公司一個詞。” 語言的這些內在元素使得應用數學技術真正理解自然語言的含義變得非常具有挑戰性。然而，“一刀切”的語言機器學習方法還有一個更根本的缺點：知識問題。

知識問題

當您進入復雜的語言文檔的現實世界時，語言挑戰變得更加復雜，這些文檔為眾多企業提供支持并且是其領域所獨有的。根據定義，這些是使語言更加復雜的邊緣情況。機器學習模型僅通過訓練所依據的數據了解世界，并且它們通過在許多情況下復雜且不透明的算法得出結果——許多人工智能方法的著名“黑匣子”特征。

提供實際解決方案的大部分工作取決于確保數據集足夠大和具有足夠的代表性，以捕獲主題專家只有經過多年的經驗和培訓才能識別的信息。在許多情況下，如此大量的訓練數據是不可用的。鑒于現實世界會隨著時間的推移而發生變化，并且模型需要進行再訓練，這也是一項持續的練習。

即使是 GPT-3 等大型語言模型的廣為人知的進步，也沒有理由對這種復雜性持樂觀態度。這些模型依賴海量數據集進行訓練，可以處理相對簡單的語言案例。但是在特定領域缺乏任何真正的基礎，它們與具有經驗和知識的人用來理解意圖、上下文和含義的方法相去甚遠。

整體超過部分之和

人們逐漸認識到需要將機器學習方法的功能與建立在企業專家多年來開發的知識基礎上的方法相結合。這些基于知識的方法被稱為符號人工智能，依賴于嵌入知識的技術，類似于人類如何建立自己對學科的掌握。

符號方法提供了可解釋性的額外好處，因為結果與知識的顯式表示相關聯。事實上，符號方法是用于人工智能自然語言理解的第一種技術，并且越來越被視為對最近的機器學習方法的必要補充。

學習和知識方法的結合提供了大規模產生深入理解的能力，以及與可解釋的領域和結果相關的見解。這種“混合”方法可以確保以可擴展的方式捕獲和交付嵌入在語言中的相關信息，從而做出更快、更智能和更一致的決策，從而使人們能夠更好地完成工作(變得更專業)。這最終是企業競爭的舞臺，也是最好的技術提供的場所。