語言處理想突破，三座大山必須過
大數(shù)據(jù)文摘出品
編譯：李佳、湯圓、錢天培
“我的飛機什么時候到?”
把這個問題拋給智能機器人助手。幾乎可以肯定，機器立馬就懵逼了。
“我”是誰?“飛機”是航班還是淘寶上訂的模型玩具呢?“到”又是到哪呢?
如果是人類來回答這個問題，即使在情景不明確的情況下也能在快速澄清后給出回答，但對機器來說，除非依賴大量人為制定的規(guī)則，回答這樣的問題難度堪比“哥德巴赫猜想”。
面對自然語言處理發(fā)展(NLP)存在的諸多難題，該領(lǐng)域的大牛、Salesforce的首席科學(xué)家Richard Socher在近日指出：NLP領(lǐng)域的發(fā)展要過三座大山。
困擾NLP領(lǐng)域的這三座大山究竟是什么?一起來聽大佬說。
一直以來，語言都被認為是人類的獨特能力，是智慧的表現(xiàn)。但最近，自然語言處理技術(shù)的發(fā)展似乎也將語言能力賦予給了機器。
幫你打電話訂餐，給你講故事，解決各種刁鉆的冷知識問答…機器的語言能力已經(jīng)無限接近人類水平。
現(xiàn)在你可以走進昏暗的客廳，讓Alexa把智能燈的亮度提高到75%。你也可以詢問他世界另一邊的天氣情況。在Google最近的Duplexde，AI助理已經(jīng)能夠給理發(fā)店打電話，為你預(yù)約剪發(fā)。
曾經(jīng)被視為科幻的場景現(xiàn)在變?yōu)榱爽F(xiàn)實，但為了維持真正的人機關(guān)系，機器必須能夠與人進行更直觀、理解上下文和自然的對話--這仍然是一個挑戰(zhàn)。我致力于研究NLP，但是就像AI一樣，我們還在這個旅程的開始階段。
語言是分享信息和與周圍連接的一種機制，但是機器需要理解語言的復(fù)雜性以及作為人類是如何使用語言進行交流的。情感分析、問題回答和聯(lián)合多任務(wù)學(xué)習(xí)方面的進步使AI能夠真正理解人類以及我們的交流方式。
情感分析
語言本身就是復(fù)雜的。它不斷發(fā)展，而且細致入微，一般人需要數(shù)年才能掌握。通過情緒分析，我們可以使用AI來理解特定內(nèi)容，比如品牌或電影評價是正面的、負面的還是中性的。
我們也能弄清楚演講者的態(tài)度和意圖(她是生氣，高興，驚訝還是準(zhǔn)備好要買東西了?)。從客戶服務(wù)到在線社區(qū)調(diào)節(jié)再到算法交易，能夠即時分析數(shù)千條推特和數(shù)百條產(chǎn)品評論來理解公眾對一個品牌的看法，這對于企業(yè)來說是非常有價值的。
情感分析技術(shù)已經(jīng)存在了一段時間，但并不總是非常精準(zhǔn)。隨著NLP的進展，這種情況正在發(fā)生變化。在我擔(dān)任首席科學(xué)家的Salesforce，我們的AI(叫做Einstein)允許品牌能夠通過電子郵件，社交媒體，和聊天短信得到實時的情感分析，為客戶提供更好的體驗。
準(zhǔn)確的情感分析，例如，服務(wù)代理可幫助了解應(yīng)優(yōu)先服務(wù)哪些不滿意的客戶，或者應(yīng)向誰提供優(yōu)惠。也可識別產(chǎn)品缺陷，衡量產(chǎn)品滿意度，通過社交平臺改變?nèi)藗儗ζ放频恼J知。其他科技公司也提供類似服務(wù)。
對于情感分析來說，理解上下文也是很重要的。假設(shè)你有一家肥皂公司，有人在推特上說：“這種肥皂對嬰兒來說真的很棒。”這可以是對兒童肥皂的積極支持，也可能是暗諷這對孩子來說很可怕。
這句陳述可能包含很多上下文，但又很簡單!使用AI分析某一句子結(jié)構(gòu)的所有可能性，并理解一個人在特定語境下的用意，是NLP研究的重大挑戰(zhàn)。它既需要標(biāo)記數(shù)據(jù)來改進模型培訓(xùn)，也需要新的模型在學(xué)習(xí)上下文的同時在許多不同類型的任務(wù)之間共享知識。
問答
隨著NLP更好地解析文本的含義，幫助管理我們生活的數(shù)字助理智能將會提高。Siri和Google Assistant等應(yīng)用程序可為常見問題提供優(yōu)質(zhì)答案，并執(zhí)行簡單的命令。理想情況下，我們應(yīng)該能夠問電腦任意問題，并且得到好的答案。
提供更好答案的一種方式是確保計算機理解問題。如果你問“我的飛機什么時候到達?”計算機怎么知道是在談?wù)撃愕暮桨噙€是從亞馬遜訂購的木工工具呢?
通過對語義的更深入理解，再加上對上下文數(shù)據(jù)的更好使用，計算機在判斷語義這方面正變得越來越好。我們正在研究如何使用NLP學(xué)習(xí)每一層上下文，這樣AI就可以同時處理所有內(nèi)容，而不會錯過重要的信息。
例如，動態(tài)共聚焦網(wǎng)絡(luò)( dynamic coattention networks可以根據(jù)不同的問題對單個文檔進行不同的解釋，比如，面對一篇體育報道，在回答“哪位運動員獲得了冠軍?”和“最年輕的參賽者是幾歲?”這兩個問題是，機器就能對這篇報道作出不同的理解，從而反復(fù)假設(shè)多個答案，最終得到最好、最準(zhǔn)確的結(jié)果。
聯(lián)合多任務(wù)學(xué)習(xí)
科學(xué)界善于構(gòu)建能很好地執(zhí)行單個任務(wù)的人工智能模型。但是，更直觀、會話式的并聯(lián)系上下文的界面則需要一個不斷學(xué)習(xí)的AI模型，它能夠?qū)⑿氯蝿?wù)與舊任務(wù)集成起來，并在這個過程中學(xué)習(xí)執(zhí)行更加復(fù)雜的任務(wù)。總體上來說，這對所有AI都是適用的，但在語言方面尤其如此，因為語言需要靈活性。
“誰是我的客戶?”這是一個十分簡單的任務(wù)：創(chuàng)建客戶列表。但是，“誰是太平洋西北地區(qū)對某一特定產(chǎn)品的最佳潛在客戶呢”?這樣的問題增加了一層復(fù)雜性，需要大量的集成任務(wù)來提供答案，例如：如何定義“最佳”?客戶定位在哪里?是什么因素導(dǎo)致客戶對產(chǎn)品感興趣的?每增加一個因素，問題的復(fù)雜性都會急劇增加。
Salesforce研究公司最近進行了一項名為“自然語言十項全能”的研究，該研究將多個任務(wù)轉(zhuǎn)化為問答的形式，從而在一個單模型中解決了NLP最困[1]難的10項任務(wù)：問題回答，機器翻譯，摘要，自然語言推理，情感分析，語義角色標(biāo)注，關(guān)系提取，目標(biāo)導(dǎo)向?qū)υ挘瑪?shù)據(jù)庫查詢生成，代詞消解。
使用多任務(wù)問答模型，將每個任務(wù)作為一種問答形式，單個模型在沒有任何特定參數(shù)或模塊的情況下共同學(xué)習(xí)和處理不同的任務(wù)。這不僅意味著數(shù)據(jù)科學(xué)家不再需要為每項任務(wù)建立、訓(xùn)練和優(yōu)化單個模型，而且還意味著該模型具有零射擊(zero-shot)學(xué)習(xí)能力---換句話說就是該模型可以處理以前從未見過或?qū)ｉT訓(xùn)練過的任務(wù)。
隨著研究人員繼續(xù)改進這樣的模型，我們會看到AI界面在承擔(dān)更復(fù)雜任務(wù)時變得更聰明。
雖然我們已經(jīng)研究NLP很長時間了，但我們要走的路還長著呢。希望隨著NLP技術(shù)的提升，人類與機器的交互形式最終能夠迎來質(zhì)的飛躍。
相關(guān)報道：
https://hbr.org/2018/07/ais-next-great-challenge-understanding-the-nuances-of-language
【本文是51CTO專欄機構(gòu)大數(shù)據(jù)文摘的原創(chuàng)文章，微信公眾號“大數(shù)據(jù)文摘（ id: BigDataDigest）”】
