[[359893]]

1  引言
人工智能從誕生之始就以對抗人類智能為衡量準(zhǔn)則(著名的圖靈測試) 。作為人工智能研究的前沿方向，人機對抗技術(shù)一直是國內(nèi)外人工智能研究的熱點,以人機對抗為主要形式的人工智能研究為探尋機器智能的內(nèi)在生長機制和關(guān)鍵技術(shù)原理提供了一個極佳的試驗環(huán)境和驗證途徑.整個過程不僅能夠讓機器更加智能地為人類服務(wù)、將人類從一些繁復(fù)復(fù)雜的任務(wù)中解脫出來, 而且人類也能夠借鑒機器智能的發(fā)展過程，提升自身的智能水平，更深刻地理解和掌握智能的內(nèi)在本質(zhì)和產(chǎn)生機理，進(jìn)而推動整個社會由信息化向智能化發(fā)展。

2  發(fā)展歷史
從1936年人工智能之父阿蘭⋅圖靈提出著名的“圖靈測試”之后，人和機器之間進(jìn)行智能對抗就成為了衡量機器智能發(fā)展水平的最重要標(biāo)準(zhǔn)。從實現(xiàn)最初的簡單智能到不斷進(jìn)化成更為復(fù)雜的智能，對抗貫穿于人工智能中計算、感知和認(rèn)知的3個階段(圖1)，從某種意義上講，就如人類與自然環(huán)境的對抗促進(jìn)了人類的進(jìn)化，機器與人的對抗也必將讓機器智能不斷發(fā)展進(jìn)化。

Figure 1 The development history of human-computer gaming

3  內(nèi)涵及機理
雖然人機對抗智能技術(shù)獲得極大的關(guān)注, 并在不同應(yīng)用領(lǐng)域展現(xiàn)出應(yīng)用前景, 但其理論及相關(guān)技術(shù)目前還沒有一個系統(tǒng)性的描述, 本文將從內(nèi)涵、機理對其進(jìn)行闡述并在此基礎(chǔ)上相關(guān)模型及關(guān)鍵技術(shù)。

3.1 人機對抗內(nèi)涵

人機對抗是以機器和人類對抗為途徑，以博弈學(xué)習(xí)等為核心技術(shù)來實現(xiàn)機器智能快速學(xué)習(xí)進(jìn)化的研究方向。 作為“圖靈測試”的重要手段，人機對抗是驗證機器智能的“試金石”，為探尋機器智能的內(nèi)在生長機制和關(guān)鍵技術(shù)的驗證提供有效試驗環(huán)境、評價標(biāo)準(zhǔn)，具有重要科學(xué)研究意義和應(yīng)用價值。

3.2 人機對抗機理

人機對抗機理研究對抗各要素及其相互聯(lián)系，以及相互作用的運行規(guī)律與原理，涉及的要素包括人(機器的對手)、機器(對抗的AI)和環(huán)境(對抗的規(guī)則和條件等的集合體)，根據(jù)人機物3要素分析方法, 3要素相互作用分別形成一元博弈、二元博弈和三元博弈。人機對抗智能的科學(xué)問題可概括為博弈學(xué)習(xí)的可建模、可計算與可解釋。

4  人機對抗模型及關(guān)鍵技術(shù)
和感知智能有所不同，人機對抗通常關(guān)注更為復(fù)雜的時序決策等認(rèn)知智能，對其過程建模是一個高度復(fù)雜問題，因此認(rèn)知決策建模是整個人機對抗中的核心關(guān)鍵環(huán)節(jié)。

本文將面向強對抗環(huán)境下的人機對抗決策流程歸納為感知、推理、決策和控制，將人機對抗關(guān)鍵技術(shù)歸納為對抗空間表示與建模、態(tài)勢評估與推理、策略生成與優(yōu)化、行動協(xié)同與控制4部分；通過對抗態(tài)勢判讀理解、認(rèn)知預(yù)測、策略決策和行動實施，局部整體不斷循環(huán)迭代增強, 自主提升對抗能力。人機對抗涉及的關(guān)鍵技術(shù)如圖2所示。

Figure 2 Process modeling and key technology of human-computer gaming

4.1 對抗空間表示與建模

構(gòu)建有效的知識表示模型，準(zhǔn)確刻畫對抗空間的決策要素構(gòu)成、屬性特征及要素之間的交互關(guān)系，是實現(xiàn)人機對抗的基礎(chǔ)。巨復(fù)雜、高動態(tài)、強對抗環(huán)境具有決策要素海量高維、要素影響高度耦合、決策關(guān)鍵信息不完全等特性，使得對抗空間的定量表示極富挑戰(zhàn)。這方面可開展的研究包括：

（1）對抗空間要素實體–關(guān)系表示, 研究對抗空間中各類不同實體、實體屬性及其交互關(guān)聯(lián)關(guān)系, 構(gòu)建決策要素的表示模型；（2）對抗空間特征張量表示學(xué)習(xí), 分析實體屬性關(guān)系耦合和結(jié)構(gòu)拓?fù)鋵€體及群體對抗能力的影響, 構(gòu)建可解釋的對抗空間的高維張量描述；（3）層級化聚合演算規(guī)則建模, 融合經(jīng)驗表示與數(shù)值計算, 定義多因素、層級化的對抗態(tài)勢和對抗能力聚合演算規(guī)則, 形成環(huán)境–我方–對手多元耦合的可計算表征體系； （4）基于異構(gòu)信息網(wǎng)絡(luò)的抽象通用空間表示, 基于能力演算規(guī)則, 研究對抗要素的抽象態(tài)勢表示, 減輕對抗場景依賴帶來的噪聲和數(shù)據(jù)稀疏影響。

4.2 對抗態(tài)勢評估與推理

對抗態(tài)勢是指對抗各方通過實力對比、調(diào)配和行動等形成的狀態(tài)和趨勢，態(tài)勢的評估與推理為后續(xù)對抗策略生成與優(yōu)化提供了依據(jù)。面臨著的挑戰(zhàn)有：

（1）訓(xùn)練態(tài)勢認(rèn)知和預(yù)測模型的高水平對抗數(shù)據(jù)往往非常有限；（2）對手信息往往是凌亂的、不完全的, 僅依據(jù)對手部分信息進(jìn)行整體局勢評估準(zhǔn)確性較差； （3）復(fù)雜對抗環(huán)境導(dǎo)致可用于態(tài)勢評估的信息眾多，難以有效進(jìn)行融合以形成多角度層次化態(tài)勢。可開展的研究包括: （1）高質(zhì)量對抗數(shù)據(jù)的生成, 通過自主博弈或者生成式對抗網(wǎng)絡(luò)等方法生成用于人機對抗建模與分析的高質(zhì)量人機對抗數(shù)據(jù)；（2）小樣本學(xué)習(xí), 研究在數(shù)據(jù)較少情況下通過遷移或自適應(yīng)等方法實現(xiàn)對抗態(tài)勢的直接評估； （3）對方信息估計, 研究結(jié)合歷史信息與當(dāng)前對抗環(huán)境實現(xiàn)從底層到高層的對手動作估計、意圖識別與策略估計； （4）態(tài)勢層次化認(rèn)知, 研究結(jié)合多源異構(gòu)信息進(jìn)行態(tài)勢的多角度層次化評估與推理。

4.3 對抗策略生成與優(yōu)化

對抗策略主要涉及多智能體協(xié)同的任務(wù)規(guī)劃，解決群體與單體的行動規(guī)劃問題。其技術(shù)挑戰(zhàn)在于：

（1）不完全信息使得對手位置、行為、企圖不能完全知道，對手行為概率模型未知導(dǎo)致策略選擇保守, 需要進(jìn)行不完全信息下博弈策略選擇；（2）宏觀決策收益反饋滯后，使得宏觀決策的效應(yīng)需要經(jīng)過較長時間才能體現(xiàn), 導(dǎo)致決策行為與效益之間難以形成有效映射；（3）行動能力與環(huán)境深度耦合,忽略了局部環(huán)境因素可能導(dǎo)致策略分析嚴(yán)重偏差，過度詳細(xì)分析又導(dǎo)致對抗空間難以約減。針對策略生成和優(yōu)化方面的挑戰(zhàn)，利用策略游戲如星際爭霸作為平臺開展研究是國際上較為公認(rèn)的方式。可開展的研究包括：（1）宏觀策略生成，針對面向使命任務(wù)的全局博弈對抗問題，構(gòu)建分層任務(wù)分解與任務(wù)協(xié)同機制，實現(xiàn)復(fù)雜群體博弈對抗問題向低維空間約減； （2）微觀策略生成, 針對局部博弈對抗問題, 構(gòu)建微型群體局部策略自適應(yīng)機制, 實現(xiàn)微型群體的強博弈對抗能力與環(huán)境遷移能力；（3）策略優(yōu)化方法，針對策略能力需要自主提升的問題，構(gòu)建博弈策略的評價機制和學(xué)習(xí)型策略演進(jìn)機制，實現(xiàn)博弈策略的自主進(jìn)化與能力提升。

4.4 對抗行動協(xié)同與控制

策略的執(zhí)行需要多個智能體的行動協(xié)同，各智能體在自身信息獲取與初步認(rèn)知的基礎(chǔ)上，利用資源貢獻(xiàn)、信息連通、要素融合、虛擬協(xié)作、智能輔助等功能，將多個單元虛擬協(xié)同, 形成整合的群體行動協(xié)同與控制。多智能體協(xié)同的難點包括:多智能體的學(xué)習(xí)目標(biāo)，個體回報和團(tuán)隊回報的關(guān)系，學(xué)習(xí)過程中各智能體之間的作用和影響，聯(lián)合狀態(tài)和聯(lián)合動作的獲取，擴大的狀態(tài)空間和動作空間導(dǎo)致的維數(shù)災(zāi)難等問題。

目前相關(guān)研究工作主要集中在多智能體協(xié)同與學(xué)習(xí)方面。可開展的研究包括：

（1）從協(xié)同過程可分為序列策略表征、協(xié)同機制優(yōu)化、異構(gòu)多智能體協(xié)同以及多元協(xié)同的融合；（2）從協(xié)同任務(wù)類型可分為同任務(wù)合作智能協(xié)同、異任務(wù)資源協(xié)調(diào)等；（3）從理論上突破去中心化、通信中斷的默契型協(xié)作方法，任務(wù)涵蓋序列化任務(wù)、多層次任務(wù)、多領(lǐng)域任務(wù)等，實現(xiàn)場景類型全覆蓋，協(xié)同方式多元化，為訓(xùn)練提供高質(zhì)量協(xié)同策略。

5  應(yīng)用及挑戰(zhàn)
人機對抗智能技術(shù)的應(yīng)用領(lǐng)域涉及棋牌類游戲、即時策略游戲、兵棋推演等，在多個領(lǐng)域內(nèi)機器智能已經(jīng)達(dá)到并超過了該領(lǐng)域的人類頂級選手，不斷刷新博弈對抗記錄,顯示出了新一輪人工智能技術(shù)在認(rèn)知決策方面的鮮明特點。

5.1 棋牌類策略游戲?qū)?/strong>