本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

大語言模型在自然語言處理和生成方面的卓越能力，為自動駕駛技術(shù)帶來了全新的活力。中科慧拓攜手中國科學(xué)院自動化研究所、武漢大學(xué)、加州大學(xué)伯克利分校和西安交通大學(xué)，使用大語言模型開發(fā)了符合人類駕駛邏輯的運動規(guī)劃算法InstDriver。中科慧拓技術(shù)團隊基于人類的駕駛邏輯（如避免碰撞）和交通規(guī)則（如只在綠燈亮?xí)r行駛）生成駕駛指令數(shù)據(jù)。然后，通過模擬人類駕駛員思考方式的思維鏈InstructChain進行進一步推理，最終獲得能夠反映指令執(zhí)行效果的運動規(guī)劃。該思維鏈支持加入人類規(guī)則，并從駕駛數(shù)據(jù)中學(xué)習(xí)，從而實現(xiàn)運動規(guī)劃的可解釋性以及駕駛數(shù)據(jù)的可擴展性。InstDriver已在全球首個自動駕駛規(guī)劃基準nuPlan框架中進行了廣泛的開環(huán)和閉環(huán)測試，顯示了其優(yōu)異的性能。

論文鏈接：代碼鏈接：https://github.com/bonbon-rj/InstructDriver

論文思路

自動駕駛技術(shù)對于提高道路安全至關(guān)重要，它可以減少交通擁堵，提高運輸效率。目前廣泛采用的自動駕駛流程包括感知、預(yù)測和運動規(guī)劃，它們共同使車輛能夠在復(fù)雜環(huán)境中導(dǎo)航。其中，運動規(guī)劃尤為重要，它通過確定最佳路徑和速度，在避免碰撞的同時確保車輛平穩(wěn)安全地行駛。

傳統(tǒng)的基于規(guī)則的方法利用預(yù)定義的規(guī)則和邏輯條件進行規(guī)劃，這種方法具有很高的可解釋性，但難以考慮到所有可能的情況?；趯W(xué)習(xí)的方法在大量自動駕駛場景數(shù)據(jù)基礎(chǔ)上進行訓(xùn)練，使模型能夠?qū)W習(xí)和理解各種場景。盡管基于學(xué)習(xí)的方法性能卓越，但它們將運動規(guī)劃視為黑箱預(yù)測問題，從而引發(fā)了人們對輸出軌跡是否與人類駕駛行為一致的擔(dān)憂。

隨著大語言模型（LLM）的出現(xiàn)，最近的方法試圖將其知識轉(zhuǎn)移到運動規(guī)劃中。盡管這些方法取得了令人鼓舞的成果，但它們通常依賴于預(yù)定義的規(guī)劃目標，而且目前仍不清楚LLM是否真的掌握了人類駕駛的基本邏輯。由于缺乏真實世界的閉環(huán)評估，人們擔(dān)心它們能否根據(jù)環(huán)境數(shù)據(jù)做出規(guī)劃決策。

為了解決這個問題，我們提出了一種InstDriver方法，通過生成一系列基于人類駕駛邏輯的指令數(shù)據(jù)，使基于LLM的規(guī)劃器與人類行為保持一致。另外，我們模擬人類駕駛員的思考方式提出了一個InstructChain模塊，用于將這些指令組合起來，推理出最終的規(guī)劃軌跡。InstDriver允許結(jié)合人類規(guī)則，并從駕駛數(shù)據(jù)中學(xué)習(xí)，從而實現(xiàn)可解釋性和數(shù)據(jù)可擴展性。通過利用一系列中間指令，InstructChain增強了LLM處理復(fù)雜規(guī)劃推理任務(wù)的能力。

我們的貢獻總結(jié)如下：

• 我們提出了InstDriver，使LLM與一系列人類指令保持一致，確保它們與人類的駕駛邏輯保持一致。
• 我們提出了InstructChain，使LLM能夠明確地跟隨指令的執(zhí)行，從而提供高度的可解釋性。
• 我們在nuPlan框架內(nèi)進行了廣泛的開環(huán)和閉環(huán)實驗，驗證了所提方法的有效性，實現(xiàn)了具有競爭力的性能指標。

圖1：InstDriver的動機。左圖比較了不同的自動駕駛運動規(guī)劃方法，展示了我們的方法在沒有預(yù)定義目標的情況下發(fā)揮作用的能力，強調(diào)了其如何引導(dǎo)規(guī)劃器產(chǎn)生類似人類的駕駛行為。右圖說明了提供的指令與結(jié)果輸出之間的對應(yīng)關(guān)系。

方法設(shè)計

我們提出的InstDriver是一種指令微調(diào)的方法，通過構(gòu)建與人類行為一致的指令數(shù)據(jù)對大語言模型進行微調(diào)，進而實現(xiàn)符合人類駕駛邏輯的規(guī)劃器。其中InstructChain不僅反映了指令的執(zhí)行情況，也展示了整個規(guī)劃過程。它通過四個步驟來精細化運動規(guī)劃的過程：

• 初步規(guī)劃：對當(dāng)前場景進行一個初步的高級語義動作規(guī)劃，例如沿當(dāng)前車道前進。
• 風(fēng)險預(yù)測：通過預(yù)測自車的未來位置和識別可能的碰撞風(fēng)險物體，并提供潛在碰撞方位以便后續(xù)的行動規(guī)劃。
• 地圖因素分析：考慮與交通環(huán)境有關(guān)的因素，包括交通信號、速度限制和車道線，確保行動計劃的合規(guī)性與安全性。
• 高級動作規(guī)劃：綜合前三步獲得的信息，制定細致的高級語義動作規(guī)劃。

隨后，最終的高級語義動作規(guī)劃將會被映射到自動駕駛汽車的實際運動軌跡，用于仿真環(huán)境中進行模擬。

圖2：InstDriver的運動規(guī)劃過程概述。我們的方法將場景數(shù)據(jù)轉(zhuǎn)換為文本描述，并通過設(shè)置特定指令，使經(jīng)過微調(diào)的LLM能夠生成符合人類駕駛行為的InstructChain和軌跡。隨后將軌跡應(yīng)用于模擬環(huán)境進行仿真。

實驗結(jié)果

我們利用nuPlan提供的官方指標進評估，包括開環(huán)分數(shù)（OLS）、非反應(yīng)性閉環(huán)分數(shù)（NR-CLS）和反應(yīng)性閉環(huán)分數(shù)（R-CLS）。OLS包含平均距離誤差 、平均航向誤差 、最終距離誤差 、最終航向誤差和缺失率等計算，NR-CLS和R-CLS涉及對駕駛區(qū)域和方向的適當(dāng)性、駕駛軌跡的相似性以及對交通法規(guī)的遵守情況的評估。我們在nuPlan框架內(nèi)進行了廣泛的開環(huán)和閉環(huán)實驗，并在開環(huán)指標上取得第二的成績。

表一：在Test14-random和Test14-hard基準下與最新技術(shù)的模擬結(jié)果比較。粗體數(shù)字代表指標中的最高值，下劃線數(shù)字代表次高值。其他方法的模擬結(jié)果來自PlanTF。

場景可視化

InstructChain提供了輸出規(guī)劃所涉及的中間過程的表示，其反映了整個規(guī)劃過程，包括基于指令的理解和推理。以過路口為例，其揭示了規(guī)劃器最初根據(jù)當(dāng)前的車道標記直行，然后注意到左前方和右前方的碰撞風(fēng)險。考慮到當(dāng)前為綠燈且沒有超速，它最終的規(guī)劃為加速直行。這表明規(guī)劃器可以根據(jù)給出的指令進行符合人類駕駛習(xí)慣的運動規(guī)劃。

圖3：規(guī)劃器進行規(guī)劃的過程圖示，包含具體的自動駕駛場景及其對應(yīng)的InstructChain。表明規(guī)劃器可以根據(jù)給定的指令生成符合人類駕駛行為的規(guī)劃。

總結(jié)

本文設(shè)計了符合人類駕駛邏輯的指令數(shù)據(jù)以及對應(yīng)的思維鏈InstructChain，提出了基于大語言模型的運動規(guī)劃算法InstDriver。我們在全球首個自動駕駛規(guī)劃基準nuPlan框架中進行了廣泛的開環(huán)和閉環(huán)測試，證明了所提出的InstDriver的優(yōu)異性能。通過對InstructChain進行廣泛的消融研究以及示例場景的可視化，展示了InstDriver可以根據(jù)指令生成符合人類駕駛習(xí)慣的駕駛行為。InstructChain不僅反映了規(guī)劃器對指令的理解，還包含了對整個運動規(guī)劃的推理過程，顯示了其高度的可解釋性。