麻省理工學院 (MIT) 團隊在頂會 NeurIPS 2025 發布的 VideoCAD 研究，用 41,000 多個視頻數據證明了當前頂尖大模型在處理專業工程軟件時的無能為力，并給出了從視頻中學習復雜三維交互的解決方案。

當前的人工智能擅長在二維屏幕上聊天、畫圖甚至寫代碼，當面對需要精密操作和三維空間邏輯的工業軟件，它們瞬間變成了文盲。

計算機輔助設計 (CAD) 軟件是現代工業的基石，從手機外殼到航空發動機的設計都離不開它。

這類軟件的操作邏輯與我們習慣的網頁點擊或手機滑動截然不同，它要求用戶在腦海中構建三維模型，并通過數百個菜單、快捷鍵和鼠標動作將其實現在二維屏幕上。

這種長視界 (Long-Horizon)、高精度的交互過程，是目前 AI 智能體難以逾越的鴻溝。

VideoCAD 填補這一空白。

研究團隊沒有選擇讓 AI 去閱讀枯燥的軟件手冊，而是通過逆向工程，讓機器觀看并學習如何像人類工程師一樣操作 Onshape 這樣的專業 CAD 平臺。

精密工程軟件的交互壁壘

要理解 VideoCAD 的價值，得先看清它試圖攻克的堡壘有多堅固。

普通的互聯網應用，無論是點外賣還是刷視頻，其 UI 交互通常是短鏈路的，用戶的每一步操作往往直接對應一個明確的結果，且容錯率極高。點錯了一個按鈕，退回去重選即可。

工業級 CAD 軟件則完全不同。

SolidWorks、Autodesk Inventor 或 PTC Onshape 等平臺，擁有成百上千個工具欄選項。

一個簡單的在立方體上打孔的操作，涉及選擇正確的平面、繪制草圖、定義圓心坐標、設置直徑約束、退出草圖模式、選擇拉伸切除工具、設置深度參數等一系列步驟。

這一連串動作具有極強的依賴性，第一步選錯了平面，后面所有的精細操作都是無用功。

更棘手的是，這些操作發生在一個基于 WebGL 或 OpenGL 的畫布上。

對于 AI 來說，網頁上的按鈕是可以通過文檔對象模型 (DOM) 代碼讀取的文本標簽，但 CAD 畫布只是一堆像素。

要在這里進行操作，AI 必須像人眼一樣，通過視覺判斷哪里是模型的邊緣，哪里是圓心，并輸出精確的 (x, y) 像素坐標。

現有的 AI 訓練數據集，大多集中在安卓手機操作或簡單的網頁瀏覽，根本沒有觸及這種需要深度三維空間理解和像素級精準操控的領域。

VideoCAD 選擇了 Onshape 這個基于瀏覽器的云端 CAD 平臺作為切入點，正是為了在標準化的環境中攻克這一難題。

為了教會 AI 使用 CAD，最直接的方法是找幾千個工程師，錄下他們工作的視頻。這在成本和時間上都是不現實的。

MIT 的研究團隊采用了一種極其巧妙的逆向生成策略，構建了一個自動化工廠來生產數據。

數據的源頭是 DeepCAD，這是一個包含 178,000 個由人類設計師創建的參數化 CAD 模型的數據集。

這些模型本身不僅是最終的三維形狀，還包含了完整的構建歷史 (Construction Sequence)。

研究者關注的是其中最具挑戰性的多重拉伸 (Multi-extrusion) 序列，這類模型涉及多次草圖繪制和實體拉伸，結構復雜，更能體現工業設計的邏輯。

有了設計圖紙，下一步是讓機器表演出來。

研究團隊開發了一套混合自動化框架。

對于菜單點擊、對話框輸入等標準 UI 操作，系統使用 Selenium 技術，直接操控瀏覽器的 DOM 元素；對于畫布上的草圖繪制，則使用 PyAutoGUI 進行像素級的鼠標模擬。

由于 Onshape 并沒有提供公開的繪圖 API，這種模擬必須精確到毫秒和像素。

為了讓生成的數據不僅僅是冷冰冰的機器指令，研究者在自動化腳本中注入了人類靈魂。

真實的工程師在操作時會有猶豫，會有反復確認。

因此，數據生成過程中加入了隨機延遲，在 0.2 到 0.5 秒之間浮動。

在選擇草圖平面時，腳本不會機械地永遠點中心，而是隨機采樣表面上的點。

當遇到難以選中的微小特征時，自動化腳本甚至會執行縮放操作，模擬人類放大視圖以進行精確輸入的行為。

這套系統在 64 個云端虛擬機上日夜不停地運行，以 60 幀/秒的規格錄制全分辨率視頻。

經過一周的運轉，生成了超過 118 天長度的視頻素材。

隨后，系統對這些視頻進行了嚴苛的質量控制。

每一條生成的視頻對應的最終 CAD 模型，都會被渲染成等軸測視圖，并與原始 DeepCAD 模型的渲染圖進行比對。

比對過程使用了 DINOv2 視覺大模型。

實驗發現，常用的 CLIP 模型雖然擅長語義匹配（比如認出這是一把椅子），但在幾何結構的精細對比上表現不佳。

而自監督訓練的 DINOv2 能敏銳地捕捉到形狀的細微差異。

只有當兩者在 DINOv2 特征空間中的余弦相似度超過 0.7 時，這條數據才會被保留。

最終，VideoCAD 提煉出了 41,005 個高質量的樣本，每個樣本都包含了視頻、精確對齊的動作序列以及最終的目標圖像。

數據規模與復雜度的降維打擊

VideoCAD 的發布，讓現有的 UI 交互數據集顯得有些小兒科。

數據規模和任務復雜度是衡量數據集價值的兩個核心維度。

在 VideoCAD 之前，最大的相關數據集 WebLinx 平均每個任務只有 43 個動作，而 VideoCAD 的平均任務長度達到了 186 個動作，是其 4 倍以上。

這意味著 AI 需要在更長的時間跨度內保持記憶和邏輯的一致性。

更深層的差異在于任務的性質。

大多數現有數據集（如 Mind2Web）的任務是信息檢索或表單填寫，AI 只需要識別文本和按鈕。

VideoCAD 是目前極少數要求 AI 進行三維推理的數據集。

AI 不能僅僅依靠 DOM 解析器來作弊，它必須真正看懂屏幕上的幾何圖形。

Onshape 界面平均包含 6,740 個 UI 元素，是普通網頁的 6 倍。

這種高密度的信息環境，加上對像素級坐標操作的硬性要求，迫使模型必須具備極強的視覺感知和決策能力。

動作分布的統計圖表揭示了 CAD 工作的真實面貌。

大量的操作集中在鼠標移動、點擊和鍵盤輸入上，這反映了設計師在繪圖時的精細調整過程。

與那些只需要點擊下一步的任務不同，CAD 建模是一個不斷在二維平面和三維空間之間切換思維的過程。

這種復雜性使得 VideoCAD 成為了檢驗 AI 是否具備真正通用計算機操作能力的試金石。

有了數據，如何讓 AI 學會這些操作？

直接套用通用的視頻理解模型效果并不理想，因為它們往往忽略了 CAD 操作中極強的因果依賴性。

MIT 團隊為此設計了 VideoCADFormer，這是一個基于 Transformer 架構的自回歸模型，專門用于預測長視界的 CAD 動作。

VideoCADFormer 的設計哲學是將視覺感知與動作預測緊密解耦又深度融合。

在每一個時間步，模型會接收兩路視覺信號：當前的 UI 界面截圖和最終的目標 CAD 圖像。

前者告訴模型我現在在哪里，后者告訴模型我要去哪里。

這兩路信號通過 Vision Transformer (ViT) 編碼后，提供了局部進度和全局目標的雙重上下文。

在處理動作序列時，模型并沒有簡單地將歷史動作視為一串文本，而是將其編碼為包含命令類型和具體參數的結構化向量。例如，一個畫圓的動作不僅包含命令本身，還包含圓心的 (x, y) 坐標和半徑參數。

VideoCADFormer 采用了一種雙掩碼機制的 Transformer 解碼器。

因果掩碼保證了模型在訓練時不會偷看未來的動作，而窗口掩碼則強制模型將注意力集中在最近的操作歷史上。

這種設計非常符合 UI 交互的特性：用戶當前的點擊往往緊密依賴于前幾秒的操作，而不需要時刻回顧幾分鐘前的所有細節。

模型的輸出端被設計為兩個獨立的頭，分別負責預測命令類型和具體的參數值。

為了處理連續的屏幕坐標，模型將參數離散化為 1000 個類別進行分類預測。這種設計使得模型能夠像填空一樣，逐步輸出復雜的操作指令。

實驗結果證明了這種專用架構的有效性。

在與 Video Pre-training (VPT) 等行為克隆基線的對比中，VideoCADFormer 取得了壓倒性的優勢。

其命令預測準確率高達 98.08%，參數準確率達到 82.35%。

最令人印象深刻的是，在長度超過 200 步的長序列任務中，VideoCADFormer 依然保持了 85.46% 的完美預測率，而基線模型在這種長距離任務中往往會因為誤差積累而徹底崩潰。

為了驗證模型生成的 CAD 模型在幾何上是否準確，研究者不僅僅比較像素，還將生成的模型在 Onshape 中實際運行出來，并計算其與目標模型的倒角距離 (Chamfer Distance)。

VideoCADFormer 生成的模型在空間結構上與人類設計的原版高度一致，證明它不僅僅是記住了操作步驟，而是真正理解了如何構建三維形狀。

頂尖大模型的集體翻車現場

VideoCAD 不僅是訓練新模型的教材，也是現有大模型的照妖鏡。

研究團隊構建了一個名為 VideoCADQA 的視覺問答基準，專門用來測試 GPT-4、Claude 3.7、Gemini 2.5 等頂尖多模態大模型在三維空間推理上的能力。測試結果令人大跌眼鏡。

在拉伸深度比較這一任務中，模型需要觀看視頻，判斷第二次拉伸操作是否比第一次更深。

這是一個典型的人類工程師一眼就能看出的問題。然而，GPT-4.1 的準確率僅為 18%。這暴露了大模型在理解相對深度和幾何空間關系時的嚴重幻覺。

在拉伸計數任務中，模型需要回答最終物體是由多少次拉伸操作構成的。GPT-4.1 的準確率不到一半，僅為 47%。而在涉及到視頻時序理解的幀排序任務中，以長文本和代碼能力著稱的 Claude 3.7 準確率更是低至 23%。

更進一步的測試是讓這些大模型直接充當 UI 智能體，通過 BrowserGym 接口在 Onshape 中嘗試完成建模任務。

結果是全軍覆沒。

所有的 LLM，無論其在文本生成上多么驚艷，都無法完成任何一個完整的 CAD 構建任務。

它們的主要在于無法將語義指令（畫一個圓）轉化為精確的屏幕坐標。

它們知道要點擊草圖按鈕，但往往點到了旁邊的空白處，或者試圖用代碼選擇器去點擊一個只能通過像素交互的畫布元素。

這表明，目前的通用大模型在具身智能和數字交互方面，距離專業級應用還有巨大的鴻溝。

VideoCAD 揭示了當前 AI 發展的一個重要瓶頸：從紙上談兵到實操落地的跨越。

現在的 AI 可以生成精美的圖片，卻畫不出可供生產的工程圖；可以寫出漂亮的代碼，卻難以操作復雜的開發環境。

VideoCADFormer 展示了一種可能性，即通過觀察人類的操作視頻，AI 可以學習到復雜軟件背后的操作邏輯和空間因果關系。

這種能力一旦成熟，未來的 AI 將不再僅僅是聊天機器人，而是能夠真正協助工程師的副駕駛。

它可以觀察你的設計意圖，自動補全繁瑣的建模步驟；或者在你設計出一半時，預測出你想要的最終形狀并提供操作建議。

這項研究打通了計算機視覺、強化學習和人機交互的界限。

VideoCADFormer 模型還不夠完美，存在對合成數據依賴等局限，但它指明了方向：AI 也是可以通過學習，掌握工業級工具使用的。