小滑塊上個(gè)斜面，難倒多少高中生？現(xiàn)在，AI讓它動(dòng)起來(lái)了
學(xué)習(xí)物理，不同的人自然有不同的經(jīng)歷。一些人覺(jué)得物理課簡(jiǎn)單直觀，但另一些人卻認(rèn)為它抽象又反直覺(jué)，根本就無(wú)法理解。為此，許多教師和教學(xué)研究者探索了各種方法（像是課堂演示、動(dòng)畫(huà)演示等），力圖讓物理課變得生動(dòng)有趣，便于學(xué)生理解。
隨著人工智能的發(fā)展，我們已經(jīng)看到各種知識(shí)學(xué)習(xí)新方法層出不窮，比如 AI 口語(yǔ)陪練就已成為一個(gè)頗受歡迎的應(yīng)用。現(xiàn)在，卡爾加里大學(xué)和 Adobe 研究院的一項(xiàng)研究又展示了一個(gè)新可能：用 AI 將物理課本上的圖表變成動(dòng)畫(huà)，直接演示物理機(jī)制的過(guò)程。如此一來(lái)，原本抽象的物理課程或許一下就會(huì)變得直觀起來(lái)！
可以看到，只需在物理圖表上繪畫(huà)一個(gè)方框標(biāo)記識(shí)別范圍，AI 就能在分析之后將其變成可交互的動(dòng)圖。單擺、電路、透鏡、斜坡滑行…… 不管是牛頓力學(xué)、光學(xué)還是基礎(chǔ)電路，這個(gè) AI 統(tǒng)統(tǒng)都能搞定。
該研究發(fā)布后收獲贊譽(yù)無(wú)數(shù)，人們都從中看到了提升學(xué)生學(xué)習(xí)效率的潛力，甚至有人表示現(xiàn)在是當(dāng)學(xué)生最好的時(shí)代。
當(dāng)然，也依然有人表示懷疑。畢竟研究是一回事，轉(zhuǎn)化成實(shí)際應(yīng)用又是另一回事。
不管怎樣，該研究不僅獲得了大多數(shù)網(wǎng)友的贊美，也贏得了學(xué)術(shù)界的認(rèn)可，其獲得了正在舉行的 ACM 用戶界面軟件和技術(shù)研討會(huì)（UIST 2024）的最佳論文獎(jiǎng)。
下面我們就來(lái)看看這個(gè)「增強(qiáng)版物理學(xué)」是怎么做到的吧。
- 論文標(biāo)題：Augmented Physics: Creating Interactive and Embedded Physics Simulations from Static Textbook Diagrams
- 論文地址：https://arxiv.org/pdf/2405.18614
從其標(biāo)題可以看到，該研究可「基于靜態(tài)的教科書(shū)圖表創(chuàng)建交互式和嵌入式的物理模擬」。為此，他們用到了 Segment-Anything 和多模態(tài) LLM 等先進(jìn)的計(jì)算機(jī)視覺(jué)技術(shù)。
據(jù)介紹，該系統(tǒng)支持多種類型的模型，包括牛頓運(yùn)動(dòng)、光學(xué)、電路、循環(huán)動(dòng)畫(huà)。只需簡(jiǎn)單地勾畫(huà)，用戶就可以選取圖表中的特定的對(duì)象進(jìn)行分割，然后操作這些分割出來(lái)的對(duì)象，并調(diào)整參數(shù)值與這些模擬結(jié)果進(jìn)行動(dòng)態(tài)交互。此外，還可以通過(guò)一個(gè)基于網(wǎng)頁(yè)的界面將這些交互式視覺(jué)輸出無(wú)縫地疊加到教材 PDF 上，讓學(xué)生無(wú)需搜索外部材料或從頭開(kāi)始創(chuàng)建模擬，即可學(xué)習(xí)、實(shí)驗(yàn)和使用教材。
該團(tuán)隊(duì)也指出，基于靜態(tài)文檔創(chuàng)建交互式解釋內(nèi)容的想法并不新鮮，但這項(xiàng)研究有三大貢獻(xiàn)：
- 提出了一種全新的圖像到模擬工作流程。之前的 Charagraph 和 Augmented Math 等研究關(guān)注的是文本到文本或文本到圖表的工作流程，但它們不足以滿足物理圖表和模擬的需求，這需要更關(guān)注圖像的方法。
- 為增強(qiáng)物理模擬工具的設(shè)計(jì)空間做出了貢獻(xiàn)。為了設(shè)計(jì)這個(gè)系統(tǒng)，該團(tuán)隊(duì)執(zhí)行了一個(gè)形成性啟發(fā)（formative elicitation）研究。他們?cè)儐?wèn)了 7 位物理課講師，了解了他們?cè)鰪?qiáng)物理教材的方式?；谶@些結(jié)果，他們找到了四大關(guān)鍵的增強(qiáng)策略：增強(qiáng)實(shí)驗(yàn)、動(dòng)畫(huà)圖表、雙向綁定、參數(shù)可視化。
- 他們執(zhí)行了三項(xiàng)評(píng)估，貢獻(xiàn)了一份技術(shù)評(píng)估、一份初步可用性研究（N=12）和對(duì)物理講師的專家采訪（N=12）。
形成性研究
在設(shè)計(jì)系統(tǒng)之前，該團(tuán)隊(duì)在七位物理學(xué)講師的幫助下進(jìn)行了形成性研究。其目標(biāo)是了解他們當(dāng)前的物理教學(xué)方法，以確定當(dāng)前教育實(shí)踐中的差距和需求，以及通過(guò)設(shè)計(jì)啟發(fā)來(lái)收集他們對(duì)潛在增強(qiáng)策略的見(jiàn)解，以便從教學(xué)角度指導(dǎo)這種工具的設(shè)計(jì)。
方法
該團(tuán)隊(duì)從當(dāng)?shù)卮髮W(xué)社區(qū)招募了具備扎實(shí)物理教育背景的學(xué)生，其中包括 1 名本科生、5 名碩士生和 1 名博士生。這些參與者平均擁有 1.7 年作為助教或講師的教學(xué)經(jīng)驗(yàn)。
研究團(tuán)隊(duì)首先和參與者討論了當(dāng)前物理教學(xué)中對(duì)新型教學(xué)工具的需求，隨后鼓勵(lì)參與者提出新工具設(shè)計(jì)方案。他們以一本大一物理教科書(shū) ——《Physics for Scientists and Engineers: A Strategic Approach, 3rd Edition》為例，要求參與者從教師的視角出發(fā)，思考如何將書(shū)中的靜態(tài)概念圖表轉(zhuǎn)化為更具互動(dòng)性和教學(xué)效果的增強(qiáng)形式。
目前物理教學(xué)實(shí)踐的挑戰(zhàn)
經(jīng)過(guò)討論，該團(tuán)隊(duì)認(rèn)為目前的物理教學(xué)存在以下挑戰(zhàn)：
- 靜態(tài)的圖表只能展示某一時(shí)刻的狀態(tài)，但物理中有很多概念是會(huì)隨時(shí)間變化的，靜態(tài)圖表無(wú)法展示這些動(dòng)態(tài)的物理過(guò)程。
- 視頻可以展示物理現(xiàn)象隨時(shí)間的變化，但是僅看視頻，學(xué)生無(wú)法親自進(jìn)行實(shí)驗(yàn)操作，比如調(diào)整實(shí)驗(yàn)參數(shù)，觀察不同條件下的結(jié)果。
- 學(xué)生可以通過(guò)計(jì)算機(jī)上的模擬工具來(lái)探索物理現(xiàn)象，但是這些工具沒(méi)有配備教學(xué)相關(guān)的指導(dǎo)。
- 在物理教學(xué)中，有時(shí)會(huì)引入視頻等額外的資料來(lái)輔助教學(xué)，但這將分散學(xué)生的注意力，影響學(xué)習(xí)效果。
啟發(fā)得到的增強(qiáng)策略
在系統(tǒng)開(kāi)發(fā)過(guò)程中，該團(tuán)隊(duì)收集了參與者關(guān)于各種主題的設(shè)計(jì)建議，包括運(yùn)動(dòng)學(xué)、光學(xué)、電磁學(xué)、牛頓引力、聲學(xué)和熱力學(xué)。根據(jù)反饋，他們確定了四種主要的增強(qiáng)技術(shù)類別。
增強(qiáng)實(shí)驗(yàn)：讓用戶可以直接操作教材圖表，讓他們可以改變物體的位置或電路元件的數(shù)值等，然后觀察其實(shí)時(shí)的變化情況。
動(dòng)畫(huà)圖表：將靜態(tài)圖像變成循環(huán)動(dòng)圖，展示隨時(shí)間的變化情況。
雙向綁定：將文本與圖像連接起來(lái)，讓它們變得可以操作。
參數(shù)可視化：在模擬圖表中按需生成不同參數(shù)的可視化結(jié)果。
Augmented Physics 的設(shè)計(jì)框架
如何根據(jù)靜態(tài)圖表創(chuàng)建互動(dòng)式的動(dòng)畫(huà)呢？Augmented Physics 是這么用的。
創(chuàng)建工作流
在 Augmented Physics 創(chuàng)建一個(gè)工作流程的步驟如下：
1. 導(dǎo)入教科書(shū)頁(yè)面
Augmented Physics 支持計(jì)算機(jī)端和移動(dòng)端，你可以通過(guò)手機(jī)拍照上傳，也可以直接導(dǎo)入 PDF。
2. 選擇模擬類型
Augmented Physics 可以讓涉及運(yùn)動(dòng)、光學(xué)和電路的相關(guān)圖像動(dòng)起來(lái)。不屬于這些分類的圖像，「動(dòng)畫(huà)」功能也能讓它動(dòng)起來(lái)。
3. 提取并分割圖像
用戶可以在特定區(qū)域用方框和點(diǎn)把要?jiǎng)悠饋?lái)的區(qū)域畫(huà)出來(lái)。
4. 定義分割后的圖像
分割完成后，需要標(biāo)明分割出來(lái)的物體在整個(gè)系統(tǒng)中的角色，比如下面的這張透鏡成像圖，就標(biāo)記了焦點(diǎn) F、透鏡、和投影對(duì)象。
對(duì)于電路圖，Augmented Physics 可以通過(guò)圖像識(shí)別，自動(dòng)識(shí)別電阻器和電池等元素。
5. 生成并運(yùn)行模擬。圖像分割完成并分配角色之后，系統(tǒng)會(huì)將分割得到的圖像轉(zhuǎn)換成適合物理模擬的多邊形，進(jìn)而生成模擬。如圖 7 中斜坡滑行的示例。
6. 通過(guò)參數(shù)操作與模擬實(shí)現(xiàn)交互。用戶可以靈活地調(diào)整模擬中的參數(shù)，例如動(dòng)態(tài)對(duì)象的質(zhì)量、靜態(tài)對(duì)象的摩擦力和彈簧力常數(shù)。系統(tǒng)還可以識(shí)別文本或圖像中的參數(shù)值，使用戶能夠操作頁(yè)面上的數(shù)值。例如，在電路模擬中，用戶可以修改電阻和電池的值，以動(dòng)態(tài)改變模擬結(jié)果。此外，該系統(tǒng)還能自動(dòng)將文本中的數(shù)值鏈接到模擬中對(duì)象的特定屬性，并且用戶可以編輯這些屬性。
支持的增強(qiáng)功能
該系統(tǒng)支持以下功能：
增強(qiáng)實(shí)驗(yàn)：如下圖所示，用戶在選取電路圖后，該系統(tǒng)會(huì)生成一個(gè)覆蓋其上的模擬，用戶可以通過(guò)調(diào)整數(shù)值來(lái)與之交互。
動(dòng)畫(huà)圖表：比如對(duì)于光的折射圖，用戶可以選擇一條光路，觀察光的路徑。
雙向綁定：下圖展示了一個(gè)運(yùn)動(dòng)學(xué)圖表的雙向綁定示例。用戶選擇綁定一個(gè)數(shù)值，然后通過(guò)拖動(dòng)可以調(diào)整這個(gè)值，然后系統(tǒng)會(huì)基于新的值運(yùn)行模擬。
參數(shù)可視化：圖中展示了單擺的參數(shù)可視化。用戶選擇單擺和可用參數(shù)后，該系統(tǒng)可以可視化其隨時(shí)間的變化情況。
實(shí)現(xiàn)
該系統(tǒng)主要包含兩個(gè)組件：使用 Python 的后端計(jì)算機(jī)視覺(jué)管道模塊和使用 React.js 開(kāi)發(fā)的前端 Web 界面。
其中，計(jì)算機(jī)視覺(jué)模塊集成了廣泛使用的圖像分割模型 Segment-Anything，以及通過(guò) OpenCV 定制開(kāi)發(fā)的線和輪廓檢測(cè)算法。
前端和后端之間的通信通過(guò) Firebase 實(shí)時(shí)數(shù)據(jù)庫(kù)實(shí)現(xiàn)，并允許根據(jù)提供的輸入坐標(biāo)處理圖像。得到的結(jié)果（包括提取的圖像、線條或點(diǎn)）隨后通過(guò) Firebase 傳回。此外，該系統(tǒng)還會(huì)計(jì)算提取的圖像的邊界框和 X 和 Y 坐標(biāo)，并將這些數(shù)據(jù)傳輸?shù)角岸恕?/span>
對(duì)于文本識(shí)別和數(shù)值提取，他們使用了谷歌的 Cloud Vision API。然后，將頁(yè)面文本和提取的對(duì)象數(shù)據(jù)以 JSON 格式發(fā)送到 LLM（GPT-4），該 LLM 的作用是推薦模擬類型并根據(jù)文本自動(dòng)設(shè)置模擬參數(shù)。
在原型設(shè)計(jì)和技術(shù)評(píng)估中，前端是 2022 版 14 英寸的 MacBook Air 上運(yùn)行的 Chrome 瀏覽器，后端是 Google Colab（CPU：Intel Xeon 4 核，GPU：Nvidia T4，RAM：50GB）。
技術(shù)評(píng)估
表 1 總結(jié)了技術(shù)評(píng)估結(jié)果。模擬不同元素的成功率如下：運(yùn)動(dòng)學(xué)為 64%、光學(xué)為 44%、電路為 40%（經(jīng)過(guò)微小編輯后可提升至 62%）、動(dòng)畫(huà)為 66%。
具體細(xì)節(jié)請(qǐng)參閱原論文。
用戶研究
初步用戶研究
在初步研究中，該團(tuán)隊(duì)評(píng)估了系統(tǒng)可用性得分 (SUS)、總體參與度和系統(tǒng)的有用性。新設(shè)計(jì)的系統(tǒng)獲得了 92.73 的總體 SUS 得分，標(biāo)準(zhǔn)差（SD）為 9.84。
參與者最喜歡功能的是參數(shù)可視化（平均值 (M)=6.8，SD=0.4）和雙向綁定（M=6.7/7，SD=0.67），其次是增強(qiáng)實(shí)驗(yàn)（M=6.0/7，SD=1.78）和動(dòng)畫(huà)圖表（M=6.2，SD=1.07）（圖 13）。
總體而言，參與者認(rèn)為所有功能都很有用。
專家意見(jiàn)
該團(tuán)隊(duì)也詢問(wèn)了專家的看法。他們普遍表示，該系統(tǒng)可以幫助他們?yōu)閷W(xué)生創(chuàng)建個(gè)性化的模擬。他們也給出了自己的反饋，總結(jié)如下：
- 補(bǔ)充在線資源，而不是替代；
- 擴(kuò)大實(shí)驗(yàn)展示的范圍；
- 通過(guò)獨(dú)立的自主導(dǎo)式探索讓學(xué)生參與進(jìn)來(lái)；
- 通過(guò)觀察促使學(xué)生提問(wèn)；
- 需要在課堂演示之前驗(yàn)證模擬結(jié)果；
- 教師強(qiáng)調(diào)獨(dú)立思考，而不是拿到題還沒(méi)思考就立馬使用該系統(tǒng)。
真心希望該系統(tǒng)能早點(diǎn)投入實(shí)際應(yīng)用！
