Windows最新搭載微軟自研模型Mu，一句話搞定所有系統(tǒng)配置
還在為復(fù)雜的Windows設(shè)置頭疼？微軟來重新定義設(shè)置界面交互了。
全新發(fā)布的設(shè)備端小語言模型Mu，讓W(xué)indows 11的設(shè)置也擁有了自己的AI Agent。
有了它，查找和更改PC設(shè)置就變得容易得多，現(xiàn)在只需要一個簡單的問句，例如：
我的鼠標(biāo)指針太小。
Mu就會立馬推薦解決步驟，一鍵點(diǎn)擊應(yīng)用就可以自動執(zhí)行任務(wù)，獲得一個Plus版指針。
或者想要聲控電腦？
也是直接在搜索欄輸入自己的需求就能夠完成設(shè)置。
這下終于可以不用到處求助度娘或小紅薯，某某功能又該怎么設(shè)置？聽懂的都淚目了TT。
Mu將面向Copilot+PC，實(shí)現(xiàn)將自然語言查詢直接映射到設(shè)置函數(shù)調(diào)用，本地運(yùn)行相當(dāng)高效，每秒能提供超100個token。
性能堪比微軟的得意之作Phi模型，但只有它的十分之一大小，約為330M。
該功能可以在Windows 11 預(yù)覽版的“設(shè)置”菜單的查詢處找到，需要是搭載Snapdragon的Copilot+電腦，后續(xù)還將拓展到AMD和Intel?支持的PC。
溫馨提示，現(xiàn)在只支持使用英語對話～
在設(shè)置中啟用Agent
Mu是一種高效的330M編碼器-解碼器模型，針對小規(guī)模部署專門進(jìn)行了優(yōu)化。
模型基于Transformer架構(gòu)搭建，意味著編碼器將會把輸入轉(zhuǎn)換為固定長度的潛在表達(dá)，然后解碼器生成輸出token。
通過將輸入token和輸出token分離，Mu的一次性編碼顯著降低了計算和內(nèi)存需求，具有更低的延遲和更高的吞吐量。
與Phi-Silica一樣，Mu旨在NPU上高效運(yùn)行，并通過微調(diào)模型架構(gòu)和參數(shù)形狀完成NPU適應(yīng)：
- 模型架構(gòu)調(diào)整：選擇與NPU偏好的張量尺寸和向量化單元相匹配的層維度（如隱藏層大小和前饋網(wǎng)絡(luò)寬度），確保矩陣乘法等操作能以峰值效率運(yùn)行。
- 參數(shù)形狀變化：對編碼器和解碼器之間的參數(shù)采用2/3–1/3的比例分配，例如一個配置中包含32個編碼器層與12個解碼器層，以確保最大化單位參數(shù)的性能表現(xiàn)。
為了減少總參數(shù)數(shù)量，Mu在某些組件中采取權(quán)重共享方法，節(jié)省內(nèi)存空間，并提高編碼和解碼詞匯表的一致性。
另外，Mu將操作限制在僅運(yùn)行支持的NPU優(yōu)化算子，避免無效操作，充分利用NPU的加速能力。
Mu還添加了三個關(guān)鍵的transformer升級，分別是pre- and post-LN、RoPE和GQA。
- pre- and post-LN（雙層歸一化）：在每個子層前后進(jìn)行標(biāo)準(zhǔn)化。
- RoPE（旋轉(zhuǎn)位置嵌入）：通過復(fù)值旋轉(zhuǎn)將相對位置嵌入注意力中。
- GQA（分組查詢注意力）：將查詢進(jìn)行分組，每個組內(nèi)共享一組鍵、值。
Mu在Azure機(jī)器學(xué)習(xí)上使用NVIDIA A100 GPU進(jìn)行訓(xùn)練，依次先在數(shù)千億高質(zhì)量教育token上預(yù)訓(xùn)練，再從Phi模型中蒸餾知識，并結(jié)合特定任務(wù)數(shù)據(jù)和LoRA微調(diào)。
最終實(shí)現(xiàn)Mu盡管只是幾億個參數(shù)的微小尺寸，只有Phi-3.5-mini的十分之一，但性能卻不相上下，能處理長輸入上下文和快速輸出。
此外為了在設(shè)備端高效運(yùn)作，Mu運(yùn)用了專為Copilot+PC上的NPU設(shè)計的模型量化技術(shù)PTQ，將模型權(quán)重和激活從浮點(diǎn)轉(zhuǎn)換為整數(shù)表示，主要是8位和16位。
微軟同時還與芯片合作商協(xié)作優(yōu)化，包括調(diào)整數(shù)學(xué)運(yùn)算符、與特定硬件的執(zhí)行模式保持一致等，使其可以在邊緣設(shè)備上進(jìn)行高效推理。
例如下面Mu利用維基百科在邊緣設(shè)備上運(yùn)行問答任務(wù)。
在設(shè)置中還通過將訓(xùn)練樣本擴(kuò)展至3.6M，將50個設(shè)置增加到數(shù)百個，對Mu進(jìn)行微調(diào)，實(shí)現(xiàn)了不到500毫秒的響應(yīng)時間和精度要求。
另外該模型也更適合于多單詞查詢。對于短詞或部分詞的模糊輸入，“設(shè)置”應(yīng)用將繼續(xù)在搜索框中顯示詞法和語義搜索結(jié)果。
Copilot+PC近期動作頻頻
Copilot+PC是微軟為下一波個人計算浪潮設(shè)計的野心之作，由NPU支持、AI驅(qū)動，旨在簡化重塑用戶工作流程，并相繼推出了多款A(yù)I工具。
例如Recall功能可以幫助用戶在幾秒鐘內(nèi)回溯當(dāng)前步驟，快速查找并返回應(yīng)用程序、網(wǎng)站、圖像或文檔。
在AI驅(qū)動下，它也擁有更好的自然語言搜索功能，無論目標(biāo)文檔或圖像是位于文件資源管理器還是設(shè)置中。
最近同時推出的Click to Do功能則可以幫助快捷保存文本或圖像，可以從圖像中復(fù)制文本到摘要文本，甚至從圖像中快速刪除對象或背景，在提高工作效率的同時也會繼續(xù)保持流程運(yùn)行。
這下可以一邊利用Click to Do快速安排會議或者將識別的電子郵件在Microsoft Teams中發(fā)起聊天，一邊繼續(xù)工作，或者偷個懶，將屏幕上的表格信息直接發(fā)送給Microsoft Excel，工作效率蹭蹭暴漲。
另外Copilot+PC最近還專門為AI照片、畫圖等編輯工具引入新功能。
例如重新點(diǎn)亮照片的Photos relight，只需單擊選擇喜歡的內(nèi)置燈光預(yù)設(shè)，就可以為照片添加創(chuàng)意效果。
單個光源也可以進(jìn)行調(diào)節(jié)，用戶可以自行改變光線朝向焦點(diǎn)的方向和接近度，以及調(diào)整顏色偏好和效果強(qiáng)度。
微軟為Paint應(yīng)用程序新增了貼紙生成器，一個簡單的文本prompt就可以創(chuàng)建自定義數(shù)字貼紙，還可以利用AI對畫布上的單個特定元素進(jìn)行定位編輯。
屏幕截圖后，是不是總需要反復(fù)裁剪，才能滿足需要？
現(xiàn)在Copilot+PC推出了可以完美截圖的AI工具，自動捕捉屏幕內(nèi)容區(qū)域，對齊視圖突出內(nèi)容。
另外還有可以直接從圖像中提取和復(fù)制文本的文本提取器，從屏幕任何位置都能捕獲顏色RGB值的顏色選擇器……
可以說，微軟現(xiàn)在正對Copilot+PC進(jìn)行大刀闊斧的改進(jìn)，希望用戶的體驗(yàn)可以更直觀、更易于訪問也更有用。
不過就像廣大網(wǎng)友們的共同呼聲，什么時候才能全windows用戶都能享受到哇。
那么你會為了這些新功能，買臺Copilot+PC嗎？
