鴻蒙開源全場景應用開發—視頻渲染
背景
上期內容提到過，已開發的家庭合影美顏相機應用是同時基于鴻蒙和安卓設備的，我們將對其4個功能模塊即視頻編解碼、視頻渲染、通訊協議和美顏濾鏡進行拆分講解。上一期內容中，我們對視頻編解碼模塊的實現原理進行了解析。本期將繼續為大家講解視頻渲染模塊，并解析鴻蒙視頻渲染相關類之間的關系。相關代碼已經開源到Gitee(https://gitee.com/isrc_ohos/cameraharmony )，歡迎各位下載使用并提出寶貴意見!
家庭合影美顏相機應用效果回顧
先來帶家一起回顧下上期內容講解的家庭合影美顏相機應用。此應用能夠將鴻蒙大屏拍攝的視頻數據實時傳輸到安卓手機上;并在安卓端為其添加濾鏡，再將處理后的視頻數據傳回到鴻蒙大屏進行渲染顯示，從而實現鴻蒙大屏美顏拍照的功能，其流程可以參考圖1,其數據流向圖可以參考圖2：
圖1 家庭合影美顏相機應用的效果示意圖
圖2 美顏相機應用視頻數據流向圖
應用運行后的動態場景效果可以參考圖3，圖中下方豎屏顯示的是安卓手機，上方橫屏顯示的是鴻蒙手機(由于實驗環境缺少搭載鴻蒙系統的大屏設備，因此我們使用鴻蒙手機替代大屏設備模擬實驗場景 )，其顯示的是視頻解碼后渲染的效果。
圖3 應用運行效果圖
SurfaceProvider視頻渲染解析
在鴻蒙中，SurfaceProvider是專門用于繪制圖像視圖的組件，作為基本組件之一，它通常被用于需要快速繪制圖像的地方，如播放視頻的情況。下面為大家講解在完成視頻編解碼處理后，通過鴻蒙SurfaceProvider完成視頻渲染顯示的具體實現原理。共分為如下6個步驟：
步驟1. 聲明SurfaceProvider類對象。
步驟2. 設置SurfaceProvider屬性并添加在頁面整體布局中。
步驟3. 解碼類VDDecoder繼承 SurfaceOps.Callback接口類。
步驟4. 獲取SurfaceOps并設置回調。
步驟5. 重寫SurfaceCreated()方法，獲取當前Surface。
步驟6. 渲染視頻數據。
(1)聲明SurfaceProvider類對象
在進行視頻渲染之前，需要聲明用于渲染視頻的SurfaceProvider類對象。
- private SurfaceProvider surfaceview;// SurfaceProvider用于顯示解碼后的視頻
(2)設置SurfaceProvider屬性并添加在頁面整體布局中
實例化SurfaceProvider類對象并設置相關屬性。先使用setWidth()和setHeight()方法設置大小;pinToZTop()方法使surfaceview置于屏幕布局最頂層顯示。由于可能會出現待渲染視頻數據本身是橫屏而屏幕為豎屏顯示，或待渲染視頻數據本身是豎屏而屏幕為橫屏顯示等不匹配的情況，因此需要使用setRotation()方法調整屏幕參數，使得屏幕顯示方向與視頻數據方向相符，其中，屏幕參數0-180度為橫屏顯示，90-270度為豎屏顯示，本應用中原始視頻數據是橫屏的所以此處需要將屏幕參數設置為180度。接著最主要的是，需要通過getSurfaceOps().get().addCallback()方法設置回調，這樣可以通過回調將SurfaceProvider和設備相機相關聯。
- surfaceview1 = new SurfaceProvider(this); // 實例化類對象
- surfaceview1.setWidth(400); // 設置 SurfaceProvider 大小
- surfaceview1.setHeight(300);
- surfaceview1.getSurfaceOps().get().addCallback(callback);// 設置回調
- surfaceview1.pinToZTop(true);
- surfaceview1.setRotation(180); // 設置屏幕旋轉角度
通過Layout的addComponent()方法將SurfaceProvider添加到整體布局中。
- myLayout.addComponent(surfaceview); // 添加到布局中
(3)解碼類VDDecoder繼承SurfaceOps.Callback類
SurfaceOps.Callback提供了SurfaceProvider被創建、銷毀或者改變時的回調通知。由于進行視頻渲染的階段是在完成視頻編解碼處理之后，因此解碼類VDDecoder需要繼承SurfaceOps.Callback類，即為SurfaceOps提供一個回調接口。其中需要全局聲明Surface和SurfaceOps類對象并重寫SurfaceCreated()、SurfaceDestroyed()和SurfaceDestroyed()方法。
- public class VDDecoder implements SurfaceOps.Callback {
- private SurfaceOps holder;// 全局聲明SurfaceOps和SurfaceOps類對象
- private Surface mSurface;
- ...
- @Override // 重寫 SurfaceProvider被創建時的回調
- public void surfaceCreated(SurfaceOps holder) {
- ...
- }
- @Override // 重寫SurfaceProvider被改變時的回調
- public void surfaceChanged(SurfaceOps holder, int format, int width, int height) {
- ...
- }
- @Override // 重寫SurfaceProvider被銷毀時的回調
- public void surfaceDestroyed(SurfaceOps holder) {
- ...
- }
- }
(4)獲取SurfaceOps并設置回調
在實例化解碼類對象時，將用于渲染編解碼后視頻的surfaceview作為參數傳入。
- vdDecoder = new VDDecoder(surfaceview);// 創建解碼類對象，并使用surfaceview顯示解碼后的視頻
在解碼類VDDecoder構造函數中設置SurfaceProvider，調用SurfaceProvider類的getSurfaceOps().get()方法獲取surfaceview的SurfaceOps;通過SurfaceOps類對象holder調用addCallback()方法設置回調;再調用setKeepScreenOn()方法，將參數設為true，來實現使屏幕一直顯示不會自動關閉的效果。
- public VDDecoder(SurfaceProvider playerView) {
- // 設置 SurfaceProvider，即使用 surfaceview播放解碼后的視頻
- this.holder = surfaceview.getSurfaceOps().get();
- holder.addCallback(this);// 設置回調
- // 設置該組件讓屏幕不會自動關閉
- holder.setKeepScreenOn(true);
- ...
- }
(5)重寫SurfaceCreated()方法，獲取當前Surface
surfaceCreated()和surfaceDestroyed()是渲染處理的邊界，分別代表SurfaceProvider的創建和銷毀，正式的渲染操作必須在SurfaceProvider被創建后才能進行。重寫surfaceCreated()方法創建SurfaceProvider，將創建狀態isSurfaceCreated變量設置為true，表示已創建;通過SurfaceOps類對象holder調用getSurface()方法獲得當前Surface到類對象mSurface中，以便后續將視頻數據通過mSurface渲染到界面上。
- @Override // 重寫 SurfaceProvider被創建時的回調
- public void surfaceCreated(SurfaceOps holder) {
- isSurfaceCreated = true; // 設置創建狀態為已創建
- mSurface = holder.getSurface(); // 獲得當前Surface
- ...
- }
(6)渲染視頻數據
在編解碼類的監聽事件decoderlistener中，獲取編解碼后的數據準備渲染。由于得到的相機圖像數據是逆時針旋轉90度的，此時如果直接進行渲染，顯示的也會是逆時針旋轉的效果，因此為了得到正常的顯示畫面，需要對圖像參數進行調整，調用rotateNV21()方法對視頻畫面進行順時針旋轉90度，并將旋轉后的數據存放在byte數組rotate_bytes中。
通過Surface類對象mSurface調用showRawImage()方法對旋轉后的視頻數據進行渲染。此方法第一個參數表示待渲染數據的byte數組;第二個表示待渲染數據的格式，由于此Demo中編解碼的是攝像頭直接獲取的數據，所以格式是NV21即YUV420_SP;第三和第四個參數分別表示渲染畫面的寬和高。
- private Codec.ICodecListener decoderlistener = new Codec.ICodecListener() {
- // 用于監聽解碼器，獲取解碼完成后的數據
- @Override
- public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int i) {
- ...
- // 將解碼后的 NV21(YUV420SP) 數據 bytes 順時針旋轉 90 度，并通過 Surface 顯示
- rotateNV21(bytes, rotate_bytes, 640, 480, 90);// 旋轉后的數據用 rotate_bytes 存放
- // 渲染旋轉后的數據 rotate_bytes 通過mSurface顯示出來，第二個參數是待渲染的數據格式即YUV420SP
- mSurface.showRawImage(rotate_bytes, Surface.PixelFormat.PIXEL_FORMAT_YCRCB_420_SP,640, 480);
- }
- ...
- };
之后運行并點擊“開始編解碼”按鈕即可得到上述圖1中展示的將編解碼后的視頻數據渲染在surfaceview中的效果。
Surface、SurfaceOps與SurfaceProvider的關系
經過上述講解，相信大家已經能夠在鴻蒙中正確使用SurfaceProvider來進行視頻渲染了。熟悉安卓的讀者可能已經發現，鴻蒙SurfaceProvider用法和安卓Surface用法有異曲同工之妙。為了方便理解，可以將鴻蒙中的SurfaceProvider、Surface和SurfaceOps分別與安卓中的SurfaceView、Surface、和SurfaceHolder對照查看，其原理類似。下面將為大家解析在鴻蒙中這三個視頻渲染類之間的關系。
圖4 SurfaceProvider、Surface、SurfaceOps關系示意圖
1.Surface與SurfaceProvider關系
Surface與SurfaceProvider之間的關系如圖2所示。在鴻蒙中，每個窗口會對應一個SurfaceProvider，每個Surface會對應一塊屏幕緩沖區，而SurfaceProvider的作用是處理屏幕緩沖區中的視頻數據，并使用該數據在屏幕上繪圖。也就是說，Surfac負責對視頻數據進行管理;eSurfaceProvider負責對視頻數據進行展示，Surface需要通過SurfaceProvider才能展示其中的內容并控制視圖的位置和尺寸。
2.SurfaceOps與SurfaceProvider關系
SurfaceOps是一個接口，其作用類似于一個關于Surface的監聽器，能夠訪問SurfaceProvider對應的Surface并調用Surface中的相關方法。并通過三個回調方法，及時捕捉Surface的狀態如創建、銷毀或者改變。
獲取SurfaceOps的方式是：調用SurfaceProvider類中getSurfaceOps()方法，得到元素類型為SurfaceOps的Optional容器，再通過get()方法從容器中取出SurfaceOps類對象并返回。在成功調用并得到返回值之后，就可以通過返回的SurfaceOps類對象調用addCallback()方法為Surface設置回調：
- void addCallback(SurfaceOps.Callback var1);// 設置SurfaceOps回調
圖2中顯示，在Surface與SurfaceProvider之間還存在一個SurfaceOps.Callback類，SurfaceOps的回調就是通過內部子接口SurfaceOps.Callback實現的，其有三個回調方法：
- surfaceCreated()：當SurfaceProvider發生結構性的變化如格式或大小改變時，調用此方法。
- surfaceChanged()：當SurfaceProvide被創建時，調用此方法。
- surfaceDestroyed()：當SurfaceProvider在要被銷毀時，立即調用此方法。
- public interface Callback { // 內部子接口CallBack
- void surfaceCreated(SurfaceOps var1);// SurfaceProvider被創建時
- void surfaceChanged(SurfaceOps var1, int var2, int var3, int var4);// SurfaceProvider被改變時
- void surfaceDestroyed(SurfaceOps var1);// SurfaceProvider被銷毀時
- }
上面提到過SurfaceOps是一個接口，因此在實際使用之前，需要先重寫上述三個回調方法，才能正常感知到SurfaceProvider的創建、改變或銷毀。
