騰訊云音視頻技術開發實戰沙龍：干貨滿滿，收獲頗多

作者：趙立京 2018-04-27 11:21:14

對于音視頻技術研發中的高門檻、重投入的痛點，騰訊云+社區推出了“音”你而來，“視”而可見--音視頻技術開發實戰沙龍活動。在活動中，騰訊視頻云資深產品經理王奇，騰訊音視頻實驗室高級工程師張軻， OnVideo視頻創作平臺CTO劉歧，騰訊高級產品經理董燚，騰訊視頻云終端技術總監常青，進行了精彩演講。

【51CTO.com原創稿件】近年來，得益于移動互聯網的普及和智能終端設備的廣泛應用，短視頻、直播、在線教學等各類形式的音視頻通信模式風靡大眾，成為人們日常溝通的新模式。音視頻功能為用戶帶來了溝通的便捷性，也啟發了應用平臺基于音視頻功能開拓業務模式的創新思路。不可否認的是，使用起來很“普遍”的音視頻通話功能或者是使用起來很“酷”的短視頻功能，在底層技術開發上卻有“千山萬水”需要踏遍。

騰訊憑借在QQ、騰訊視頻等海量業務發展過程中，在音視頻領域多年積累的核心技術與優勢能力，集成了一體化的云視頻解決方案，為包括在線教育、視頻社交、視頻網站新媒體、廣電網絡電視等應用領域，提供囊括基礎網站及數據，內容生產及分發，用戶及內容運營的一攬子服務，可以說是音視頻行業的領軍人物。

騰訊視頻云產品全景

王奇騰訊視頻云高級產品經理

王奇：2011年畢業后，先后在華為、網宿及騰訊從事產品經理工作，先后負責無線網通信、直播、互動直播與實時音視頻等產品的需求規劃、市場分析、宣傳推廣工作，近距離的了解并提煉客戶需求，以較合理的方式實現，對音視頻行業的發展趨勢有較深理解。

從視頻行業的發展來看，從黑白到彩色電視，從線上點播視頻到直播千播大戰，從連麥互動到實時音視頻溝通，視頻一直在解決用戶信息獲取的痛點。在未來娛樂的同時是否能結合社交，或者滿足用戶認同感和自我尊重的獲得，將會是用戶粘性能否提高的一個關鍵點; 信息獲取方面，內容是最為重要的，短視頻繼直播之后崛起，不無道理;最后如何結合新的行業技術，從內容的產生到內容的消費，進行閉環，是騰訊云規劃的一個重點。

十余年來，騰訊云為QQ、微信、QQ空間等業務提供互聯網服務能力，為企業提供公有云、混合云、專有云、金融專區等云服務，包含IaaS、PaaS、SaaS，并提供萬象優圖、人臉識別、大數據分析、機器學習、音視頻技術、安全防護等全球領先的互聯網技術;同時向不同垂直行業的客戶(涵蓋政務、電子商務、O2O服務、游戲、視頻直播以及互聯網金融等)提供優質的行業解決方案。

作為騰訊連接互聯網生態的重要橋梁和開放戰略的重要組成部分，騰訊云堅信以高速(speed)、穩定(stability)、安全(security)為競爭核心的3S品牌理念, 繼續加強云基礎設施投入，全力支持各行各業的合作伙伴在“互聯網+”領域的實踐，共建云端生態。

接下來，王奇主要對點播、直播、實時音視頻、短視頻，以及視頻+AI五個產品進行了詳細介紹。

2018騰訊云視頻及通信產品矩陣圖

1. 點播

根據制作成本、播放方式，大致可以分為四類：PC端的視頻，如優酷、土豆、騰訊視頻等;傳統廣電，如芒果TV和CNTV;最近火爆的短視頻;在2015、2016年特別火的直播應用，可以把直播的內容錄制下來，轉成點播。

騰訊云的點播支持UGC內容、版權視頻、自媒體內容、直播錄制。可以通過短視頻的SDK、WebSDK、本地上傳、API上傳，傳到云端，進行冷熱存儲和視頻的媒資管理。可以對點播的內容進行區分，如果不需要進行在線播放，就把它作為冷資源進行存儲，不支持隨時調用。

2. 直播

直播平臺的一個非常明顯的趨勢就是“直播+”。直播和點播的形式，本質是承載信息，隨著基礎網絡設施的完善，視頻必將承載更多的信息。

此外，“互動”、“廣告”也是直播平臺的兩個趨勢。

直播跟點播一樣，是非常難的一個技術。它需要基礎服務、音視頻計算、直播加速網絡、終端能力、社交互動系統。需要耗費大量的人力和時間。騰訊云把這塊基礎的能力提取出來，為大家提供平臺服務，只要手里有靠譜的主播，幾周就可以快速上線。目前，超過80%的Top100的直播平臺用的是騰訊云的服務，這來源于騰訊云積累了十幾年的音視頻技術。

3. 實時音視頻

目前，騰訊云在APP基礎上提供了微信公眾號和微信小程序，以及手機QQ、谷歌瀏覽器等多端的通信能力，相當于在各個終端都可以進行通信。這就是騰訊云融合的視頻通信能力。

騰訊云的實時音視頻支持騰訊內部80%的音視頻的需求。外部客戶已經超過400家。

4. 短視頻

“抖音有的我們的SDK都有”。短視頻是點播的一種。區別在于短視頻提供了很多采集拍攝、剪輯拼接、特效制作、混音字幕、動態貼紙功能。SDK跟點播后臺是無縫對接的，點播的所有功能：上傳、轉碼、存儲、分發等功能都是互通的。

5. 視頻+AI

視頻+AI涉及了非常多的與AI相關的功能，比如極速高清、智能字幕、語音識別等。

騰訊云H5雙向音視頻語音質量優化

張軻騰訊音視頻實驗室高級工程師

張軻，2004年參加工作，2011年加入騰訊。現任職騰訊音視頻實驗室高級工程師，曾負責QQ自研音視頻引擎SPEAR的設計，開發，運營等工作，近年來專注于QQ語音通話，騰訊云實時SDK，騰訊云H5雙向音視頻，游戲多媒體引擎GME等的QOE提升上。

CallStatus.io公司中途中斷;10% -15%的用戶反饋顯示通話質量不好;有7%左右的大丟包;有95%左右的用戶往返流失在240毫秒以下。

H5 雙向音視頻(T-H5)是騰訊云基于 QQ 十多年來在音視頻通話技術上積累，結合騰訊瀏覽服務 TBS WebRTC 能力與騰訊實時音視頻 SDK ，為客戶提供多平臺互通高品質視頻通話能力的一款產品，終端用戶只需要在手機 QQ/微信/QQ 瀏覽器和其它所有接入了 TBS 的 APP 中，通過 H5 頁面發起視頻請求，即可輕松接入企業的實時視頻服務。

H5雙向/多向音視頻解決方案提供了三種差異化服務質量：

1：TBS和 Chrom等瀏覽器對通，支持WeBRTC規范的互通。

2：TBS 之間互通仍然是WeBRTC的互通，但可以做一些WeBRTC內核級別的Bug FIX，以及一些高級擴展。

3：TBS 與NativeSDK互通，提供了差異化的通信質量。

服務器端實現SFU/MCU---質量控制示意圖

上圖是后臺音頻質量控制系統示意圖，在拓撲層面，提供SFU 和 MCU兩種模式。并且通過三級決策機制來保障轉發環節的質量。

張軻總結了FEC應用要點：設計一套好的FEC算法。

1：抗丟包算法要納入擁塞控制算法，必須是網絡自適應的，這是非常重要的前提。

2：如何在保證抗丟包能力的前提下減少冗余流量。

3：如何最大化發揮各種FEC機制的優點：場景反饋。

4：FEC算法，分組大小的選擇，對流量、延時、抗丟包性能的影響均要考慮到，這是通用思考方法。

5：動態冗余率機制，收斂速度。

6：FEC效果評價。

7：一對多場景，需要針對每路接收定制化FEC保護方案。

張軻表示，優化是永無止境的課題。WebRTC從M56到前兩天發布的M66版本，WebRTC解決了1000多個Bug。

在線音視頻素材創作合法化實際應用

劉歧 OnVideo視頻創作平臺 CTO

劉歧, 2007 年畢業參加工作，一直從事圖形圖像及音視頻流媒體相關工作，FFmpeg 官方代碼開發者及顧問，曾供職于藍汛，高升，金山云任職為架構師/技術總監/資深技術專家，現創業開發在線多媒體創作平臺，主要包括素材匯聚，音視頻在線處理等等，《FFmpeg從入門到精通》作者。

OnVideo致力于打造一個專業級的云端視頻創作平臺，人人都能上手并快速地創作專業級影片。

OnVideo主要有以下幾個功能：云端素材匯聚、素材裁剪與精編輯、多平臺發布與運營、超高清視頻生成、全球節點部署。

其中，云端素材匯聚包括：國內視頻素材對接與處理、國外視頻素材對接與處理、非常規類網站素材處理。素材裁剪與精編可以對音視頻進行：裁剪與拼接、轉場特效、文字處理、模板定制、濾鏡處理、調色處理等操作。多平臺發布與運營不僅可以與國內視頻平臺發布接口對接，還可以和國外視頻平臺發布接口對接。超高清視頻生成主要用到的是Super-Resolution Using a Generative Adversarial Network(SRGAN)、Super-Resolution Convolutional Neural Network (SRCNN)和騰訊云的明眸解決方案。OnVideo已經在大陸、東南亞、歐美部署了節點。

音視頻處理素材庫各種各樣，包含種類繁多，由于是UGC業務，PGC 與 UGC 技術方面存在著素材上傳效率低下、格式兼容千奇百怪、Metadata 內容支持、拼接處理異常支持的等問題。在業務反面又存在著用戶視頻素材涉黃涉恐、用戶視頻內容踩紅線等問題。為了解決合法化和安全化問題，OnVideo采用騰訊云平臺進行相關的處理，解決了根本問題。

未來，OnVideo將在自動編排視頻、自動去 logo、AR 支持等方面繼續努力。

小程序音視頻典型應用場景剖析

[[227436]]

董燚騰訊視頻云高級產品經理

董燚，先后供職于樂視云、騰訊云。現為騰訊云小程序解決方案產品負責人。善于深入的探索行業，反復地嘗試創新，實現行業落地。

小程序中運用實時音視頻，是微信發展的大趨勢。小程序為效率而生，音視頻的融入將提供更快捷、更便利的服務模式。首先，相較于H5，小程序的體驗更優。其次，由于有量的優勢，小視頻的價格更優。第三，小程序帶來了更好的分享體驗。

噪聲消除、回聲抑制、Qos流控、丟包恢復等是自行實現音視頻功能面臨的困境。微信也對音視頻提出了更加苛刻的要求。

微信將音視頻所需的端能力進行封裝，以小程序標簽的形式提供給開發者

騰訊云提供底層音視頻組件，助力微信生態。有了騰訊云的小程序解決方案，客戶不用考慮整個音視頻的處理技術，只需集中精力完成業務部分。

接下來，董燚分享了小程序音視頻在教育、醫療等場景下的落地。

構建一個小程序音視頻應用

簡單極致，是騰訊云音視頻小程序解決方案的產品理念。

董燚詳細介紹了在線車險理賠的業務場景模式。保險理賠流程長，而且體驗很差，而開發APP性價比很低。

其中，有三個核心的流程：報案、查勘、賠付。報案首先要考慮的就是效率。在查勘過程中，圖片容易偽造。保證實時通話交流更順暢，可信度高，是重中之重。

微信小程序：車險理賠

一鍵報案、智能定損、坐席拍照、從根本上解決了內網穿透問題、硬件落地問題、引流轉化問題。

在司法場景中也有著諸多痛點。首先對于法院來說，如果當事人在其他城市，需要往返奔波，時間、精力耗費巨大，而民商事簡易程序、小額訴訟，當事人雙方對判決結果不會有太大爭議。第二，對于檢察院來說，律師辦理閱卷、聽取意見、律師會見等業務均需要律師到檢察院現場提交預約申請，檢察院將申請反饋給對應的經辦人安排接待時間，而后通過電話或短信等的方式通知律師到現場辦理業務。流程復雜，律師需要在路途上花費大量的時間。第三，對于司法局來說，法律咨詢有較強私密性，群眾不愿輕易到現場尋求服務或者一個城市幾十到幾百名律師在呼叫中心每天接待群眾電話咨詢，成本消耗大。人民調解形式單一，以線下調解居多，不能夠很好擺脫地域限制進行調解。

智慧司法：讓信息多跑路，讓群眾少跑腿

上圖是法院小程序的Demo，當事人可以通過小程序完成注冊、咨詢引導、糾紛申請、提交審核、遠程調解協議簽收整個過程。并通過智能語音識別自動記錄所有筆錄。糾紛類案件可快速、有效的處理完畢，讓群眾少跑腿。

當事人通過小程序可以完成訴前引導、立案、訴訟、庭審、文書送達全流程閉環，不必反復前往法院，極大節省了精力、時間。全鏈路加密，每次均使用不同的非對稱密鑰，保障安全性。并通過智能筆錄轉寫還原庭審全部內容，大幅減輕書記員工作量。

群眾可以一鍵了解司法知識，發起法律咨詢，全鏈路加密，確保隱私，使用便捷、易于推廣，咨詢律師不受地點限制，可以更廣泛的調動律師資源、降低成本。群眾還可以通過小程序視頻遠程進行預約、申請在線視頻調解，擺脫地域限制;有針對性地處理行業性、專業性的調解。

小程序可以通過真人身份核驗確認律師身份，律師可不用到檢察院，在線預約，在線與案件經辦人“面對面”聽取意見，不受惡劣天氣影響，避免來回奔波。

整個核身過程包含身份證OCR、唇語活體鑒別和人臉識別技術。人臉識別過程中，騰訊優圖技術比對手機端自拍照和儲存于公安部證件查詢中心的身份證，以此保證用戶身份的真實性與安全性。

董燚表示，出于政策合規性考慮，微信只對以下幾個類目開放了小程序音視頻能力：社交、教育、醫療、政務民生、金融，并且每一個類目，都要有很多相關資質要求。

小程序音視頻技術實現以及在相關行業的實際應用

[[227437]]

常青騰訊視頻云終端技術總監

常青，2008 年畢業加入騰訊，一直從事客戶端研發相關工作，先后參與過 PC QQ、手機QQ、QQ物聯等產品項目，目前在騰訊視頻云團隊負責音視頻終端解決方案的優化和落地工作，幫助客戶在可控的研發成本投入之下，獲得業內一流的音視頻解決方案，目前產品線包括：互動直播、點播、短視頻、實時視頻通話，圖像處理，AI 等等。

常青的演講從市場前景、原理剖析、技術演化、WebRTC、快速上手五方面進行展開。

音視頻能力一直以來都是小程序上的一個短板，微信產品的市場定位是對用戶的。這就有了比較高的要求。第一要開源;第二接口必須簡單，一兩個標簽就能完成;第三是定制性強;第四，出了問題要方便檢查。2017年 Q4, 騰訊視頻云終端團隊與微信團隊一起合作，將騰訊視頻云的技術積累以SDK的形式落地到了微信版本上，從而為小程序增加了直播和實時音視頻能力。