新一代車聯(lián)網數(shù)據(jù)基座架構 - 基于 YMatrix 的優(yōu)秀實踐

一、趨勢:撥云見日
1、數(shù)智化轉型

數(shù)智化,包括了數(shù)字化與智能化;其中數(shù)字化是基礎,智能化是目標。
數(shù)智化帶來的價值主要包括兩個部分:
- 一個是大型工業(yè)企業(yè)普遍關注的降本增效,能給企業(yè)帶來實際的、可衡量的收益。
- 另一個是為用戶提供創(chuàng)新體驗,數(shù)智化具備提供給用戶“從無到有”這樣全新體驗的能力。
數(shù)智化的實踐方向為,將企業(yè)核心從物理世界為主、信息系統(tǒng)為輔的形態(tài),轉換為數(shù)字世界為主、線下環(huán)節(jié)為輔的形態(tài),即數(shù)字原生企業(yè)。
具體的實施路線是要將數(shù)據(jù)作為企業(yè)核心生產要素和戰(zhàn)略資源,實現(xiàn)數(shù)據(jù)資產化和數(shù)據(jù)經營化。并且通過全鏈路全要素數(shù)據(jù)打通,實現(xiàn)對全生命周期的產品、流程和服務進行數(shù)智化管理,并實現(xiàn)數(shù)據(jù)的實時分析和應用,從而為企業(yè)帶來更高的生產效率、更低的成本,從而為客戶帶來更好的體驗。
2、智能網聯(lián)汽車

智能網聯(lián)汽車(Intelligent Connected Vehicle,ICV)這一概念是由“智能化”和“網聯(lián)化”這兩個概念組成的。其中,“智能化”是目標,“網聯(lián)化”是手段與前提。
“智能化”不是簡單的有和無,而是涵蓋從數(shù)據(jù)監(jiān)控到安全舒適、節(jié)能、高效行駛,再到智能駕駛、智能出行,是一個量變的過程;其中每一項技術都會隨著時間推移逐漸變化和完善,同樣也是個量變的過程。
“智能化”每個階段的突破都對“網聯(lián)化”有著更高的要求,如搭載更先進的車載傳感器、控制器、執(zhí)行器等裝置,以及融合更先進、更高效的通信技術與數(shù)據(jù)分析處理技術;因此,“智能化”需要以“網聯(lián)化”作為基礎。
3、智能網聯(lián)汽車數(shù)智化轉型
具體到智能網聯(lián)汽車行業(yè)的數(shù)智化轉型,有以下幾點體會:
- 討論智能網聯(lián)汽車數(shù)智化轉型,不能局限于車聯(lián)網的搭建,而是要著眼于更高的維度。車聯(lián)網更多是強調服務和運維階段,而車輛的生產制造階段也需要通過智能化手段去關注,甚至要更進一步考慮生產制造數(shù)據(jù)與車聯(lián)網運營數(shù)據(jù)的聯(lián)合。
- 要從車輛生產制造、營銷服務全流程到企業(yè)經營層進行全面思考,包括如何在技術體系、組織關系上對轉型提供有效的支撐。

上圖中可以看出,對于智能網聯(lián)汽車數(shù)智化轉型的應用平臺,相對通用的能力主要是私有云的基礎能力,包括私有云基礎設施、應用運維中心、安全保障中心的建設能力等;在私有云能力的基礎上,深入著手落實卓越的數(shù)據(jù)平臺,統(tǒng)一數(shù)據(jù)標準和數(shù)據(jù)定義,以及數(shù)據(jù)原生組織協(xié)作機制等,最終形成統(tǒng)一能力開放平臺,賦能用戶創(chuàng)新,實現(xiàn)企業(yè)價值。
二、價值:日月長新
1、車聯(lián)網賦能全面升級售后服務體驗
- 為客戶提供更加個性化、定制化的售后服務,包括車輛駕控功能服務、車輛后市場服務、出行服務、生態(tài)服務等,讓車輛的售賣和維保不是價值呈現(xiàn)的終點,同時提高客戶忠誠度并增強車企品牌形象與競爭力。
- 借助全周期數(shù)字化運維平臺,將場景數(shù)據(jù)、車輛數(shù)據(jù)等回傳信息處理整合分發(fā)至數(shù)據(jù)需方。
- 數(shù)據(jù)需方包括整車廠研發(fā)部門、4S店運維部門、第三方服務部門等。
- 各數(shù)據(jù)需方基于各自領域的算法和應用為客戶提供數(shù)字化服務,共同組成數(shù)字生態(tài),完成客戶的體驗升級。

2、車輛行駛過程與運行模式分析
- 車聯(lián)網數(shù)據(jù)分析的基礎是車輛狀態(tài)的判定,如按靜置、充電、行駛等狀態(tài)分段,大量的后續(xù)算法依賴于此。
- 而車輛行駛狀態(tài)的判定需要逐行、前后行的數(shù)據(jù)變化判定,這依賴于面向過程語言的分析。
- 車聯(lián)網海量數(shù)據(jù)分析的難點是如何將面向單車的、面向過程的算法應用于所有待分析的車輛且分析過程高效。

上表列出車輛行駛過程部分關鍵變量,以及核心的預警邏輯,用來判斷典型的故障預警,包括充放電過程預警、溫度預警、SOC預警等;并將核心預警邏輯從算法中被剝離出來,形成智能巡檢,將算法結果推送給運維人員。
3、基于機理與大數(shù)據(jù)的車輛故障預測性維護
- 預測性維護是技術方向,也是服務理念,其價值即包含顯性的降本增效,也包含隱性的客戶滿意度。
- 基于融合車輛設計階段、試驗階段的數(shù)據(jù)平臺。通過機理與大數(shù)據(jù)技術的結合,將其理論建模與實際數(shù)據(jù)相結合,針對關鍵部件部署預測性維護算法。
- 分析不同的工況下的數(shù)據(jù)表現(xiàn),在部件發(fā)生故障前定位問題,提前介入維護,降低整體風險與成本。
- 提高車主對信息的掌控度,讓車主更自由的安排維修保養(yǎng),把客戶滿意度提升到新的維度。

4、預測性維護常見技術路線——機理+大數(shù)據(jù)

以一個人為例,一個人在100米跑、1公里跑、20公里跑的狀態(tài)下,以及在安靜狀態(tài)、吃飯狀態(tài)、睡眠狀態(tài)下,都會有各項的指標。以心跳為例,傳統(tǒng)的指標是定義一個固定的閾值(比如170或180這樣的數(shù)值)作為上限,測量數(shù)值一旦達到上限就報警,這是最基本的閾值管理;然而實際上,如果一個人在睡眠狀態(tài)下心跳達到了100甚至110,就可以判斷其狀態(tài)不正常了,而這個是傳統(tǒng)閾值所檢測不到的。

回到上圖汽車的例子,旋轉軸承的偏心是其中的一個測量變量,如果使用單閾值的方式,那就只會在軸承偏心超過一定閾值的情況下報警;而如果將偏心結合壓力、速度、溫度等因素綜合考慮,在一定的狀態(tài)下,當其他取值在一定范圍內而偏心過高的情況下,軸承就已經存在問題,這種方法比通過單一閾值的方法能夠更早地發(fā)現(xiàn)問題,從而更早地介入處理,間接節(jié)省了部件的成本。
因此,預測性維護的主要技術方式是:
- 基于數(shù)字孿生的預測性維護=異常識別(預測模型)+故障推導(故障機理)。
- 收集豐富工況下物理對象的狀態(tài)矩陣,并將它們匯聚成基準狀態(tài)空間,即為數(shù)據(jù)驅動的數(shù)字孿生模型。
- 此模型能夠根據(jù)當前工況,預測出這個工況下狀態(tài)“應該”是怎么樣的,通過它與現(xiàn)實狀態(tài)的偏差識別異常。
- 根據(jù)異常指標的組合,結合專家知識,判定可能的異常根因和應對方法。
5、基于生產工序數(shù)據(jù)的準確溯源追溯
生產制造領域,最核心的一點是對生產數(shù)據(jù)進行準確的溯源追溯。
- 提升車企的品牌信譽和消費者信任度,降低企業(yè)的召回風險和成本,提高效率和運營管理水平,實現(xiàn)可持續(xù)發(fā)展。
- 由于不確定哪些產品和原料會在未來產生問題,因此在部署追溯系統(tǒng)的過程中,不能是特定產品與原料的簡單覆蓋。
- 通過全量生產數(shù)據(jù)接入與高效的關聯(lián)分析,讓追溯達到對生產環(huán)節(jié)的“人、機、物、料、法、環(huán)”更全面的覆蓋效果。

通過溯源追溯,把整個生產工序中包括原料、工序、成品等每個環(huán)節(jié)的輸入和輸出串聯(lián)起來,不僅可以實現(xiàn)故障的溯源追溯,更重要地是實現(xiàn)更全面的全生命周期管理。
6、業(yè)財融合與生產過程監(jiān)控
業(yè)財融合與生產過程監(jiān)控的意義在于:
- 通過融合采購、工廠運營、人力資源與生產制造數(shù)據(jù),建立業(yè)財融合體系,實現(xiàn)業(yè)務與財務視角的統(tǒng)一。
- 讓生產制造運營者可以及時發(fā)現(xiàn)并解決產線各類問題根因確保產能,直觀透明的成本投入產出呈現(xiàn)為降本指明了方向。
- 通過實時匯聚各生產執(zhí)行系統(tǒng)數(shù)據(jù)并與歷史進行對比,強化生產過程流程監(jiān)控,優(yōu)化信息化系統(tǒng)的接口和對接,建立可視化可追蹤、高度柔性的生產過程監(jiān)控,解決生產執(zhí)行中的異常無法及時發(fā)現(xiàn),影響生產效率等實際問題。

7、基于產品指標的工藝優(yōu)化
通過前后工序的關聯(lián)整合,分析生產過程中同一類設備在某一工序各項指標的歷史表現(xiàn),通過現(xiàn)象促使我們追溯機理,進而實現(xiàn)基于產品指標的工藝優(yōu)化:
- 基于各生產基地、前后工序的數(shù)據(jù)互聯(lián)互通與匯聚融合。
- 通過對產品生產制造前后相關工序的工藝參數(shù)與對應產品的檢測指標數(shù)據(jù)進行批量分析。
- 洞察過程控制指數(shù)的同時,可以在頂層視角發(fā)現(xiàn)潛在的關聯(lián)關系與規(guī)律,如車身沖壓、焊接參數(shù)對總裝的影響。
- 進一步地,通過生產工藝參數(shù)與產品運維階段數(shù)據(jù)的批量聯(lián)合分析,找尋潛在關聯(lián)。
- 從實際的產品數(shù)據(jù)表現(xiàn)找到可信的工藝參數(shù)優(yōu)化方向。

以下圖為例,也許設備的數(shù)據(jù)在單一維度下的觀測值(均值、方差、離散系數(shù)、箱線圖等)并不“突出”,但是當統(tǒng)計維度發(fā)生變化,通過“類比”可以發(fā)現(xiàn)設備的異常:

首先基于其中一套工序的SN,通過裝配關系表將其遞歸到另一套工序的SN;然后通過另一套工序或設備進行分組統(tǒng)計后續(xù)工序中的整體表現(xiàn),這樣可以得到在前序工序下不同設備、不同工藝參數(shù)選擇對后續(xù)帶來的影響。
三、痛點:知易行難
1、頂層痛點:理念難統(tǒng)一,價值難量化
企業(yè)轉型升級的愿景是美好的,但現(xiàn)實的道路卻荊棘密布。根據(jù)麥肯錫對全球800多家傳統(tǒng)企業(yè)的數(shù)字化轉型調研,大約70%的企業(yè)停留在轉型試點階段,無法實現(xiàn)價值和競爭力的突破。轉型階段性成功的更是少之又少。
- 缺少合理的頂層設計,點狀應用難以集成。
- 數(shù)據(jù)基礎差,制約智能化創(chuàng)新。
- 技術應用難以突破試點。
數(shù)智化轉型其本質的難點在于其價值鏈過長:沒有一個老板不支持數(shù)智化轉型,但沒有?個老板無條件支持數(shù)智化轉型。因此,好的轉型既要高瞻遠矚,又要腳踏實地;既要短期有效果,又要長期有視野。
2、底層痛點:缺乏適用于數(shù)智化轉型的數(shù)據(jù)基礎設施
上述痛點具體到工業(yè)行業(yè),主要的現(xiàn)狀在于缺乏適用于數(shù)智化轉型的數(shù)據(jù)基礎設施:
(1)業(yè)務單元和應用場景多樣:
研發(fā)中心、售后診斷、報警預警、數(shù)字汽車、電子圍欄、駕駛行為分析、電耗分析、充放電分析、駕駛循環(huán)等各個部門都對數(shù)據(jù)有需求,且需求各不相同。
(2)數(shù)據(jù)量大指標多:
- 生產溯源數(shù)據(jù)隨產量和時間膨脹,傳統(tǒng)平臺觸達存儲計算瓶頸;
- 車機信號可達每天幾十億條,指標從幾百到幾千,寫入量大,容易延遲。
(3)采集和上報頻率多樣:
固定采集和變化采集,實時上報和延遲上報,延遲上報時間不可控。
(4)數(shù)據(jù)類型與數(shù)據(jù)分析多樣:
車機、埋點、GPS等數(shù)據(jù),涉及時序、文本、JSON、地理位置等類型數(shù)據(jù)。
(5)數(shù)據(jù)處理、分析效率低:
膠水代碼泛濫,執(zhí)行緩慢,影響判斷時效,影響迭代進程。

具體到架構實現(xiàn)角度看,數(shù)據(jù)往往通過消息中間件進入系統(tǒng),進而通過Hadoop體系進入HBase、Flink、MySQL、ES等架構。然而,不同的組件、不同的技術棧會帶來很大的數(shù)據(jù)遷移成本以及運維成本,導致整個過程效率低下:
- 數(shù)據(jù)接入慢,數(shù)據(jù)遷移難。
- 技術棧膨脹,開發(fā)迭代慢。
四、方案:滴水石穿
1、制造服務融合數(shù)字化轉型架構
智能網聯(lián)汽車數(shù)智化轉型中所產生的價值,依然可以從職能上劃分各自領域,但具體的實現(xiàn)已經離不開業(yè)務間的數(shù)據(jù)融合,融合甚至跨越制造與服務的界限,貫穿整個鏈路。與其說數(shù)據(jù)孕育智能,不如說信息融合孕育智能。因此,信息的交互不僅僅需要簡單的數(shù)據(jù)互通,其數(shù)量、質量、分布、多樣性、標簽缺?不可。數(shù)據(jù)標準,數(shù)據(jù)質量的作用不容忽視。

如上圖所示,生產制造大數(shù)據(jù)平臺和車聯(lián)網大數(shù)據(jù)平臺基于統(tǒng)一的數(shù)據(jù)基座進行多源異構數(shù)據(jù)的交互和融合。
生產制造大數(shù)據(jù)平臺的數(shù)據(jù)主要來自MES系統(tǒng),上層基于MES系統(tǒng)中各地各類業(yè)務數(shù)據(jù)、設備指標數(shù)據(jù)、設備狀態(tài)數(shù)據(jù)以及生產過程數(shù)據(jù),完成產品溯源、業(yè)財融合、供應商管理、預測性維護等業(yè)務。
而車聯(lián)網大數(shù)據(jù)平臺內部基于服務器內置的數(shù)據(jù)回傳模塊(T-Box),實現(xiàn)客戶關系管理以及邊緣數(shù)據(jù)落地等功能,最終完成數(shù)字化營銷、產品運營與健康管理、智能網聯(lián)汽車預測性維護等業(yè)務。
(1)車企智能制造頂層數(shù)智架構

如上圖所示,各地各業(yè)務數(shù)據(jù)建立本地MES系統(tǒng),包括生產運營系統(tǒng)、運籌執(zhí)行系統(tǒng)、全面運營管理等,在邊緣數(shù)倉完成本地業(yè)務的處理;各邊緣數(shù)倉的數(shù)據(jù)回傳匯聚至總部數(shù)據(jù)平臺,由總部統(tǒng)一提供各類應用能力;邊緣端也具備應用能力,但僅限本地數(shù)據(jù)。
(2)智能網聯(lián)汽車頂層數(shù)智架構

車聯(lián)網的底層架構不同于智能制造,因為車聯(lián)網數(shù)據(jù)是存儲至大數(shù)據(jù)集群的。通過數(shù)據(jù)網關,通過Kafka或對象存儲,再經過消費程序進行必要的數(shù)據(jù)清洗,然后進行負載均衡處理并入庫,最終匯聚到大數(shù)據(jù)集群中。
經過以上一套流程,數(shù)據(jù)全部存儲至數(shù)據(jù)庫中;上層應用首先基于各項業(yè)務,從操控、使用、性能、用戶行為、環(huán)境、工況等各個維度進行特征提取,從各自視角構建數(shù)據(jù)明細層,供上層算法分析使用。
算法分析包括以下三大類算法:
- 指標探索:對數(shù)據(jù)指標進行最新值查詢、窗口回溯、聚合計算等操作、或者基于幾個指標的函數(shù)進行業(yè)務指標的二次開發(fā),通過 API 對外提供接口服務;例如:最新值、峰值、峰值差、跳變,聚合等等;
- 數(shù)字汽車:為每輛車進行數(shù)字孿生建模,記錄每輛車的全量數(shù)據(jù)并進行統(tǒng)計分析,勾勒出用戶的通行習慣,創(chuàng)建用畫像,如:互聯(lián)網日常通勤族、接送孩子的家庭用戶等等標簽,為個性化的用戶服務提供支撐;
- 報表分析:提供日常經營報表分析,并為數(shù)據(jù)科學家提供平臺,實現(xiàn)算法建模,面向全量運營車輛分析發(fā)掘共性問題,以數(shù)據(jù)驅動整體運營效率。
更上層的業(yè)務應用包括售后服務、行為預警、軌跡查詢、車險優(yōu)化、充電樁選址等業(yè)務。
(3)適合數(shù)智化轉型的人員組織架構調整,位置決定視角
下面分享一個華為數(shù)據(jù)之道中采用的數(shù)字化的架構。

①數(shù)據(jù) Owner
公司級:
- CDO(首席數(shù)字官)
領域級:
- 實線匯報質量運營部
- 虛線匯報公司級數(shù)據(jù) Owner
②數(shù)據(jù)管理部
公司級:
- 實線匯報質量與流程IT管理部
- 虛線匯報公司級數(shù)據(jù) Owner
領域級:
- 實線匯報業(yè)務領域 GPO
- 虛線匯報公司數(shù)據(jù)管理部
內部角色:
- 信息架構工程師
- 數(shù)據(jù)治理工程師
- 數(shù)據(jù)平臺工程師
- 數(shù)據(jù)分析師
- 數(shù)據(jù)科學家
上述架構的一個特點是:有專門的數(shù)據(jù)owner和數(shù)據(jù)管理部。上述架構僅供參考,不一定每個企業(yè)都要照搬上述架構,而是需要思考:在實際數(shù)字化轉型過程中,部門間的協(xié)作有沒有因為企業(yè)架構而帶來阻礙?如果有,就需要做出改變。
2、統(tǒng)一數(shù)據(jù)標準與模型,統(tǒng)一數(shù)字“語言”
(1)數(shù)據(jù)標準:確保數(shù)據(jù)一致的關鍵

如上圖中左表所示,不同的部門對同一客觀事物的描述用詞會存在差異性,因此存入數(shù)據(jù)庫就會出現(xiàn)不同的字段,這樣會給后期聯(lián)合分析帶來極大的麻煩;因此,制定企業(yè)內部的數(shù)據(jù)標準,是確保數(shù)據(jù)一致的關鍵。
(2)數(shù)據(jù)模型:對數(shù)據(jù)和關系的描述
除了構建統(tǒng)一的數(shù)據(jù)標準,還需要構建數(shù)據(jù)模型,從數(shù)據(jù)視角對現(xiàn)實世界進行特征的模擬和抽象,根據(jù)業(yè)務需求抽取信息的主要特征,反映業(yè)務信息(對象)之間的關聯(lián)信息,實現(xiàn)對數(shù)據(jù)和關系的描述。
以一臺車為例,在這套數(shù)據(jù)模型體系下,通過車輛編號、地理位置、客戶信息、制造數(shù)據(jù)、運營數(shù)據(jù)等維度將這輛車的整體信息描述出來,這是實現(xiàn)將生產、制造和運維階段的數(shù)據(jù)進行融合的基礎。
3、卓越數(shù)據(jù)基座,滿足海量數(shù)據(jù)存儲、計算、分析與融合
第三個基礎是構建卓越的數(shù)據(jù)基座,要滿足以下能力:
- 海量數(shù)據(jù)接入能力
- 各類數(shù)據(jù)場景處理能力
- 實時計算能力
- 高效執(zhí)行可預計的批量任務
- 不可預計的臨時任務開發(fā)方便
- 豐富的數(shù)據(jù)分析方法支持
- 標準開發(fā)語言,低門檻,可傳承
- 安全穩(wěn)定的數(shù)據(jù)服務

4、YMatrix 超融合數(shù)據(jù)庫
傳統(tǒng)的數(shù)據(jù)架構類似“搭積木”,結構復雜,不易維護;四維縱橫自研產品——YMatrix 超融合數(shù)據(jù),基于多核數(shù)據(jù)庫技術,使用一款數(shù)據(jù)庫支持幾乎所有數(shù)據(jù)類型的所有操作,可實現(xiàn)時序明細、最新值、關聯(lián)查詢、實時分析、離線分析等功能,大大提高了數(shù)據(jù)的查詢分析效率。

5、YMatrix超融合數(shù)據(jù)庫架構
YMatrix數(shù)據(jù)庫支持所有存儲類型的所有操作,外圍工作(Dirty Job)只需完成?次,不斷迭代。
下圖是YMatrix超融合數(shù)據(jù)庫的整體架構,將車輛制造數(shù)據(jù)和運行數(shù)據(jù)接入到系統(tǒng)中,系統(tǒng)通過多模引擎支撐不同的數(shù)據(jù)類型和不同的數(shù)據(jù)操作方式,內建python、SQL、C等不同分析語言,通過接口支撐前端開發(fā)應用和數(shù)字化應用。

6、性能卓越、分析高效,快速實現(xiàn)數(shù)據(jù)洞察
下面以幾個例子來說明YMatrix的性能:

- YMatrix TPCH數(shù)倉性能為 HIVE 的26.7倍。
- YMatrix 的TPCB測試并發(fā)性能超 150 萬 TPS。
- YMatrix SSB 性能優(yōu)于 ClickHouse 30%以上。
7、SQL 內建面向分析與查詢,計算貼近數(shù)據(jù)
對于車聯(lián)網分析這一應用場景下,使用面向過程的語言,將一輛汽車的分析流程應用到海量汽車上,主要方法是將python代碼注冊到數(shù)據(jù)庫內成為數(shù)據(jù)庫的內置函數(shù),進而通過SQL的方式調用實現(xiàn)這部分功能,利用服務器資源實現(xiàn)多臺設備的并行分析,相較于傳統(tǒng)的方式會更加高效。
數(shù)據(jù)庫的內置函數(shù)主要支持以下兩種:
(1)Python/R/Java
- 應用Python/R/Java代碼原地處理庫內海量數(shù)據(jù),大量函數(shù)庫支持,Pandas、Numpy等。
(2)TensorFlow/機器學習
- 使用主流AI庫對數(shù)據(jù)庫內部海量數(shù)據(jù)原地訓練和分析。
- 監(jiān)督學習、無監(jiān)督學習、統(tǒng)計分析、圖計算等。
























