作者 | 吉利汽車集團 數字化基礎架構總工程師 洪旅杭
關于吉利汽車
吉利汽車集團在中國上海、寧波、以及海外等地建有造型設計和工程研發中心,研發實力雄厚。在中國、馬來西亞建有世界一流的現代化整車和動力總成制造工廠,擁有各類銷售網點超過 1400 多家,產品銷售及服務網絡遍布世界各地。
秉承“人本、創新、卓越”的價值觀,吉利汽車集團將“創造超越期待的出行體驗”作為使命,致力成為最具競爭力和受人尊敬的中國汽車品牌。
EMQX 與 AutoMQ 在
吉利汽車車聯網混合云架構中的應用
隨著整個汽車出行領域智能化和網聯化的發展,用戶駕乘體驗對于乘用車來說至關重要,車機作為目前車內智能化網聯化的代表,是“人 - 車 - 云”之間交互的窗口。通過車機和車企網聯平臺的連接,車企能夠實現實時獲取車輛數據和車主使用情況,對車輛和車主進行精細化管理和維護提供個性化運營關懷,同時聯動手機 APP 更能為車主提供尋車定位、個人興趣點推送等優質的服務應用。各個汽車制造廠商正逐步構建起以“數據驅動,服務導向”為核心的車聯網平臺系統。
構建汽車網聯平臺通常面臨著以下挑戰:
汽車保有量不斷增長,如何支持海量車機并發連接
上下行多種業務數據,如何支持高并發消息吞吐
如何確保安全連接保障數據安全
車輛所處網絡環境復雜,如何保證消息實時性與可靠性
業務側對數據需求不同,如何實現靈活數據分流、存儲
車輛離線狀態時,如何保證消息觸達
建設成本高昂,長期運維困難
為了應對這些挑戰,吉利汽車的車聯網系統采用混合云架構構建。其中汽車遠程服務平臺(Telematics Service Platform,TSP)位于公有云環境,采用 EMQX 基于以 MQTT 協議的企業級數據接入平臺服務,為車聯網場景提供連接和數據解決方案。EMQX 的高性能、高可靠、可伸縮性設計,能夠可靠地實時移動和處理車聯網數據,幫助用戶解決鏈接和數據基礎設施層面的挑戰,開發團隊可專注上層應用的開發。
TSP 上報的數據通過 AutoMQ 傳輸至吉利大數據平臺(簡稱:GDMP)。GDMP 具備數據采集、低代碼開發、任務調度、數據地圖、質量監控、數據服務等能力,是吉利汽車大數據基座與數據開發治理平臺,承載了研、產、供、銷、服全鏈路業務線。
在汽車電動化、智能化、網聯化、共享化發展潮流下,車聯網數據年度以 PB 級增長,業務場景覆蓋面越來越廣。Kafka 作為企業車聯網數據的核心數據基礎設施,汽車業務快速的發展對 Kafka 的彈性能力、成本都提出了更高的要求。AutoMQ 作為新一代的 Kafka 完美解決了吉利汽車當前最為關切的 Kafka 擴縮容問題,保障了車聯網核心系統的正常運行。
解決方案
數據上報:汽車的終端設備會將車聯網所需的核心數據通過 MQTT 消息發往云端的 EMQX 集群用于 TSP 應用。TSP 將汽車與車企提供的車聯網服務能力結合起來,為車主提供救援、娛樂、救援、自動駕駛、固件升級等眾多服務能力。在吉利汽車公有云上,會部署一個 AutoMQ 集群,用于承接和分發來自公有云上車聯網 TSP 應用的數據。AutoMQ 會作為車聯網數據上報的核心數據總線,提供強大的吞吐、可靠的持久化存儲和讀寫性能。
TSP
TSP: TSP(Telematics Service Provider)汽車遠程服務提供商。在 Telematics 產業鏈居于核心地位,上接汽車、車載設備制造商、網絡運營商,下接內容提供商。Telematics 服務集合了位置服務、Gis 服務和通信服務等現代計算機技術,為車主和個人提供強大的服務:導航、娛樂、資訊、安防、SNS、遠程保養等。
數據流入 GDMP 的 AutoMQ 集群:公有云上 TSP 的數據會進一步通過專線流入吉利私有云大數據平臺 GDMP 中的 AutoMQ 集群。該 AutoMQ 集群中 Topic 的數據包含來自極氪汽車、領克汽車、吉利汽車等吉利集團旗下不同汽車品牌的車聯網數據,例如車輛數據、駕駛信息、GB/T32960 國標規定的車聯網數據等。這些關鍵的車聯網數據會被下游的 Flink、Spark 以及 Kafka 消費者讀取和處理。數據最終會寫入數據湖,應用在吉利汽車的 BI、數據分析和報表等場景。
用戶價值
吉利汽車旗下擁有眾多汽車品牌,近些年來隨著各品牌業務的強勁發展,車聯網的數據量也日益膨脹。通過采用 EMQX 與 AutoMQ 聯合方案,吉利汽車得以從容解決車聯網平臺建設的種種技術難題。
通過使用 EMQX 集群,吉利汽車實現了以下 TSP 建設目標:
4.1 整體架構:分布式、高可用
由于數據保護的需要,車企車聯網平臺多采用私有化部署,EMQX 集群和用戶業務系統一同部署在 IDC 或公有云環境中。通過負載均衡與 EMQX 分布式集群部署,可以實現百萬級別的車機連接和數據吞吐能力,為上層業務應用提供堅實接入基礎。
4.2 車機連接:高并發、高安全
車機通過蜂窩網絡物理鏈路、MQTT 協議接入 EMQX,EMQX 分布式高可用架構支持百萬級并發連接。連接安全方面,EMQX 支持 TLS 安全協議,車機可以通過單向、雙向 TLS 認證接入以及與 PKI/CA 系統對接適配一機一密的認證方案。另外,EMQX 能夠提供連接狀態實時感知。
4.3 數據傳輸:多保障、高吞吐
依靠 MQTT 及 EMQX 提供的心跳監測、會話保持、QoS 等級等多重保障機制,即使車輛因為網絡原因斷開連接,相應的消息傳遞仍能在重連后恢復,實現在復雜的網絡環境下實時、安全、可靠的車機消息通信。
基于訂閱、發布模式以及 EMQX 海量 MQTT 主題、百萬級 TPS 消息吞吐能力,EMQX 能夠支持在每個車機與平臺連接內建立多個不同的邏輯隔離的 MQTT 主題,支撐上下行不同業務數據傳輸。為了實現等車輛狀態感知監控、在線尋車等業務場景,車機實時上報車輛的位置、續航狀態等信息;為了實現用戶興趣點下發、關懷消息下發、運營消息下發等場景,云端車聯網平臺向車機推送相應的指令或業務消息。
針對像用戶興趣點推送、養護關懷消息、運營消息等從云端下發到車機端的場景,平臺往往是針對車型等批量下發。但是下發時部分車輛可能處于掉線或熄火離線狀態,EMQX 的離線下發功能可以結合數據庫落盤緩存數據,在基礎接入層確保車機上線后能夠及時獲取到云端下發的消息。
4.4 消息及事件的處理與集成
通過內置的規則引擎,可以將車機上報數據消息以及車機連接或斷連、消息送達確認等事件,進行預處理后橋接集成到相應的數據系統。例如將海量車機上行數據,經過編解碼等預處理后,橋接到 Kafka 等消息隊列緩沖,后臺應用服務從容獲取數據進行業務分析應用;將車機連接、斷開連接等事件信息存儲到數據庫中,用于后續車輛上下線情況分析等。靈活的數據預處理及集成能力,可以讓上層業務應用更專注于應用的開發。
通過使用 AutoMQ 集群,吉利汽車解決了大數據平臺上一直面臨的 Kafka 成本與運維難題:
零運維極速擴縮容
AutoMQ 的極速擴容得益于其創新的流存儲架構。由于將數據持久性卸載至云存儲,AutoMQ 內部不像 Kafka 一樣需要配置多副本,因為云存儲本身內部已經有多副本并且提供了很高的持久性。這除了是對成本的節約以外,更重要的一點在于其在擴縮容的時候無需像 Kafka 一樣進行分區數據的復制,因此可以提供秒級的分區遷移能力。此外,其內置持續運行的重平衡組件可以保證新加入的節點自動在保證集群利用率最優的前提下完成安全可靠地引流。因此,整個極速擴容無需人工干預,完全自動化。這與過去運維 Kafka 的體驗形成了天壤之別。
無需容量評估,降低運維成本
Kafka 的成本不僅僅體現在其 IaaS 資源的消耗,還有很大一部分比重在于組織上人力的投入。AutoMQ 本身基于 S3 提供了無限容量的流存儲能力,計算和存儲完全解耦,這意味著吉利汽車再也不需要擔心設置較長的保留時間引起的存儲空間不足問題。如果集群需要承載更大的吞吐需要擴容,AutoMQ 可以在非常短的時間自動化地完成擴縮容,因此吉利汽車無需像過去一樣先要準備預案、協調上下游應用、制定遷移計劃并在業務低峰時期進行擴容、遷移和引流。這將 Kafka 運維團隊徹底從復雜、高風險的擴縮容運維、容量評估等工作中解放出來,從而可以執行具有更大價值的運維任務。
100% 的 Kafka 兼容性
AutoMQ 對 Apache Kafka 的完全兼容是吉利選型的關鍵原因。這意味著吉利無需對已有圍繞 Kafka 建設的所有應用、工具甚至 Client 端的配置做任何改造,即可完成遷移。未來,吉利汽車也仍然可以利用 Kafka 強大的生態進一步去改進和迭代自身的數據基礎設施。
未來展望
隨著吉利汽車持續推進“智能汽車全域 AI”技術體系的深化落地,基于 EMQX 與 AutoMQ 構建的混合云架構將有機會成為其全域智能化的核心數據基座。未來,該方案將加速向智能制造、智能駕駛、全球服務網絡等場景延伸。
這一技術框架的復用,不僅將強化吉利在電動化、共享化領域的競爭力,更標志著中國汽車產業從“數據驅動”向“智慧生命體”演進的新范式。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.