新知物聯是一家專注于Real-time 3D解決方案的公司，產品包括座艙3D HMI軟件、ADAS儀表/Surrounding Reality Display、APA和HPA等。

2025年3月19日，在第五屆中國汽車人機交互與體驗設計創新大會上，杭州新知物聯科技有限公司CTO盧松潔介紹到，新知物聯專為3D HMI應用設計了納米（Nano）架構，能夠支持3D HMI應用常用的3D車模、3D桌面、車輛設置、座椅和空調、VPA等功能，渲染能力強大，在性能有限的平臺也能有良好的渲染效果。

盧松潔指出，當前3DHMI應用還存在諸多技術挑戰，包括功能、平衡、交互、流暢和信號五個方面。在這些方面，新知物聯進行了相關探索。

盧松潔 | 杭州新知物聯科技有限公司CTO

以下為演講內容整理：

3D HMI架構設計的背景與挑戰

在汽車智能化發展浪潮中，3DHMI技術成為提升座艙體驗的關鍵因素。新知物聯作為專注于實時3D座艙解決方案的企業，在量產實踐過程中積累了豐富經驗，其設計的3D HMI架構在應對復雜技術挑戰方面展現出獨特優勢。

新知物聯的產品涵蓋座艙3D軟件、儀表盤、還原世界、APA、HPA等多個領域。在成功完成數款量產項目后，公司總結并設計出了適用于3D HMI應用的基礎架構，其中包括納米3D HMI架構和矩陣ADAS還原世界架構。這些架構旨在滿足3D HMI應用中日益增長的功能需求、渲染要求、交互響應以及信號處理等多方面的挑戰。

圖源：新知物聯

在3D HMI量產實踐中，面臨著諸多技術難題。功能集成方面，3D HMI系統功能繁多，涵蓋車輛設置、座椅和空調控制、桌面場景展示、VPA、多媒體等不同功能，如何將這些功能有機整合，確保系統的穩定性和流暢性，是一大挑戰。渲染性能上，車機對渲染效果的要求不斷提高，需支持各種反射、天氣特效、粒子特效等，但車機平臺的性能卻相對有限，在有限性能下實現高質量渲染效果成為技術瓶頸。

交互響應的實時性也是關鍵問題，3D HMI操作要求反饋時間控制在百毫秒級別，并且要支持觸摸、語音、手勢等多模態交互方式。流暢性方面，3D HMI場景切換需要支持一鏡到底，且在切換過程中能夠任意打斷而不出錯。信號處理同樣復雜，3D HMI應用可能接入車機信號、第三方APP信號等數百種不同信號，且每種信號流向不同功能模塊，對信號的高效處理提出了很高要求。

納米3D HMI架構設計與實現

為應對上述挑戰，新知物聯設計了納米3D HMI架構，該架構主要分為五大模塊：信號鏈路層、數據緩存層、邏輯控制層、渲染層以及支持工具鏈。

信號鏈路層負責整合各類信號，如屏幕觸控信號、車機信號、導航信號等。通過多源信號通訊鏈路模塊，將這些不同類型的信號進行匯聚，再利用動態多路由信號分發轉換器，將其轉換為新知物聯公司標準的NS格式信號，并存儲在數據緩存層，為后續邏輯控制層的業務邏輯處理提供數據支持。

圖源：新知物聯

邏輯控制層包含多個重要模塊。車輛孿生和實時控制框架用于實現車模的3D孿生，其中車模隨車模塊能夠反應當前車輛的配置，如車漆顏色、輪轂樣式等；車輛狀態鏡像模塊能夠實時鏡像車輛的四門三蓋、車燈等狀態；車輛控制模塊通過對屏幕上車模的觸摸等方式實現對車門、車燈等車輛部件的控制。此外，邏輯控制層還包括一鏡到底的轉場框架、時光引擎以及VPA模塊。一鏡到底轉場框架支持任意兩個場景之間的無縫切換；時光引擎可實現不同時間段和天氣效果的切換；VPA模塊則支持多模態交互，并具備一鍵換裝等功能。邏輯控制層生成的渲染對象會提交到渲染層進行處理。

渲染層是實現高質量視覺效果的關鍵環節，包括車模渲染、場景渲染、動態天氣和光照渲染以及VPA渲染等。同時，渲染層還配備了動態幀率控制、多層抗鋸齒控制等渲染控制機制，以確保最終渲染效果能夠精準呈現到車機屏幕上，為用戶帶來優質的視覺體驗。

支持工具鏈為系統提供了額外的支持功能，如熱更新功能可以在不影響系統運行的情況下對軟件進行更新，多語言處理滿足中文、英文等不同的語言需求，分層分類的日志系統方便在出現問題時進行調試，有助于快速定位和解決系統故障。

針對渲染引擎中參數配置復雜、優化困難的問題，公司引入了機器學習的渲染參數配置優化模型。以Unreal引擎為例，與渲染相關的參數眾多，手動尋找最優配置不僅困難，而且在目標平臺上進行測試的成本高、效率低。該模型通過輸入人工驗證過的配置樣本集，利用機器學習算法生成預測配置集，并經過強化學習和有限次數的測試，最終找到一組能夠使性能指標（如GPU性能消耗）最優的配置。經測試，在Arm64 8155平臺和X86E05平臺上，通過機器學習優化配置的效果相較于人工經驗優化有顯著提升，優化幅度可達70% - 90%。

在一鏡到底的轉場實現方面，納米3D HMI架構也面臨著挑戰。由于3D場景數量眾多，任意兩個場景之間的鏡頭切換組合數量龐大，如果每個鏡頭切換都由美術人員進行定制，工作量巨大。因此，架構需要支持自動生成鏡頭切換軌跡曲線，以減少美術工作量。同時，為滿足設計方的特殊轉場要求，鏡頭轉場需具備自定義功能，包括對位置、視野（FOV）等參數的自定義，以及添加關鍵點和事件的功能，并且在美術全流程中都能夠對曲線進行自定義控制。此外，轉場框架還需支持斷點調試，方便美術人員查看和調整轉場效果，同時確保在轉場過程中能夠隨時中斷，并順利切換到新的場景而不出錯。為此，架構設計了開發期間的調試工具和數據配置模塊，以及運行期間的場景調度模塊、鏡頭軌跡控制模塊和轉場中斷回退及鏡頭校準模塊，以實現一鏡到底轉場的高效穩定運行。

矩陣AD還原世界架構設計與應用

在ADAS應用領域，同樣存在諸多技術挑戰。數據來源多樣且格式不統一，涉及感知數據、地圖數據、傳感器信號等，數據格式包括二進制和文本等多種形式，不同供應商和車企提供的數據格式差異較大。數據質量參差不齊，感知數據質量的好壞直接影響渲染結果，質量不佳時可能導致渲染失真，如目標位置抖動、道路坡面異常、車道線斷裂等問題。

ADAS應用需要支持多種工況，如有無地圖的工況、巡航和泊車工況、手動駕駛和人機共駕工況等。實時性要求極高，延時基本不能超過100毫秒，否則用戶會有明顯感知。此外，還需要兼容高中低等不同算力的平臺以及各種屏幕分辨率。

為應對這些挑戰，新知物聯設計了Matrix還原世界架構。該架構與納米3D HMI架構類似，分為通訊鏈路層、數據處理層、數據緩存層、邏輯控制層和渲染層。與納米架構的顯著區別在于其更強調在數據處理方面的能力。其中，異源特征目標時空融合模型能夠將感知數據、地圖數據和定位數據進行時間序列和空間坐標的融合，為有圖渲染提供支持；動態目標的軌跡還原模型則在感知數據質量不佳的情況下，通過建立數學模型對動態目標的運行軌跡進行平滑濾波操作，還原出良好的渲染效果。

動態目標軌跡還原模型采用了兩種濾波算法。高斯卷積濾波算法通過3 - 5幀的濾波窗口對緩存數據進行高斯卷積，生成平滑曲線，其優點是算法簡單、性能較好，但存在實時性差、延時可能超過100毫秒的缺點?；谖锢砑s束的擴展卡爾曼濾波模型則先對運動目標進行物理約束（如速度、加速度上限約束），再利用擴展卡爾曼濾波模型進行軌跡點預測，生成平滑運動軌跡。該模型軌跡平滑效果好，實時性強，但對CPU消耗較大。因此，在實際應用中，根據平臺算力情況選擇合適的濾波算法，算力有限的平臺采用高斯卷積濾波，算力充沛的平臺采用基于物理約束的擴展卡爾曼濾波。

圖源：新知物聯

通過納米3D HMI架構和Matrix還原世界架構的設計與實踐，新知物聯在3D HMI技術領域取得了顯著成果，為汽車座艙的智能化發展提供了有力的技術支持，有望在未來的汽車市場中占據更廣闊的發展空間。

（以上內容來自杭州新知物聯科技有限公司CTO盧松潔于2025年3月19日在第五屆中國汽車人機交互與體驗設計創新大會發表的《面向量產的3DHMI架構設計與工程實踐》主題演講。）