導語:自動駕駛汽車是一個復雜的機器人系統,如何對自動駕駛安全性能進行科學、合理、有效的評價,是相關行業共同面臨的重要挑戰。本文系統梳理了世界車輛法規協調論壇(WP.29)自動駕駛驗證方法非正式工作組提出的自動駕駛汽車安全評估與測試方法,分析了多支柱評估測試方法的內容、適應場景,總結了綜合應用多支柱測評方法需要關注的事項,希望能為我國開展自動駕駛汽車安全認證管理工作提供啟示借鑒。
一、多支柱法概述
驗證自動駕駛系統(以下簡稱“ADS”)安全性是一項高度復雜的任務,僅靠一種驗證方法不能全面有效地完成,要采用多支柱方法進行驗證。該方法由場景和五種驗證方法(支柱)組成,多支柱法的構成及其關系如圖1所示。
圖1:ADS系統多支柱法測試關系圖
場景是給定車輛行程中可能發生的真實駕駛情況的描述,是用于系統驗證ADS安全性的多支柱方法的重要基礎。仿真測試使用不同類型的模擬工具鏈來評估ADS在各種虛擬場景中是否符合安全要求,包括在現實世界中極難測試的場景。仿真測試需要考慮其可信度。場地測試使用具有各種場景元素的封閉式測試場對ADS的能力和功能進行測試。道路測試用以測試和評估ADS在真實交通條件下的駕駛能力。
審查驗證時,制造商需要向安全管理部門證明其ADS的各項能力,證明方式包括相關文件、仿真測試、場地測試以及道路測試的過程和結果。審查驗證可以確認企業是否已將與ADS相關的危險和風險進行識別,是否有健全的流程、機制、策略(即安全管理系統)以確保ADS在整個車輛生命周期內滿足相關安全要求,以及是否實施了穩健和確保一致性的安全方法,包括將設計安全理念貫穿于產品研發使用全過程。審查驗證還將評估不同支柱之間的互補性,以及場景總體覆蓋水平。
監測報告致力于解決ADS投放市場后的實際使用安全問題。該方法依靠收集行車相關數據來評估ADS在道路上運行時是否還能繼續保持其安全性。監測報告還可以為開發新的場景和在現有場景基礎上的衍生場景提供數據資源,也能夠幫助整個自動駕駛行業從重大ADS事故或事件中學習提升。
二、仿真測試
仿真測試的靈活性使其成為車輛設計過程中的標準測試方法,隨著仿真測試技術的發展,該方法逐漸成為ADS驗證過程的重要部分。對于ADS,不可能在真實世界中測試車輛在所有可能情況下的行為,也不可能測試ADS駕駛邏輯的任何后續變化。因此,仿真測試將成為驗證自動化系統處理各種可能場景能力不可或缺的工具。此外,出于對測試過程安全問題的擔憂,仿真測試有助于取代部分場地測試和道路測試。因此,建議使用仿真測試來測試ADS在危險場景下的性能,原因是這些危險場景很難在場地或公共道路上重現。
根據自動駕駛整體驗證策略,以及仿真測試工具鏈和模型準確性程度,仿真測試可以實現以下ADS驗證目標:(1)定性給出整個系統的置信度水平;(2)定量給出整個系統的部分安全特性置信度水平;(3)定性或定量給出特定子系統或組件性能的置信度水平;(4)發現可以在場地或道路測試的挑戰性場景。
仿真測試方法的局限性在于其固有的保真度不足。模型是現實的代表。開展ADS安全性驗證時,需要評估模型的保真度,故仿真測試及其使用模型的驗證對于測試結果的質量和可靠性至關重要。
為了提升仿真測試的可信度,建議在對相同場景進行測試時,將仿真測試與真實道路測試結果進行比較。這是評估所使用仿真測試工具鏈準確性的有效方法。與場地測試相比,仿真測試的場景數量很大,因此可選取具有足夠代表性的相關場景子集開展比較驗證,據此可以通過合理的推斷,實現對其他場景測試時的可信度評估。
短期內,仿真測試宜使用ADS制造商開發和維護的工具鏈進行。仿真工具鏈的設計取決于制造商實施的驗證和確認策略,因此目前提出工具鏈標準化等要求的必要性不是很大,但ADS制造商應對仿真工具鏈的使用作出解釋和記錄,并在認證過程中評估其適用性,只有這樣才能確保仿真測試中,廠家提供的文件和數據是“正當”可用的。此外,相關模型和仿真過程應該足夠可信,以便評估人員做出合理的決定。值得注意的是,由于仿真測試工具鏈及相應的確認標準缺失,很難在不同的仿真測試環境中復現同一仿真測試過程及其結果。
在開展ADS安全測試時,特別需要注意仿真測試和其他測試方式之間的交互。仿真測試與其他支柱方法之間具有很強的關聯性,特別集中在以下方面:(1)鑒于ADS數量眾多而又多樣的配置、預期用途和使用限制等特性,仿真測試是對物理測試的重要補充。仿真測試的一大優勢是以較高的性價比,通過多場景、窮盡參數域內參數值等方法評估ADS的性能表現。通過對物理測試中有限的參數進行泛化,可以得到涵蓋更多實際測試場景實例的可驗證數據,應用這些泛化數據開展仿真測試,是對上述物理測試的有效補充。應用上述參數泛化辦法,可以開展更高覆蓋度的危險場景測試,進而為車輛實際通行上述危險場景時的預期功能提供仿真證據支持。仿真測試降低了其他測試方式的負擔,是對其他測試方式的有益補充,進而增強了整個多支柱測試評價的進程。仿真測試還可以有效識別和覆蓋邊緣場景,以及其他低概率場景。(2)仿真測試是開發通用場景的有效方法。(3)仿真測試可以測試ADS臨界性能,清晰定義碰撞避免和碰撞減緩邊界。通過隨機化和場景重組的方法,仿真測試可以讓研發或評估人員更好地“挑戰”ADS性能,增強在低概率事件下其性能的置信度水平。(4)在開展審查驗證時,仿真測試是一種關鍵手段。在車輛研發、驗證和確認階段開展仿真測試的結果,是支持審查驗證的的最有價值的證據。制造商應當提供能夠說明仿真測試實施過程,以及對仿真測試工具鏈進行確認的證據和文件。(5)物理測試結果可以增強仿真測試及其模型精度。(6)針對監測報告階段發現的值得關注的問題,仿真測試可以發揮重要作用。根據真實事件,仿真測試可以快速靈活開展分析,協助企業理解和驗證ADS相關行為,并理解事件發生的淵源,識別未經測試的場景和相應參數,識別事件的規模和程度,也可以評估ADS系統優化后的效果。這些信息可整合融入場景,通過共享等進一步為整個行業發展作出貢獻。
三、場地測試
場地測試通過在封閉場地設置真實障礙物或替代障礙物來評估ADS的安全要求符合性。場地測試用真實車輛在真實環境下的測試來評估ADS子系統或整體系統的性能,測試中的外部條件和輸入可實時控制和測量。
場地測試適宜在標稱場景和危險場景下測試ADS的性能,可用來評測場景中與人機交互和安全回撤相關的車輛性能。場地測試所需投入的資源不菲,但與道路測試相比,場地測試能夠有效、可控、安全地開展低概率事件或危險場景測試,根據同一場景在場地測試和仿真測試中的不同結果,可以對仿真測試進行驗證。
四、道路測試
開展道路測試時,應當關注以下幾點:(1)設置測試內容時,應當更加關注ADS系統在真實道路交通環境中的表現,如平穩駕駛、應對擁堵、與其他交通參與者交互、保持交通流平滑、文明禮讓駕駛等;(2)應當考慮評估ADS系統在運行設計域邊界的安全性能,如驗證預設的天氣情況、道路環境情況等接管條件,與此同時,可驗證人機交互的內容;(3)考慮評估場地測試和仿真測試難以捕獲的情況,如由于光線、雨霧等導致的感知受限情況。
道路測試中若發現違法違規等情況,應該進一步收集道路測試、仿真測試、場地測試中的相關數據作進一步深入分析。根據同一場景在道路測試和場地測試、仿真測試中的不同結果,可以進一步針對仿真測試、場地測試環境開展優化。道路測試也可進一步支持開發仿真測試、道路測試新場景,特別是協助發現、識別更多能夠挑戰ADS的邊緣場景和預期外的風險場景。道路測試獲取的信息也可增強ADS設計能力、危害和風險分析能力。
五、審查驗證
審查驗證方法是與自動駕駛汽車ADS功能的研發和測試密切相關的,見圖2。審查驗證的目的主要有:(1)確認企業具有汽車全生命周期的功能安全與運行安全研發、管理流程;(2)確認車輛是按照安全設計方法進行設計的,并且在投入市場前開展了足夠的驗證。
圖2:帶有ADS功能的汽車開發與驗證流程
企業需要說明以下事項:(1)在汽車的研發、生產、投入使用、回收等全生命周期,均具有確保安全的穩健安全管理流程,包括車輛在投入使用時的安全監測,以及出現異常情況時的緊急應對;(2)與系統相關的危害和風險已被識別,并且實施了安全設計理念用于減緩上述風險;(3)上述安全設計理念、風險評估方法均已進行了足夠的驗證,確保車輛不會對整個交通系統造成合理可預見的風險。
根據企業提供的車輛安全相關證據及相應的確認試驗結果,認證機構可以針對企業安全管理流程、風險評估、安全設計、驗證確認等環節進行審查驗證,確保上述環節可以保障車輛的功能和運行安全。與有限數量的物理仿真測試相比,上述方法更能穩健地說明ADS系統的安全性。
風險評估、安全設計以及驗證測試方法,是在汽車行業應用多年的成熟方法,用以確保車輛電子電氣系統的安全性。ADS系統是電子電氣和相關軟件的集成,因而可以合理推斷,應用上述方法也可以系統有效地最小化已知和未知不安全場景,進而減少系統失效以外的運行安全風險。
六、監測報告
監測與報告方法進一步收集車輛在投放使用過程中的有關數據和證據,用以說明ADS系統在實際使用中仍然能夠確保安全。監測報告方法的主要目的有:(1)通過實際道路運行情況,進一步證明審查驗證階段的安全評估結果;(2)發現更多有價值的場景,補充測評場景庫;(3)分享事件、事故相關信息,促進ADS系統行業發展,以及相關技術規范和管理制度的進一步規范完善。
監測報告可與企業安全設計、安全確認等共同形成ADS系統安全管理的閉環,也有利于進一步完善安全要求和驗證手段。值得注意的是,車輛運行在線數據數量龐大,通過運行數據生成場景庫的工具還不完善,確定事件責任方還較難,以上均是開展監測報告工作需要面臨的挑戰。另外,收集數據的可靠性驗證也值得關注,收集、報告數據的內容、方法和流程也需要標準化,針對實時數據發現的問題,應該建立迅速的響應機制。
七、總結
多支柱法致力于通過靈活而又技術中立的方法來測評ADS系統的安全性,進而促進行業的發展。其主要目的是根據ADS系統的安全要求,評估其能否成功應對實際通行時面臨的各類風險問題,特別是評估涉及系統與交通參與者、環境交互、人機交互、系統失效等相關場景中的安全性能。單一的測評方法均無法實現上述安全評測目的,且上述任何一種測評方法在模擬環境的真實性、控制環境變量、可擴展性等層面均存在固有的優勢和劣勢。從這個角度來看,需要根據具體的安全測評要求來選取合適的測評方法。概括而言,審查驗證法通過系統的風險分析,可以全面評估ADS系統安全性能;需要變更測試參數,或面臨大量測試任務以滿足場景覆蓋度要求、利用事前記錄的傳感器數據評測感知質量時,仿真測試具有較大優勢;當通過離散的參數即可測評系統安全性能,或測評對高保真度需求較高時,如人機交互、安全撤回、關鍵交通場景等,就需要開展場地測試;當通過仿真或場地測試無法精確代表相關場景時,如與其他交通參與者的交互等,則需要開展道路測試;監測和報告方法充分利用了大量不同的真實駕駛和交通環境中交互產生的數據,是確認ADS系統安全性能最有效的方法。因此,綜合應用多支柱法,發揮各自的優勢,彌補各自不足,并盡可能避免重復和冗余測試,則可以達到高效、全面和協同的目的。
(文 /公安部道路交通安全研究中心 周文輝 )
編校 | 張翼飛 高海燕
聲明:如需轉載或開白名單,請留言聯系獲取授權!轉載須在文首標注來源交通言究社!未經授權不得轉載!
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.