大語言模型 (LLM)，其典型代表就是OpenAI 的ChatGPT，它在與用戶進行書面交互方面非常有效，并且在許多自然語言處理 (NLP) 任務中表現得很好。

目前，科學家也在探索LLM在檢測和緩解機器人系統故障方面的潛力。

最近，斯坦福大學和英偉達（NVIDIA）的研究人員推出了一個新的「雙階段框架」，可以促進LLM 檢測系統異常，并實時規劃機器人動作。

經過測試，該方法可以顯著提高各種機器人系統（包括自動駕駛汽車）的可信度。

相關研究《Real-Time Anomaly Detection and Reactive Planning with Large Language Models》獲得“Robotics: Science and Systems conference”（RSS 2024）會議杰出論文獎。

論文鏈接：https://arxiv.org/abs/2407.08735

“這項工作始于自動駕駛汽車在現實世界中的故障案例，例如自動駕駛汽車容易被卡車的一組交通信號燈迷惑，或者因為看到高速公路旁邊的‘停車標志廣告牌’而突然停車。”來自斯坦福大學的論文合著者 Rohan Sinha 說道。

“這樣的例子通常被稱為分布外 (OOD) 輸入，這是罕見的極端情況，與自動駕駛汽車訓練的數據有很大不同。”

作為此前研究的一部分，Sinha 和他的合作者發現了阻礙自動駕駛性能的 OOD 故障，然后著手調查了現有的 OOD 檢測方法可以在多大程度上發現這些故障。

“例如，現有的跟蹤視覺新穎性（visually novel）的方法，在檢測這些特殊情況方面表現不佳。因為與訓練數據相比，看到停車標志、廣告牌或類似物體在視覺上并不具有視覺新穎性。只有當停車標志或一些不尋常的物體出現在廣告牌上時，它們才會變得異常，”Sinha 說。

“此外，我們發現這些類型的故障模式不容易歸因于特定組件（例如感知系統）故障，而是反映了系統級上下文推理的缺陷。這使得它們很難用現有的組件級監控技術捕捉到。”

在 2023 年的一篇論文中，研究人員展示了 LLM 在檢測和理解這些“語義異常”方面的潛力。

然而，為了有效地使用這些模型來避免影響自主機器人的 OOD 故障，他們首先必須克服兩個關鍵的研究挑戰。

“首先，我們必須降低 LLM 的計算成本，以實現實時反應——最好的 LLM 非常大，這使得它們非常慢，這對于快速移動的機器人來說不太實用，”Sinha 說。

“其次，我們需要將基于 LLM 的推理器集成到動態和敏捷機器人的控制中。我們最近論文的目標是解決這兩個關鍵挑戰，從而證明 LLM 可以顯著提高自主機器人的安全性。”

與其他計算模型相比，LLM 在處理信息方面可能很慢。主要原因是，為了創建新文本，它們會自回歸地單獨生成 token——為了生成一個思路鏈式的文本來推理機器人應該做什么（即規劃機器人的動作），支撐 LLM 的 Transformer 模型需要逐個預測數百甚至數千個 tokens。

使用 AESOP 算法的四旋翼飛行器的閉環軌跡

“為了克服這一限制，我們提出了一個雙階段推理流程，其中第一階段（快速）利用中間輸出，即通過 Transformer 模型的一次前向傳遞產生的單個嵌入，以實現低延遲反應性，”Sinha 解釋道。

“在第二階段（慢速）中，我們仍然依靠大模型的完整生成思維鏈能力，對以前從未在數據中記錄過的 OOD 場景做出零樣本決策。”

Sinha 和他的同事首先使用離線基礎 LLM 模型，以及現有的名義經驗數據集，創建了一個語義嵌入向量數據庫。在運行時，團隊的框架嵌入機器人當前正在觀察的內容，并計算觀察的嵌入與嵌入數據集中包含的嵌入的相似性。這是他們模型的第一階段（即快速階段）。

“如果觀察結果與之前的觀察結果相似，我們將繼續執行基本自主堆棧做出的決策，”Sinha 說。 “如果觀察結果異常，我們會查詢大型模型來推理采取什么安全保護干預措施（第 2 階段：慢速）。我們將這個雙階段的推理框架與模型預測控制（MPC）框架相結合，后者會規劃多個后備方案，并考慮到慢速推理器的延遲。”

通過這兩個步驟，該框架允許機器人快速檢測異常并減慢其動作，以便 LLM 模型推理可以采取哪些措施來減輕故障。然后由機器人執行 LLM 提出的自適應計劃。

Sinha 和他的同事在一系列測試中評估了他們提出的框架，發現它可以增強自主機器人系統中的異常檢測和反應性規劃。

值得注意的是，他們的方法被發現優于其他僅依賴 LLM 生成推理的方法。

（圖示：一種基于嵌入的運行時監控方案，該方案同時使用快速和慢速語言模型推理器。）

“有趣的是，我們發現較小的模型（例如具有 110M 個參數的 MPNet）在異常檢測方面的表現與較大的模型（例如 Mistral 7B）一樣好。”

Sinha 說道：“基于嵌入的異常檢測器所擅長的’檢測觀察結果‘與先前經驗的不同之處，而使用大型模型進行零樣本思維鏈推理對于確定 OOD 場景的安全關鍵性和適當的后備措施確實很有必要。”

Sinha說：“基于嵌入的異常檢測器，非常擅長檢測并辨別不同于先前經驗的數據；而若想確定一個OOD場景的安全關鍵性和后備方案，則需要使用大模型進行零樣本的鏈式思維推理。”

總體而言，該研究團隊的研究表明，快速和慢速推理的部署可以提高使用 LLM 進行異常檢測和機器人規劃任務的性能和實用性。

未來，他們的框架可以促進使用 LLM 來增強機器人的穩健性，從而可能有助于改進各種自主機器人系統。

“我們的快速推理器實時運行，比查詢 GPT-4 快大約 360 倍，而使用 GPT-4 進行慢速推理在確定細微異常的安全風險方面，實現了最高的準確度，”Sinha 補充稱：

“我們現在計劃繼續在此框架的基礎上進行構建。例如，我們計劃使用基于生成推理器的延遲異常評估的持續學習，以避免在非安全關鍵異常上再次觸發慢速推理器。”

參考內容：https://techxplore.com/news/2024-08-stage-framework-llm-based-anomaly.html