引言

去年曾發(fā)文說大模型Agent是2024年的發(fā)力點，現(xiàn)在隨著基模能力越來越強，今年的AI Agent仍將是熱門話題，而且一些最新學(xué)術(shù)研究都與Agent相關(guān)。作為今年特別重要的一個風(fēng)口，躺在風(fēng)口上也能稍你一程。那么什么是Agent呢，可能每個人對Agent的理解都不一樣。今天給大家重新梳理一下Agent的知識，其中主要包括Agent組成、各部分面臨痛點、應(yīng)用場景、未來發(fā)展、以及相關(guān)開源框架等，其中穿插了一些個人思考，有錯誤地方還請批評指正。

初識Agent

之前的AI模型，主要依賴輸入指令，讓模型按照步驟一步一的執(zhí)行，最終完成任務(wù)。而Agent，它不需要依賴明確的指令，而是基于目標進行思考，規(guī)劃、執(zhí)行、反思等過程，來達到既定目標。其實，它就像人類在處理復(fù)雜問題時，先對問題進行分析，根據(jù)分析思路來解答問題，在此過程中人類也可能會用到書籍、搜索引擎等工具，最終得到答案，最后再對結(jié)果做一下核算。

隨著LLM技術(shù)的發(fā)展，生成式 AI 模型也具備了自我思考的能力，也可以通過工具訪問實時信息并執(zhí)行現(xiàn)實世界的任務(wù)。這種結(jié)合推理、邏輯和外部信息訪問能力的 AI 體系被稱為Agent（智能代理），其能力超越了單一 AI 模型的獨立運作模式。再舉個簡單的例子，假設(shè)你正在計劃一次旅行，你需要了解目的地天氣、航班信息，并預(yù)訂酒店。如果你單獨使用 AI 模型，它只能根據(jù)已有的訓(xùn)練數(shù)據(jù)提供建議，可能無法給出實時準確的信息。但如果這個 AI 模型配備了天氣 API、航班查詢工具和酒店預(yù)訂系統(tǒng)，它就可以實時獲取最新的天氣情況、查詢最佳航班，并直接幫你完成預(yù)訂操作。這個AI 體系就可以理解為一個智能代理（Agent）。

Agent定義

最近大家都在提Agent，例如AutoAgent、Dify、Manus等，突然想到一個問題，那么什么才是Agent，有沒有明確的定義呢？為此關(guān)于Agent的定義，網(wǎng)上搜索了一圈，說其最早“Agent”這個詞可以追溯到古羅馬時期，并且還能夠從一些哲學(xué)家的哲學(xué)作品找到影子。

一篇文章中說Agent的哲學(xué)概念泛指具有自主性的概念或?qū)嶓w，它可以是人造的物體，可以是植物或動物，當然也可以是人。這定義挺好的，我沒意見。感興趣的小伙伴可以就這個定義去搜索了解一下，把故事線梳理清楚了可以整篇論文了。個人認為一個東西能夠?qū)ν饨绛h(huán)境做出反應(yīng)，并修正自己的行為，這就可以是一個智能體（當然你可以有自己的想法）。

在人工智能領(lǐng)域應(yīng)用方面，作者主要接觸下面兩種類型智能體（小工具智能體除外）：

一種是基于小模型+規(guī)則的智能體，通過模型做意圖分類、實體識別、情感分類等，然后人為添加流程控制和固定外調(diào)接口，讓智能體在不同的流程節(jié)點，給出對應(yīng)的答案，就比如當前大多數(shù)公司使用的智能客服，首層一般都是一個意圖分類模型做菜單導(dǎo)航，每個業(yè)務(wù)都對應(yīng)的業(yè)務(wù)流程節(jié)點，每個節(jié)點人為配置，通過實體識別、意圖識別進入下一個節(jié)點，最終實現(xiàn)業(yè)務(wù)辦理或者介紹。盡管每家都說智能客服準確率怎么樣，解決了多少問題，節(jié)約了多少人力，但對于實際用戶來說，還是人工方便。

一種是基于大模型+規(guī)則智能體，由于大模型（LLM）具備邏輯推理、任務(wù)規(guī)劃、工具調(diào)用等相關(guān)能力，相當于融合了小模型的實體識別、意圖分類、人為流程編排、接口外調(diào)等功能。為此，目前主流的AI Agent以大模型為核心，Agent能夠自主感知、規(guī)劃、執(zhí)行和反饋，從而完成復(fù)雜任務(wù)，比如最近的Manus就引起了大家的注意。相比 傳統(tǒng)的AI 僅限于被動響應(yīng)，Agent更強調(diào)自主決策和任務(wù)執(zhí)行能力。（未來發(fā)展方向基本都會依賴大模型能力吧~）

然而，不管Agent最早出自哪里，你是怎么理解Agent。我們參考一下去年Google發(fā)布了一篇Agent的白皮書，給出了Agent的定義：Agent 是一個能夠自主決策并采取行動的軟件系統(tǒng)，它能夠觀察環(huán)境、使用工具，并以目標為導(dǎo)向執(zhí)行任務(wù)。Agent具備以下幾個關(guān)鍵特征：

• 自主性：可以在無人工干預(yù)的情況下運行，獨立做出決策。

• 目標驅(qū)動：具備主動性，即使沒有明確指令，也會推理如何完成任務(wù)。

• 環(huán)境感知：能夠處理外部輸入，如用戶請求、傳感器數(shù)據(jù)或數(shù)據(jù)庫信息。

• 可擴展性：可以整合不同的工具（API、數(shù)據(jù)庫、計算模塊等），提升執(zhí)行能力。

• 適應(yīng)性：能根據(jù)任務(wù)需求調(diào)整行為，優(yōu)化執(zhí)行路徑。

從這個定義來看，突然發(fā)現(xiàn)，這不就指的身為“牛馬”的我們嗎？導(dǎo)師、領(lǐng)導(dǎo)下達指令，我們結(jié)合所學(xué)知識、搜索引擎、產(chǎn)出工具（微軟三大件）完成工作；提交上去領(lǐng)導(dǎo)發(fā)現(xiàn)錯誤，我們就會被批評，還要PUA一下：這種事情你就不能主動思考、主動檢查一下嗎？還要我提醒！做的好一些呢，獎勵一下（多發(fā)200百）。巧了，對上了！Agent==“牛馬”==我，這么考慮的話，Multi-Agent，不就是對應(yīng)現(xiàn)實的課題小組、xx項目團隊么，再放大一些，世界就也是一個Agent。（說多了~）

Agent的組成部分

Agent 由多個組件協(xié)同工作，以實現(xiàn)高效決策和任務(wù)執(zhí)行?？吹胶芏辔恼露继岬秸f：大模型Agent由規(guī)劃、記憶、工具與行動四大關(guān)鍵部分組成，分別負責(zé)任務(wù)拆解與策略評估、信息存儲與回憶、環(huán)境感知與決策輔助、以及將思維轉(zhuǎn)化為實際行動。但實際上現(xiàn)在的大模型Agent最主要幾個關(guān)鍵部分為：base大模型的動態(tài)推理規(guī)劃、工具模塊、記憶模塊。如下圖所示：

Agent工作流程

基于上面對Agent的組成部分，一個典型的Agent運行流程一般會包括感知、推理、決策、執(zhí)行、反饋等幾個流程。其中：

感知（Perception）主要是接收輸入信息，這個信息可以是用戶輸入或者是通過傳感器在環(huán)境中獲取信息；

推理（Reasoning）：主要是綜合上下文、環(huán)境感知信息等，分析輸入數(shù)據(jù)并規(guī)劃任務(wù)執(zhí)行步驟；

決策（Decision Making）：通過推理得到的結(jié)果來選擇合適的工具或操作;

執(zhí)行（Action Execution）：調(diào)用 API、數(shù)據(jù)庫或計算模塊，完成任務(wù)；

反饋（Feedback & Learning）：分析執(zhí)行結(jié)果，優(yōu)化未來決策。

舉個例子：比如在電商智能客服場景下，有一個 AI 智能客服 Agent 來解答客戶問題。當用戶輸入為：“請幫我查詢這件商品的庫存?！?；Agent接收到輸入信息之后，首先會通過上下文正確解析用戶請求，然后會調(diào)用庫存數(shù)據(jù)庫 API 查詢數(shù)據(jù)，即通過訂單號查詢訂單信息、獲取商品ID，結(jié)合通過商品ID再獲取庫存；最后結(jié)合用戶問題和數(shù)據(jù)庫結(jié)果來生成對客回復(fù)；輸出給用戶：“該商品目前有 15 件庫存，可立即發(fā)貨?！?/p>

舉一反三，通過整合語言模型、工具和智能編排，Agent 能夠動態(tài)響應(yīng)不同類型的用戶需求，實現(xiàn)更強大的自動化和智能化服務(wù)。

一、LLM動態(tài)推理規(guī)劃

作為 Agent 的核心決策引擎，它決定 Agent 如何分析信息、精準的拆解任務(wù)、動態(tài)推理、做出選擇、執(zhí)行。在此過程中通常會用到各種Prompt框架、多Agent協(xié)同、模型微調(diào)等方法，來提高LLM推理規(guī)劃能力。（這是學(xué)術(shù)研究的一個重要研究方向）

1、Agent中LLM能力

大語言模型作為Agent系統(tǒng)的智能核心，扮演著不可替代的中樞角色。其主要需要具備以下能力：

1）理解分析大模型憑借深厚的理解與分析能力，從模糊或間接的表述中提取真正的用戶需求，補充用戶未明確說明但對任務(wù)執(zhí)行必要的信息，并判斷問題的難度和所需資源，當遇到在信息不完整時請求澄清或做出合理假設(shè)。當用戶說"幫我查一下明天去上海的航班"時，大模型能自動識別出需要使用航班搜索工具，并了解需要確定出發(fā)地、日期和偏好等關(guān)鍵參數(shù)。

2）規(guī)劃決策該項能力可以讓Agent能夠處理復(fù)雜多步任務(wù)，即將復(fù)雜目標分解為可管理的子任務(wù)，設(shè)計工具調(diào)用序列，并根據(jù)中間結(jié)果動態(tài)調(diào)整執(zhí)行計劃，在此過程中它還可以評估不同解決方案的效率和成本，預(yù)判可能的失敗點并準備備選方案，最終確定任務(wù)執(zhí)行的最佳順序。這里一般都會用到思維鏈、ToT、ReAct等一些推理方法，當執(zhí)行如"為我的創(chuàng)業(yè)項目創(chuàng)建一個市場分析報告"這樣的復(fù)雜請求時，大模型會規(guī)劃出搜索市場數(shù)據(jù)、分析競爭對手、生成圖表、撰寫分析等一系列步驟。

3）工具調(diào)用規(guī)劃將任務(wù)需求精確映射到適當應(yīng)用工具上，構(gòu)建符合工具API要求的結(jié)構(gòu)化參數(shù)，確定何時調(diào)用工具以及何時使用自身知識，識別需要多個工具協(xié)同的場景，當首選工具不可用時找出替代方案，生成符合特定工具要求的精確調(diào)用指令。例如，對于"分析這組數(shù)據(jù)并創(chuàng)建可視化"的請求，大模型能判斷需要先使用數(shù)據(jù)處理工具，然后是統(tǒng)計分析工具，最后是可視化工具，并為每個工具生成適當?shù)膮?shù)。

4）上下文整合大模型的上下文整合能力保證了Agent系統(tǒng)的連貫性和一致性，它追蹤任務(wù)狀態(tài)，融合歷史交互信息，維護長期記憶。預(yù)訓(xùn)練獲得的廣泛知識使大模型能夠補充專業(yè)背景，應(yīng)用常識推理，并將知識從一個領(lǐng)域遷移到相關(guān)問題。面對工具返回的原始數(shù)據(jù)，大模型提供關(guān)鍵的再處理能力，將技術(shù)性輸出翻譯為普通語言，提取核心信息，整合多源結(jié)果為統(tǒng)一答案。

5）大模型知識大模型經(jīng)過海量知識的淬煉，具備龐大的知識體系。它可以補充工具可能缺乏的專業(yè)知識，應(yīng)用基本世界知識輔助決策，它還可以將專業(yè)概念轉(zhuǎn)化為用戶可理解的說明。在跨領(lǐng)域場景下，發(fā)現(xiàn)不同知識領(lǐng)域間的聯(lián)系，將另外一個領(lǐng)域的知識經(jīng)驗應(yīng)用到當前場景。

6）解釋再處理大語言模型能夠?qū)?fù)雜的技術(shù)輸出轉(zhuǎn)化為通俗易懂的語言，提取關(guān)鍵信息，重構(gòu)數(shù)據(jù)格式，并綜合多個工具的結(jié)果，形成統(tǒng)一且易于理解的答案。它還能對不同工具的結(jié)果進行比較分析，并提供最適合的可視化建議。例如，當搜索工具返回大量信息時，模型可以提取相關(guān)內(nèi)容并以簡潔的方式呈現(xiàn)給用戶。

7）反饋自適應(yīng)大語言模型賦予了Agent系統(tǒng)學(xué)習(xí)和適應(yīng)能力。它能夠識別工具調(diào)用失敗或結(jié)果異常，根據(jù)反饋調(diào)整策略，并自我評估解決方案的質(zhì)量。模型還可以監(jiān)測用戶滿意度，根據(jù)用戶反饋逐步優(yōu)化解決方案。例如，當用戶對初始結(jié)果不滿意時，模型會理解具體原因并調(diào)整策略，比如提供更詳細的信息或嘗試其他工具。

通過這些深入的能力，大模型不只是Agent系統(tǒng)的一個組件，而是真正的智能核心，協(xié)調(diào)和增強了整個系統(tǒng)的功能，使之遠超各部分能力的簡單疊加。

2、研究痛點

大模型Agent雖然擁有強大的能力，但仍面臨多重技術(shù)瓶頸。

1）在推理能力方面，Agent常在復(fù)雜任務(wù)中出現(xiàn)推理鏈斷裂，抽象思維不足，且自我糾錯能力有限，導(dǎo)致在科學(xué)研究等高度抽象領(lǐng)域表現(xiàn)欠佳。同時，因果推理能力的缺乏使其難以區(qū)分相關(guān)性與因果性，進一步限制了其分析復(fù)雜問題的能力。

2）在工具使用效率方面，同樣是制約Agent發(fā)展的關(guān)鍵因素。從工具選擇到參數(shù)配置，從錯誤處理到多工具協(xié)同，Agent在與外部工具交互的各個環(huán)節(jié)都存在明顯短板。特別是當外部API發(fā)生變更時，Agent適應(yīng)新接口的能力更是微弱，這嚴重影響了其在實際應(yīng)用中的可靠性和穩(wěn)定性。

3）在長期規(guī)劃能力方面，大模型長期規(guī)劃能力不足也是Agent的顯著弱點。任務(wù)分解不當、優(yōu)先級管理薄弱、計劃調(diào)整能力差等問題使Agent難以勝任需要長期規(guī)劃的復(fù)雜任務(wù)。同時，資源分配不合理和反饋循環(huán)不閉合進一步降低了其執(zhí)行效率，尤其在動態(tài)環(huán)境中更為明顯。

4）在可信度方面，幻覺問題則是影響Agent可信度的主要障礙。知識邊界模糊導(dǎo)致模型在不確定時仍給出看似確定的答案；語言生成的流暢性往往掩蓋了事實錯誤；上下文污染和錨定效應(yīng)又使錯誤在交互過程中被不斷放大，最終導(dǎo)致用戶對Agent產(chǎn)出的信任危機。

5）在長期記憶方面，上下文窗口限制則從根本上制約了Agent的長期記憶能力。隨著交互的延長，早期信息的記憶衰減、信息檢索困難、上下文壓縮不足等問題日益凸顯，使Agent難以在長時間交互中保持一致性和連貫性，極大地限制了其在復(fù)雜場景中的應(yīng)用價值。

6）在安全控制方面，確保工具使用的安全性與合規(guī)性是不可忽視的研究方向。這包括權(quán)限管理框架，限制Agent可訪問的工具范圍；需要對agent行為制定一定的約束機制，防止危險操作；在審計跟蹤系統(tǒng)，需要記錄工具使用歷史以供審查；同時需要考慮倫理決策模型，評估工具使用的倫理影響；以及對抗性測試方法，發(fā)現(xiàn)并修復(fù)潛在的安全漏洞。目前有研究者還在開發(fā)形式化驗證技術(shù)，從理論上保證Agent的工具使用行為符合預(yù)定規(guī)范。

3、相關(guān)研究

1）北大提出元計劃優(yōu)化框架：MPO，增強LLM Agent規(guī)劃能力。MPO利用元計劃輔助代理規(guī)劃，并根據(jù)代理任務(wù)執(zhí)行的反饋持續(xù)優(yōu)化元計劃。實驗表明，MPO在兩個代表性任務(wù)上顯著優(yōu)于現(xiàn)有基線，且分析顯示MPO提供了即插即用解決方案，提高了任務(wù)完成效率和在未見場景中的泛化能力。
2）Meta提出 MLGym 和 MLGym-bench：用于評估和開發(fā)大模型Agent。其中MLGym是首個針對機器學(xué)習(xí)（ML）任務(wù)的 Gym 環(huán)境，旨在促進強化學(xué)習(xí)（RL）算法在訓(xùn)練此類 Agent 方面的研究。MLGym-bench基準包含 13 個來自計算機視覺、自然語言處理、強化學(xué)習(xí)和博弈論等不同領(lǐng)域的開放式 AI 研究任務(wù)，為評估和提升 AI 研究 Agent 提供了全面的平臺。3）悉科大提出ATLAS，以提高大語言模型（LLM）Agent 的效率和泛化能力。ATLAS通過聚焦關(guān)鍵步驟，減少過擬合風(fēng)險，提升不同環(huán)境和任務(wù)中的泛化性。實驗表明，ATLAS選擇的關(guān)鍵步驟微調(diào)的LLM在性能上優(yōu)于全步驟微調(diào)的LLM及最新的開源LLM代理。4）復(fù)旦提出大模型Agent自動化方法：SELFGOAL，增強大模型復(fù)雜任務(wù)能力。SELFGOAL，旨在增強大模型Agent在有限的人類先驗和環(huán)境反饋下實現(xiàn)復(fù)雜任務(wù)解決能力。實驗結(jié)果，SELFGOAL 顯著提高了大模型Agent在各種任務(wù)（包括競爭、合作和延遲反饋環(huán)境）中的表現(xiàn)。

二、工具（Tools）

Agent中的工具（Tools），主要用于擴展 Agent 訪問外部世界的能力，例如 API、數(shù)據(jù)庫等，使其能夠執(zhí)行檢索、計算、數(shù)據(jù)存儲等操作，注意：在多Agent情況下，其它Agent也可以理解為工具。它是現(xiàn)代AI發(fā)展的關(guān)鍵方向，它顯著擴展了模型的能力邊界，使AI能夠執(zhí)行原本無法完成的操作，如網(wǎng)絡(luò)搜索、復(fù)雜計算和API調(diào)用等。

通過工具使用，Agent不僅能與外部世界進行實時交互，獲取最新信息，還能在特定領(lǐng)域發(fā)揮專業(yè)優(yōu)勢，比如利用代碼編輯器或數(shù)據(jù)分析工具解決專業(yè)問題。這種能力大幅提高了任務(wù)完成的質(zhì)量和準確性，減少了幻覺現(xiàn)象，同時增強了AI系統(tǒng)的自主性，降低了人工干預(yù)的需求。

1、工具使用

1）傳統(tǒng)方式寫好API代碼接口，讓模型解析出代碼接口所需要的參數(shù)，然后調(diào)用接口拿到結(jié)果。比如：寫了一個機票查詢的接口。用戶說：我要買一張北京到上海的機票，讓模型提取文中上海、北京兩個地址，才能調(diào)用接口拿到結(jié)果。但是如果直接說：我要買一張到上海的機票，這個時候API接口就無法調(diào)用，可見這種方法維護性和擴展性都很差。

2）大模型function call，當前大模型基本上都具備了外調(diào)function的能力。大模型識別用戶意圖后，從預(yù)定義的函數(shù)列表中自動選擇合適的函數(shù)，生成結(jié)構(gòu)化的JSON格式參數(shù)，然后系統(tǒng)執(zhí)行實際的函數(shù)調(diào)用。這允許模型以標準化方式與外部API和服務(wù)交互，是目前商業(yè)API中最常見的工具使用形式。下圖是一個工具應(yīng)用流程。一個簡單的使用流程可以參考：https://blog.csdn.net/yinizhilianlove/article/details/146203159?spm=1001.2014.3001.55013）工具增強型提示，在提示詞中直接描述可用工具及其使用方法，讓模型生成調(diào)用工具的指令。這種方法簡單直接，但對提示工程要求較高。

4）工具庫將大模型可能用到的工具存儲起來，當面對不同的問題的時候，去工具箱中檢索，并選擇合適的工具。其實RAG技術(shù)，只是向量數(shù)據(jù)庫中存儲的工具API的詳細介紹。如下圖所示：5）模型微調(diào)通過特定的訓(xùn)練或微調(diào)，教會模型如何使用特定工具。這種方法將工具使用能力直接編入模型參數(shù)，使模型在特定工具上表現(xiàn)更佳。

2、存在的問題

1）工具選擇：殺雞焉用宰牛刀！開發(fā)更精確的工具選擇算法，使Agent能夠根據(jù)任務(wù)需求、工具功能特性和歷史使用效果做出最優(yōu)決策。這包括上下文感知型選擇機制，能夠理解任務(wù)的細微差別；元認知能力，讓Agent評估自身是否需要外部工具輔助；以及基于不確定性的決策框架，在信息不完全情況下做出合理選擇。

2）工具應(yīng)用效率優(yōu)化：API接口調(diào)用那么貴！提高工具使用效率是減少資源消耗的關(guān)鍵。研究重點包括精簡工具調(diào)用流程，減少不必要的API請求；開發(fā)工具調(diào)用緩存機制，重用之前的調(diào)用結(jié)果；設(shè)計參數(shù)優(yōu)化技術(shù)，自動調(diào)整工具參數(shù)以獲得最佳輸出；以及建立工具使用成本模型，幫助Agent在效率與效果間取得平衡。

3）錯誤處理機制：查缺補漏！利用異常檢測算法，識別工具調(diào)用失敗或異常輸出；失敗恢復(fù)策略，自動嘗試替代方案；錯誤診斷系統(tǒng)，分析失敗原因并提供修復(fù)建議；以及漸進式重試機制，根據(jù)失敗模式調(diào)整重試參數(shù)。

4）工具協(xié)作：解決復(fù)雜問題往往需要多工具協(xié)作。研究包括工具間信息傳遞協(xié)議，確保數(shù)據(jù)在工具間無縫流動；工具依賴管理系統(tǒng)，協(xié)調(diào)具有前后依賴關(guān)系的工具調(diào)用；工具組合效果預(yù)測模型，評估不同工具組合的預(yù)期效果；以及工具沖突解決機制，處理多工具間可能出現(xiàn)的沖突或不一致。

5）學(xué)習(xí)工具使用：從工具使用成功與失敗中優(yōu)化策略；少樣本學(xué)習(xí)技術(shù)，快速適應(yīng)新工具；行為克隆方法，從人類專家示范中學(xué)習(xí)工具使用技巧；以及持續(xù)學(xué)習(xí)架構(gòu)，不斷更新工具使用知識。

3、相關(guān)研究

2025年，山大提出了TOOLRET，一個包含7.6k多樣化檢索任務(wù)和43k工具的異構(gòu)工具檢索基準，旨在評估大型語言模型（LLMs）在工具檢索任務(wù)中的表現(xiàn)。此外本文作者還貢獻了一個超過200k實例的大規(guī)模訓(xùn)練數(shù)據(jù)集，顯著優(yōu)化了IR模型的工具檢索能力；2025年，中科大提出了一種集成外部工具的長鏈推理大型語言模型：START，其核心之一就是通過在推理過程中插入Prompt有效激發(fā)模型使用外部工具；2024年，港大設(shè)計了一個自動化評估工具ToolEvaluator，以評估LLMs在工具使用方面的準確性和效率；2024年，人大發(fā)布一篇關(guān)于大模型工具學(xué)習(xí)（Tool Learning）最新綜述！并且提供了現(xiàn)有基準和評估方法的詳細總結(jié)，并根據(jù)它們與不同階段的相關(guān)性進行了分類。來幫助研究者進一步探索這一有前景的領(lǐng)域。

三、記憶模塊（Memory）

記憶模塊主要負責(zé)存儲和管理信息，從而實現(xiàn)更精準、更個性化的響應(yīng)。具體來說：它不僅維護即時對話上下文，更承擔(dān)著知識持久化、經(jīng)驗累積與信息檢索的關(guān)鍵功能。在復(fù)雜任務(wù)處理過程中，記憶模塊可以讓Agent能夠處理超出上下文窗口的長期依賴問題，同時記錄工具調(diào)用歷史與結(jié)果，避免重復(fù)操作并支持結(jié)果整合。

此外，它還負責(zé)跟蹤多步驟任務(wù)的進度狀態(tài)，確保任務(wù)完整執(zhí)行，并存儲Agent的自我評估歷史，為元認知和持續(xù)改進提供基礎(chǔ)支持。

1、長短期記憶

記憶模塊通常分為短期記憶和長期記憶，不同類型的記憶模塊具有不同的功能和特點。通過記憶模塊，AI Agent 可以更好地理解當前情境，生成合理的響應(yīng)，提供定制化服務(wù)，并通過記錄交互歷史不斷改進自身行為模式。其中：

• 短期記憶主要用于存儲臨時性信息，例如當前對話的上下文內(nèi)容或短時間內(nèi)的用戶指令。它具有容量有限、快速響應(yīng)和時間衰減的特點，通常依賴簡單的數(shù)據(jù)結(jié)構(gòu)（如隊列或棧）來實現(xiàn)，能夠支持實時任務(wù)，但過期內(nèi)容會被自動清理。

• 長期記憶用于存儲持久化信息，如用戶的偏好、歷史交互記錄以及知識庫。它具有持久性、知識積累和個性化服務(wù)的特點，能夠支持推理和問題回答，通常依賴向量數(shù)據(jù)庫、圖數(shù)據(jù)庫或鍵值對存儲等復(fù)雜技術(shù)來實現(xiàn)。

• 記憶檢索：長期記憶一般都會存在向量數(shù)據(jù)庫里面，是個性化服務(wù)的關(guān)鍵，如何準確的檢索出不同業(yè)務(wù)場景下的記憶數(shù)據(jù)，以及平衡檢索效率與資源消耗的關(guān)系，這個其實和RAG技術(shù)相似，可以從整合多個維度的信息。同樣參考下圖：

• 記憶壓縮：Agent積累的信息量呈指數(shù)級增長，而上下文窗口和計算資源卻有明確限制。記憶壓縮技術(shù)通過提取核心信息、減少冗余，在保持關(guān)鍵語義的同時大幅降低存儲和處理成本。

• 智能化遺忘：協(xié)調(diào)與整合沖突信息，平衡主動記憶管理與被動記憶獲取。個性化與通用性平衡是另一關(guān)鍵挑戰(zhàn)，涉及用戶特定記憶的隔離與保護，跨用戶經(jīng)驗的抽象與泛化，以及隱私保護與記憶共享邊界的界定。

2025年，提出了解耦知識推理三個關(guān)鍵方向，助力構(gòu)建一個結(jié)合訓(xùn)練有素的檢索系統(tǒng)和大型外部記憶庫的推理系統(tǒng)，以克服現(xiàn)有架構(gòu)在學(xué)習(xí)新場景推理時的局限。
2024年，記憶力壓縮方面，斯坦福設(shè)計了一個名為HippoRAG的新型檢索增強模型。裝備了這一"類腦"記憶系統(tǒng)的大模型在多種需要知識整合的任務(wù)中展現(xiàn)出了驚人的性能提升。HippoRAG的誕生，為大模型賦予"類腦"的知識整合和長期記憶能力開辟了一條全新的路徑。

2024年，AIRI 面對沒有一個統(tǒng)一的方法來測試智能體的記憶能力，很難準確地比較不同智能體的記憶能力的問題。通過定義不同類型的記憶（比如長期記憶和短期記憶）來簡化這個問題，并提出了一個實驗方法來評估智能體的記憶能力。

Agent開源框架

LangChain

• 網(wǎng)址: https://www.langchain.com

• GitHub: https://github.com/langchain-ai/langchain

• 功能: 構(gòu)建基于LLM的應(yīng)用程序，提供鏈式調(diào)用、工具整合和代理功能

AutoGen

• 網(wǎng)址: https://microsoft.github.io/autogen

• GitHub: https://github.com/microsoft/autogen

• 功能: 多代理對話框架，支持代理間協(xié)作

LlamaIndex

• 網(wǎng)址: https://www.llamaindex.ai

• GitHub: https://github.com/jerryjliu/llama_index

• 功能: 數(shù)據(jù)連接和檢索增強框架

CrewAI

• 網(wǎng)址: https://www.crewai.io

• GitHub: https://github.com/joaomdmoura/crewai

• 功能: 協(xié)作代理框架，專注于角色分配和工作流

XAgent

• GitHub: https://github.com/OpenBMB/XAgent

• 網(wǎng)址: https://x-agent.net

• 功能: 自主智能體框架，強調(diào)規(guī)劃和執(zhí)行

LangGraph

• 網(wǎng)址: https://python.langchain.com/docs/langgraph

• GitHub: https://github.com/langchain-ai/langgraph

• 功能: 基于狀態(tài)機的代理編排框架

CAMEL

• GitHub: https://github.com/camel-ai/camel

• 功能: 基于角色的代理通信框架

DSPy

• 網(wǎng)址: https://dspy.ai

• GitHub: https://github.com/stanfordnlp/dspy

• 功能: 以編程方式優(yōu)化LLM提示和鏈接

Haystack

• Cold網(wǎng)址: https://haystack.deepset.ai

• GitHub: https://github.com/deepset-ai/haystack

• 功能: 模塊化NLP框架，專注于問答系統(tǒng)和搜索

Agentverse

• GitHub: https://github.com/OpenBMB/AgentVerse

• 功能: 多代理模擬環(huán)境，支持復(fù)雜交互

大模型 Agent 在醫(yī)療、教育、工業(yè)、金融服務(wù)和操作系統(tǒng)等領(lǐng)域展現(xiàn)出廣泛的應(yīng)用前景，但同時也面臨諸多挑戰(zhàn)。

醫(yī)療領(lǐng)域，Agent 可用于智能問診、醫(yī)療影像分析、個性化健康管理及醫(yī)學(xué)知識庫查詢，提高診斷準確率并優(yōu)化醫(yī)療資源。然而，醫(yī)療數(shù)據(jù)的隱私保護、法規(guī)合規(guī)性以及 AI 診斷的可解釋性仍是主要難點。此外，醫(yī)療行業(yè)對 AI 的應(yīng)用仍需經(jīng)過嚴格監(jiān)管，確保其安全性和可靠性。

教育領(lǐng)域，Agent 可提供智能輔導(dǎo)、自動批改作業(yè)、生成教育內(nèi)容，并輔助語言學(xué)習(xí)。例如，基于 AI 的個性化學(xué)習(xí)系統(tǒng)可以根據(jù)學(xué)生的知識水平定制學(xué)習(xí)路徑，提高學(xué)習(xí)效率。然而，知識更新問題、誤導(dǎo)性信息以及個性化與標準化的平衡仍然是 AI 教育應(yīng)用的挑戰(zhàn)。確保 AI 能夠提供準確、可靠的知識，并且適應(yīng)不斷變化的教育需求，是行業(yè)發(fā)展必須解決的問題。

工業(yè)領(lǐng)域Agent 可應(yīng)用于智能運維、設(shè)備預(yù)測維護、智能制造、機器人控制及供應(yīng)鏈優(yōu)化。例如，AI 可以分析工業(yè)設(shè)備的運行數(shù)據(jù)，預(yù)測故障并優(yōu)化生產(chǎn)流程，提升生產(chǎn)效率。然而，工業(yè)環(huán)境對 AI 的實時性要求高，數(shù)據(jù)往往分散在不同系統(tǒng)，形成“數(shù)據(jù)孤島”，如何整合利用這些數(shù)據(jù)成為挑戰(zhàn)（各公司的大數(shù)據(jù)部門需要考慮）。此外，企業(yè)在引入 AI 方案時，還需要考慮投入成本與實際收益的平衡，以確保 AI 解決方案的經(jīng)濟可行性。

金融領(lǐng)域Agent 可用于智能投顧、量化交易、風(fēng)險管理、欺詐檢測、信用評分及個性化金融服務(wù)。AI 通過分析市場數(shù)據(jù)和用戶行為，提供投資建議并提高金融安全性。然而，金融行業(yè)的嚴格監(jiān)管要求 AI 具有高度的透明度和可解釋性，確保合規(guī)。此外，金融市場變化迅速，AI 需要具備持續(xù)學(xué)習(xí)的能力，以適應(yīng)不斷變化的市場環(huán)境。同時，AI 也可能成為金融攻擊的目標，如何防范對抗性攻擊是關(guān)鍵問題。

操作系統(tǒng)Agent可應(yīng)用于智能助手、代碼生成、辦公自動化及智能運維。例如，智能助手可以幫助用戶完成任務(wù)、搜索信息、管理日程，提高工作效率。代碼生成工具如 GitHub Copilot 也極大地提升了開發(fā)者的生產(chǎn)力。然而，AI 助手在收集用戶數(shù)據(jù)時需要確保隱私安全，同時，不同操作系統(tǒng)和軟件生態(tài)的兼容性問題也需要解決。此外，提高 AI 的泛化能力，使其能夠適應(yīng)不同用戶的使用習(xí)慣，也是提升用戶體驗的關(guān)鍵。

Agent未來發(fā)展

1）模型能力持續(xù)進化

通過參數(shù)規(guī)模擴大與架構(gòu)優(yōu)化，大模型將突破語言理解、邏輯推理等能力邊界。例如，在任務(wù)規(guī)劃、工具使用等方面，效率能力更高；在模型思考推理速度等方面模型響應(yīng)將更快。難點：千億級參數(shù)模型的分布式推理優(yōu)化，降低模型所需硬件功耗。

2）多模態(tài)融合成為標配

未來的Agent將整合文本、圖像、語音等多模態(tài)輸入輸出能力，例如醫(yī)療Agent可同時分析CT影像（視覺）和病歷文本（語言），生成綜合診斷報告。

3）協(xié)作生態(tài)體系形成

多Agent系統(tǒng)將建立分工協(xié)作機制，通過博弈論框架實現(xiàn)動態(tài)任務(wù)分配。例如在物流調(diào)度場景中，路徑規(guī)劃Agent、庫存管理Agent等可基于強化學(xué)習(xí)算法形成協(xié)同決策。難點：多Agent協(xié)作時的通信容錯與沖突消解。

4）知識增強與成本優(yōu)化

采用RAG（檢索增強生成）技術(shù)，無需重新訓(xùn)練即可更新知識庫。例如金融Agent通過實時接入市場數(shù)據(jù)源，快速響應(yīng)政策變化。這就需要了解模型對本身知識和外掛知識整合能力，有研究顯示：如果給模型的知識與本身的知識差距不大，模型會更傾向于自己的知識；同時模型更傾向于模型生成的數(shù)據(jù)知識。

5）倫理安全更加規(guī)范

隨著應(yīng)用普及，需解決數(shù)據(jù)隱私、算法偏見等問題。可以通過聯(lián)邦學(xué)習(xí)實現(xiàn)數(shù)據(jù)隱私保護，目前了解到有一種方案是將模型分塊，模型主體放在遠程，降低本地資源要求。在客戶端和模型服務(wù)端，進行加解密轉(zhuǎn)換。