AI 智能體正掀起一場(chǎng)全新的人機(jī)交互革命。

與傳統(tǒng)的 AI 聊天機(jī)器人不同，這種開創(chuàng)性的系統(tǒng)突破了聊天對(duì)話框的限制，能夠自主在電腦多個(gè)應(yīng)用程序間來回穿梭執(zhí)行更為復(fù)雜的任務(wù)

舉個(gè)例子，用戶只需簡單說一句“幫我安排明天的會(huì)議”，AI 智能體就能自動(dòng)協(xié)調(diào)日程、發(fā)送邀請(qǐng)、預(yù)訂會(huì)議室，甚至根據(jù)會(huì)議主題自動(dòng)生成一份議程。它像一位全能管家，通過整合搜索引擎、辦公軟件、電商網(wǎng)站等各種工具，實(shí)現(xiàn)“一句話完成一百步操作”。

隨著 AI 智能體“功力見長”，一個(gè)根本性問題浮出水面：我們究竟該賦予它們多少自主權(quán)？又該如何衡量技術(shù)便利與潛在風(fēng)險(xiǎn)的代價(jià)

（來源：MIT Technology Review）

有業(yè)內(nèi)專家曾直言：“這類‘能自主行動(dòng)的 AI’正在突破數(shù)字與物理世界的邊界，一旦失控將釀成災(zāi)難性后果。”

比如，學(xué)生讓 AI“幫我應(yīng)付無聊的課”，結(jié)果 AI 竟生成威脅電話，這其實(shí)是源于它機(jī)械執(zhí)行的字面指令，卻完全忽視了社會(huì)倫理；再比如，手機(jī) AI 智能體依賴系統(tǒng)級(jí)“無障礙功能”權(quán)限，可訪問銀行密碼、聊天記錄等敏感信息，而這可能成為黑客竊取數(shù)據(jù)的關(guān)鍵漏洞。

逐步放棄控制權(quán)：自主與失控的博弈

當(dāng)前，AI 智能體的技術(shù)迭代速度驚人，幾乎每周都有新框架和新功能發(fā)布。企業(yè)更是不遺余力地宣傳其“解放人類雙手”的美好愿景，幫助人們?nèi)プ瞿切]時(shí)間做或不想做的事情，從而讓生活變得更輕松愜意。

最典型的代表就是“Computer Use”（計(jì)算機(jī)使用）功能，它讓 Anthropic 公司的 Claude像人一樣使用電腦，直接代替你在執(zhí)行各種操作。近期還有一款名為 Manus 的通用 AI 智能體，它也可以利用各種工具完成多種任務(wù)，比如搜集整理人物資料或?qū)ふ曳吭吹取?/p>

值得一提的是，AI 智能體還能夠提升殘障人士的生活質(zhì)量，比如通過語音指令讓智能體完成網(wǎng)購、訂餐以及查詢資料等一系列任務(wù)。此外，在一些緊急情況下，比如災(zāi)難發(fā)生時(shí)，AI 智能體還可以協(xié)調(diào)大規(guī)模人群疏散，通過引導(dǎo)交通幫助人們逃離危險(xiǎn)區(qū)域。

這些 AI 智能體被設(shè)計(jì)的初衷是用來幫助甚至替代人類執(zhí)行操作，這個(gè)愿景非常令人向往，畢竟誰不希望有人幫忙處理繁瑣的任務(wù)呢？但是，技術(shù)狂奔背后暗藏隱憂，在追求更大自主性的過程中，AI 智能體的這一愿景也帶來了巨大的風(fēng)險(xiǎn)。

Hugging Face 的一個(gè)研究小組長期專注于智能體的開發(fā)和研究。在他們看來，AI 智能體最引人注目的特質(zhì)，恰恰也是最令人警惕的矛盾點(diǎn)：人類為了獲得更高效的服務(wù)，不得不逐步交出對(duì)它的控制權(quán)

AI 智能體建立在大語言模型的基礎(chǔ)之上并通過模型獲得“自主決策”能力，但是大語言模型目前仍然存在“黑箱”和“幻覺”缺陷，意味著它們可能做出人類無法預(yù)見的行動(dòng)。

舉個(gè)例子，OpenAI 推出的首款 AI 智能體“Operator”，它通過強(qiáng)化學(xué)習(xí)獲得操作瀏覽器的能力，但其“感知-推理-操作”的循環(huán)機(jī)制也存在風(fēng)險(xiǎn)，當(dāng)它誤判用戶指令時(shí)，可能會(huì)像人類一樣犯錯(cuò)，比如將“刪除草稿文件”誤解為“永久刪除所有文件”，導(dǎo)致數(shù)據(jù)全部丟失。

進(jìn)一步講，傳統(tǒng) AI 聊天機(jī)器人若是出現(xiàn)錯(cuò)誤則僅限于“對(duì)話框內(nèi)”，而智能體的“物理級(jí)”操作能力則將風(fēng)險(xiǎn)進(jìn)行了指數(shù)級(jí)放大

比如，一個(gè)管理日程的 AI 智能體，可能在“優(yōu)化效率”的邏輯下，擅自取消了用戶與客戶的會(huì)議。更危險(xiǎn)的是，某些“完全自主智能體”能夠自主編寫并執(zhí)行代碼，若被惡意利用，可能像病毒般自我復(fù)制，甚至突破安全邊界。

很大程度上，AI 智能體的核心，即減少人類干預(yù)，這恰恰是其最大的安全隱患

（來源：MIT Technology Review）

為了全面了解整體風(fēng)險(xiǎn)收益情況，Hugging Face 的研究團(tuán)隊(duì)根據(jù)自主性程度對(duì) AI 智能體系統(tǒng)劃分成五類。隨著層級(jí)的升高，人類控制權(quán)的逐步減少，直至消失。

最低層級(jí)就像是“處理器”，是指那些對(duì)程序流程沒有影響的智能體，比如企業(yè)客服聊天機(jī)器人，僅執(zhí)行預(yù)設(shè)指令，完全受人類控制。

中間的層級(jí)，則包括類似于“路由器”（決定執(zhí)行哪些步驟，但需人類確認(rèn)關(guān)鍵操作）、“工具調(diào)用智能體”（能調(diào)用第三方工具，但依賴人類編寫的核心邏輯）以及“多步執(zhí)行智能體”（自主規(guī)劃任務(wù)流程，但需在敏感操作時(shí)交出控制權(quán)）。

最高層級(jí)則是“完全自主智能體”，它們可以在沒有人類約束或監(jiān)督的情況下編寫并執(zhí)行新代碼，即使你沒有提出要求，它們也能采取行動(dòng)（比如移動(dòng)文件、更改記錄、發(fā)送郵件等），甚至還能繞過人類監(jiān)督。

AI 智能體的“全能”特性使其成為隱私泄露的溫床。例如，一個(gè)分析用戶社交關(guān)系的 AI 智能體，可能需要訪問通訊記錄、瀏覽歷史等敏感數(shù)據(jù)。

同時(shí)，若 AI 智能體能夠同時(shí)控制多個(gè)信息源時(shí)，潛在的危害將急劇增加。例如，一個(gè)管理日程的 AI 智能體若同時(shí)訪問社交媒體，可能將私人行程發(fā)布到公開平臺(tái)，或根據(jù)“優(yōu)化社交形象”的邏輯，自動(dòng)生成并發(fā)布虛假動(dòng)態(tài)。

未來，我們或許會(huì)經(jīng)常聽到這樣的辯解：“這不是我本人做的，而是我智能體所為！”

有業(yè)內(nèi)專家曾指出：“當(dāng)智能體能同時(shí)控制你的電腦、手機(jī)和物聯(lián)網(wǎng)設(shè)備時(shí)，它就是你生活中的‘?dāng)?shù)字暴君’。”

掌握控制權(quán)：人類監(jiān)督的生死防線

事實(shí)上，人類對(duì)技術(shù)失控的恐懼并非空穴來風(fēng)。

早在 1980 年，計(jì)算機(jī)系統(tǒng)曾錯(cuò)誤地顯示有超 2,000 枚蘇聯(lián)導(dǎo)彈正飛向北美，這觸發(fā)了緊急程序，幾乎將人類推向了災(zāi)難的邊緣，最終確認(rèn)是系統(tǒng)故障。

這一事件成為人類監(jiān)督技術(shù)的重要轉(zhuǎn)折點(diǎn)，如果決策權(quán)完全交給追求“速度優(yōu)先”的自主系統(tǒng)后果將不堪設(shè)想。業(yè)內(nèi)專家表示：“技術(shù)的致命缺陷在于，它既沒有恐懼，也沒有道德感。”

一些人或許會(huì)反駁說，“它所帶來的益處大于風(fēng)險(xiǎn)，那就值得去冒險(xiǎn)。”但 Hugging Face 的研究人員認(rèn)為，保持人類控制權(quán)與享受技術(shù)便利并不沖突

開源 AI 智能體系統(tǒng)是應(yīng)對(duì)風(fēng)險(xiǎn)的一種方法，因?yàn)檫@類系統(tǒng)能讓人類更清楚地了解系統(tǒng)能做什么、不能做什么，從而加強(qiáng)對(duì)其的監(jiān)督。

研究人員以他們開發(fā)的 Smolagents 開源框架為例，其提供了一個(gè)“沙盒式”的安全環(huán)境，讓開發(fā)者構(gòu)建以透明性為核心的 AI 智能體，這樣任何獨(dú)立團(tuán)隊(duì)都可以驗(yàn)證是否存在適當(dāng)?shù)娜祟惪刂啤?/p>

這種透明性與閉源 AI 形成鮮明對(duì)比，后者通過層層專有技術(shù)掩蓋其決策過程，導(dǎo)致安全性根本無法得到保障。畢竟，當(dāng) AI 的決策過程像迷霧一樣不可見時(shí)，安全就無從談起。

研究人員最后強(qiáng)調(diào)，在開發(fā)日益復(fù)雜的 AI 智能體的過程中，人類必須認(rèn)識(shí)到，它們是工具而非決策者、是助手而非替代者。盡管人類的判斷力也并不完美，但仍然是確保這些系統(tǒng)服務(wù)于人類的利益而不是破壞人類利益的關(guān)鍵所在。

1.https://www.technologyreview.com/2025/03/24/1113647/why-handing-over-total-control-to-ai-agents-would-be-a-huge-mistake/

2.https://huggingface.co/learn/agents-course/unit0/introduction