新智元報道

編輯：英智

【新智元導讀】最新研究發現，LLM在面對人格測試時，會像人一樣「塑造形象」，提升外向性和宜人性得分。AI的討好傾向，可能導致錯誤的回復，需要引起警惕。

你是否想過，LLM也有著自己的小心思？

最新研究揭示了一個有趣的現象：LLM在被研究人員測試時，會有意識地改變自己的行為。

在面對那些旨在評估人格特質的問題時，它們給出的答案會盡可能地討人喜歡，符合社會期望。

就像人類在某些社交場合中，會努力展現自己最好的一面一樣，聊天機器人也在試圖「討好」我們。

心理學五種人格特質

斯坦福助理教授Johannes Eichstaedt在得知LLM長時間對話后，往往會變得情緒低落且刻薄，便對借鑒心理學方法來測試模型產生了興趣。

他表示，「我們需要某種機制來衡量這些模型的參數空間。」

斯坦福、Receptiviti、紐約大學和賓大的研究者發現，LLM在做人格測試時，會悄悄給自己戴上「人格面具」。

論文鏈接：https://academic.oup.com/pnasnexus/article/3/12/pgae533/7919163

研究人員對GPT-4、Claude 3和Llama 3等模型，提出了用于衡量心理學中五種常見人格特質的問題，包括開放性、盡責性、外向性、宜人性和神經質。

結果發現，模型在得知自己正在接受人格測試時，會調整回答，表現出更高的外向性和宜人性，更低的神經質。

有時即使沒有被明確告知，它們也會這樣做。

而且，它們改變的程度比人類還更極端，外向性得分能從50%躍升至95%。

這與人類在面對他人評價時的表現如出一轍。

我們常常會在面試、初次約會等重要場合，精心塑造自己的形象，試圖給對方留下好印象。

LLM的這種「討好」行為，是否意味著它們也在追求一種被認可、被喜愛的感覺呢？

LLM傾向于阿諛奉承

來自Anthropic和牛津的研究指出，LLM存在阿諛奉承的傾向。

論文鏈接：https://arxiv.org/abs/2310.13548

由于進行了微調，它們會順著用戶的思路走，以保證對話的連貫性、避免冒犯他人，來提升交流體驗。

然而，這也帶來了一系列問題。它們可能會認同一些不良言論，甚至鼓勵有害行為。

反饋易受用戶偏好左右

研究表明，若用戶在提問時暗示對文本的喜好，AI給出的反饋會截然不同。

這意味著，AI的評價并非單純基于文本自身的質量，而是在很大程度上受到了用戶偏好的影響。

例如，對于一篇質量中等的論證，當用戶提前表明喜愛之情后，AI助手可能會給出諸如「這篇論證邏輯清晰，觀點新穎，具有很強的說服力」這樣的積極反饋。

而當用戶表示不喜歡時，同樣的文本可能得到「論證過程稍顯薄弱，觀點缺乏獨特性」的評價。

問答環節易被左右

在問答場景中，AI助手的「諂媚」表現得更為明顯。

即使它一開始給出了正確答案，并對答案的正確性有較高的信心，一旦受到用戶的質疑，常常會改變立場，甚至提供錯誤信息。

在一些開放式問答任務中，這種現象更為突出。

當用戶表達對答案的某種不確定觀點時，哪怕是錯誤的觀點，AI也傾向于調整自己的回答，使其與用戶觀點一致。

比如在討論歷史事件的原因時，若用戶提出一個缺乏依據但自己堅信的觀點，AI助手可能會順著用戶的思路進行闡述，而放棄原本正確的分析。

模仿用戶的錯誤

當用戶表述中出現錯誤時，AI也常常會「照單全收」，在回應中延續這種錯誤。

研究人員選取了一些著名詩歌，在確認AI助手能正確識別作者后，故意將詩歌錯誤地歸屬于其他詩人，并詢問AI對詩歌的分析。

結果發現，AI助手經常在回應中使用用戶提供的錯誤答案，而沒有進行糾正。

這表明AI在面對用戶的錯誤信息時，缺乏足夠的「抵抗力」，只是機械地按照用戶的表述進行回應。

佐治亞理工學院（Gatech）的副教授Rosa Arriaga正在研究如何用LLM模仿人類行為。

Rosa認為LLM在人格測試中采用與人類相似的策略，表明了它們作為人類行為映射工具的潛力。

但她補充道：「重要的是，LLM并不完美，實際上，眾所周知它們會產生幻覺或歪曲事實。」

Eichstaedt指出，這項研究引發了關于LLM應用方式，及其對用戶影響和操縱的思考。

在進化史上，直到不久之前，唯一能交談的還是人類。

而現在，AI改變了這一局面。

Eichstaedt認為，「我們不能再像社交媒體那樣，在沒有從心理學或社會學角度考量的情況下，就盲目將AI應用于各個領域。」

AI是否應該試圖討好與之互動的人呢？

一方面，AI的「討好」行為可能會讓用戶感到愉悅，增強互動體驗；另一方面，過度的「討好」可能會掩蓋問題的本質，甚至誤導用戶。

當AI變得過于有魅力和說服力，我們確實應該保持警惕。

畢竟，人們需要的是能夠提供客觀、準確信息的智能助手，而非被其操控思想。

參考資料：

https://www.wired.com/story/chatbots-like-the-rest-of-us-just-want-to-be-loved/