Learning Algebraic Representation for Systematic Generalization in Abstract Reasoning

學(xué)習(xí)代數(shù)表示以實(shí)現(xiàn)抽象推理中的系統(tǒng)泛化

https://buzz-beater.github.io/assets/publications/2022_alans_eccv/paper.pdf

摘要

智能是通過(guò)聯(lián)結(jié)主義實(shí)現(xiàn)的，還是通過(guò)經(jīng)典主義實(shí)現(xiàn)的？盡管聯(lián)結(jié)主義方法已經(jīng)實(shí)現(xiàn)了超越人類的表現(xiàn)，但越來(lái)越多的證據(jù)表明，這種特定于任務(wù)的優(yōu)越性在系統(tǒng)性泛化方面尤為脆弱。這一觀察結(jié)果處于聯(lián)結(jié)主義和經(jīng)典主義之間核心爭(zhēng)論的中心，其中后者持續(xù)倡導(dǎo)在認(rèn)知架構(gòu)中采用代數(shù)處理。在本工作中，我們響應(yīng)經(jīng)典主義的呼吁，提出了一種混合方法，以改善推理中的系統(tǒng)性泛化。具體而言，我們展示了瑞文漸進(jìn)矩陣（RPM）任務(wù)的代數(shù)表示原型，并提出了代數(shù)感知神經(jīng)半符號(hào)（ALANS）學(xué)習(xí)器。ALANS學(xué)習(xí)器受抽象代數(shù)和表示理論的啟發(fā)，包含一個(gè)神經(jīng)視覺(jué)感知前端和一個(gè)代數(shù)抽象推理后端：前端從基于對(duì)象的表示中總結(jié)視覺(jué)信息，而后端將其轉(zhuǎn)換為代數(shù)結(jié)構(gòu)，并即時(shí)推導(dǎo)隱藏的運(yùn)算符。推導(dǎo)出的運(yùn)算符隨后被用于預(yù)測(cè)答案的表示，并選擇與預(yù)測(cè)最相似的選項(xiàng)作為解決方案。廣泛的實(shí)驗(yàn)表明，通過(guò)引入代數(shù)處理，ALANS學(xué)習(xí)器在需要系統(tǒng)性泛化的領(lǐng)域中優(yōu)于各種純聯(lián)結(jié)主義模型。我們進(jìn)一步展示了所學(xué)代數(shù)表示的生成性；它可以通過(guò)同構(gòu)解碼生成一個(gè)答案。

1 引言

“Thought is in fact a kind of Algebra.”

—William James [25]

想象一下，你被給出兩個(gè)字母序列“c, b, a”和“d, c, b”，并被要求填寫“e, d, ?”中缺失的元素。幾乎在瞬間，人們就能意識(shí)到答案是“c”。然而，更令人驚訝的是，人類學(xué)習(xí)中，我們能夠毫不費(fèi)力且瞬間地將這種解決方案“自由泛化”到任何部分連續(xù)的有序序列中。盡管這種系統(tǒng)性泛化能力被認(rèn)為在人類嬰兒早期發(fā)展中是與生俱來(lái)的，但這種能力在現(xiàn)有的聯(lián)結(jié)主義模型中卻一直缺失，并被證明是一個(gè)特別具有挑戰(zhàn)性的問(wèn)題[^2, 29^]。事實(shí)上，這種能力——能夠思考一個(gè)給定的想法以及語(yǔ)義相關(guān)的其他內(nèi)容——強(qiáng)烈暗示了一種類似抽象代數(shù)的處理方式。在文獻(xiàn)中，它被稱為“思想的語(yǔ)言”、“物理符號(hào)系統(tǒng)”和“代數(shù)心智”。然而，與之形成鮮明對(duì)比的是，現(xiàn)有的聯(lián)結(jié)主義模型往往只能捕捉統(tǒng)計(jì)相關(guān)性[7, 26, 29]，而不是為一種結(jié)構(gòu)化歸納偏差提供任何解釋，這種偏差可以通過(guò)系統(tǒng)性代數(shù)來(lái)促進(jìn)泛化。

這種對(duì)比本能地引發(fā)了一個(gè)問(wèn)題——什么是構(gòu)成這種代數(shù)歸納偏差的基礎(chǔ)？我們認(rèn)為，與人類早期發(fā)展中的代數(shù)處理相對(duì)應(yīng)的建模基礎(chǔ)在于基于數(shù)學(xué)公理的代數(shù)計(jì)算，這是形式化人類直覺(jué)的一種形式，也是現(xiàn)代數(shù)學(xué)推理的開(kāi)端[^17, 34^]。在代數(shù)的基本構(gòu)建塊中，特別是皮亞諾公理，尤為重要。在皮亞諾公理中，代數(shù)的基本組成部分——代數(shù)集合以及在其上的對(duì)應(yīng)操作符——由三個(gè)陳述來(lái)管理：（1）研究領(lǐng)域中至少存在一個(gè)元素（“零”元素），（2）一個(gè)遞歸應(yīng)用于所有元素的后繼函數(shù)，因此可以覆蓋整個(gè)領(lǐng)域，以及（3）數(shù)學(xué)歸納法的原則。基于這種基本公理，我們開(kāi)始形成代數(shù)集合的概念，并誘導(dǎo)操作符來(lái)構(gòu)建代數(shù)結(jié)構(gòu)。我們假設(shè)，這種基于基本公理的代數(shù)處理對(duì)于模型的系統(tǒng)性泛化能力是必不可少的，缺乏這種能力將使其表現(xiàn)次優(yōu)。

為了展示在系統(tǒng)性泛化中采用這種代數(shù)處理的好處，我們展示了一個(gè)瑞文漸進(jìn)矩陣（RPM）[48, 49]的原型，這是一個(gè)抽象空間-時(shí)間推理的典型任務(wù)[51, 68]。在這個(gè)任務(wù)中，智能體被給予一個(gè)不完整的3×3矩陣，其中包含八個(gè)上下文面板，最后一個(gè)缺失，并被要求從八個(gè)選項(xiàng)中選擇一個(gè)最能補(bǔ)全矩陣的答案。解決這一抽象推理任務(wù)的人類推理能力通常被視為“一般智力”和“流體智力”[19, 24, 55, 56]的指標(biāo)。盡管這一任務(wù)本質(zhì)上需要抽象、代數(shù)化、歸納和泛化[4, 48, 49]，但最近的努力一致提出了純聯(lián)結(jié)主義模型，試圖繞過(guò)這些內(nèi)在的認(rèn)知要求[21, 51, 58, 64, 68, 70, 74]。然而，這些方法在系統(tǒng)性泛化中的低效性也很明顯；它們難以外推到訓(xùn)練之外的領(lǐng)域[51, 70]，本文也展示了這一點(diǎn)。

為了解決這一問(wèn)題，我們引入了一種代數(shù)感知神經(jīng)半符號(hào)（ALANS）學(xué)習(xí)器。從高層次來(lái)看，ALANS學(xué)習(xí)器嵌入在一般化的神經(jīng)符號(hào)架構(gòu)中[14, 36, 66, 67]，但由于其即時(shí)操作符學(xué)習(xí)能力，因此是半符號(hào)的。具體而言，它由一個(gè)神經(jīng)視覺(jué)感知前端和一個(gè)代數(shù)抽象推理后端組成。對(duì)于每個(gè)RPM實(shí)例，神經(jīng)視覺(jué)感知前端首先在每個(gè)面板上滑動(dòng)一個(gè)窗口，以獲得每個(gè)對(duì)象的基于對(duì)象的表示[26, 63]。隨后，信念推理引擎將每個(gè)面板中的所有基于對(duì)象的表示聚合，以產(chǎn)生概率信念狀態(tài)。代數(shù)抽象推理后端隨后接收八個(gè)上下文面板的信念狀態(tài)，將它們視為代數(shù)結(jié)構(gòu)上的快照，將其提升為基于皮亞諾公理和表示理論的矩陣化代數(shù)表示，并通過(guò)解決一個(gè)內(nèi)部?jī)?yōu)化問(wèn)題[^3, 8, 72^]在代數(shù)結(jié)構(gòu)中誘導(dǎo)隱藏的操作符。通過(guò)執(zhí)行誘導(dǎo)的操作符來(lái)預(yù)測(cè)答案的代數(shù)表示：其對(duì)應(yīng)的集合元素通過(guò)同構(gòu)解碼，最終答案被選為與預(yù)測(cè)最相似的選項(xiàng)。

ALANS學(xué)習(xí)器在代數(shù)處理的抽象推理中具有以下幾項(xiàng)優(yōu)勢(shì)：

1. 與以往的整體式模型不同，ALANS學(xué)習(xí)器提供了整個(gè)抽象推理過(guò)程的更具可解釋性的描述：神經(jīng)視覺(jué)感知前端提取基于對(duì)象的表示，并通過(guò)顯式的概率推理產(chǎn)生面板的信念狀態(tài)；而代數(shù)抽象推理后端在代數(shù)結(jié)構(gòu)中誘導(dǎo)隱藏的操作符。通過(guò)執(zhí)行誘導(dǎo)的操作符獲得最終答案的表示，并選擇距離最小的選項(xiàng)面板。這一過(guò)程非常類似于人類推理中經(jīng)常被忽視的自上而下與自下而上的策略[21, 51, 58, 64, 68, 70, 74]：人類通過(guò)誘導(dǎo)隱藏關(guān)系、執(zhí)行它以在腦海中生成一個(gè)可行的解決方案，并選擇最相似的答案。

2. 在保持現(xiàn)有神經(jīng)符號(hào)框架中的語(yǔ)義可解釋性和端到端可訓(xùn)練性的同時(shí)，ALANS是半符號(hào)的，因?yàn)榉?hào)操作符可以即時(shí)學(xué)習(xí)和總結(jié)，而無(wú)需為每一個(gè)手動(dòng)定義。這種歸納能力也使得所需的泛化能力得到了更大的提升。

3. 通過(guò)對(duì)代數(shù)結(jié)構(gòu)中預(yù)測(cè)的表示進(jìn)行解碼，我們還可以生成一個(gè)滿足上下文中隱藏關(guān)系的答案。

本工作做出了三項(xiàng)主要貢獻(xiàn)：（1）我們提出了ALANS學(xué)習(xí)器，這是一種與現(xiàn)有整體模型相對(duì)的神經(jīng)半符號(hào)設(shè)計(jì)；（2）為了證明在推理中納入代數(shù)處理的有效性，我們展示了所提出的ALANS學(xué)習(xí)器在各種外推性RPM領(lǐng)域的優(yōu)越系統(tǒng)性泛化能力；（3）我們對(duì)神經(jīng)視覺(jué)感知和代數(shù)抽象推理進(jìn)行了分析。

2 相關(guān)工作

2.1 符號(hào)化操作的探索

將思維視為一種心理語(yǔ)言的想法可以追溯到奧古斯丁[1, 62]。自20世紀(jì)70年代以來(lái)，這一思想在認(rèn)知建模中對(duì)符號(hào)化操作的探索中經(jīng)歷了戲劇性的復(fù)興，例如“思想的語(yǔ)言”、“物理符號(hào)系統(tǒng)”和“代數(shù)心智”。在他們的研究中，聯(lián)結(jié)主義在特定任務(wù)中的優(yōu)越性以及無(wú)法超出訓(xùn)練進(jìn)行泛化[7, 26, 51, 68]被假設(shè)性地與缺乏這種符號(hào)化代數(shù)操作有關(guān)[7, 29, 38]。有證據(jù)表明，早期人類發(fā)展中采用的代數(shù)處理可能解決這一問(wèn)題[2, 36, 38]，經(jīng)典主義方法——用于可泛化推理的方法，如程序和積木世界——得以復(fù)興。作為一種結(jié)合聯(lián)結(jié)主義和經(jīng)典主義的混合方法，最近的發(fā)展導(dǎo)致了神經(jīng)符號(hào)架構(gòu)的出現(xiàn)。特別是，定理證明社區(qū)是最早支持這一技術(shù)的群體之一[13, 50, 53]：BILP和NLM實(shí)現(xiàn)了端到端的歸納編程，而DeepProbLog連接了學(xué)習(xí)和推理。最近，Hudson和Manning提出了用于視覺(jué)問(wèn)答的NSM，其中使用概率圖進(jìn)行推理。Yi等人展示了同一任務(wù)的神經(jīng)符號(hào)原型，其中感知模塊和語(yǔ)言解析模塊分別訓(xùn)練，與語(yǔ)言標(biāo)記相關(guān)聯(lián)的預(yù)定義邏輯操作符被串聯(lián)以處理視覺(jué)信息。Mao等人將預(yù)定義的操作符軟化，以便僅通過(guò)問(wèn)答進(jìn)行端到端訓(xùn)練。Han等人使用混合架構(gòu)進(jìn)行元概念學(xué)習(xí)。Yi等人和Chen等人展示了神經(jīng)符號(hào)模型如何處理時(shí)間因果推理中的解釋性、預(yù)測(cè)性和反事實(shí)性問(wèn)題。最近，NeSS展示了如何使用算法棧機(jī)器來(lái)提高語(yǔ)言學(xué)習(xí)中的泛化能力。ALANS遵循經(jīng)典主義的呼吁，但采用了神經(jīng)半符號(hào)架構(gòu)：它支持端到端訓(xùn)練，與Yi等人[66, 67]不同，操作符可以即時(shí)學(xué)習(xí)和總結(jié)，而無(wú)需手動(dòng)指定。

2.2 抽象視覺(jué)推理

Santoro等人和Zhang等人的近期工作激發(fā)了社區(qū)對(duì)抽象視覺(jué)推理的興趣；瑞文漸進(jìn)矩陣（RPM）任務(wù)被引入作為衡量智能體智能的指標(biāo)。作為人類智力測(cè)試[48, 49]，RPM被認(rèn)為與人類的一般智力和流體智力[19, 24, 55, 56]密切相關(guān)。早期的RPM求解系統(tǒng)采用基于手工設(shè)計(jì)特征的符號(hào)表示，并假設(shè)能夠訪問(wèn)底層邏輯[4, 31, 32, 33]。另一條關(guān)于RPM的研究路線采用基于相似性的度量，從選項(xiàng)中選擇最相似的答案[20, 30, 41, 42, 43, 54]。然而，這些視覺(jué)或語(yǔ)義特征無(wú)法處理來(lái)自不完美感知的不確定性，而直接假設(shè)能夠訪問(wèn)邏輯操作則簡(jiǎn)化了問(wèn)題。

近期提出的數(shù)據(jù)驅(qū)動(dòng)方法源于大規(guī)模數(shù)據(jù)集的可用性：Santoro等人擴(kuò)展了一種教學(xué)性的RPM生成方法，而Zhang等人使用隨機(jī)圖像語(yǔ)法并引入了結(jié)構(gòu)化注釋，Hu等人進(jìn)一步改進(jìn)了這些注釋以避免通過(guò)候選面板的統(tǒng)計(jì)信息獲得捷徑解決方案。盡管RPM本質(zhì)上要求執(zhí)行抽象、代數(shù)化、歸納和泛化，但現(xiàn)有方法通過(guò)在聯(lián)結(jié)主義模型中使用單次前饋傳遞繞過(guò)了這些認(rèn)知需求：Santoro等人使用了關(guān)系模塊，Steenbrugge等人用VAE對(duì)其進(jìn)行了增強(qiáng)，Zhang等人構(gòu)建了一個(gè)動(dòng)態(tài)樹(shù)結(jié)構(gòu)，Hill等人以對(duì)比的方式組織數(shù)據(jù)，Zhang等人提出了一個(gè)對(duì)比模塊，Zhang等人將其公式化為師生設(shè)置，Wang等人構(gòu)建了多路復(fù)用圖網(wǎng)絡(luò)，Hu等人從層次分解中聚合特征，Wu等人應(yīng)用散射變換來(lái)學(xué)習(xí)對(duì)象、屬性和關(guān)系。最近，Zhang等人采用了一種神經(jīng)符號(hào)設(shè)計(jì)，但需要完全了解隱藏關(guān)系以執(zhí)行假設(shè)推理。盡管我們的工作采用了與Zhang等人類似的視覺(jué)感知模塊和訓(xùn)練策略，但ALANS學(xué)習(xí)器能夠誘導(dǎo)隱藏關(guān)系，從而實(shí)現(xiàn)在關(guān)系學(xué)習(xí)中即時(shí)的關(guān)系誘導(dǎo)和系統(tǒng)性泛化。

最近的神經(jīng)解釋器（NI）工作是與我們方法互補(bǔ)的神經(jīng)方法：盡管NI和ALANS都將推理過(guò)程分解為子組件并進(jìn)行聚合，但NI更關(guān)注組合性，通過(guò)將新輸入通過(guò)不同的學(xué)習(xí)模塊路徑來(lái)泛化，而ALANS更關(guān)注歸納，使學(xué)習(xí)模塊能夠即時(shí)適應(yīng)。

3 The ALANS Learner

如圖1所示，ALANS學(xué)習(xí)者將該過(guò)程分解為感知和推理兩個(gè)部分：神經(jīng)視覺(jué)感知前端采用了張等人[71]的方法，從十六個(gè)面板中提取信念狀態(tài)；而代數(shù)抽象推理后端將一個(gè)實(shí)例視為抽象代數(shù)結(jié)構(gòu)中的一個(gè)示例，通過(guò)表示理論將信念狀態(tài)轉(zhuǎn)化為代數(shù)表示，推斷隱藏的操作符，并執(zhí)行操作符以預(yù)測(cè)答案的表示。因此，在公式（1）中，操作符分布是通過(guò)操作符的適應(yīng)性來(lái)建模的，而答案分布則是通過(guò)預(yù)測(cè)表示與候選表示之間的距離來(lái)建模的。

3.1 神經(jīng)視覺(jué)感知

我們遵循張等人 [71] 的設(shè)計(jì)，將視覺(jué)感知分解為一個(gè)對(duì)象卷積神經(jīng)網(wǎng)絡(luò)（CNN）和一個(gè)信念狀態(tài)推理引擎。具體來(lái)說(shuō)，對(duì)于每個(gè)面板，我們使用滑動(dòng)窗口遍歷圖像的空間域，并將每個(gè)圖像區(qū)域輸入到對(duì)象CNN中。該CNN有四個(gè)分支，分別為每個(gè)區(qū)域生成其對(duì)象屬性分布，包括對(duì)象性（該區(qū)域是否包含對(duì)象）、類型、大小和顏色。信念推理引擎通過(guò)匯總所有對(duì)象屬性分布（對(duì)象性、類型、大小和顏色）來(lái)總結(jié)面板屬性分布（位置、數(shù)量、類型、大小和顏色）。例如，面板屬性“數(shù)量”的分布可以這樣計(jì)算：對(duì)于N個(gè)圖像區(qū)域及其預(yù)測(cè)的對(duì)象性

3.2 代數(shù)抽象推理

給定上下文面板和選項(xiàng)面板的信念狀態(tài)，代數(shù)抽象推理后端關(guān)注隱藏操作符的歸納以及每個(gè)屬性的答案表示的預(yù)測(cè)。歸納操作符的適應(yīng)性用于估計(jì)操作符分布，而預(yù)測(cè)與選項(xiàng)面板之間的差異用于估計(jì)答案分布。

代數(shù)基礎(chǔ) 不失一般性，這里我們假設(shè)為按行操作的操作符。對(duì)于每個(gè)屬性，在完美感知的情況下，RPM實(shí)例中的前兩行提供了對(duì)一個(gè)群的示例的快照，該群被限制在一個(gè)整數(shù)索引的集合中，這是一個(gè)在二元操作下封閉的簡(jiǎn)單代數(shù)結(jié)構(gòu)。要理解這一點(diǎn)，需注意，一個(gè)準(zhǔn)確的感知模塊會(huì)將每個(gè)面板屬性視為一個(gè)確定性的集合元素。因此，具有單目操作符（如序列）的RPM實(shí)例是具有特殊二元操作符的群的示例，其中一個(gè)操作數(shù)是常數(shù)。具有二元操作符（如算術(shù)）的實(shí)例直接遵循群的性質(zhì)。而具有三元操作符的實(shí)例則是定義在行的三元組集合上的實(shí)例。

代數(shù)表示 一種系統(tǒng)的代數(shù)視角使我們能夠巧妙地借鑒表示理論中的思想，以揭示抽象結(jié)構(gòu)中的隱藏屬性：它通過(guò)將抽象代數(shù)簡(jiǎn)化為線性代數(shù)，使其變得易于處理。秉承同樣的精神，我們提出將集合元素和隱藏的操作符提升到一個(gè)可學(xué)習(xí)的矩陣空間中。為了編碼集合元素，我們采用皮亞諾公理 [46]。根據(jù)皮亞諾公理，一個(gè)整數(shù)索引的集合可以通過(guò)以下方式構(gòu)建：（1）一個(gè)零元素（0），（2）一個(gè)后繼函數(shù)S(p)，以及（3）數(shù)學(xué)歸納法的原則，使得第 k 個(gè)元素被編碼為 。具體來(lái)說(shuō)，我們將零元素實(shí)例化為一個(gè)可學(xué)習(xí)的矩陣 ，并將后繼函數(shù)實(shí)例化為由 M 參數(shù)化的矩陣-矩陣乘積。以屬性特定的方式，一個(gè)取第 k 個(gè)值的屬性的表示為。對(duì)于操作符，我們將其視為存在于相應(yīng)維度的可學(xué)習(xí)矩陣群中，使得操作符對(duì)集合的作用可以通過(guò)矩陣乘法來(lái)表示。這種代數(shù)表示在矩陣空間和抽象代數(shù)結(jié)構(gòu)之間建立了一個(gè)同構(gòu)關(guān)系：代數(shù)結(jié)構(gòu)上的抽象元素與矩陣空間之間存在雙射映射，而推導(dǎo)抽象關(guān)系可以簡(jiǎn)化為求解一個(gè)矩陣操作符。請(qǐng)參閱圖 2，以圖形方式展示這種同構(gòu)關(guān)系。

討論 與人類可能的解題過(guò)程相比 [4]，我們認(rèn)為所提出的代數(shù)抽象推理模塊為 RPM 中類似人類的推理提供了一個(gè)計(jì)算化且可解釋的對(duì)應(yīng)物。具體來(lái)說(shuō)，歸納部分類似于流體智力，其中一個(gè)人通過(guò)觀察上下文面板快速歸納出隱藏的操作符。執(zhí)行部分通過(guò)執(zhí)行歸納出的操作符合成圖像，并選擇與圖像最相似的選項(xiàng)作為答案。

我們還注意到，通過(guò)解碼公式（6）中的預(yù)測(cè)表示，可以生成一個(gè)解決方案：通過(guò)依次選擇最可能的操作符和最可能的屬性值，渲染引擎可以直接渲染出解決方案。推理后端還支持端到端訓(xùn)練：通過(guò)整合來(lái)自神經(jīng)感知的信念狀態(tài)，該模塊以一種軟性的方式進(jìn)行歸納和執(zhí)行，使得梯度可以反向傳播，視覺(jué)前端和推理后端可以聯(lián)合訓(xùn)練。

3.3 訓(xùn)練策略

我們通過(guò)最小化估計(jì)答案分布與真實(shí)選擇之間的交叉熵?fù)p失，以及來(lái)自推理引擎的輔助損失 [51,58,68,71] 來(lái)訓(xùn)練整個(gè) ALANS 學(xué)習(xí)者，該輔助損失用于塑造操作符分布，即

4 實(shí)驗(yàn)

一個(gè)具有系統(tǒng)泛化能力的認(rèn)知架構(gòu)被認(rèn)為需要展示以下三個(gè)原則 [12,37,38]：（1）系統(tǒng)性，（2）生產(chǎn)性，（3）局部性。系統(tǒng)性要求架構(gòu)在理解一個(gè)給定思想后能夠處理“語(yǔ)義相關(guān)”的內(nèi)容。生產(chǎn)性表明，對(duì)一個(gè)組成部分的認(rèn)知意味著對(duì)其遞歸應(yīng)用的認(rèn)知；局部性則反之。

為了驗(yàn)證代數(shù)方法在系統(tǒng)泛化中的有效性，我們?cè)?RPM 的抽象時(shí)空推理任務(wù)中展示了所提出的 ALANS 學(xué)習(xí)器在三個(gè)原則上的優(yōu)越性。具體來(lái)說(shuō)，我們采用了 Zhang 等人 和 Hu 等人 提出的生成方法來(lái)生成 RPM 問(wèn)題，并精心劃分訓(xùn)練集和測(cè)試集以構(gòu)建三種實(shí)驗(yàn)場(chǎng)景。前者通過(guò)僅擾動(dòng)正確答案的一個(gè)屬性來(lái)生成候選選項(xiàng)，而后者則以分層方式修改屬性值，以避免通過(guò)純統(tǒng)計(jì)方法找到捷徑解決方案。兩種方法均根據(jù) Carpenter 等人 的分類，將 RPM 中的關(guān)系分為三種類型：一元（常數(shù)和序列）、二元（算術(shù)）和三元（三元分布），每種類型均有多個(gè)實(shí)例。

將這些原則應(yīng)用于 RPM 中的抽象關(guān)系學(xué)習(xí)，我們將配置固定為 3×3 網(wǎng)格，并生成以下數(shù)據(jù)劃分以供評(píng)估（詳細(xì)信息請(qǐng)參見(jiàn)附錄）：

*系統(tǒng)性（Systematicity）：訓(xùn)練集僅包含每種關(guān)系類型的部分實(shí)例，而測(cè)試集包含所有其他關(guān)系實(shí)例。

*生產(chǎn)性（Productivity）：由于二元關(guān)系是一元關(guān)系的遞歸應(yīng)用，訓(xùn)練集僅包含一元關(guān)系，而測(cè)試集僅包含二元關(guān)系。

*局部性（Localism）：通過(guò)交換生產(chǎn)性劃分中的訓(xùn)練集和測(cè)試集來(lái)研究局部性。

我們按照 Zhang 等人 的方法為每個(gè)劃分生成 10,000 個(gè)實(shí)例，并分配 6 個(gè)折疊用于訓(xùn)練，2 個(gè)折疊用于驗(yàn)證，2 個(gè)折疊用于測(cè)試。

4.1 實(shí)驗(yàn)設(shè)置

我們?cè)谏鲜鋈齻€(gè)劃分上評(píng)估了所提出的 ALANS 學(xué)習(xí)器的系統(tǒng)泛化能力，并將其與其他基線模型進(jìn)行比較，包括 ResNet [16]、ResNet+DRT [68]、WReN [51]、CoPINet [70]、MXGNet [58]、LEN [74]、HriNet [21] 和 SCL [64]。我們使用官方或公開(kāi)的實(shí)現(xiàn)來(lái)復(fù)現(xiàn)原始結(jié)果。所有模型均在 PyTorch [45] 中實(shí)現(xiàn)，并使用 ADAM [27] 在 Nvidia Titan Xp GPU 上進(jìn)行優(yōu)化。我們?cè)隍?yàn)證集上驗(yàn)證訓(xùn)練后的模型，并在測(cè)試集上報(bào)告性能。

4.2 系統(tǒng)泛化

表 1 展示了各種模型在系統(tǒng)泛化方面的性能，即系統(tǒng)性、生產(chǎn)性和局部性。與上述現(xiàn)有工作中報(bào)告的結(jié)果相比，所有純連接主義模型在系統(tǒng)泛化的關(guān)鍵認(rèn)知要求方面都經(jīng)歷了災(zāi)難性的性能下降，這表明純連接主義模型未能執(zhí)行解決抽象推理任務(wù)所需的抽象、代數(shù)化、歸納或泛化；相反，它們似乎只是通過(guò)捷徑繞過(guò)了這些步驟。特別是，MXGNet [58] 在系統(tǒng)泛化中的優(yōu)勢(shì)正在減弱。盡管使用了結(jié)構(gòu)注釋進(jìn)行學(xué)習(xí)，ResNet+DRT [68] 的表現(xiàn)并不比其基礎(chǔ)模型更好。最近提出的 HriNet [21] 在這方面略有改進(jìn)，優(yōu)于 ResNet [16]，而 LEN [74] 只是略微更好。WReN [51] 在三個(gè)場(chǎng)景中的表現(xiàn)則起伏不定。在系統(tǒng)生成下評(píng)估時(shí)，SCL [64] 和 CoPINet [70] 也遠(yuǎn)遠(yuǎn)偏離了“優(yōu)越表現(xiàn)”。這些觀察結(jié)果表明，純連接主義模型很可能從視覺(jué)外觀的變化中學(xué)習(xí)，而不是從問(wèn)題背后的代數(shù)結(jié)構(gòu)中學(xué)習(xí)。

嵌入在神經(jīng)半符號(hào)框架中的 ALANS 學(xué)習(xí)器在系統(tǒng)泛化方面取得了顯著提升。憑借對(duì)代數(shù)的感知設(shè)計(jì)，該模型在不同系統(tǒng)泛化原則之間表現(xiàn)出相當(dāng)?shù)姆€(wěn)定性。在關(guān)系的組成部分或遞歸組合中學(xué)習(xí)到的代數(shù)表示自然支持生產(chǎn)性和局部性，而半符號(hào)內(nèi)部?jī)?yōu)化進(jìn)一步允許從代數(shù)表示中歸納出各種操作符類型的實(shí)例，并增強(qiáng)系統(tǒng)性。在消融研究中，代數(shù)表示的重要性更加顯著：ALANS-Ind（用獨(dú)立編碼替換代數(shù)表示并破壞代數(shù)同構(gòu)）表現(xiàn)出較差的性能。我們還檢查了具有完美視覺(jué)注釋的學(xué)習(xí)器的性能（記為 ALANS-V），以了解所提出的代數(shù)推理模塊的工作情況：盡管感知準(zhǔn)確，但仍然存在的差距表明模型的歸納推理部分仍有改進(jìn)空間。在下一節(jié)中，我們將進(jìn)一步展示 ALANS 設(shè)計(jì)中的神經(jīng)半符號(hào)分解使其能夠?qū)ζ渎?lián)合學(xué)習(xí)的感知模塊和推理模塊進(jìn)行診斷測(cè)試。這種設(shè)計(jì)與黑箱模型形成了鮮明對(duì)比。

4.3 感知與推理的分析

神經(jīng)半符號(hào)設(shè)計(jì)使得我們可以對(duì)感知和推理進(jìn)行分析。為了評(píng)估神經(jīng)感知模塊和代數(shù)推理模塊，我們從數(shù)據(jù)集中提取基于區(qū)域的對(duì)象屬性注釋，并將所有關(guān)系分為三種類型，即一元、二元和三元。

表 2 展示了感知模塊在系統(tǒng)泛化的三個(gè)場(chǎng)景的測(cè)試集上的性能。我們注意到，為了使 ALANS 學(xué)習(xí)器達(dá)到表 1 中所示的期望結(jié)果，ALANS 學(xué)會(huì)了完美地構(gòu)建“對(duì)象性”的概念。該模型在類型和大小屬性的預(yù)測(cè)上也表現(xiàn)出相當(dāng)高的準(zhǔn)確性。然而，在與紋理相關(guān)的顏色概念上，ALANS 并未能形成可靠的認(rèn)知。盡管如此，考慮到感知模塊是與答案選擇的真實(shí)標(biāo)注聯(lián)合學(xué)習(xí)的，其整體預(yù)測(cè)準(zhǔn)確率仍然令人驚訝。顏色的相對(duì)較低的準(zhǔn)確性可能歸因于其與其他屬性相比具有更大的空間。

表 3 列出了推理模塊在測(cè)試階段針對(duì)這三個(gè)方面的性能。請(qǐng)注意，在位置屬性上，一元操作符（平移）和二元操作符（集合算術(shù)）并不系統(tǒng)地相互隱含。因此，我們不將它們視為對(duì)生產(chǎn)性和局部性的探測(cè)。總體而言，我們注意到，對(duì)于一個(gè)屬性的感知精度越高，推理性能就越好。然而，我們還注意到，盡管對(duì)對(duì)象性、類型和大小的感知相對(duì)準(zhǔn)確，但完美的推理從未得到保證。這種缺陷是由于感知不確定性通過(guò)公式（3）中的期望處理：盡管我們?cè)谌?arg max 時(shí)是正確的，但通過(guò)期望進(jìn)行邊緣化不可避免地會(huì)將噪聲引入推理過(guò)程。因此，理想的推理模塊不僅要求感知前端是正確的，而且還要是確定的。從計(jì)算角度來(lái)看，可以對(duì)感知模塊進(jìn)行采樣，并使用 REINFORCE [60] 來(lái)優(yōu)化公式（9）。然而，歸因問(wèn)題和梯度估計(jì)中的方差將進(jìn)一步使訓(xùn)練復(fù)雜化。

4.4 同分布性能

為了進(jìn)一步評(píng)估模型在常規(guī)獨(dú)立同分布（I.I.D.）設(shè)置下的表現(xiàn)，我們?cè)?Zhang 等人 [68] 和 Hu 等人 [21] 生成的原始數(shù)據(jù)集上訓(xùn)練模型，并在測(cè)試劃分中測(cè)量模型的準(zhǔn)確率。我們?cè)诒?1 中將 ALANS 與已發(fā)布的基線進(jìn)行比較。

表 4（左側(cè)）顯示了在 RAVEN 數(shù)據(jù)集 [68] 上的結(jié)果。憑借聯(lián)合訓(xùn)練的視覺(jué)組件，ALANS 學(xué)習(xí)器的表現(xiàn)并不比最佳的連接主義方法更好，僅與 SCL 持平。由于該數(shù)據(jù)集已知存在捷徑解決方案，像 MXGNet 和 CoPINet 這樣的神經(jīng)方法可能會(huì)更容易解決，因此在這種設(shè)置下能夠取得更優(yōu)越的結(jié)果。然而，ALANS-V（具有完美感知組件的變體）達(dá)到了更高水平的魯棒性和準(zhǔn)確率，在網(wǎng)格布局中表現(xiàn)最佳，而網(wǎng)格布局在人類評(píng)估中被認(rèn)為是最難的 [68]。

表 4（右側(cè)）顯示了在 I-RAVEN 數(shù)據(jù)集 [21] 上的結(jié)果。除了 ALANS-V 在所有模型中實(shí)現(xiàn)了最佳性能外，我們還注意到所提出方法在數(shù)據(jù)集上的表現(xiàn)一致性，無(wú)論是否存在捷徑問(wèn)題。所有其他方法表現(xiàn)出顯著不同的性能，特別是 CoPINet 和 MXGNet，這可能是因?yàn)樗鼈兊倪x擇生成策略通過(guò)統(tǒng)計(jì)有效地剪枝了簡(jiǎn)單的解決方案路徑。

總之，通過(guò)綜合分析表 1 和表 4 的結(jié)果，我們注意到 ALANS 不僅在 I.I.D. 設(shè)置下取得了合理的性能，還能夠系統(tǒng)地泛化。

4.5 生成潛力

與現(xiàn)有的僅基于判別方法的 RPM 解題方法相比，所提出的 ALANS 學(xué)習(xí)器在生成潛力方面具有獨(dú)特性。如上所述，最終面板屬性可以通過(guò)依次選擇最可能的隱藏操作符和屬性值來(lái)解碼。當(dāng)配備渲染引擎時(shí)，可以生成解決方案。在圖 3 中，我們使用 Zhang 等人 提供的渲染程序展示了 ALANS 學(xué)習(xí)器的生成潛力。

5 結(jié)論與局限性

在本工作中，我們提出了代數(shù)感知神經(jīng)半符號(hào)（ALANS）學(xué)習(xí)器，呼應(yīng)了連接主義與經(jīng)典主義辯論中的一個(gè)規(guī)范理論，即在認(rèn)知架構(gòu)中引入代數(shù)處理應(yīng)能提升模型的系統(tǒng)泛化能力。具體而言，ALANS 學(xué)習(xí)器采用了一種神經(jīng)半符號(hào)架構(gòu)，其中神經(jīng)視覺(jué)感知模塊負(fù)責(zé)總結(jié)視覺(jué)信息，而代數(shù)抽象推理模塊則將其轉(zhuǎn)化為代數(shù)表示，通過(guò)皮亞諾公理和表示理論建立的同構(gòu)關(guān)系實(shí)現(xiàn)這一轉(zhuǎn)化，進(jìn)行操作符歸納，并執(zhí)行操作以得出答案。在反映系統(tǒng)泛化的三個(gè) RPM 領(lǐng)域中，所提出的 ALANS 學(xué)習(xí)器與其他純連接主義基線相比表現(xiàn)出優(yōu)越的性能。

然而，所提出的 ALANS 學(xué)習(xí)器也存在一些局限性。一方面，我們?cè)诠街屑僭O(shè)不同屬性上的關(guān)系是獨(dú)立的并且可以分解。這一假設(shè)并不總是正確的，可能會(huì)在屬性相關(guān)的情況下導(dǎo)致更復(fù)雜的推理場(chǎng)景失敗。另一方面，我們?cè)诟兄K中假設(shè)每個(gè)屬性的空間是固定且已知的，而在現(xiàn)實(shí)世界中，一個(gè)屬性的空間可能是動(dòng)態(tài)變化的。此外，如實(shí)驗(yàn)結(jié)果中已經(jīng)討論的那樣，推理模塊對(duì)感知不確定性較為敏感。此外，推理的現(xiàn)狀與理想狀態(tài)之間仍存在差距。在本工作中，我們僅展示了如何通過(guò)表示理論使用正則化線性回歸來(lái)誘導(dǎo)隱藏操作符。然而，當(dāng)然可以為其他問(wèn)題引入更復(fù)雜的可微優(yōu)化問(wèn)題。

盡管存在局限性，我們希望這項(xiàng)初步研究能夠激發(fā)更多關(guān)于將代數(shù)結(jié)構(gòu)融入當(dāng)前連接主義模型的研究，并幫助解決具有挑戰(zhàn)性的建模問(wèn)題[65,69,73,76]。

原文鏈接：https://buzz-beater.github.io/assets/publications/2022_alans_eccv/paper.pdf