DeepMind研究人員開發(fā)神經(jīng)算術(shù)邏輯單元

在許多物種中可以觀察到表示和操縱數(shù)量的能力，包括昆蟲，哺乳動物和人類。這表明基本的定量推理是智力的重要組成部分，具有幾個進化優(yōu)勢。

此功能在機器中非常有價值，可以更快，更有效地完成涉及數(shù)字操作的任務。然而，到目前為止，經(jīng)過訓練來表示和操縱數(shù)字信息的神經(jīng)網(wǎng)絡很少能夠在訓練過程中遇到的值范圍之外得到很好的推廣。

Google DeepMind的一組研究人員最近開發(fā)了一種新的架構(gòu)來解決這一局限，在神經(jīng)網(wǎng)絡訓練的數(shù)值范圍內(nèi)外實現(xiàn)更好的泛化。他們的研究預先發(fā)布在arXiv上，可以為開發(fā)更先進的機器學習工具提供信息，以完成定量推理任務。

“當標準的神經(jīng)架構(gòu)被訓練成數(shù)字時，它們往往難以計入更高的數(shù)量，”該項目首席研究員Andrew Trask告訴Tech Xplore。“我們探索了這個局限，并發(fā)現(xiàn)它也擴展到其他算術(shù)函數(shù)，導致我們的假設，即神經(jīng)網(wǎng)絡學習類似于他們?nèi)绾螌W習單詞的數(shù)字，作為一個有限的詞匯。這可以防止他們正確地推斷需要以前看不見的函數(shù)(更高)我們的目標是提出一種可以進行更好推斷的新架構(gòu)。“

研究人員設計了一種架構(gòu)，通過將數(shù)值表示為使用原始算術(shù)運算符(由學習門控制)操縱的線性激活，鼓勵更系統(tǒng)的數(shù)字推斷。他們稱這個新模塊為神經(jīng)算術(shù)邏輯單元(NALU)，其靈感來自傳統(tǒng)處理器中的算術(shù)邏輯單元。

“數(shù)字通常使用單熱或分布式表示在神經(jīng)網(wǎng)絡中編碼，而數(shù)字上的函數(shù)是在一系列具有非線性激活的層中學習的，”特拉斯克解釋說。“我們建議數(shù)字應該存儲為標量，在每個神經(jīng)元中存儲一個數(shù)字。例如，如果你想存儲數(shù)字42，你應該只有一個包含'42'的激活的神經(jīng)元，而不是一系列0-1神經(jīng)元編碼它。“

研究人員還改變了神經(jīng)網(wǎng)絡在這些數(shù)字上學習函數(shù)的方式。他們沒有使用可以學習任何功能的標準體系結(jié)構(gòu)，而是設計了一種體系結(jié)構(gòu)，該體系結(jié)構(gòu)向前傳播預定義的一組函數(shù)，這些函數(shù)被視為可能有用(例如，加法，乘法或除法)，使用神經(jīng)架構(gòu)來學習這些注意機制。功能。

“這些關注機制隨后決定何時何地應用每種可能有用的功能而不是學習該功能本身，”特拉斯克說。“這是創(chuàng)建具有理想的數(shù)學函數(shù)學習偏差的深度神經(jīng)網(wǎng)絡的一般原則。”

他們的測試表明，NALU增強神經(jīng)網(wǎng)絡可以學習執(zhí)行各種任務，例如時間跟蹤，對數(shù)字圖像執(zhí)行算術(shù)功能，將數(shù)字語言翻譯成實值標量，執(zhí)行計算機代碼和計算圖像中的對象。

與傳統(tǒng)架構(gòu)相比，它們的模塊在訓練期間呈現(xiàn)的數(shù)值范圍內(nèi)外都獲得了明顯更好的泛化。雖然NALU可能不是每項任務的理想解決方案，但他們的研究提供了一種通用設計策略，用于創(chuàng)建在特定功能類別上表現(xiàn)良好的模型。

“一個概念深層神經(jīng)網(wǎng)絡應該從一組預定義的功能選擇和學會理事在使用它們的注意力機制是一個非?？蓴U展的想法，”特拉斯克解釋。“在這項工作中，我們探索了簡單的算術(shù)函數(shù)(加法，減法，乘法和除法)，但是我們對將來在更強大的函數(shù)上學習注意機制的潛力感到興奮，也許會帶來我們觀察到的相同的外推結(jié)果。各種各樣的領域。“