在我們大腦的認知活動中，語言通訊、情景記憶等等都與時序信息有關。比如，問路時給出的一系列方向指引，唱歌時的段落的前后順序，又如在本屆北京冬奧會上，中國17歲小將蘇翊鳴在坡面障礙技術賽場的行云流水般的完美表現(xiàn)也是時序信息和空間信息的完美融和。今天（2月11日2:00），《Science》期刊以長文形式發(fā)表了題為《序列工作記憶在獼猴前額葉表征的幾何結構》的研究論文，該成果第一次在群體神經(jīng)元水平闡釋了序列工作記憶的計算和編碼原理，推翻了基于單神經(jīng)元建立的經(jīng)典序列工作記憶模型的關鍵假設，為神經(jīng)網(wǎng)絡如何進行符號表征這一難題提供了新的見解，一起來了解記憶的奧秘↓

　　

　　該研究由中國科學院腦科學與智能技術卓越創(chuàng)新中心（神經(jīng)科學研究所）王立平研究組、上海腦科學與類腦研究中心閔斌副研究員和北京大學生命科學學院唐世明課題組合作完成。

　　

　　人類大腦無時無刻不在處理序列信息，不論是語言溝通、動作實施還是情景記憶，本質上都涉及對時序信息的表征。另一方面，序列的執(zhí)行需要一定的時間，大腦需要在應用時序信息之前記住整個序列。比如，我們需要在在問路時記住指路人給出的一系列方向指引，在學習新的舞蹈動作時記住老師演示的一連串動作模式。在這些情況下，不僅單個內容需要被記住，它們之間的順序也不能混淆。認知心理學家們早在19世紀初就開始思考序列信息的表征方式，序列信息編碼也被認為是人類語言句法結構的前提，機器學習領域對序列翻譯的探索更是催生了如今大顯身手的Transformer模型。但是，對于具有時序信息記憶的大腦神經(jīng)編碼機制，我們仍知之甚少。

　　

　　獼猴是演化上最接近人類的模式動物，其認知能力、大腦的結構與功能相比于其他模式動物更接近人類，是研究時間序列等復雜高級認知功能的最佳模型。

　　

　　因此，為了探究時序記憶編碼問題，研究人員訓練獼猴記憶由多個位置點組成的空間序列（圖1）。在任務中，獼猴面前的屏幕上會依次閃現(xiàn)三個不同的點，它需要在幾秒鐘之后將這些點按之前呈現(xiàn)的順序匯報出來。在匯報前的幾秒記憶保持期內，空間序列的信息便以工作記憶的形式被暫時儲存在大腦中。為了記錄大腦神經(jīng)元群體在獼猴進行任務時的活動狀態(tài)，研究人員對工作記憶的大本營——外側前額葉皮層進行了雙光子鈣信號成像。鈣信號可反映神經(jīng)元的脈沖放電活動，而序列信息表征的關鍵就在記憶期神經(jīng)元群體的活動模式之中。

　　

圖1：獼猴空間序列記憶任務

　　

　　大腦如何在記憶期內同時表征序列中多個信息？

　　

　　研究人員猜想獼猴的大腦中也有一塊“屏幕”，獼猴可以把出現(xiàn)過的點記在這個屏幕上?？扇绻齻€點同時在記憶保持期內顯示在了這個屏幕上，每個點的次序又該如何體現(xiàn)呢？獼猴的大腦里面是否會同時存在三塊不同的屏幕？這樣每個屏幕只需要記下一個點的信息，而且屏幕之間不會互相干擾。

　　

　　研究人員分析了鈣成像獲得的高維數(shù)據(jù)，發(fā)現(xiàn)可以在高維向量空間里面找到每個次序的信息所對應的二維子空間(subspace)，即找到其對應的“屏幕”（圖2）。在每個子空間內，不同的點所對應的空間位置與真實視覺刺激的環(huán)狀結構保持了一致。進一步分析表明，不同次序所對應的子空間接近相互正交，說明大腦確實用到了三塊不同的屏幕來表征序列信息。

　　

圖2：序列記憶在神經(jīng)高維向量空間的表征

　　

　　為了進一步探究大腦是否總是用相同的這幾塊“屏幕”記憶不同類型的空間序列，研究人員對數(shù)據(jù)做了解碼分析，即運用機器學習方法訓練線性分類器來區(qū)分不同次序上的空間信息。比如，用獼猴正確應答時的神經(jīng)元群體活動訓練解碼器，可以在部分做對的序列里面取得較好的解碼效果。這些結果提示了用于編碼次序的“屏幕”是穩(wěn)定通用的。

　　

　　研究人員還發(fā)現(xiàn)，不同次序的子空間之間共享了類似的環(huán)狀結構，只是環(huán)的半徑大小會隨次序的增加而減小。一個可能的解釋是，次序靠后的信息所分配到的注意資源更少，導致對應的環(huán)變小、區(qū)分度降低。這一結構也對應了序列記憶的行為表現(xiàn)，例如我們日常生活中如果記憶的內容越多，越往后的信息便更容易出錯。

　　

　　該發(fā)現(xiàn)也可總結為在群體水平的空間信息編碼幾何結構受時序調制的性質。有意思的是，這種性質并不完全適用于單個神經(jīng)元水平，而單神經(jīng)元活動的增強調制正是經(jīng)典序列工作記憶模型的關鍵假設，提示了序列記憶的編碼應更加關注群體神經(jīng)元性質。

　　

　　該研究第一次在群體神經(jīng)元水平闡釋了序列工作記憶的計算和編碼原理，也為神經(jīng)網(wǎng)絡如何進行符號表征這一難題提供了新的思路。上世紀80年代，人工智能領域就有研究者提出張量乘積這一概念來實現(xiàn)神經(jīng)網(wǎng)絡對符號結構的表征，但其如何在神經(jīng)網(wǎng)絡層面自然涌現(xiàn)一直沒有被很好的解決。序列工作記憶的神經(jīng)表征正好對應了將該符號表征由對應次序的子空間嵌入到高維向量空間中，同時支持了下游神經(jīng)網(wǎng)絡對符號結構信息的線性讀取。

　　

　　中國科學院腦科學與智能技術卓越創(chuàng)新中心王立平研究組博士后謝洋和研究助理胡沛烑為論文共同第一作者，研究助理李俊汝、博士生陳靜文和北京大學研究生宋衛(wèi)彬在課題的不同階段作出了貢獻。法國國家健康與醫(yī)學研究院Stanislas Dehaene教授、紐約大學汪小京教授和中科院腦智卓越中心楊天明研究員參與本研究。