歌不能倒著唱，電話號碼的數(shù)字順序不能混，舞蹈動作一招一式不能亂……生活中，人們經(jīng)常碰到時序記憶的問題，大腦是如何把這些信息進(jìn)行編碼，并依序存儲在幾秒的短時記憶中呢？

　　早在19世紀(jì)初，認(rèn)知心理學(xué)家們就開始思考序列信息的表征方式，序列信息編碼也被認(rèn)為是人類語言句法結(jié)構(gòu)的前提，機(jī)器學(xué)習(xí)領(lǐng)域?qū)π蛄蟹g的探索更是催生了如今大顯身手的Transformer模型。但是，對于具有時序信息記憶的大腦神經(jīng)編碼機(jī)制，人類仍知之甚少。

　　2月11日，國際學(xué)術(shù)期刊《科學(xué)》以長文形式發(fā)表了題為《序列工作記憶在獼猴前額葉表征的幾何結(jié)構(gòu)》的研究論文，解密了這一謎團(tuán)。 

　　該研究由中科院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心、中科院靈長類神經(jīng)生物學(xué)重點實驗室王立平研究組，上海腦科學(xué)與類腦研究中心閔斌副研究員和北京大學(xué)生命科學(xué)學(xué)院唐世明課題組合作完成。在該研究中，科學(xué)家訓(xùn)練獼猴記憶由多個空間位置組成的序列，并利用在體雙光子鈣成像技術(shù)記錄獼猴大腦前額葉皮層的神經(jīng)元活動。研究人員發(fā)現(xiàn)神經(jīng)元以群體編碼的形式表征了序列中的每一個空間位置，并在這些表征中發(fā)現(xiàn)了類似的環(huán)狀幾何結(jié)構(gòu)。該研究為理解神經(jīng)網(wǎng)絡(luò)如何進(jìn)行符號表征這一難題提供了新的見解。

　　“認(rèn)知活動的一個核心維度是時序。時序信息的表征和操作是包括記憶、語言等重要認(rèn)知活動的基礎(chǔ)。大腦如何編碼時序信息是極為重要的未解之謎?！敝锌圃涸菏俊⒄J(rèn)知科學(xué)和實驗心理學(xué)家陳霖如是評價該項成果。

　　獼猴實驗，開啟時序記憶研究的新路徑 

　　王立平課題組和唐世明課題組的京滬合作，緣自3年前，唐世明一次到訪中科院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心。“唐老師是研究獼猴認(rèn)知科學(xué)領(lǐng)域的頂尖學(xué)者，能夠幫助我們在獼猴清醒的情形下獲取大腦神經(jīng)元的實時數(shù)據(jù)，那次見面，我們只談了15分鐘，就確定下來要合作。”王立平回憶道。

　　獼猴是演化上最接近人類的模式動物，其認(rèn)知能力、大腦的結(jié)構(gòu)與功能相比于其他模式動物更接近人類，是研究時間序列等復(fù)雜高級認(rèn)知功能的最佳模型。因此，為了探究時序記憶編碼問題，研究人員訓(xùn)練獼猴記憶由多個位置點組成的空間序列（圖1）。

　　在實驗中，獼猴面前的屏幕上會依次閃現(xiàn)三個不同的點，獼猴需要在幾秒鐘之后將這些點按之前呈現(xiàn)的順序匯報出來。在匯報前的幾秒記憶保持期內(nèi)，空間序列的信息便以工作記憶的形式被暫時儲存在大腦中。為了記錄大腦神經(jīng)元群體在獼猴進(jìn)行任務(wù)時的活動狀態(tài)，研究人員對工作記憶的大本營——外側(cè)前額葉皮層進(jìn)行了雙光子鈣信號成像。鈣信號可反映神經(jīng)元的脈沖放電活動，而序列信息表征的關(guān)鍵就在記憶期神經(jīng)元群體的活動模式之中。

　　圖1：獼猴空間序列記憶任務(wù)

　　大腦如何在記憶期內(nèi)同時表征序列中多個信息呢？“我們猜想，獼猴的大腦中也有一塊‘屏幕’，它可以把出現(xiàn)過的點記在這個屏幕上”?？扇绻齻€點同時在記憶保持期內(nèi)顯示在了這個屏幕上，每個點的次序又該如何體現(xiàn)呢？獼猴的大腦里面是否會同時存在三塊不同的屏幕？這樣每個屏幕只需要記下一個點的信息，而且屏幕之間不會互相干擾。

　　實驗證明了研究人員的猜想，他們分析了鈣成像獲得的高維數(shù)據(jù)，發(fā)現(xiàn)可以在高維向量空間里面找到每個次序的信息所對應(yīng)的二維子空間(subspace)，即找到其對應(yīng)的“屏幕”（圖2）。在每個子空間內(nèi)，不同的點所對應(yīng)的空間位置與真實視覺刺激的環(huán)狀結(jié)構(gòu)保持了一致。而且，不同次序所對應(yīng)的子空間接近相互正交，說明大腦確實用到了三塊不同的屏幕來表征序列信息。

　　為了進(jìn)一步探究大腦是否總是用相同的這幾塊“屏幕”記憶不同類型的空間序列，研究人員對數(shù)據(jù)做了解碼分析，即運用機(jī)器學(xué)習(xí)方法訓(xùn)練線性分類器來區(qū)分不同次序上的空間信息。比如，用獼猴正確應(yīng)答時的神經(jīng)元群體活動訓(xùn)練解碼器，可以在部分做對的序列里面取得較好的解碼效果。這些結(jié)果提示了用于編碼次序的“屏幕”是穩(wěn)定通用的。

　　圖2：序列記憶在神經(jīng)高維向量空間的表征

　　研究人員還發(fā)現(xiàn)，不同次序的子空間之間共享了類似的環(huán)狀結(jié)構(gòu)，只是環(huán)的半徑大小會隨次序的增加而減小。一個可能的解釋是，次序靠后的信息所分配到的注意資源更少，導(dǎo)致對應(yīng)的環(huán)變小、區(qū)分度降低。這一結(jié)構(gòu)也對應(yīng)了序列記憶的行為表現(xiàn)，例如我們?nèi)粘Ｉ钪腥绻洃浀膬?nèi)容越多，越往后的信息便更容易出錯。

　　記憶是首協(xié)奏曲，神經(jīng)元并非各自彈唱 

　　閔斌介紹，該發(fā)現(xiàn)也可總結(jié)為群體水平的空間信息編碼幾何結(jié)構(gòu)受時序調(diào)制的性質(zhì)。有意思的是，這種性質(zhì)并不完全適用于單個神經(jīng)元水平，而單神經(jīng)元活動的增強調(diào)制正是經(jīng)典序列工作記憶模型的關(guān)鍵假設(shè)，提示了序列記憶的編碼應(yīng)更加關(guān)注群體神經(jīng)元性質(zhì)。

　　“在過往的研究中，單個神經(jīng)元通常被視為專門處理序列中的某一類信息，就好比一個交響樂團(tuán)演出時，樂手甲負(fù)責(zé)拉小提琴，樂手乙負(fù)責(zé)吹號，單個神經(jīng)元的職能分工被視為一成不變的。但我們的研究發(fā)現(xiàn)，現(xiàn)實情況卻是，在演奏樂曲A時，樂手甲負(fù)責(zé)拉小提琴，在演奏樂曲B時，樂手甲被分派去負(fù)責(zé)吹號，在前額葉腦區(qū)的神經(jīng)網(wǎng)絡(luò)中40%左右的神經(jīng)元都或多或少參與了序列信息的處理工作，而且分工不是一成不變的。”王立平解釋。

　　該研究第一次在群體神經(jīng)元水平闡釋了序列工作記憶的計算和編碼原理，也為神經(jīng)網(wǎng)絡(luò)如何進(jìn)行符號表征這一難題提供了新的思路。上世紀(jì)80年代，人工智能領(lǐng)域就有研究者提出張量乘積這一概念來實現(xiàn)神經(jīng)網(wǎng)絡(luò)對符號結(jié)構(gòu)的表征，但其如何在神經(jīng)網(wǎng)絡(luò)層面自然涌現(xiàn)一直沒有被很好的解決。序列工作記憶的神經(jīng)表征正好對應(yīng)了將該符號表征由對應(yīng)次序的子空間嵌入到高維向量空間中，同時支持了下游神經(jīng)網(wǎng)絡(luò)對符號結(jié)構(gòu)信息的線性讀取。

　　王立平研究員、閔斌副研究員、研究助理胡沛烑、博士后謝洋討論課題

　　中科院院士、神經(jīng)科學(xué)和生物物理學(xué)家郭愛克評價認(rèn)為，這篇論文的科學(xué)意義在于揭示了在工作記憶的時間尺度上，序列信息在大腦前額葉皮層的神經(jīng)編碼和表征機(jī)制，其創(chuàng)新性在于以獼猴的序列學(xué)習(xí)為對象，設(shè)計了時間和空間信息兩個線索共存的實驗范式，采用了雙光子在體鈣成像技術(shù)，記錄了數(shù)千個大腦前額葉皮層神經(jīng)元，發(fā)現(xiàn)了高維神經(jīng)元狀態(tài)空間可以分解為多個二維子空間之和，從而揭示了序列信息的工作記憶在獼猴前額葉皮層表征的簡單幾何結(jié)構(gòu)。這個發(fā)現(xiàn)揭示了序列信息編碼利用了降維原則，從而降低了神經(jīng)計算復(fù)雜性。這是人類大腦在時間序列表征上的復(fù)雜性和簡約性的辨證統(tǒng)一。這使他想起了哲學(xué)家叔本華所說，“簡約性永遠(yuǎn)是真理和天才的共同特征”。

　　王立平研究員（右）與謝洋（左）討論實驗數(shù)據(jù)

　　“令人高興的是，這個結(jié)果為70年前Karl.Lashley提出的理論假設(shè)‘序列信息是通過創(chuàng)造和維系神經(jīng)活動來進(jìn)行加工。為了控制序列動作，我們的大腦需要將其工作瞬間轉(zhuǎn)移到持續(xù)的神經(jīng)活動模式上’提供了實驗數(shù)據(jù)支持。這就是科學(xué)魅力之所在！”郭愛克同時認(rèn)為，這項研究成果將對受腦啟發(fā)的人工智能研究發(fā)生影響, 將強化學(xué)習(xí)的效率大大提高了。

　　神經(jīng)生物學(xué)家王以政院士表示，王立平研究員與他的合作者們，通過這一原創(chuàng)發(fā)現(xiàn)清楚地闡釋了序列工作記憶的神經(jīng)機(jī)制，也為理解神經(jīng)網(wǎng)絡(luò)如何進(jìn)行符號表征這一難題提供了新的思路。（文中視頻及圖片均由中科院腦科學(xué)與智能技術(shù)卓越創(chuàng)新中心提供）

https://wap.peopleapp.com/article/6512603/6394122