隨著大數(shù)據(jù)大模型對(duì)算力需求呈現(xiàn)遠(yuǎn)超摩爾定律增長(zhǎng)的趨勢(shì),電子計(jì)算平臺(tái)的能耗大且計(jì)算速度有限，嚴(yán)重限制了邊緣設(shè)備上人工智能模型的發(fā)展。光神經(jīng)網(wǎng)絡(luò)具有計(jì)算速度快、并行性高、功耗低的明顯優(yōu)勢(shì)，被認(rèn)為是最有前途的下一代并行計(jì)算方案。然而受限于片上集成的規(guī)模問(wèn)題以及對(duì)相干光源的依賴(lài)性，現(xiàn)有的光神經(jīng)網(wǎng)絡(luò)大多都難以落地到實(shí)際的應(yīng)用場(chǎng)景中，只能用在圖像邊緣檢測(cè)、手寫(xiě)數(shù)字識(shí)別等簡(jiǎn)單的任務(wù)上。
 

　　受生物視覺(jué)啟發(fā)的卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)，能夠提取圖像的高維特征并顯著降低神經(jīng)網(wǎng)絡(luò)處理圖像數(shù)據(jù)所需的參數(shù)量，在圖像識(shí)別、分割、檢測(cè)等機(jī)器視覺(jué)任務(wù)中得到廣泛應(yīng)用。崔開(kāi)宇課題組提出新的感算一體式解決思路，即光譜卷積神經(jīng)網(wǎng)絡(luò)(Spectral convolutional neural network, SCNN)，如圖1所示，通過(guò)在圖像傳感器(CMOS imagesensor, CIS)表面大規(guī)模集成光譜調(diào)制結(jié)構(gòu)，便能夠在光譜維度實(shí)現(xiàn)向量?jī)?nèi)積的大規(guī)模并行計(jì)算。將集成了光譜調(diào)制結(jié)構(gòu)的圖像傳感器視為輸入層及第一卷積層，結(jié)合后續(xù)的小規(guī)模電計(jì)算卷積層，便能構(gòu)成一個(gè)光電混合的神經(jīng)網(wǎng)絡(luò)。
 

圖1.現(xiàn)有的光神經(jīng)網(wǎng)絡(luò)(ONN)與論文提出的光譜卷積神經(jīng)網(wǎng)絡(luò)(SCNN)的對(duì)比
 

　　制備的基于光譜卷積神經(jīng)網(wǎng)絡(luò)的物譜芯片如圖2所示，分別采用了光學(xué)超表面以及色素作為光譜調(diào)制結(jié)構(gòu)，制備了兩款不同的物譜芯片，驗(yàn)證了光譜卷積神經(jīng)網(wǎng)絡(luò)框架的可行性。其中基于超表面的芯片具有更好的光譜調(diào)制能力，并且具有偏振、相位、入射角等全光場(chǎng)感知的潛力，而基于色素的芯片已實(shí)現(xiàn)了12吋晶圓的流片量產(chǎn)，具有更高的集成度和更低的加工制備成本。光譜卷積神經(jīng)網(wǎng)絡(luò)方案主要有三點(diǎn)優(yōu)勢(shì)：(1)基于圖像傳感器實(shí)現(xiàn)的光計(jì)算卷積層集成度大、功耗低，且可以直接感知自然光(包含兩個(gè)空間維度和一個(gè)光譜維度的寬帶非相干光)，不依賴(lài)于相干光源；(2)光計(jì)算卷積層為感算一體式，即圖像傳感器完成拍攝的同時(shí)也完成了計(jì)算，能夠在算力有限的邊緣設(shè)備與移動(dòng)終端上完成高維光譜圖像的獲取與處理，實(shí)現(xiàn)“物質(zhì)超成像”(Mattermeta-imaging)，擺脫GPU、不被卡脖子，讓光譜成像的應(yīng)用輕松下沉到終端；(3)光電混合的計(jì)算架構(gòu)能夠兼顧光計(jì)算高速、并行、低功耗的優(yōu)勢(shì)以及電計(jì)算的靈活性，充分利用圖像傳感器作為目前最高集成度的光電探測(cè)陣列芯片，讓上百萬(wàn)像素、上億像素相機(jī)的每一個(gè)像素點(diǎn)都可以計(jì)算。
 

圖2.分別采用光學(xué)超表面及色素實(shí)現(xiàn)的基于光譜卷積神經(jīng)網(wǎng)絡(luò)的物譜芯片
 

　　為驗(yàn)證光譜卷積神經(jīng)網(wǎng)絡(luò)方案的有效性和靈活性，用同一個(gè)物譜芯片(3×3.5mm2)實(shí)現(xiàn)了病理診斷和人臉鑒偽兩個(gè)完全不同的現(xiàn)實(shí)世界復(fù)雜任務(wù)，如圖3所示。光譜信息可以反應(yīng)物質(zhì)的組成成分，且難以被偽造，利用光譜卷積神經(jīng)網(wǎng)絡(luò)感知計(jì)算得到的光譜信息，可以實(shí)現(xiàn)像素級(jí)的活體檢測(cè)，并達(dá)到96.23%的準(zhǔn)確率，進(jìn)一步可以實(shí)現(xiàn)幾乎100%的圖像級(jí)人臉鑒偽準(zhǔn)確率。在切片病理診斷上，不依賴(lài)于顯微鏡便能實(shí)現(xiàn)對(duì)正常甲狀腺組織切片及四種病變(包括癌變)甲狀腺組織切片的分辨，展現(xiàn)出了物譜芯片在術(shù)中病理實(shí)時(shí)診斷的應(yīng)用潛力。
 

圖3.用同一個(gè)物譜芯片實(shí)現(xiàn)了病理診斷和人臉鑒偽兩個(gè)完全不同的現(xiàn)實(shí)世界復(fù)雜任務(wù)
 

　　綜上所述，物譜芯片，即物質(zhì)成像光譜卷積神經(jīng)網(wǎng)絡(luò)芯片，能夠直接處理自然圖像，在百萬(wàn)至上億像素的空間維度實(shí)現(xiàn)高度并行的內(nèi)積運(yùn)算，通過(guò)引入的連續(xù)光譜維度感知自然圖像中包含的物質(zhì)信息，即動(dòng)態(tài)識(shí)別物質(zhì)的組成成分并映射到特征空間中，實(shí)現(xiàn)全新“物質(zhì)成像”的感算一體邊緣計(jì)算(In-sensor Edge Computing)，為機(jī)器視覺(jué)、邊緣計(jì)算終端設(shè)備賦能物質(zhì)成像的全新功能，從而開(kāi)啟一個(gè)超越人眼的物質(zhì)元成像(Matter Meta-Imaging, MMI)神經(jīng)網(wǎng)絡(luò)芯片的新范式。
 

　　相關(guān)研究成果以“非相干光感算一體的光譜卷積神經(jīng)網(wǎng)絡(luò)芯片”(Spectral convolutional neural network chipfor in-sensor edge computing of incoherentnatural light)為題，于1月2日在線(xiàn)發(fā)表于《自然·通訊》(Nature Communications)。
 

　　清華大學(xué)電子系微納光電子學(xué)實(shí)驗(yàn)室與王生進(jìn)、李亞利團(tuán)隊(duì)聯(lián)合培養(yǎng)博士生饒世杰和崔開(kāi)宇副教授為論文共同第一作者，崔開(kāi)宇和黃翊東為論文通訊作者。研究得到國(guó)家重點(diǎn)研發(fā)計(jì)劃、國(guó)家自然科學(xué)基金、北京量子信息前沿科學(xué)中心、北京量子信息科學(xué)研究院等的支持。