【儀表網 研發快訊】南京大學吳培亨院士團隊張蠟寶教授課題組聯合清華大學自動化系季向陽教授課題組，基于多維可調控的超導單光子探測器(SNSPD)，研制出高光子利用率的感算一體相機，平均每像素僅需0.12個光子，對三個字母圖案的分類準確率即可達到90%以上。
 

　　在感知以及信息傳遞中，光是重要的媒介與載體。人們通過對光進行操縱與探測可以實現對外部世界的探索。光電探測技術的迭代始終與人類認知邊界的拓展深度交織。19世紀初，隨著夫瑯禾費通過光譜儀發現太陽暗線，微弱光信號的精準探測成為破解宇宙物質成分的關鍵。20世紀初愛因斯坦提出的光量子理論更是將光子探測的需求推向極致。從歷史規律看，每次光子探測效率的提升，都會引發相關學科的突破。進入21世紀，暗物質探測、量子信息和超分辨成像等領域的技術瓶頸亦使得高效率光子探測成為破局關鍵。同時隨著數據量的爆炸式增長，傳統“探測-存儲-計算”分離的探測架構面臨延遲高、能耗大等挑戰。
 

　　人眼通常可以基于極少的特征信息實現極低延遲的目標識別。然而，目前各種類型的圖像傳感器都需要經過探測、存儲、計算這三個分立的過程，其中信息的傳遞和讀取消耗了額外的能量，并限制了有效信息提取的效率。近期發展起來的感算一體圖像傳感器融合了感知和計算過程，可大大降低機器視覺任務的功耗和延遲。這類傳感器通常是由具有可調電學和光學特性的二維半導體實現的，在圖像分類、光譜分辨、運動感知和圖像預處理等方面取得了不錯的成果。但受限于探測器性能和工作模式，暫時還無法達到單光子靈敏度，導致其在弱光環境下的應用受到限制。因此，具備單光子靈敏度的感算一體芯片已成為光電探測、人工智能和量子探測等交叉領域的研究前沿。
 

　　憑借單光子靈敏度和極低暗計數，超導納米線單光子探測器(SNSPD)在可見光到紅外波段都得到了廣泛的應用。然而隨著像元數目的增加，低溫下逐像元的信號讀出將面臨挑戰。目前的陣列SNSPD讀出方案，如行列復用、時分復用等，普遍存在讀出效率低、數據量大的問題，難以勝任實時的成像與目標識別任務。突破探測-存儲-計算的傳統路徑而使用感算一體的架構，是基于陣列SNSPD實現高光子利用效率的單光子相機的可行路徑之一。
 

圖1感算一體超導單光子相機的系統示意圖
 

　　針對上述難題，研究人員通過深入挖掘陣列SNSPD的多維可調控特性，研制出一種高光子利用率的感算一體超導單光子相機，其系統示意圖和工作原理如圖1所示。其總體思路是，通過調節陣列SNSPD的偏置電流以實現光計數率、脈沖幅值、脈沖恢復時間及光譜響應度的調控，從而實現了光信號采集與計算的深度融合。在圖像分類任務中，首先基于字母圖案的數據集對網絡權重進行優化，再通過調節各像素的偏置電流將網絡權重映射到陣列傳感器的計數率或脈沖波形中，最終多組偏置電流矩陣對應的合成讀出信號即為圖像分類結果。
 

　　研究人員首先開發了高性能的陣列SNSPD并且基于該傳感器開發了兩種片上計算方案。如圖2(a-b)所示，該傳感器在405nm~1550nm波段都具備飽和的量子效率(量子效率接近100%)。在低偏置電流下，各像素的量子效率隨偏置電流的增加而非線性增加。當入射光強不變時，提高偏置電流會使得光計數率增加。因此基于光計數率進行計算，將計數率隨偏置電流的變化曲線進行歸一化即可得到權重和偏置電流的關系，根據多組偏置電流矩陣對應的總計數率即可判斷圖像類別。該方案的信號采集僅需單通道計數器即可完成，設備復雜度較低。隨著偏置電流繼續增加，量子效率不再隨偏置電流增加。在固定光強下增加偏置電流，光計數率會保持不變。如圖2(c)所示，此時響應脈沖的形狀仍會隨著偏置電流變化，因此基于脈沖積分面積進行計算，其工作原理與基于計數率的方案基本一致，根據合成讀出信號的脈沖積分面積即可判斷圖像類別。該方案工作在量子效率飽和區域并且僅需單個脈沖即可實現權重的加載，因此具備更高的光子利用率。
 

　　圖2陣列SNSPD的可調控光響應特性。(a)405nm下光計數率隨偏置電流的變化曲線；(b)1550nm下光計數率隨偏置電流的變化曲線；(c)響應脈沖幅值隨偏置電流的變化；(d)光計數率隨光強的變化曲線。

 

　　結合上述兩種計算方案，研究人員基于該相機實現了26字母圖案的分類。如圖3(a-c)所示，盡管DMD串擾和背景噪聲導致投影圖案的質量較差，該技術對大部分字母的分類準確率仍可達到95%以上。圖3(d-e)展示了針對“NJU”字母三分類進一步分析的結果，在剔除外部光路導致的串擾后，平均每像素采集0.12個光子，字母三分類的準確率即可達到90%以上。如圖3(f)所示，平均每像素采集0.12光子得到的字母圖案幾乎無法通過肉眼分辨，而感算一體超導單光子相機仍然可以基于局部的特征進行準確的分類。
 

　　圖3基于感算一體相機的圖像分類。(a)投影圖案；(b)直接采集的圖案；(c)26字母圖案分類的結果；(d)“NJU”字母三分類的準確率隨平均光子數的變化曲線；(e)無串擾情況下，“NJU”字母三分類的準確率隨平均光子數的變化曲線；(f)無串擾情況下，平均每像素采集0.12光子得到的字母圖案。

 

　　進一步的，研究人員基于可調控的光計數率實現了片上圖像預處理功能，包括高斯濾波、邊緣增強和圖像銳化。如圖4(b-d)所示，實驗結果和仿真結果高度一致，與圖4(a)中直接采集的圖像相比，邊緣增強和圖像銳化操作都避免了分塊采集導致的塊狀響應。此外，SNSPD具備本征的光譜分辨能力，如圖4(e-f)所示，不同波長入射光對應的計數率曲線不同。如圖4(g)所示，通過優化偏置電流矩陣，僅需單次采集即可實現入射光波長的分辨。
 

　　圖4基于感算一體相機的圖像預處理和光譜分辨。(a)投影圖案(左)與直接采集的圖案(右)對比；(b)圖像高斯濾波的結果；(c)圖像邊緣增強的結果；(d)圖像銳化的結果。(e)和(f)傳感器陣列的光譜響應特性；(g)用于光譜分辨的偏置電流矩陣和判別矩陣。

 

　　本文基于多維可調控的陣列SNSPD開發了具備高光子利用率的感算一體相機。該相機具備片上圖像分類、圖像預處理和光譜分辨功能，為極弱光環境下的實時視覺任務提供了全新的解決方案，如暗弱空間目標探測和活體細胞顯微成像等。未來結合超導邏輯電路與大規模陣列傳感器，有望實現更智能的高性能視覺系統。因此，本成果對于進一步提升現有設備的探測能力，服務于智能感知、量子成像、生物成像以及深空探索等前沿應用以及科學研究，具有重要的意義。目前該工作仍存在優化空間，后續需要擴充像素規模以提高分辨率，優化外部光路來減少信號串擾。同時可以引入其它的片上計算單元來提高網絡復雜度，從而實現更高階的視覺任務。
 

　　相關成果近日以“Photon-efficientcamerawithin-sensorcomputing”為題發表于《NatureCommunications》。南京大學博士生管焰秋為本文第一作者；張蠟寶教授和季向陽教授為本文共同通訊作者。以上工作還得到了超導電子學研究所康琳教授、陳健教授、王華兵教授和吳培亨院士的大力支持，陳奇副研究員、王昊助理教授、涂學湊教授級高工、趙清源教授、賈小氫教授等在器件制備和論文撰寫等環節給予了幫助。該項目得到了國家自然科學基金、江蘇省自然科學基金等資助，實驗工作得到了極端性能光電技術教育部重點實驗室、江蘇省電磁波先進調控技術重點實驗室和微制造與集成工藝中心等支持。