【儀表網(wǎng) 研發(fā)快訊】腦機(jī)接口(BCI)技術(shù)作為連接人腦與外部設(shè)備的重要橋梁，近年來在醫(yī)療、康復(fù)、智能家居等領(lǐng)域展現(xiàn)出了巨大的應(yīng)用潛力。然而，傳統(tǒng)的BCI系統(tǒng)多依賴單一的EEG信號(hào)，其空間分辨率低且易受干擾，限制了其性能的進(jìn)一步提升。為此，研究者們開始探索將EEG與fNIRS(功能性近紅外光譜)相結(jié)合的雙模態(tài)BCI系統(tǒng)，以期通過兩種信號(hào)的互補(bǔ)優(yōu)勢(shì)，實(shí)現(xiàn)更高效、更準(zhǔn)確的腦機(jī)交互。 然而，同時(shí)記錄EEG和fNIRS信號(hào)并非易事。由于兩種傳感器在頭皮上的布局存在沖突，同時(shí)記錄高質(zhì)量的混合信號(hào)面臨諸多挑戰(zhàn)。
 

　　為突破這一瓶頸，中國科學(xué)院深圳先進(jìn)技術(shù)研究院的王書強(qiáng)課題組提出了一種創(chuàng)新的解決方案——SCDM(Spatio-Temporal Controlled Diffusion Model)，即時(shí)空控制擴(kuò)散模型。該模型利用生成式AI技術(shù)，從EEG信號(hào)中生成fNIRS信號(hào)，從而實(shí)現(xiàn)雙模態(tài)信號(hào)的采集。 2025年3月4日?qǐng)F(tuán)隊(duì)相關(guān)工作在IEEE Transactions on Medical Imaging發(fā)表了題為SCDM: Unified Representation Learning for EEG-to-fNIRS Cross-Modal Generation in MI-BCIs的研究成果，首次實(shí)現(xiàn)了基于生成式人工智能的EEG到fNIRS跨模態(tài)生成。
 

　　SCDM模型的核心在于其兩個(gè)關(guān)鍵模塊：空間跨模態(tài)生成(SCG)模塊和多尺度時(shí)序表示(MTR)模塊。SCG模塊通過改進(jìn)的二維注意力機(jī)制，學(xué)習(xí)EEG和fNIRS信號(hào)的空間表示，并實(shí)現(xiàn)從EEG到fNIRS的準(zhǔn)確映射。MTR模塊則通過因果擴(kuò)張卷積和深度可分離卷積，捕捉多樣化的時(shí)序特征，同時(shí)減少空間特征的干擾，從而提高表示的準(zhǔn)確性。
 

　　研究團(tuán)隊(duì)通過對(duì)比真實(shí)fNIRS信號(hào)和合成fNIRS信號(hào)的分類性能，發(fā)現(xiàn)合成信號(hào)在多項(xiàng)指標(biāo)上與真實(shí)信號(hào)相當(dāng)，甚至在某些情況下表現(xiàn)更優(yōu)。這表明，SCDM模型生成的fNIRS信號(hào)不僅在質(zhì)量上接近真實(shí)信號(hào)，而且在實(shí)際應(yīng)用中具有潛在的替代價(jià)值。 此外，研究還發(fā)現(xiàn)，合成fNIRS信號(hào)在空間分布和時(shí)間特征上與真實(shí)信號(hào)高度一致。通過對(duì)比fNIRS通道與EEG通道的相關(guān)性，發(fā)現(xiàn)合成信號(hào)保留了與EEG信號(hào)的空間對(duì)應(yīng)關(guān)系，這為雙模態(tài)信號(hào)的融合提供了有力支持。 SCDM模型不僅解決了同時(shí)記錄EEG和fNIRS信號(hào)的難題，還為未來BCI系統(tǒng)的性能提升提供了新的可能性。
 

　　數(shù)字所研究生李逸升為第一作者，王怡珊研究員為共同作者，王書強(qiáng)研究員為論文通訊作者，該研究工作得到了國家重點(diǎn)研發(fā)計(jì)劃、國家自然科學(xué)基金等科技項(xiàng)目資助。
 

SCDM模型圖
 

合成fNIRS信號(hào)與真實(shí)fNIRS信號(hào)的血流動(dòng)力學(xué)響應(yīng)曲線對(duì)比