中文引用格式: 于文錕,蘇磊,吳麗萍,等. 基于TQWT-MSPCA-GNN多模態特征的混合神經網絡EEG情緒識別[J]. 電子技術應用,2026,52(6):49-57.
英文引用格式: Yu Wenkun,Su Lei,Wu Liping,et al. Hybrid neural network EEG emotion recognition based on TQWT-MSPCA-GNN multimodal features[J]. Application of Electronic Technique,2026,52(6):49-57.
引言
情緒是感知外部和內部刺激而產生的一種心理和生理反饋形式,它在人類的決策和互動中起著重要作用。隨著人機交互技術的發展,情感計算在人機交互中顯示出巨大潛力[1]。
情緒識別可以分為兩類[2]:一類是基于非生理信號的,另一類是基于生理信號的情緒識別。生理信號包括眼電圖(EOG)和腦電圖等。這類信號的產生是自發的,不易偽裝。其中,基于腦電的情緒識別得到了學術界的廣泛關注,取得了顯著進展[3]。
基于腦電圖的情感識別[4]需經歷5個過程:情緒誘發、腦電信號采集、信號預處理、特征提取與情緒識別。其中,信號預處理、特征提取是重要的階段。腦機接口采集到的大腦活動信號通常具有非平穩和信噪比低等特點,需要有效的數據處理方法來提取情感特征。特征提取包括人工特征提取和自動特征提取[5]。常用的人工特征提取技術包括時域分析、頻域分析和時頻域分析[6]。基于深度學習的情緒識別[7]方法能夠自動提取腦電信號特征,然后通過分類器進行識別[8],具有較高的準確率,在基于腦電圖的情感識別領域得到了廣泛的應用[9]。近期發展的圖神經網絡(Graph Neural Network, GNN)突破傳統方法的時空局限,通過對電極拓撲關系的建模,有效表征大腦功能連接網絡的動態特性[10]。
然而,基于腦電圖(EEG)的情緒識別仍面臨顯著挑戰。傳統方法性能提升有限[11]。盡管深度學習模型通過捕捉EEG信號中的遠距離時序依賴和通道間相關性,提高了識別準確率,但腦電信號固有的非平穩性與非線性特性,依然制約著模型的分類精度與泛化能力。尤其在GNN的應用中,兩大關鍵限制凸顯出來:其一,特征提取常受限于固定的時空分析尺度,難以靈活適配從局部腦區高頻波動到全腦跨區域低頻協同的多尺度神經活動[12];其二,圖結構的構建多依賴于靜態連接模板,未能有效建模情感誘發過程中功能連接強度的動態重組特性,而該特性已被證實與情緒效價強度顯著相關[13]。如何突破這些限制,提升情緒識別的準確性與泛化能力,是當前待深入研究的關鍵問題。
針對現有EEG情緒識別模型在多尺度自適應特征提取與動態空間關系捕捉方面的不足,本文根據人腦處理情緒的多尺度協同機制,提出了名為TMGNet(Tunable Q-factor Wavelet Transform- Multiscale Principal Component Analysis Graph Neural Networks)的創新框架。該框架的核心創新在于將可調Q因子小波變換(TQWT)與GNN進行協同集成。模型首先引入一個基于TQWT的多尺度主成分分析(MSPCA)模塊。TQWT憑借其的Q因子可調特性,能夠提供明確的時頻表示。在此基礎上,MSPCA針對各TQWT子帶實施頻段自適應的去噪與降維。這一過程顯著提升了模型在復雜噪聲環境下情感特征的魯棒性與準確性。
針對MSPCA處理后的多頻段特征所面臨的問題,如何有效表征腦網絡的相關性,本文提出了空間注意力增強的圖網絡作為解決方法。通過空間注意力增強的圖網絡計算電極間功能連接強度,能夠捕捉情感誘發時前額葉與邊緣系統的連接增強現象,實現了多尺度時頻特征與圖神經網絡構建的整合。
為解決TQWT-MSPCA處理后的多頻段特征如何有效表征大腦功能網絡動態連接的關鍵問題,本文進一步提出了空間注意力增強的圖神經網絡。該網絡以電極作為節點,利用空間注意力機制動態學習不同情感狀態下節點間功能連接強度,直接捕捉情感誘發時的連接增強現象。最終實現了從TQWT多尺度時頻特征分解到GNN動態空間關系的融合。
本文的貢獻包括:(1)基于多尺度自適應特征提取。采用TQWT對原始EEG進行分解,其Q因子可調的特性能夠自適應地匹配不同頻帶信號的行為,獲得更精細的時頻表示。引入MSPCA進行降噪和特征提取,提升信號質量。(2)構建并學習動態腦功能網絡。將TQWT分解后的多頻帶信號用于構建頻帶特異性的動態腦功能網絡,將每個電極視為圖節點,利用節點間的功能連接性作為邊,將EEG數據轉化為圖結構數據。(3)融合時序與空間拓撲特征。結合基線模型提出的HCRNN[14],利用GNN對構建的腦功能網絡進行深度學習,實現GNN提取的空間拓撲特征與TQWT提取的時頻特征有效融合。實驗證明,TMGNet在跨被試場景下,在SEED數據集的分類任務中平均準確率達到98.15%。
本文詳細內容請下載:
http://www.tom3567.com/resource/share/2000007103
作者信息:
于文錕,蘇磊,吳麗萍,姜迪
(昆明理工大學 信息工程與自動化學院,云南 昆明650500)

