《電子技術應用》
您所在的位置:首頁 > 人工智能 > 设计应用 > 基于TQWT-MSPCA-GNN多模态特征的混合神经网络EEG情绪识别
基于TQWT-MSPCA-GNN多模态特征的混合神经网络EEG情绪识别
电子技术应用
于文锟,苏磊,吴丽萍,姜迪
昆明理工大学 信息工程与自动化学院
摘要: 脑电图 (EEG) 信号能客观反映情绪状态,是情绪研究的重要工具。基于EEG信号的情绪识别算法的开发已经取得了显著进展。然而,脑电信号的非平稳、低信噪比特性以及情绪表征的复杂时空依赖性,对模型的识别性能带来了困难。传统方法难以在时间和空间两个维度捕捉到远距离时间序列数据的相关性,从而影响情绪分类的效果。为了解决上述问题,提出了一种通过可调Q因子小波变换(TQWT) 对原始EEG信号进行多尺度分解,并在各尺度上采用多尺度主成分分析(MSPCA)进行去噪和降维。将分解后的多频带信号构建为动态脑功能网络,并引入图神经网络(GNN)来挖掘脑区之间与情绪相关的连接特征。最后,将TQWT提取的时频特征与GNN提取的空间关系特征进行融合捕获时间和空间特征进行分类。在SEED数据集上的实验结果表明,特征重构后的数据在EEG情绪分类任务中是有效的,对3种情绪的识别准确率达到了98.15%±0.63%。
中圖分類號:TP183 文獻標志碼:A DOI: 10.16157/j.issn.0258-7998.257445
中文引用格式: 于文錕,蘇磊,吳麗萍,等. 基于TQWT-MSPCA-GNN多模態特征的混合神經網絡EEG情緒識別[J]. 電子技術應用,2026,52(6):49-57.
英文引用格式: Yu Wenkun,Su Lei,Wu Liping,et al. Hybrid neural network EEG emotion recognition based on TQWT-MSPCA-GNN multimodal features[J]. Application of Electronic Technique,2026,52(6):49-57.
Hybrid neural network EEG emotion recognition based on TQWT-MSPCA-GNN multimodal features
Yu Wenkun,Su Lei,Wu Liping,Jiang Di
School of Information Engineering and Automation, Kunming University of Science and Technology
Abstract: Electroencephalogram (EEG) signals objectively reflect genuine emotional states, making them a vital tool in emotion research. Significant progress has been made in developing emotion recognition algorithms based on EEG signals. However, the non-stationary nature and low signal-to-noise ratio of EEG signals, coupled with the complex spatiotemporal dependencies of emotional representations, pose challenges to model recognition performance. Traditional methods struggle to capture correlations in distant time series data across both temporal and spatial dimensions, thereby compromising emotion classification accuracy. To address these challenges, this study proposes a method that performs multiscale decomposition of raw EEG signals using a tunable Q-factor wavelet transform (TQWT). Multiscale principal component analysis (MSPCA) is then applied at each scale for denoising and dimensionality reduction. The decomposed multiband signals are constructed into a dynamic brain functional network, and a graph neural network (GNN) is introduced to uncover emotion-related connectivity features between brain regions. Finally, the time-frequency features extracted via TQWT are fused with the spatial relational features extracted by GNN to capture temporal and spatial characteristics for classification. Experimental results on the SEED dataset demonstrate that the feature-reconstructed data are effective for EEG emotion classification tasks, achieving an accuracy of 98.15% ± 0.63% for recognizing three emotions.
Key words : EEG;emotion recognition;multiscale principal component analysis;tunable Q-factor wavelet transform;graph neural networks

引言

情緒是感知外部和內部刺激而產生的一種心理和生理反饋形式,它在人類的決策和互動中起著重要作用。隨著人機交互技術的發展,情感計算在人機交互中顯示出巨大潛力[1]。

情緒識別可以分為兩類[2]:一類是基于非生理信號的,另一類是基于生理信號的情緒識別。生理信號包括眼電圖(EOG)和腦電圖等。這類信號的產生是自發的,不易偽裝。其中,基于腦電的情緒識別得到了學術界的廣泛關注,取得了顯著進展[3]。

基于腦電圖的情感識別[4]需經歷5個過程:情緒誘發、腦電信號采集、信號預處理、特征提取與情緒識別。其中,信號預處理、特征提取是重要的階段。腦機接口采集到的大腦活動信號通常具有非平穩和信噪比低等特點,需要有效的數據處理方法來提取情感特征。特征提取包括人工特征提取和自動特征提取[5]。常用的人工特征提取技術包括時域分析、頻域分析和時頻域分析[6]。基于深度學習的情緒識別[7]方法能夠自動提取腦電信號特征,然后通過分類器進行識別[8],具有較高的準確率,在基于腦電圖的情感識別領域得到了廣泛的應用[9]。近期發展的圖神經網絡(Graph Neural Network, GNN)突破傳統方法的時空局限,通過對電極拓撲關系的建模,有效表征大腦功能連接網絡的動態特性[10]。

然而,基于腦電圖(EEG)的情緒識別仍面臨顯著挑戰。傳統方法性能提升有限[11]。盡管深度學習模型通過捕捉EEG信號中的遠距離時序依賴和通道間相關性,提高了識別準確率,但腦電信號固有的非平穩性與非線性特性,依然制約著模型的分類精度與泛化能力。尤其在GNN的應用中,兩大關鍵限制凸顯出來:其一,特征提取常受限于固定的時空分析尺度,難以靈活適配從局部腦區高頻波動到全腦跨區域低頻協同的多尺度神經活動[12];其二,圖結構的構建多依賴于靜態連接模板,未能有效建模情感誘發過程中功能連接強度的動態重組特性,而該特性已被證實與情緒效價強度顯著相關[13]。如何突破這些限制,提升情緒識別的準確性與泛化能力,是當前待深入研究的關鍵問題。

針對現有EEG情緒識別模型在多尺度自適應特征提取與動態空間關系捕捉方面的不足,本文根據人腦處理情緒的多尺度協同機制,提出了名為TMGNet(Tunable Q-factor Wavelet Transform- Multiscale Principal Component Analysis Graph Neural Networks)的創新框架。該框架的核心創新在于將可調Q因子小波變換(TQWT)與GNN進行協同集成。模型首先引入一個基于TQWT的多尺度主成分分析(MSPCA)模塊。TQWT憑借其的Q因子可調特性,能夠提供明確的時頻表示。在此基礎上,MSPCA針對各TQWT子帶實施頻段自適應的去噪與降維。這一過程顯著提升了模型在復雜噪聲環境下情感特征的魯棒性與準確性。

針對MSPCA處理后的多頻段特征所面臨的問題,如何有效表征腦網絡的相關性,本文提出了空間注意力增強的圖網絡作為解決方法。通過空間注意力增強的圖網絡計算電極間功能連接強度,能夠捕捉情感誘發時前額葉與邊緣系統的連接增強現象,實現了多尺度時頻特征與圖神經網絡構建的整合。

為解決TQWT-MSPCA處理后的多頻段特征如何有效表征大腦功能網絡動態連接的關鍵問題,本文進一步提出了空間注意力增強的圖神經網絡。該網絡以電極作為節點,利用空間注意力機制動態學習不同情感狀態下節點間功能連接強度,直接捕捉情感誘發時的連接增強現象。最終實現了從TQWT多尺度時頻特征分解到GNN動態空間關系的融合。

本文的貢獻包括:(1)基于多尺度自適應特征提取。采用TQWT對原始EEG進行分解,其Q因子可調的特性能夠自適應地匹配不同頻帶信號的行為,獲得更精細的時頻表示。引入MSPCA進行降噪和特征提取,提升信號質量。(2)構建并學習動態腦功能網絡。將TQWT分解后的多頻帶信號用于構建頻帶特異性的動態腦功能網絡,將每個電極視為圖節點,利用節點間的功能連接性作為邊,將EEG數據轉化為圖結構數據。(3)融合時序與空間拓撲特征。結合基線模型提出的HCRNN[14],利用GNN對構建的腦功能網絡進行深度學習,實現GNN提取的空間拓撲特征與TQWT提取的時頻特征有效融合。實驗證明,TMGNet在跨被試場景下,在SEED數據集的分類任務中平均準確率達到98.15%。


本文詳細內容請下載:

http://www.tom3567.com/resource/share/2000007103


作者信息:

于文錕,蘇磊,吳麗萍,姜迪

(昆明理工大學 信息工程與自動化學院,云南 昆明650500)

2.jpg

此內容為AET網站原創,未經授權禁止轉載。
主站蜘蛛池模板: 欧美日韩在线不卡一区| 日韩精品一区二区三区外面| 日本一区二区在线视频| 亚洲五月六月| 久久久天堂国产精品女人| 国产精品久久久久久亚洲影视| 久久久精品视频在线观看| 国产精品在线看| 亚洲精品欧洲精品| 日韩视频免费看| 欧美中文在线观看国产| 99精品国产高清在线观看| 国内揄拍国内精品少妇国语| 国产日韩欧美夫妻视频在线观看| 久99久在线| 久久久亚洲影院| 日本一区免费在线观看| 精品国产一区二区三区久久久狼 | 日日碰狠狠丁香久燥| 亚洲精品一区二区毛豆| 伊人天天久久大香线蕉av色| 日韩五码在线观看| 亚洲高清不卡一区| 国产欧美日韩最新| 国产精品美女久久久久av福利| 五月婷婷综合色| 日韩欧美亚洲天堂| 国产精品视频播放| 欧美综合第一页| 91免费视频国产| 日本精品久久久| 国产男女激情视频| 欧美日韩一区二区视频在线观看| 国产欧亚日韩视频| 蜜臀久久99精品久久久酒店新书| 国产成人精品日本亚洲专区61 | 国产精品偷伦免费视频观看的| 国产日韩欧美中文在线播放| 天堂资源在线亚洲视频| 热久久精品国产| 亚洲国产日韩美|