[发明专利]利用迁移学习实现神经网络脑电情感识别模型的方法

说明书

本发明提出一种利用迁移学习实现多通道卷积‑递归神经网络脑电情感识别模型的方法，其基于三心搏识别方法构建的双通道一维卷积神经网络模型作为源域模型进行迁移，得到目标域为脑电信号的多通道卷积‑递归神经网络脑电情感识别模型，解决了脑电信号标注数据十分稀缺的问题，并能够提高脑电信号情感预测准确度。通过对脑电数据集进行分解、归一化等预处理，提高数据处理的准确性；迁移得到的多通道卷积神经网络对脑电数据集中的多通道脑电信号进行特征提取；结合递归神经网络进行序列建模，提取多通道融合情感信息；通过自适应注意力模型和加权特征融合方式来实现特征的重新分布，得到完整的特征张量。

技术领域

本发明属于机器学习、迁移学习技术领域，尤其涉及一种利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法。

背景技术

情绪是对一系列的主观认知经验的统称，它包括人对外界刺激或自身刺激的心理反应，以及其伴随的生理反应。情绪的本质是个体对自己周围环境事物的感知反应。情绪不管在个体自身还是在个体与他人之间、个体与社会生活之间都有着非常重大的作用，因而情绪识别的研究不论在理论上还是实际应用中都有着极为重要的意义。脑电图(EEG)是一种医学成像技术，可以测量并按时间顺序记录头皮表层由大脑中神经元内的离子电流引起的电位波动。研究表明，人的认知行为和心理活动与脑电信号具有较强的相关性，可以通过测量脑电信号来预测人的情绪状态。

目前并没有现成的算法模型可以处理以上技术问题。如中国专利CN202010122175-融合源端影响的三心拍多模型综合决策心电特征分类方法提供了心电数据的分类模型，但不能直接用于处理脑电信号的分类问题。

发明内容

为了弥补现有技术的空白和不足，本发明的目的在于提供一种利用迁移学习实现多通道卷积-递归神经网络脑电情感识别模型的方法，其基于背景技术提及的中国专利CN202010122175-融合源端影响的三心拍多模型综合决策心电特征分类方法提供的三心搏识别方法构建的双通道一维卷积神经网络模型作为源域模型进行迁移，得到目标域为脑电信号的多通道卷积-递归神经网络脑电情感识别模型，解决了脑电信号标注数据十分稀缺的问题，并能够提高脑电信号情感预测准确度，获得脑电情感信号在效价和唤醒度两种指标上的预测结果。

本发明中的源域模型涉及发明人另一项发明申请，中国专利CN202010122175-融合源端影响的三心拍多模型综合决策心电特征分类方法，该方法已公开发表。源域模型是以该发明申请为背景设计得到的多导联三心拍心电图分类模型，该模型对应流程图如说明书附图1所示，其中三心拍分类方法的主体架构为双通道一维深度卷积神经网络。该网络可自动提取及分析心电信号中人工难以发现的细微特征，学习其特征相关性并分类。双通道卷积神经网络的输入为两个不同导联的三心搏ECG信号序列，分别从两个通道进入卷积层，卷积层输出的特征张量进入归一化层(BN层)进行归一化处理。归一化层之后为激活层，采用ReLU函数作为激活函数，以增加网络学习复杂数据的能力。该网络引入残差网络利用恒等映射实现对反馈优化，避免反馈梯度减小。残差网络是一个跨层叠加的过程，在该过程中会出现通道数不匹配问题造成无法直接叠加，因此在网络设计过程中加入了自定义层，命名为Lambda，通过在多出的通道上填充数据来匹配通道数量。该卷积神经网络将卷积层、归一层、激活层和残差结构作为组合多次叠加，同时为了防止网络过拟合在网络中加入了Dropout层随机失活部分网络单元。该模型利用卷积层提取特征，根据步长将特征长度进行多次缩小最后到全连接层，然后经过采用softmax函数的激活层得到N、V、S、F、Q五种心电类别输出。采用以上双通道一维深度卷积神经网络作为本专利实施方案的源域模型，有助于解决脑电信号情感识别过程中多层神经网络容易发生的梯度消失及梯度爆炸问题，为实现源域——心电信号到目标域——脑电信号的迁移学习方案提供技术基础。

其应用的主要技术包括：

1)通过对脑电数据集进行分解、归一化等预处理，提高数据处理的准确性；

2)迁移得到的多通道卷积神经网络对脑电数据集中的多通道脑电信号进行特征提取；