[发明专利]用于针灸的基于深度学习的多模态情绪分析方法及系统

权利要求书

1.一种用于针灸的基于深度学习的多模态情绪分析方法，其特征在于，包括以下步骤：

步骤一：采集针灸时患者面部表情图像，对采集的面部表情图像进行处理，通过Gabor小波变换提取面部表情的Gabor小波特征；

步骤二：采集针灸时患者的脑电曲线图像，采用均匀局部二值模式UPLBP提取脑电曲线图像的纹理特征，并对图片进行降维处理；

步骤三：采用CNN-LSTM网络对步骤一和步骤二中提取的特征进行多模态特征融合，并进行情绪分类；

步骤四：根据情绪分类结果给出针灸系统操作建议，进行针灸力度或频率的调整；

步骤三中多模态特征融合及情绪分类的具体处理过程包括：

S001：将步骤一得到的面部表情图像的Gabor小波特征和步骤二得到的脑电曲线图像的特征融合成一个特征向量；

所述融合成一个特征向量具体包括：对提取的不同模态图像的特征采用可变权重的稀疏化线性融合进行加权处理，合成一个特征向量，特征融合加权公式表示如下：

O(x)＝γK(x)+(1-γ)F(x) (1)

其中：

K(x)表示脑电曲线图像的特征；

F(x)表示面部表情特征；

γ为不同性格对脑电曲线影响的经验权重系数；

S002：将融合后的特征向量转换成张量形式，通过设置不同的一次训练所选取的样本数batch_size的值，进行迭代，并从每次迭代训练中随机取出训练样本作为CNN-LSTM网络的输入数据，输入到CNN-LSTM网络；

S003：调节CNN网络初始结构和网络参数，进行迭代；调整初始结构和网络参数具体包括：调整CNN网络初始结构中卷积层的层数和网络参数学习率，选取使网络精度和所消耗的时间最优的CNN网络初始结构和网络参数；

S004：在CNN网络经过多层卷积池化提取图片的特征，得到五维张量特征图；

S005：在不改变特征图内数值的前提下，将五维张量特征图变换成符合LSTM输入要求的三维张量特征图，并输入到LSTM层进行处理；

S006：将LSTM层的输出输入到全连接层和函数层进行SVM分类；

S007：经过SVM分类，依据SVM的输入特征向量所对应的情绪分类做训练，选择向量所对应的情绪分类的损失函数值最小的特征代表该情绪的类别，得到一维数组的情绪分类结果，并保存训练好的神经网络，所述一维数组包含有对应于样本训练后的预测情绪分类信息；

S008：比较预测情绪分类信息与实际情绪分类信息，得到训练好的神经网络的预测准确率，并通过识别的准确率，不断修正特征融合加权公式中脑电曲线图像的特征和面部表情特征所占权重比。

2.根据权利要求1所述的多模态情绪分析方法，其特征在于，所述函数层采用的损失函数为softmax函数。

3.根据权利要求1所述的多模态情绪分析方法，其特征在于，步骤一中，通过Gabor小波变换进行面部表情特征提取包括：

通过对二维图像卷积抽取面部表情特征点的Gabor小波系数，得到2个尺度，2个方向组成的滤波器组；

以Gabor小波特征的匹配距离作为相似度的度量标准，得到面部表情特征；

所述Gabor小波变换公式如下：

其中：

s为Gabor滤波器的方向；

v为Gabor滤波器的尺度；

r＝(x,y)代表提取的像素的位置；

σ为Gabor滤波器的窗口宽度与波长的比例；

为Gabor滤波器的震荡部分；

为补偿直流分量；

P_s,v为小波向量，定义为

其中：

其中：

P_max是最大频率；

f是尺度因子。