[发明专利]基于面部特征点与面部运动单元的抑郁检测方法和系统

权利要求书

1.一种基于面部特征点与面部运动单元的抑郁检测方法，其特征在于，该方法包括：

基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据；

对面部运动单元数据进行标准化处理，得到面部运动单元特征向量；

对面部特征点数据降维，并利用通道注意力机制对降维后的面部特征点数据进行处理，得到面部特征点特征向量；

将面部运动单元特征向量与面部特征点特征向量进行融合，并利用空间注意力分配注意力权重，得到面部融合特征向量；

将面部融合特征向量输入特征展平层，得到抑郁状态检测结果。

2.如权利要求1所述的一种基于面部特征点与面部运动单元的抑郁检测方法，其特征在于，所述基于临床半结构化抑郁访谈视频，提取面部运动单元数据和面部特征点数据，包括：

通过点分布模型追踪视频中人脸，通过选择缩放进行人脸对齐操作；再利用可变型部件模型提取面部外观特征与几何特征；最后，使用支持向量机与支持向量回归检测各面部运动单元的出现的概率，且当概率大于阈值时，表示出现该运动单元。

3.如权利要求1所述的一种基于面部特征点与面部运动单元的抑郁检测方法，其特征在于，所述对面部运动单元数据进行标准化处理，得到面部运动单元特征向量，包括：

以时间序列索引最短的样本视频长度为标准，按比例将其余样本视频缩放至同一尺度；

通过softmax函数将同一样本内各运动单元统计数值压缩至(0,1)区间内，得到各面部运动单元之间的数量相对关系；

依据面部运动单元间的数量相对关系去除出现次数最高的面部运动单元，再对所有数据进行统一归一化处理，得到面部运动单元特征向量。

4.如权利要求1所述的一种基于面部特征点与面部运动单元的抑郁检测方法，其特征在于，所述对面部特征点数据降维，包括：

将经过T次采样的M维数据转化为T×M面部特征点矩阵

按中心化公式对进行中心化，得到中心化矩阵

基于中心化矩阵计算得到各维度的方差与两两维度之间的协方差，得到协方差矩阵C；

计算协方差矩阵C的特征值λ_i,i＝1,2,...,e及其对应的正交化特征向量P_i,i＝1,2,...,e，将特征值按λ₁＞λ₂＞...＞λ_e＞0顺序排列；

分别对协方差矩阵各个特征值计算其贡献率，将所有特征值贡献率进行相加，求累计贡献率G(k)，保留G(k)为98％的前主成分，且提取累计贡献率所对应的前k特征向量进行矩阵变换，将选择的特征向量与头部特征矩阵X^L_T×M点乘，得到目标特征矩阵L_K×M；

使用决策树模型确定面部特征点矩阵的主成分维度值，循环遍历G(k)为98％时包含的维度数值，随机产生包含不同数量主成分的特征向量集，输入训练决策树模型进行抑郁状态监测二分类实验，将决策树模型的分类结果作为向量特征子集性能评价的标准，选择使决策树模型获得最优分类指标的主成分维度K，并以此选择面部特征点对应特征值的前K个主成分；

且利用通道注意力机制对降维后的面部特征点数据进行处理，包括：

将经过主成分分析后所得的面部特征点数据利用特征映射投射至不同通道上，提取各尺度下面部特征点特征图信息。

L＝Conv_fm(Y^L)

其中，L∈R^C×H×W代表通过主成分分析处理的面部特征点数据Y^L被Conv_fm映射到C通道上大小H×W为特征图；

通过自适应的通道注意力机制调整不同通道的权重分配，提取并选择有利于区分是否具有抑郁状态的面部特征点特征：

CAtt(L)＝σ(Conv_c3(Conv_c2(Conv_c1(L))+Conv_c1(L)))

其中，CAtt(L)为通过通道注意力机制后各通道所的权重分布，表示同位元素积运算，L′为具有不同权重的面部特征点数据，σ表示sigmoid激活函数，Conv_cn代表通道卷积神经网络层，n为卷积层层数。