[发明专利]一种基于联合注意力与多尺度融合的心率检测方法

权利要求书

1.一种基于联合注意力与多尺度融合的心率检测方法，其特征在于，所述方法包括如下步骤：

步骤1，构建多尺度视频金字塔

将剪裁后的人脸视频通过高斯滤波和下采样操作获的不同尺度的图像序列；

步骤2，多尺度特征提取

将获取的多尺度视频序列分别输入到特征提取网络进行特征提取操作；

步骤3，多尺度特征融合

将每一个尺度下获得的特征图通过层间注意力机制进行特征融合，获得融合后的特征图；

步骤4，rPPG信号提取

将融合后的特征图输入到rPPG信号提取网络中进行信号的提取操作，获得最终的rPPG信号。

2.如权利要求1所述的一种基于联合注意力与多尺度融合的心率检测方法，其特征在于，所述步骤1中，高斯金字塔可以看作是一个低通滤波器，初步滤除运动干扰和量化噪声，通过高斯滤波和下采样操作获的不同尺度的图像序列，利用多尺度图像分析可以弥补单尺度图像分析中信息不完整的缺点，满足在不同尺度提取更完整信息的要求；对于rPPG脉冲提取任务，在单尺度分析中，将脉冲信号、噪声和运动伪影结合在一起，增加了信号分离的难度；将组合观测投影到尺度空间中，假设在某一尺度下，脉冲信号占主导地位，在其他尺度下，运动伪影占主导地位；实现了信号的初步分离，减轻了信号分离的难度。

3.如权利要求1或2所述的一种基于联合注意力与多尺度融合的心率检测方法，其特征在于，所述步骤2中，设计了一个轻量级的特征提取网络来提取不同尺度的特征，该网络包含5层，即3层卷积层、1层自适应平均池化层和1层空间-时间联合注意力STJA层，利用2DSTJA增强时空特征提取，可以在不同的尺度上提取尽可能多的特征。

4.如权利要求1或2所述的一种基于联合注意力与多尺度融合的心率检测方法，其特征在于，所述步骤3中，通过将每一层的特征图进行平均特征，根据金字塔不同层次的特征提取的差异，利用sofmax激活函数获取层间权重，根据权重值将多层特征图进行融，该方法利用层间特征的相关性来提高特征融合的效果，表示为：

α＝softmax(ODC(GAP(β)))

其中，β表示从步骤2中产生的多尺度特征图，α表示使用softmax激活函数产生一组层间联系权重，GAP表示全局平均池化，ODC表示使用卷积核大小为[1，1]的一维时间卷积，n表示图像金字塔的层数，F表示融合后的特征图。

5.如权利要求1或2所述的一种基于联合注意力与多尺度融合的心率检测方法，其特征在于，所述步骤4中，从步骤3获得的融合特征图中提取脉冲信号，利用rPPG信号的特性，采用了联合注意机制，充分利用rPPG信号在空间、信道和时间维度上的特性；包括通道-时间联合注意力CTJA和空间-时间联合注意力STJA，将CTJA和STJA相结合，构建rPPG提取网络，使rPPG信号提取更充分、更完整；rPPG提取网络的第一部分是二维卷积层，处理空间维度上的输入特征图；第二部分是一个由四个子网络组成的堆栈，用于联合维度的特征学习，子网络由最大池化层、3D卷积层、CTJA层、3D卷积层和STJA层组成，在四个子网络中，充分利用和提取了空间、时间和信道维数的相关性；最后，利用全局平均池化层和一维卷积层得到与脉冲信号大小相同的输出。

6.如权利要求5所述的一种基于联合注意力与多尺度融合的心率检测方法，其特征在于，CTJA和STJA的过程如下：

通道-时间联合注意力CTJA是将特征图上的特征通过平均操作将特征压缩到通道和时间维度，利用扩张率分别为1，2，4的扩张卷积获取更丰富的特征信息，然后利用深度可分离卷积将扩张卷积得到的信息进行整合，最后通过sigmoid激活函数获得通道-时间的联合权重，将获得权重扩充到与输入特征图同样尺寸后对应的乘到输入的特征图上，表示为：

A_weight＝σ(DSC(S))

其中，S表示由3种不同扩张率的扩张卷积得到的特征信息的联级，DSC表示深度可分离卷积，包括深度卷积(DW)和点卷积(PW)两部分，σ表示sigmoid激活函数；A_weight表示产生的通道-时间的联合权重，表示元素的乘法；

空间-时间联合注意力STJA将输入的特征图分别经过全局平均和通道平均得到D_t和D_thw，将D_t和D_thw分别在两个分支上进行卷积和sigmoid激活操作学习在时间和空间上的权重，然后将两个权重值相乘后再通道维度上复制获得与输入同等大小的权重矩阵，最后将权重矩阵作用到输入特征图上，过程为：

分别在两个分支上学习时间和空间上权重：

T_weight＝σ(conv(D_t))

B_weight＝σ(conv(D_thw))

其中，conv表示卷积操作，σ表示sigmoid激活函数；

获得空间-时间联合权重并作用到输入特征上：

其中，REP表示在通道维度上的复制，表示元素的乘法；

对于给定的人脸视频，将长视频分割成特定长度后输入到所提的算法网络以获取最终的脉搏信号输出。