[发明专利]一种基于联合注意力与多尺度融合的心率检测方法

说明书

一种基于联合注意力与多尺度融合的心率检测方法，通过构建多尺度图像序列，确保了尺度的完整性，然后从多个尺度提取信号特征，并通过层间注意力机制进行多尺度的特征融合，最后将融合后的特征送入rPPG信号提取网络。所设计的rPPG信号提取网络是由通道‑时间联合注意力(CTJA)和空间‑时间联合注意力(STJA)组成，用于提取时间、空间和通道上的信号。本发明能够有效提高心率检测精度。

技术领域

本发明涉及视频图像处理、计算机视觉、信号处理领域。具体涉及基于人脸视频的心率检测方法。

背景技术

心率是人的重要生理指标之一，经常被用来作为衡量人体生理或情绪状态的重要参数。目前常见的心率检测方法多为接触式，需要与受试者进行皮肤接触，这就使得接触式的测量方法受到使用场地的限制，对于皮肤不方便接触的群体，接触式的测量方法就不适用了。随着计算视觉技术的发展，视频图像处理技术被应用到了心率检测领域，基于非接触的视频心率检测就表现出了明显的优势，只需要摄像头就能够实现实时监测心率，更加方便快捷。现有的非接触式心率测量方法的局限性包括：1)受到单尺度感兴趣区域(ROI)的限制，网络多以单尺度图像作为输入，缺乏尺度的完整性，2)受到注意力模块的限制，注意力模块的专注于空间视角的特征提取，在时间视角的专注度较弱，缺乏时间信息的连续性和完整性。

发明内容

为了克服现有技术的不足，本发明针对现有技术的局限性，提出了一种有效提高心率检测精度的基于联合注意力与多尺度融合的心率检测方法。

为了解决上述技术问题本发明采用如下的技术方案：

一种基于联合注意力与多尺度融合的心率检测方法，所述方法包括如下步骤：

步骤1，构建多尺度视频金字塔

将剪裁后的人脸视频通过高斯滤波和下采样操作获的不同尺度的图像序列；

步骤2，多尺度特征提取

将获取的多尺度视频序列分别输入到特征提取网络进行特征提取操作；

步骤3，多尺度特征融合

将每一个尺度下获得的特征图通过层间注意力机制进行特征融合，获得融合后的特征图；

步骤4，rPPG信号提取

将融合后的特征图输入到rPPG信号提取网络中进行信号的提取操作，获得最终的rPPG信号。

进一步，所述步骤1中，高斯金字塔可以看作是一个低通滤波器，初步滤除运动干扰和量化噪声，通过高斯滤波和下采样操作获的不同尺度的图像序列，利用多尺度图像分析可以弥补单尺度图像分析中信息不完整的缺点，满足在不同尺度提取更完整信息的要求；对于rPPG脉冲提取任务，在单尺度分析中，将脉冲信号、噪声和运动伪影结合在一起，增加了信号分离的难度；将组合观测投影到尺度空间中，假设在某一尺度下，脉冲信号占主导地位，在其他尺度下，运动伪影占主导地位；实现了信号的初步分离，减轻了信号分离的难度。

更进一步，所述步骤2中，设计了一个轻量级的特征提取网络来提取不同尺度的特征，该网络包含5层，即3层卷积层、1层自适应平均池化层和1层空间-时间联合注意力STJA层，利用2D STJA增强时空特征提取，可以在不同的尺度上提取尽可能多的特征。

再进一步，所述步骤3中，通过将每一层的特征图进行平均特征，根据金字塔不同层次的特征提取的差异，利用sofmax激活函数获取层间权重，根据权重值将多层特征图进行融合。该方法利用层间特征的相关性来提高特征融合的效果，表示为：

α＝softmax(ODC(GAP(β)))