[发明专利]一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法

说明书

本发明公开了一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法，采用人脸关键点检测模型提取人脸视频中感兴趣区域图像序列，以视频帧率为采样率对数据集中的生理信号进行重采样，然后采用滑动窗口的方法对视频和生理信号进行分段，制作人脸感兴趣区域视频片段和与之对应的生理信号的数据集；构建融合ConvLSTM和CBAM注意力机制的深度学习网络模型，ConvLSTM能够学习视频序列之间的时空特征，CBAM注意力机制能强化特征图中的重要通道的信息和关注生理信号更强烈的区域；将制作好的数据集送入网络进行训练，经过训练，选取最优模型，该模型相比传统方法能够提高复杂情况下非接触式生理信号提取的能力，提高测量精度。

技术领域

本发明涉及一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法，属于视频分析领域。

背景技术

心率是众多生理信息中最基本也是最重要的信息之一，是衡量心脏是否健康的最主要生理指标。传统的心率检测设备如心电图、脉搏血氧仪等不仅需要将设备与人体紧密贴合，容易让人产生不适，而且需要专业人员进行操作，不利于实时和长期的监测心率。相对于传统的接触式测量而言，基于视频的非接触式测量方案更加舒适、灵活和便捷，受限制条件很少，可适用于更多的场合。

人体血液中血红蛋白对光具有一定吸收能力，心脏跳动的过程会不断向血管中泵血和抽血，使得血液中血红蛋白的含量会随着心脏的跳动而发生变化，对光的吸收能力也在随之变化，人体面部皮肤下富含毛细血管，当光照射在上面时，其颜色会发生微弱变化，虽然人眼看不见，但可以通过RGB相机记录下来，这是通过人脸获取心率的理论依据。

早期的非接触式心率测量方法一般分为如下几个步骤：人脸检测并提取ROI；生理信号提取，包括基于盲源分离算法，如独立成分分析法，和基于光学反射模型的方法，如色差法以及基于皮肤平面正交法；生理信号处理，如去趋势、归一化、带通滤波等方法；心率信号估算，包括对提取的生理信号进行傅里叶变换转换到频域，计算波峰出现的频率值，或直接对信号进行峰值检测，从而得到最终心率。

然而研究表明，传统的非接触式心率检测还存在诸多难以解决的问题，如：光照变化，运动等不可控因素对视频的分析造成巨大难度。

深度学习是近年来机器学习领域一个热门研究方向，已经在计算机视觉、自然语言处理等领域获得了巨大的成功。尤其是在图像特征提取方面，深度学习模型处理复杂数据的能力十分强大，同时，注意力机制的引入，可以突出强调图像中有用区域的特征，弱化无用区域的特征，因此可以将深度学习应用于非接触式心率测量任务中。

发明内容

为了解决现有技术中的上述问题，提出了一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法，以提高非接触式心率测量的鲁棒性和泛化能力。

本发明为解决上述技术问题采用以下技术方案：

一种融合ConvLSTM和CBAM注意力机制的非接触式心率测量方法，具体步骤如下：

获取含有人脸视频、生理信号标签的数据集，并进行预处理；

构建融合ConvLSTM和CBAM注意力机制的网络模型；

利用训练完成的网络模型进行非接触式心率rPPG信号的预测；

使用巴特沃斯带通滤波器对上述预测结果进行滤波；

计算滤波后rPPG信号功率谱密度，完成rPPG的测量。

进一步，所述预处理的步骤如下：