[发明专利]基于人脸视频的心率估计方法及装置

说明书

本发明公开了一种基于人脸视频的心率估计方法及装置，通过对人脸视频的分析以估计心率值，包括对人脸视频进行预处理得到视频数据集，并分为训练集、验证集和测试集；构建包括ResNet网络和ConvLSTM网络的融合网络，ResNet网络包括瓶颈残差模块，以提高ResNet网络的性能；将训练集输入融合网络并进行训练，得到网络训练模型；将验证集输入网络训练模型进行验证，并通过损失函数计算损失，得到最终网络训练模型；将测试集输入最终网络训练模型，得到心率估计值；跨数据集测试，提高模型的精度。本发明通过在ResNet网络增加瓶颈残差模块，提高了ResNet网络的计算效率，使其能更好的训练深度较大的神经网络；通过融入ConvLSTM网络，能够充分利用全局特征，提高心率估计值的准确度。

技术领域

本发明涉及一种基于人脸视频的心率估计方法及装置，属于图像处理技术领域。

背景技术

心跳频率(又名心率)是人类最重要的生命体征。自古以来，一直通过测量心率来诊断和判断是否有疾病。近年来，心率远程监测已成为一项重要的需求和核心研究领域。应用包括对老年人的遥测监测，对早产儿、危重病人、参加体育活动的运动员等的实时监测。在此情况下，即使是训练有素的医生也不可能一直在场并监测病人的心率。为了解决这个问题，人们开始研究从面部视频估计心率，具体的，尽管人眼看不见面部区域的血流变化，但实际上视频可以捕捉到，从而通过面部视频序列测量心率。

目前，针对心率的检测方法提出了一种利用深度学习并从端到端的方案来解决非接触问题。通过多层的网络结构来提取底层的特征，形成抽象的高层表示，以发现数据的时空相关性，根据由心跳引起的面部细微颜色变化来对目标的心率进行估计。

通过一段时间之内由心脏跳动所引起的面部颜色变化频率来实现对心率的估计，在某时刻之前的一系列输入中，前一个输入和后一个输入是有一定关系的，且对估计结果都有不同程度的影响。前馈神经网络每次的输出都只依赖于当前的输入，没有考虑不同时刻输入的互相影响，所以不适用于处理时空序列问题。因此，提出了一种专门处理时间序列数据的RNN，即循环神经网络，但该网络难以处理过长的序列，即只有短期记忆而没有长期记忆，导致在心率估计过程中的准确性降低。同时，传统的ResNet网络虽然能够解决深度过大的网络难以训练的问题，但是需要引入额外的参数，例如：变换门和携带门，导致ResNet网络的运算负担加重，计算效率低下。

发明内容

本发明的目的在于提供一种基于人脸视频的心率估计方法及装置，该方法能够解决现有技术中心率估计准确率低下以及计算效率低下的问题。

为实现上述目的，本发明提供一种基于人脸视频的心率估计方法，通过对人脸视频的分析以估计心率值，包括以下步骤：

步骤1、对所述人脸视频进行预处理得到视频数据集，并将所述视频数据集分为训练集、验证集和测试集；

步骤2、构建融合网络，所述融合网络包括ResNet网络和ConvLSTM网络，所述ResNet网络包括瓶颈残差模块，以提高所述ResNet网络的性能；

步骤3、将所述训练集输入所述融合网络并进行训练，得到网络训练模型；

步骤4、将所述验证集输入所述网络训练模型进行验证，并通过损失函数计算损失，若损失不在误差范围内，则修改所述网络训练模型并返回步骤3；若损失在误差范围内，则得到最终网络训练模型；

步骤5、将所述测试集输入所述最终网络训练模型，得到心率估计值；

步骤6、跨数据集测试，以提高所述最终网络训练模型的精度以及所述心率预估值的准确度。

作为本发明的进一步改进，步骤1中预处理包括对所述人脸视频进行分割和裁剪，通过所述人脸视频的颜色变化信息对所述人脸视频进行分割，以保留所述人脸视频中的面部区域；对分割完成的人脸视频进行裁剪，得到若干个帧数相同的视频片段。