[发明专利]基于人脸视频的心率估计方法及装置

权利要求书

1.一种基于人脸视频的心率估计方法，通过对人脸视频的分析以估计心率值，其特征在于，包括以下步骤：

步骤1、对所述人脸视频进行预处理得到视频数据集，并将所述视频数据集分为训练集、验证集和测试集；

步骤2、构建融合网络，所述融合网络包括ResNet网络和ConvLSTM网络，所述ResNet网络包括瓶颈残差模块，以提高所述ResNet网络的性能；

步骤3、将所述训练集输入所述融合网络并进行训练，得到网络训练模型；

步骤4、将所述验证集输入所述网络训练模型进行验证，并通过损失函数计算损失，若损失不在误差范围内，则修改所述网络训练模型并返回步骤3；若损失在误差范围内，则得到最终网络训练模型；

步骤5、将所述测试集输入所述最终网络训练模型，得到心率估计值；

步骤6、跨数据集测试，以提高所述最终网络训练模型的精度以及所述心率预估值的准确度。

2.根据权利要求1所述的基于人脸视频的心率估计方法，其特征在于：步骤1中预处理包括对所述人脸视频进行分割和裁剪，通过所述人脸视频的颜色变化信息对所述人脸视频进行分割，以保留所述人脸视频中的面部区域；对分割完成的人脸视频进行裁剪，得到若干个帧数相同的视频片段。

3.根据权利要求2所述的基于人脸视频的心率估计方法，其特征在于：步骤1中预处理还包括计算所述视频片段的时空图，具体的：所述视频片段中不同帧之间的面部区域对齐，且将所述面部区域转化为YUV颜色空间，同时将所述面部区域划分为若干个ROI块，其中，第t帧第i个ROI块的平均颜色值为：

其中，C(x,y,t)表示来自所述YUV颜色空间不同维度的第t帧处的(x,y)值，|ROI_i|表示第i个ROI块的面积，串联同一位置但不同帧的ROI块的平均颜色值，以得到该位置的时间序列，对若干个所述时间序列进行排列，以得到所述时空图。

4.根据权利要求3所述的基于人脸视频的心率估计方法，其特征在于：所述YUV颜色空间变换具体为：

5.根据权利要求3所述的基于人脸视频的心率估计方法，其特征在于：对所述时间序列进行归一化处理，并将时间序列的值缩放为[0,255]，所述训练集、验证集和测试集中均包括若干个所述时空图。

6.根据权利要求1所述的基于人脸视频的心率估计方法，其特征在于：步骤2中所述融合网络以ResNet网络为主干并在所述ResNet网络中融入ConvLSTM网络，所述ResNet网络包括最大池化层、模块层、全连接层和平均池化层，所述ConvLSTM网络设于所述模块层和全连接层之间，所述融合网络还包括设于所述ConvLSTM网络和全连接层之间的门控循环单元，所述模块层设有四个且均包括所述瓶颈残差模块。

7.根据权利要求6所述的基于人脸视频的心率估计方法，其特征在于：所述门控循环单元包括一个复位门和一个更新门，所述瓶颈残差模块包括三个卷积层，卷积核大小分别为1×1、3×3和1×1。

8.根据权利要求6所述的基于人脸视频的心率估计方法，其特征在于：所述ConvLSTM网络的计算公式为：

其中，*代表卷积操作；代表哈达玛运算；f为遗忘门；i为输入门；o为输出门，C为记忆单元，σ为sigmoid神经网络层，b为偏执项，t表示时刻，X为输入，W为权重，H为隐含层输入。