[发明专利]一种基于视频的人体心率及面部血容积精确检测方法和系统

权利要求书

1.一种基于视频的人体心率及面部血容积精确检测方法，其特征在于所述方法包括以下步骤：

(1)检测视频帧图像中人面部区域，提取时间维度上人脸图像序列和面部关键位置点；基于人脸图像序列提取面部总体信号和面部roi信号集合；对信号进行预处理；

所述的步骤(1)具体为：

(1.1)采用卷积网络模型检测视频帧图像中人面部区域和面部关键点，分别生成时间维度上人脸图像序列和面部关键位置点序列；

(1.2)基于上述人脸图像序列，分别提取面部总体信号和面部roi信号集合；面部总体信号计算如公式3所示，其中：face_sig为压缩后的信号，PCompress()为压缩函数，用于计算人脸图像序列中每一幅人脸图像的平均像素强度，face_seq为人脸图像序列；

face_sig＝PCompress(face_seq) (3)

采用R×R大小的roi子块划分人脸图像，得到时间维度上的roi子块图像序列，如公式4所示，其中：face_roi_i表示第i个roi子块图像序列，face_roi_seq为所有roi子块图像序列构成的集合，m×n为roi子块数量；

face_roi_seq＝{face_roi₁,face_roi₂,...,face_roi_i,...,face_roi_m×n} (4)

对每个roi子块图像序列进行压缩，如公式5所示，其中：face_roi_seq为所有roi子块图像序列构成的集合，PCompress()为压缩函数，用于计算集合中每一个roi子块图像序列对应的时间维度上的平均像素强度信号，face_roi_sig为压缩后得到的信号集合，即面部roi子块信号集合，其中每一个元素为roi子块图像序列压缩得到的信号；

face_roi_sig＝PCompress(face_roi_seq) (5)

其中：

face_roi_sig＝{face_roi_sig₁,...,face_roi_sig_i,...,face_roi_sig_m×n} (6)

公式6中，face_roi_sig_i为第i个roi子块图像序列对应的压缩后的信号，m×n为roi子块数量；

(1.3)对面部总体信号和面部roi信号集合进行预处理，消除指定频率范围以外的噪声信号；

(2)基于预处理后的面部roi信号集合，计算心率值和面部血液容积分布；

(3)利用基于LSTM和残差卷积神经网络模型构建的多模态心率检测模型；得到基于心率分布概率的预测心率值；

(4)基于卡尔曼滤波方法融合步骤(2)和步骤(3)的心率值结果，得到融合心率值检测结果。

2.根据权利要求1所述的基于视频的人体心率及面部血容积精确检测方法，其特征在于所述的步骤(2)具体为：

(2.1)采用线性加权的方式计算参考信号，如公式9所示，其中：sig_ref为参考信号，roi_sig_r为预处理后的面部roi信号集合，m×n为roi子块数量；

weight_set＝{w₁,w₂,…,w_i,…,w_m×n}

roi_sig_r＝sigprocess(face_roi_sig) (8)

其中：weight_set为计算得到的权重集合；sigprocess()为信号预处理函数；

(2.2)基于参考信号，采用lomb-scargle谱分析方法计算参考信号频谱，基于此得到心率值，心率值对应于频谱峰值；

(2.3)计算面部血液容积分布。