[发明专利]一种基于视频的人体心率及面部血容积精确检测方法和系统

说明书

本发明公开了一种基于视频的心率及脸部血液容积精确检测方法和系统，首先，对包含人面部的视频帧图像进行人脸检测，并提取时间维度上的人脸图像序列以及面部关键位置点，得到时间维度上面部总体信号和面部roi信号集合；其次，构建并训练心率预测模型，并根据所提取的面部关键位置点，定位并提取额头、面颊位置的数据，得到时间维度上面部关键位置图像序列，对该序列进行压缩得到时间维度上的面部信号，将该信号作为心率预测模型的输入样本；再次，基于面部总体信号和面部roi信号集合，检测面部血液容积分布；最后，分别采用心率预测模型和频谱分析方法检测心率值，融合检测结果，使检测方法具备了很强的鲁棒性，适用于较为复杂的应用场景。

技术领域

本发明涉及利用摄像头采集人面部视频，基于图像处理、深度学习以及信号处理技术，精确检测人体心率和面部血液容积分布。

背景技术

人体心率和面部血液容积分布是衡量人体生理健康程度的重要指标。目前，测量人体心率主要方式是心电信号检测、光电信号检测等手段，这些检测手段的共同特征是需要检测设备紧贴人体皮肤，通过皮肤电位变化信号或者血液容积信号对心率进行检测，但是被测量者需要佩戴传感器这一局限，限制了该测量方式的适用范围。目前，通过摄像头进行远端人体生理指标检测成为了当前研究的热点，由于外界环境的复杂性容易对远端检测方式容易造成干扰，为了消除上述干扰，通常单独或者综合采用小波分解、独立成分分析(ICA)、主成分分析(PCA)以及希尔伯特黄变换(HHT)等信号分解方法去除噪声，然而在外界噪声较强时，依靠信号分解方法不能很好的消除掉噪声影响，主要基于以下2点原因：1、信号分解模型往往是通用分解算法，未引入人体心率生理特征这一先验信息；2、对分解结果的选择上依赖主观判断，即从分解结果中选择最接近心率特征的信号，缺乏客观依据。为了提高检测方法的鲁棒性和精确性，本发明采用深度学习技术、频谱分析以及相关计算方法对人体心率和面部血液容积分布进行检测，并采用卡尔曼滤波算法融合心率检测结果，实现对人体心率的精确检测。

发明内容

为了提高人体心率和面部血液容积分布检测效益，本发明提出了一种新的人体心率和面部血液容积分布检测方法和系统，该方法基于摄像头采集的人脸视频，对视频中面部数据进行分析、处理，通过模型预测以及信号处理的方式，实现人体心率及面部血液容积分布检测。

本发明通过以下技术方案来实现：一种基于视频的人体心率及面部血容积精确检测方法，该方法包括以下步骤：

(1)检测视频帧图像中人面部区域，提取时间维度上人脸图像序列和面部关键位置点；基于人脸图像序列提取面部总体信号和面部roi信号集合；对信号进行预处理；

(2)基于预处理后的面部roi信号集合，计算心率值和面部血液容积分布；

(3)利用基于LSTM和残差卷积神经网络模型构建的多模态心率检测模型；得到基于心率分布概率的预测心率值；

(4)基于卡尔曼滤波方法融合步骤(2)和步骤(3)的心率结果，得到融合心率检测结果。

本发明还公开了一种基于视频的人体心率及面部血容积精确检测系统，其特征在于包括：

图像检测模块，其用于检测视频帧图像中人面部区域，提取时间维度上人脸图像序列和面部关键位置点；基于人脸图像序列提取面部总体信号和面部roi信号集合；

预处理模块，对图像检测模块提取的面部总体信号和面部roi信号进行预处理；

基于频谱的心率计算模块，其基于预处理后的面部roi信号集合，采用线性加权的方式计算参考信号，并计算参考信号频谱，根据频谱峰值得到心率值，并根据参考信号频谱和面部roi信号频谱计算面部血液容积分布；

多模态心率检测模型，其基于LSTM和残差卷积神经网络模型构建，用于得到基于心率分布概率的预测心率值；