[发明专利]心率检测方法及装置

说明书

本公开涉及心率检测方法及装置。该方法包括：截取视频帧序列的各个视频帧中的人脸区域，得到各个所述视频帧对应的人脸区域图像；通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征；根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率。本公开通过截取视频帧序列的各个视频帧中的人脸区域，得到各个视频帧对应的人脸区域图像，通过卷积神经网络提取各个人脸区域图像中的皮肤区域的特征，并根据各个人脸区域图像中的皮肤区域的特征，确定视频帧序列对应的心率，由此能够提高心率检测的准确性和鲁棒性。

技术领域

本公开涉及计算机视觉领域，尤其涉及一种心率检测方法及装置。

背景技术

通过包含人脸的视频检测视频中对象的心率，是一种通过分析视频中人脸所在区域因血流变化而产生的像素RGB(Red，红；Green，绿；Blue，蓝)值变化，从而得到心率的方法。

在相关技术的基于人脸视频的心率检测方法中，通常将视频中每帧人脸区域的像素值的平均值分别作为每帧的RGB特征，再利用连续帧的RGB特征通过盲源分离或者矩阵补全等方法得到视频中对象的心率。这类方法的缺陷在于，直接通过每帧中人脸区域的RGB特征得到每帧的心率相关特征，容易由于环境光照改变或者人脸表情变化等原因而不能真实反映心率信号，鲁棒性较差。此外，由于人脸中各部分血流变化对RGB的反应程度不一样，一些较能表现血流变化的区域常常会因与其他部分平均之后使得信号变得微弱，导致心率检测的准确性较低。

发明内容

有鉴于此，本公开提出了一种心率检测方法及装置，以提高心率检测的准确性和鲁棒性。

根据本公开的一方面，提供了一种心率检测方法，包括：

截取视频帧序列的各个视频帧中的人脸区域，得到各个所述视频帧对应的人脸区域图像；

通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征；

根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率。

在一种可能的实现方式中，根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率，包括：

根据所述视频帧序列对应的各个人脸区域图像中的皮肤区域的特征，确定多组连续帧对应的特征；

将多组连续帧对应的特征输入全连接神经网络中，得到所述视频帧序列对应的心率。

在一种可能的实现方式中，通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征，包括：

根据所述卷积神经网络的输入帧率，调整所述视频帧序列对应的人脸区域图像序列的帧率，其中，所述人脸区域图像序列为根据所述视频帧序列对应的各个所述人脸区域图像得到的图像序列；

将调整帧率后的所述人脸区域图像序列输入所述卷积神经网络中，得到所述人脸区域图像序列中的各个人脸区域图像中的皮肤区域的特征。

在一种可能的实现方式中，在通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征之前，所述方法还包括：

采用训练数据集训练卷积神经网络和全连接神经网络，其中，所述训练数据集包括人脸视频帧序列和所述人脸视频帧序列对应的心率。

根据本公开的另一方面，提供了一种心率检测装置，包括：

截取模块，用于截取视频帧序列的各个视频帧中的人脸区域，得到各个所述视频帧对应的人脸区域图像；

特征提取模块，用于通过卷积神经网络提取各个所述人脸区域图像中的皮肤区域的特征；

心率确定模块，用于根据各个所述人脸区域图像中的皮肤区域的特征，确定所述视频帧序列对应的心率。