[发明专利]一种基于人脸视频处理的心率检测方法

摘要

本发明公开了一种基于人脸视频处理的心率检测方法，其实现过程是：（1）控制摄像头采集10s正对人脸的视频；（2）对采集的视频进行人脸特征点检测与跟踪，以及倾斜校正，得到稳定的人脸视频；（3）对人脸视频进行色彩空间转换；（4）利用视频颜色放大从人脸视频中提取干净的BVP信号；（5）对BVP进行迭代的频域分析，计算BVP信号的频率，以此估计心率。本发明利用人脸特征点检测与跟踪消除了背景和头部刚性运动的干扰，并通过视频颜色放大提取干净的血液容积脉搏BVP信号，而后进行迭代的心率估计，提高了心率检测的准确性，同时保证了很好的鲁棒性，可用于包括合作与非合作情况的真实场景下的非接触式心率检测。

主权项

一种基于人脸视频处理的心率检测方法，其特征在于：包括以下步骤：(1)、将一台普通的网络摄像头放置于正对人脸前方0.5m的位置，也可以架在计算机显示器的上方，摄像头与计算机之间用USB进行连接；操作者利用Matlab软件控制摄像头拍摄视频，确保人脸完全处于视频画面以内，所有视频以640×480的分辨率、30帧/秒的帧率和RGB彩色空间持续采集10秒，并保存成AVI格式；(2)、对采集的视频进行人脸特征点检测与跟踪，并加入倾斜校正操作，获得稳定的人脸视频，具体过程如下：(2a)、将输入视频的第一帧作为参考图像，首先通过OpenCV中的Viola‑Jones人脸检测器检测出矩形的人脸区域，获得矩形框四个顶点F1的坐标；然后利用鲁棒的判别响应图拟合方法识别出人脸局部关键器官的位置，包括眉毛、眼睛、鼻子、嘴巴和脸颊部位，并标记出66个面部特征点D1，用于后续的点跟踪处理；(2b)、在Kanade‑Lucas‑Tomasi算法框架下跟踪DRMF方法检测的特征点，首先，用第一帧图像及其对应的特征点初始化跟踪过程；然后，对第i帧图像，利用KLT算法跟踪特征点的位置，记为：D_i＝[d₁(i),d₂(i),…,d_m(i)]，其中，i＝2,3,4…，m是特征点的数目，取值范围为1～66；d_m(i)是一个向量，表示第i帧图像第m个特征点的坐标；至此，相邻两帧图像的特征点之间存在一个近似的2维几何变换，即D_i＝T_iD_i‑1，其中T_i是变换矩阵；用MLESAC算法估计变换矩阵T_i并作用于人脸边框，更新边框的四个顶点：F_i＝T_iF_i‑1，其中F_i＝[f₁(i),f₂(i),f₃(i),f₄(i)]，是一个二维矩阵，f₁(i)、f₂(i)、f₃(i)和f₄(i)分别表示第i帧图像人脸边框的左上、右上、右下和左下4个顶点的坐标；(2c)、在所有帧图像中，由顶点坐标确定人脸区域，进而计算出人脸的倾斜角度θ；最后根据θ大小对人脸图像进行相应的旋转，实现自适应地倾斜校正；(2d)、按照每帧图像的顶点坐标和校正后的图像，对人脸区域进行裁剪，输出图像序列并保存成avi视频，为了避免眨眼对血液容积脉搏(BVP)信号的破坏，眼睛以下的脸颊区域被标记为感兴趣区域ROI；以上操作能够避免三种异常情况：①当人脸保持静止时，前后帧被检测出的矩形框可能轻微地偏移；②当人脸发生旋转等刚性运动时，易出现检测不到人脸区域或检测的区域没有对应人脸位置的情况；③当眨眼的时候，会破坏BVP的波形；(3)、将人脸视频的色彩空间由RGB转换为YIQ，使图像的亮度信息和色度信息分开，便于亮度和色度的单独处理。YIQ是NTSC彩色电视系统使用的色彩空间，其中Y通道存储图像的亮度Luminance信息，I和Q通道存储图像的色度chrominance信息。I表示从橙色到青色的颜色变化，Q表示从紫色到黄绿色的颜色变化。RGB和YIQ的转换关系如下式所示：$\left[\begin{array}{c}Y\\ I\\ Q\end{array}\right]=\left[\begin{array}{ccc}0.299& 0.587& 0.114\\ 0.596& -0.274& -0.322\\ 0.211& -0.523& 0.312\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right];$(4)、对YIQ色彩空间的视频进行颜色放大，以提取干净的脸部血液容积脉搏BVP信号，过程如下：(4a)、空间分解：利用一种多尺度的图像高斯金字塔分解方法对视频进行空间分解，它通过对每帧图像进行连续地高斯平滑和降采样，得到多个层次的子带集合；在分解过程中，高斯金字塔将信号的尺度一层层精细，能够更加完整地提取出BVP信号；因此对视频的每帧图像都进行指定层数L的高斯金字塔分解，即可获得包含BVP的第L层子带序列，指定的金字塔分解层数L由下式计算：$L=round\left\{\frac{{\log }_2\left(min\right(h,w))}{2}\right\},$其中h和w是原始图像的高和宽，round表示四舍五入，视频空间分解的步骤如下：①输入第j(j＝1,2,3…)帧图像作为第0层，计算分解层数L；②对前一层图像先进行高斯滤波，后降采样，图像尺寸变为原来的1/4，记为次一层；③将步骤②迭代执行L‑1次，得到第L层子带图像；④j＝j+1，循环执行以上步骤，输出子带序列；(4b)、时间带通滤波：利用理想的带通滤波器Ideal Bandpass Filter对子带序列进行时间滤波，通频带为0.83～2Hz，对应心率50～120bpm；(4c)、放大和重构：针对滤波后的子带序列，将Y通道的幅值减小为0，I和Q通道的幅值分别放大100倍，使人脸皮肤颜色变化信号能够被人眼所感知，而运动变化信号被衰减；然后将每一帧子带都扩展为原始人脸图像的尺寸，输出BVP图像序列；(4d)、BVP信号提取：选取BVP图像序列的脸颊ROI，只计算Q通道的空间像素平均值，提取出血液容积脉冲波B：$\begin{array}{c}B=\left\{b_s\right|s=1,2,3...\}\\ =\left\{\left(\underset{z=1}{\overset{M}{\mathrm{\&Sigma;}}}{x}_s\right(z)\right)/M|s=1,2,3...\}\end{array},$其中b_s是第s帧的像素平均值，x_s(z)表示第s帧脸颊ROI的第z个像素值，M是第s帧脸颊ROI的像素点数目；选取Q通道的原因：波长在540～577nm范围内的黄绿光被血红蛋白吸收的较多，且黄绿光处于Q通道的颜色范围，因此皮肤血液容积的变化会导致Q通道发生更大的波动；(5)、对血液容积脉冲波B进行频域分析，通过迭代的方式精确估计BVP的心率，过程如下：(5a)、计算功率谱：选择样本数N为300的BVP信号B，利用快速傅里叶变换(FFT)计算B的功率谱P为：F(t)＝FFT(B)P_bvp(t)＝|F(t)|²,t＝0,1,...,N‑1，分析功率谱P中对应最高功率的频率T为：$T=\arg \underset{t}{max}\left\{P_{bvp}\left(t\right)\right\},$(5b)、傅里叶系数插值：首先，初始化误差e₀＝0，迭代次数Q＝50；然后进行循环，循环操作如下：for(k＝1；k<＝Q；k++){$S_d=\underset{n=0}{\overset{N-1}{\&Sigma;}}B\left(n\right)e^{\frac{-j2\mathrm{\&pi;}n(T+e_{k-1}+d)}{N}},$其中d＝±0.5e_k＝e_k‑1+r(e_k‑1)，其中$r\left(e_{k-1}\right)=0.5*\frac{\left|S_{+0.5}\right|-\left|S_{-0.5}\right|}{\left|S_{+0.5}\right|+\left|S_{-0.5}\right|}$}输出迭代后的误差e_Q；最后对误差进行补偿，得到估计的心率为：${\mathrm{HR}}_{bvp}=60*\frac{T+e_Q}{N}{f}_s,$其中f_s为采样频率。