[发明专利]一种基于卷积神经网络的非接触式心率测量方法

摘要

本发明公开了一种基于卷积神经网络的非接触式心率测量方法，其步骤包括：1根据ECG信号或BVP信号的峰峰值间距信息构造反映人体心率变化的预训练图像；2调整模型结构，使用在ImageNet数据集上预训练好的参数初始化卷积神经网络；3将上述预训练图像作为训练集输入卷积神经网络进行训练，调整网络参数；4使用真实人脸视频生成反映人体心率变化的时空特征图像；5将时空特征图像输入到卷积神经网络中进行训练，调整网络参数，最终得到最优心率预测模型。本发明能提高在复杂场景下心率测量的准确性和鲁棒性。

主权项

1.一种基于卷积神经网络的非接触式心率测量方法，其特征在于，包括以下步骤：步骤一、根据ECG信号或BVP信号的峰峰值间距信息构造反映人体心率变化的预训练图像；步骤1.1、在当前时间窗内对所述ECG信号或BVP信号进行峰值检测，得到波峰位置序列；再计算相邻波峰间的差值得到峰峰值间隔序列，记为A＝[A₁,A₂,...,A_N‑1]；A_N‑1表示所述波峰位置序列中第N个波峰位置与第N‑1个波峰位置之间的差值；步骤1.2、使用峰峰值间隔序列A构造第一关键点序列C¹和第二关键点序列C²，分别记为和步骤1.3、利用式(1)对所述第一关键点序列C¹进行累加求和，得到模拟心率曲线的波峰坐标序列X＝{X_i‑1|i＝2,...,N+2}：式(1)中，C¹(j)表示所述第一关键点序列C¹中第j个元素；X_i‑1表示波峰坐标序列X中第i‑1个坐标点，j＝1,2,…,i‑1；i＝2,...,N+2；步骤1.4、利用式(2)对所述第二关键点序列C²进行累加求和，得到模拟心率曲线的波谷坐标序列Y＝{Y_n‑1|n＝2,...,N}：式(2)中，C²(j)表示所述第二关键点序列C²中第j个元素；Y_n‑1表示波谷坐标序列Y中第n‑1个坐标点，j＝1,2,…,n‑1；n＝2,...,N；步骤1.5、利用式(3)定义模拟心率曲线的插值节点序列Z：式(3)中，模拟心率曲线的波峰值设置为1，波谷值设置为‑1，a₀和a₁为0至1之间的随机数；步骤1.6、设置当前时间窗的长度为N，采样频率为P，利用插值的方式对所述插值节点序列Z建立模拟心率曲线，其中所述模拟心率曲线包含N×P个采样点；步骤1.7、设置滑动窗的长度为N/2，从所述模拟心率曲线的第一个采样点开始，依次在向N×P个采样点滑动一个采样点的过程中分别截取长度为N/2的信号，从而截取到M段模拟心率曲线,其中M＝(N×P)/2；步骤1.8、将截取的M段模拟心率曲线依次纵向排列，得到一个维度为M×M的矩阵；将所述矩阵转化为灰度图像，并作为当前时间窗的预训练图像H；步骤1.9、将所述ECG信号或BVP信号平均分成T段，依次计算每段信号内的心率平均值并构成相应预训练图像H的标签序列[L₁,L₂,...,L_T]；L_T表示第T段信号的标签；步骤1.10、以不同时间窗选取ECG信号或BVP信号后，按照步骤1.1‑步骤1.9进行处理，从而得到预训练图像数据集其中，H_s表示第s张预训练图像；s＝1,2,…,S；S表示预训练图像数据集中的图像总数；步骤二、令卷积神经网络的输出层单元个数为T；采用ImageNet数据集对所述卷积神经网络的权重进行初始化；步骤三、将预训练图像输入卷积神经网络进行训练，并调整参数；步骤3.1、将卷积神经网络的最后一层参数设置为可训练，其余层的参数设置为不可训练；步骤3.2、将第s张预训练图像H_s作为卷积神经网络的输入，对所述卷积神经网络进行训练，从而得到第s次训练后的卷积神经网络，并输出第s次训练后的T个预测心率值；步骤3.3、根据所述第s次训练后的T个预测心率值与对应预训练图像的标签序列得到第s次训练误差值，从而根据所述第s次训练误差值调整网络参数后，再进行第s+1次训练，直到误差值在连续I个训练周期内不再下降为止；步骤3.4、设置卷积神经网络的全部参数为可训练，重复步骤3.2和步骤3.2，直到误差值在连续I个训练周期内不再下降为止，从而得到初步最优心率预测模型；步骤四、使用真实人脸视频生成反映人体心率变化的时空特征图像；步骤4.1、在时间段E内获取采样率为L的视频数据，并通过人脸检测及追踪算法识别和追踪所述视频数据中每一帧图像的面部区域，再从面部区域中选取3个不同的人脸感兴趣区域；步骤4.2、对所选取的第g个人脸感兴趣区域分别计算每一帧图像中红色通道、绿色通道、蓝色通道内全部像素的均值，得到3个长度为E×L的一维时间序列；g∈{1,2,3}；步骤4.3、使用非接触式心率测量算法对3个一维时间序列进行处理，得到处理后的近似心率信号R^g；步骤4.4、设置滑动窗的长度为E×L；步骤4.5、每次向后滑动一个采样点后，截取长度为E×L视频数据，并按照步骤4.1‑步骤4.3进行处理，得到一段近似心率信号；步骤4.6、按照步骤4.5重复E×L次，从而得到K段近似心率信号,记为其中，K＝E×L，表示所述第g个感兴趣区域内所产生的第K段近似心率信号；步骤4.7、对K段近似心率信号纵向排列，得到1个维度为K×K的矩阵；步骤4.8、按照步骤4.2‑步骤4.7的处理过程，最终得到3个维度为K×K的矩阵；对3个维度为K×K的矩阵以深度方向排列，得到维度为K×K×3的矩阵；将维度为K×K×3的矩阵转化为彩色图像，并作为时间段E内的时空特征图像步骤4.9、将时间段E内的视频数据所对应的ECG信号或BVP信号平均分成T段，并分别计算每段内的心率平均值，从而构成相应时空特征图像的标签其中，表示第T段对应的标签；步骤4.10、选择不同的时间段内的视频数据，并按照步骤4.1‑步骤4.9处理，从而得到时空特征图像数据集表示第q个时空特征图像，q＝1,2,…,Q；Q表示时空特征图像数据集中的图像总数；步骤五、将时空特征图像集输入到初步最优心率预测模型中进行训练，并调整网络参数，从而得到最优心率预测模型：步骤5.1、设置初步最优心率预测模型中全部参数为可训练；步骤5.2、将第q个时空特征图像作为初步最优心率预测模型的输入，对所述初步最优心率预测模型进行训练，从而得到第q次训练后的初步最优卷积神经网络，并输出第q次训练后的T个初步最优预测心率值；步骤5.3、根据所述第q次训练后的T个初步最优预测心率值与对应时空特征图像的标签序列得到第q次训练的误差值，从而根据所述第q次训练的误差值调整初步最优心率预测模型后再进行第q+1次训练，直到误差值在连续I′个训练周期内不再下降为止，从而得到最优心率预测模型；进而以所述最优心率预测模型实现非接触式心率测量。