[发明专利]基于人脸视频实时显示脉象波形的方法和系统

权利要求书

1.基于人脸视频实时显示脉象波形的方法，其特征在于，包括以下步骤：

(1)采集人脸视频及标准脉象；

(2)对采集的人脸视频图像进行检测与区域追踪；

(3)颜色空间转换：将采集到的人脸视频图像由RGB空间转换为HSV空间；

(4)欧拉视频放大处理：人脸视频图像转换到HSV空间后，将脉动引起的颜色变化信号进行放大处理，得到放大变化后的合成信号；

(5)RGB通道分离生成初始脉搏波：将经过欧拉视频放大处理的视频中每帧图像分离成R、G、B三个通道，获得视频不同通道像素值的时间序列，生成初始脉搏波；

(6)对初始脉搏波信号进行去噪处理；

(7)脉搏波希尔伯特-黄转换：将去噪后的脉搏波信号先进行总体经验模态分解，然后将分解后的每个IMF分量进行希尔伯特-黄转换，得到每个IMF分量随时间变化的瞬时频率和瞬时幅值，由此可以得到一个脉搏波的频率-幅度-能量分布图，即希尔伯特谱；

(8)构建条件生成对抗网络：条件生成对抗网络包括生成模型、判别模型和损失函数三部分，生成模型的输入为希尔伯特谱和混入的随机噪声，输出为优化的脉象波形的希尔伯特谱；判别模型随机接收来自生成模型输出的脉象波形或标准脉象数据集的标准脉象波形的希尔伯特谱，并判断输入的信号是来自于标准数据集还是生成模型的输出信号，生成模型与判别模型形成对抗训练，经过不断优化生成对抗网络的参数，最终实现更好的人脸脉象波形的输出；损失函数对判别模型的输出计算损失概率，根据损失概率的大小设定阀值判断输出的真假；

(9)训练条件生成对抗网络：利用人脸视频生成的脉搏波与同时采集的标准脉象波形组成成对的训练数据，累积得到一个训练数据批数据；当训练批数据达到数据量要求时，完成一轮条件生成对抗网络的训练，并更新网络参数；循环执行训练批数据采集和对抗训练过程，直到损失函数的值满足预设的阀值，即完成对抗网络训练；

(10)重构脉象波形：当判别模型的损失函数值小于预先设定的阀值时，生成对抗网络模型的训练完成，则可通过对生成模型输出的脉象波形的希尔伯特谱进行逆希尔伯特变换，重构得到脉象波形，并实时显示。

2.如权利要求1所述的基于人脸视频实时显示脉象波形的方法，其特征在于，步骤(4)所述的欧拉视频放大处理包括以下步骤：

a.空间分解：通过图像金字塔来实现，图像金字塔每一层图像均由底层图像进行采样得到；

b.时域滤波：利用时域带通滤波器对视频信号进行滤波，得到感兴趣的脉搏搏动的变化信号；

c.放大处理：经过带通滤波输出的变化信号进行放大，得到颜色放大的目标信号；

d.视频重构：合成不同分辨率下放大后的变化信号，并与原图像叠加得到最后的输出结果。

3.如权利要求1所述的基于人脸视频实时显示脉象波形的方法，其特征在于，步骤(7)所述总体经验模态分解的过程如下：去噪后的脉搏波信号数据中加入高斯白噪声，然后分解带高斯白噪声的时间序列，得到各IMF分量，每次加入不同的高斯白噪声，然后各IMF分量分别取均值，得到最终的IMF分量。

4.基于人脸视频实时显示脉象波形的系统，其特征在于，包括人脸视频采集模块、视频放大模块、脉搏波特征构建模块、标准脉象数据集、条件生成对抗网络模块、脉象波形重构模块，所述的人脸视频采集模块与视频放大模块连接，视频放大模块与脉搏波特征构建模块连接，所述条件生成对抗网络模块分别与脉搏波特征构建模块、标准脉象数据集、脉象波形重构模块连接；所述生成对抗网络模块接收来自脉搏波特征构建模块输出的数据与标准脉象数据集的数据，并形成对抗训练，得到优化的对抗网络参数；脉象波形重构模块接收优化的对抗网络参数对脉象波形进行重构转换，完成脉象波形的实时显示。

5.如权利要求4所述的基于人脸视频实时显示脉象波形的系统，其特征在于，所述的人脸视频采集模块采用智能手机摄像头或其他摄像头自动检测定位人脸区域并实时录制小段视频，传输至人脸视频放大模块。