[发明专利]基于人脸视频实时显示脉象波形的方法和系统

说明书

本发明公开一种基于人脸视频实时显示脉象波形的方法和系统，包括以下步骤：（1）采集人脸视频及标准脉象；（2）对采集的人脸视频图像进行检测与区域追踪；（3）进行颜色空间转换；（4）欧拉视频放大处理；（5）RGB通道分离生成初始脉搏波；（6）对初始脉搏波信号进行去噪处理；（7）脉搏波希尔伯特‑黄转换得到希尔伯特谱；（8）构建条件生成对抗网络；（9）训练条件生成对抗网络；（10）重构脉象波形。本发明只需要采集人脸视频就可以直观地显示脉象波形，使用便捷，适用性广。

技术领域

本发明涉及计算机视觉技术领域，具体指一种基于人脸视频实时显示脉象波形的方法和系统。

背景技术

人体动脉遍布全身，而脉搏波是反映机体生理状态或病理状态的一种信息窗口。人体是个统一的整体，各组织、器官、系统的功能状态会直接或间接影响心血管系统，而脉搏波是心脏的张缩形成的脉动流所致的压力脉动和血液流量共同作用形成，其携带着机体全身各部分的信息向全身各处传播。通过采集脉搏波，分析其携带的信息特征，即可对机体整体状态做出判断。脉搏波是传统中医脉诊的重要载体，传统中医通过利用手指感触患者腕部实现脉象信息的获取，随着技术的发展，现在有利用压力传感器接触手腕的方法获取脉搏波，进而分析脉象特征，因其需要接触人体，操作复杂，受众面窄。

随着人工智能技术在计算机视觉领域特别是人脸识别领域的成功运用，为人们通过计算机视觉技术探索生命科学提供了榜样。计算机视觉通过计算机和摄像头等工具，通过图像分割、视频流处理等技术，能对医学领域中的特定问题进行数据建模和技术创新。

现有技术中通过计算机摄像头采集人脸视频图像并处理后，可以将处理后得到的脉象信号与标准脉象数据库对比进行对抗训练，从而得到实时检测的脉象波形，但现有技术对采集的人脸视频图像处理过程不够科学合理，导致最终输出的脉搏波形不能精确地反映检测者真实脉搏信号，影响最终判断的准确性。

发明内容

本发明针对以上问题，提出了一种基于人脸视频实时显示中医脉象波形的方法和系统，该方法和系统只需采用普通的摄像头获取人脸视频，通过视频放大技术对人脸脉搏的运动信息进行获取和放大，然后通过与标准脉象进行生成对抗网络训练处理，可实时生成准确度高且可视化效果好的中医脉象波形。

本发明的技术方案如下：

基于人脸视频实时显示脉象波形的方法，包括以下步骤：

(1)采集人脸视频及标准脉象；

(2)对采集的人脸视频图像进行检测与区域追踪；

(3)颜色空间转换：将采集到的人脸视频图像由RGB空间转换为HSV空间；

(4)欧拉视频放大处理：人脸视频图像转换到HSV空间后，将脉动引起的颜色变化信号进行放大处理，得到放大变化后的合成信号；

(5)RGB通道分离生成初始脉搏波：将经过欧拉视频放大处理的视频中每帧图像分离成R、G、B三个通道，获得视频不同通道像素值的时间序列，生成初始脉搏波；

(6)对初始脉搏波信号进行去噪处理；

(7)脉搏波希尔伯特-黄转换：将去噪后的脉搏波信号先进行总体经验模态分解，然后将分解后的每个IMF分量进行希尔伯特-黄转换，得到每个IMF分量随时间变化的瞬时频率和瞬时幅值，由此可以得到一个脉搏波的频率-幅度-能量分布图，即希尔伯特谱；所述的IMF是Intrinsic Mode Function的简称，叫固态模式函数，IMF分量即将混合模式的信号分解为多个单一模式的信号；比如混合信号包含1Hz，3Hz，5Hz等三种频率的信号混合，那么1Hz，3Hz，5Hz就是IMF分量之一；