[发明专利]一种基于视频的生理信号测量与增强方法

权利要求书

1.一种基于视频的生理信号测量与增强方法，包括：

步骤一，对视频数据进行分析处理，得到含噪生理信号；

步骤二，构建含噪生理信号与非成对准确生理信号数据集；

步骤三，设计生成对抗网络进行对抗训练，学习含噪生理信号与准确生理信号的映射关系，其中，所述生成对抗网络包括两个神经网络生成器及判别器，数据流从正向循环合成支路与逆向循环合成支路同时训练，网络权重共享。

步骤四，基于训练好的生成对抗网络对含噪生理信号进行增强。

2.根据权利要求1所述的方法，其中，在所述对视频数据进行分析处理，得到含噪生理信号之前，所述方法还包括：

采集包含人脸的视频数据作为视频数据。

3.根据权利要求1所述的方法，其中，所述对视频数据进行分析处理，得到含噪生理信号，包括：

通过人脸检测算法以及目标跟踪算法确定人脸区域；

使用皮肤检测算法筛选出人脸区域中的皮肤区域作为兴趣区域，或通过人脸关键点定位算法筛选出前额区域和脸颊区域作为兴趣区域；

对每个视频帧中的兴趣区域计算像素值的平均值，得到原始血容量脉冲序列；

对原始血容量脉冲序列进行带通滤波，使得原始血容量脉冲序列的频率范围在正常人心跳范围之间；

对带通滤波后的原始血容量脉冲序列进行基于视频的生理信号融合方法，得到含噪生理信号。

4.根据权利要求1所述的方法，其中，构建含噪生理信号与非成对准确生理信号数据集，包括：

通过接触式传感器获取准确生理信号；

根据准确生理信号和含噪生理信号，构建非成对准确生理信号数据集。

5.根据权利要求1所述的方法，其中，所述生成对抗网络包括的生成器G_R→P将含噪生理信号映射成准确生理信号，具体映射关系由以下表达式确定：其中，r表示含噪生理信号，表示合成的准确生理信号，G_R→P表示用于完成R→P的映射的生成器；

所述生成对抗网络包括的生成器G_R→P将准确生理信号映射成含噪生理信号，具体映射关系由以下表达式确定：其中，p表示准确生理信号，表示合成的含噪生理信号，G_P→R表示用于完成P→R的映射的生成器；

所述正向循环合成支路为P→P→R，生理信号流经两个神经网络生成器，具体合成过程由表达式：确定，其中，表示重建含噪生理信号，G_R→P(r)表示合成的准确生理信号，r表示含噪生理信号；

所述逆向循环合成支路为P→R→P，生理信号流经两个神经网络生成器，具体合成过程由表达式：确定，其中，表示重建准确生理信号，G_P→R(p)表示合成的含噪生理信号，p表示准确生理信号；

在两个循环合成支路中，两个神经网络生成器及其对应判别器权重共享。

6.根据权利要求1所述的方法，其中，所述生成对抗网络的优化目标是最小化生成对抗损失和循环一致性损失；以及

所述最小化生成对抗损失和循环一致性损失，包括：

构建生成对抗损失函数：

最小化生成对抗网络生成器合成的生理信号与真实信号的差异，以至生成对抗网络判别器无法分辨真假，最大化生成对抗网络判别器分辨出合成的生理信号或真实的生理信号的能力，这里，总的生成对抗网络的损失L_adv是两个生成器及其对应判别器的和可以通过以下公式表示：

L_adv＝L_adv(G_R→P，D_P)+L_adv(G_P→R，D_R)，

其中，G_R→P表示用于完成R→P的映射的生成器，L_adv表示生成对抗网络的损失，D_P表示用于判断真实的准确生理信号或合成的准确生理信号的判别器，G_P→R表示用于完成P→R的映射的生成器，P表示准确生理信号，R表示含噪生理信号，D_R表示用于判断真实的含噪生理信号或合成的含噪生理信号的判别器；

这里，对于生成器G_R→P及其判别器对应的生成对抗损失由以下表达式确定：

L_adv(G_R→P，D_P)＝E_p～P[log D_P(p)]+E_r～R[log(1-D_P(G_R→P(r)))]，，

其中，E表示期望，D_P表示用于判断真实的准确生理信号或合成的准确生理信号的判别器，G_R→P表示用于完成R→P的映射的生成器，R表示含噪生理信号，P表示准确生理信号，G_R→P(r)表示合成的准确生理信号；

对于生成器G_P→R及其判别器对应的生成对抗损失由以下表达式确定：

L_adv(G_P→R，D_R)＝E_r～R[log D_R(r)]+E_p～P[log(1-D_R(G_P→R(p)))]，

其中，E表示期望，D_R表示用于判断真实的含噪生理信号或合成的含噪生理信号的判别器，G_P→R表示用于完成P→R的映射的生成器，R表示含噪生理信号，P表示准确生理信号，G_P→R(p)表示合成的含噪生理信号；

构建循环一致性损失：

最小化真实生理信号与经正向循环合成支路或逆向循环合成支路重建的生理信号在时域和频域上的差异。其中，总的循环一致性损失L_cyc是时域约束与频域约束的和，具体由以下表达式确定：

其中，L_cyc表示循环一致性损失，表示频域约束，表示时域约束，这里，对于时域约束对应的时域一致性损失由以下表达式确定：

其中，表示时域约束，|| ||₁表示1-范数，G_P→R(p)表示合成的含噪生理信号，G_R→P(r)表示合成的准确生理信号，r表示含噪生理信号，p表示准确生理信号；

对于频域约束，对应的频域一致性损失由以下表达式确定：

其中，E表示期望，表示频域约束，表示1024点的快速傅里叶变换，|| ||₁表示1-范数，G_P→R(p)表示合成的含噪生理信号，G_R→P(r)表示合成的准确生理信号，r表示含噪生理信号，p表示准确生理信号。