[发明专利]一种自适应多模态融合的脉搏位置精确定位方法

权利要求书

1.一种自适应多模态融合的脉搏位置精确定位方法，利用机器视觉、生物信号以及深度学习架构的多模态融合技术,其特征在于，包括如下步骤：

步骤S1，搭建数据采集系统，使用相机对实验者的手腕脉搏处进行拍照，得到多张手腕脉搏照片；

步骤S2，对多张所述手腕脉搏照片的RGB三通道像素进行像素处理，得到第四PPG信号，进而将所述第四PPG信号经过信号处理得到iPPG信号；

步骤S3，将所述iPPG信号经过模型处理得到手腕脉搏处；

其中，步骤S2中的所述像素处理包括如下子步骤：

步骤S2-1，对多张手腕脉搏照片的每个颜色通道信号c′t做平均中心化预处理，得到颜色通道c_t值，采用CHROM的方法提取出颜色通道c_t值的第一PPG信号，t为时间点；

步骤S2-2，将所述第一PPG信号在不改变幅值的前提下，使用连续小波变换、高斯局部滤波以及反连续小波变换相结合去除所述第一PPG信号的伪影，得到第二PPG信号，

步骤S2-3，分别计算RGB三通道的第三PPG信号，将所述第二PPG信号与RGB三通道的所述第三PPG信号相结合，形成N*4的矩阵X，采用主成分分析方法计算每个像素点的第四PPG信号，第一主成分是目标像素点的最终第五PPG信号，进而根据第一主成分的系数矩阵Y得到每个像素点的所述第四PPG信号。

2.根据权利要求1所述的自适应多模态融合的脉搏位置精确定位方法，其特征在于：

其中，步骤S2-1中的颜色通道c_t值的计算过程为：

通过先计算出每个颜色通道信号m_t,M，即：

M是设定的窗口大小，t是时间点，m_t,M是每个颜色通道信号c’_l经过M窗口大小滤波器得到的移动平均值，

再通过m_t,M的值计算出颜色通道c_t值，即：

c′_t为图像每个颜色通道的信号值，c_t为平均中心化预处理后得到的颜色通道值。

3.根据权利要求1所述的自适应多模态融合的脉搏位置精确定位方法，其特征在于：

其中，步骤S2-2中去除所述第一PPG信号的伪影的过程为：将所述第一PPG信号x(t)与小波基函数ψ_τ，s进行卷积变换得到即：

表示小波母函数ψ的缩放和移位，ψ_τ，s是小波基函数，s为伸缩因子，τ为平移因子，ψ为参考的小波母函数，

在变换后的小波域上进行高斯平滑，滤掉不相关的量，之后再将小波域反变换回来，得到处理后的所述第二PPG信号。

4.根据权利要求1所述的自适应多模态融合的脉搏位置精确定位方法，其特征在于：

其中，步骤S2-3中第一主成分的系数矩阵Y为：

Y为第一主成分系数矩阵，X为样本矩阵，X^T为其转置矩阵，N为样本数量。

5.根据权利要求1所述的自适应多模态融合的脉搏位置精确定位方法，其特征在于：

其中，步骤S2中的所述信号处理如下：

计算每个周期的主成分分析数据和所述第二PPG信号的平均，得到一个周期内的第六PPG信号，对于单周期内所有像素，将所述第二PPG信号视为常数，每个像素的幅值加权乘以所述第二PPG信号，得到平均一个周期的iPPG信号结果，即：

Amp_x,y是像素在(x,y)位置的加权幅度，P_x,y,t是单周期的PPG信号平均，R_x,y,t是所述第二PPG信号周期平均，N是单周期第六PPG信号点的个数。