[发明专利]一种自适应多模态融合的脉搏位置精确定位方法

说明书

本发明涉及一种自适应多模态融合的脉搏位置精确定位方法，利用机器视觉、生物信号以及深度学习架构的多模态融合技术,包括如下步骤：步骤S1，搭建数据采集系统，使用相机对志愿者的手腕脉搏处进行拍照，得到多张手腕脉搏照片；步骤S2，对多张手腕脉搏照片的RGB三通道像素进行像素处理，得到第四PPG信号，进而将第四PPG信号经过信号处理得到iPPG信号；步骤S3，将iPPG信号经过模型处理得到手腕脉搏处。

技术领域

本发明涉及生物信号检测领域，具体涉及一种自适应多模态融合的脉搏位置精确定位方法。

背景技术

脉诊是中医诊断的关键环节，通常检测的“寸”、“关”、“尺”即桡动脉的脉搏信息，中医师凭借经验可以找到位置并进行触诊。

现有的中医辅助诊断设备依然需要人为定位，即使是通过机器视觉检测方法也仅仅是通过识别手腕，并计算“关口”与参考点的相对位置实现位置标定。无法消除以下问题：

1、人机交互过程中机器人识别人体部位、持续跟踪目标以及动态交互过程中的机器人行为自适应通信和控制问题。

2、个体间脉搏位置差异。

因此，亟需提供一种能够自动定位人体脉搏位置、传输准确度高、自适应性好的自动脉搏定位方法。

发明内容

本发明是为了解决上述问题而进行的，目的在于提供一种自适应多模态融合的脉搏位置精确定位方法，将机器视觉与iPPG生理信号融合，利用卷积神经网络训练模型，旨在解决单一模态传感无法适应场景变化，不能精确定位的问题。在所设计的多模态模型中，使用单模态作为输入，当传感器处在较远位置，由原始图像输出的定位拟合和标签更一致，此时模型更依赖于原始的图像输入。当传感器距离较远时，iPPG的输出与标签更加一致，解决了自适应的脉搏位置精确定位问题。

本发明提供了一种自适应多模态融合的脉搏位置精确定位方法，具有这样的特征，包括：步骤S1，搭建数据采集系统，使用相机对实验者的手腕脉搏处进行拍照，得到多张手腕脉搏照片；步骤S2，对多张所述手腕脉搏照片的RGB三通道像素进行像素处理，得到第四PPG信号，进而将所述第四PPG信号经过信号处理得到iPPG信号；步骤S3，将所述iPPG信号经过模型处理得到手腕脉搏处。

在本发明提供的自适应多模态融合的脉搏位置精确定位方法中，还可以具有这样的特征：其中，步骤S2中的所述像素处理包括如下子步骤：步骤S2-1，对多个手腕脉搏照片的每个颜色通道信号c′_t做平均中心化预处理，得到颜色通道c_t值，采用CHROM的方法提取出颜色通道c_t的第一PPG信号；步骤S2-2，将所述第一PPG信号在不改变幅值的前提下，使用连续小波变换、高斯局部滤波以及反连续小波变换变换相结合去除所述第一PPG信号的伪影，得到第二PPG信号，步骤S2-3，分别计算所述第二PPG信号和RGB三通道的第三PPG信号，形成N*4的矩阵X，将所述第二PPG信号与RGB三通道的所述第三PPG信号相结合，采用主成分分析方法计算每个像素点的第四PPG信号，第一主成分是目标像素点的最终第五PPG信号，进而根据第一主成分的系数矩阵Y得到每个像素点的所述第四PPG信号。

在本发明提供的自适应多模态融合的脉搏位置精确定位方法中，还可以具有这样的特征：其中，步骤S2-1中的颜色通道c_t值的计算过程为：通过先计算出每个颜色通道信号m_t,M，再通过m_t,M的值计算出颜色通道c_t值。

在本发明提供的自适应多模态融合的脉搏位置精确定位方法中，还可以具有这样的特征：其中，步骤S2-2中去除所述第一PPG信号的伪影的过程为：将所述第一PPG信号x(t)与小波基函数ψ_τ，s进行卷积变换得到在变换后的小波域上进行高斯平滑，滤掉不相关的量，之后再将小波域反变换回来，得到处理后的所述第二PPG信号。