[发明专利]一种基于多模态数据的帕金森健康风险评估方法

说明书

本发明涉及一种基于多模态数据的帕金森健康风险评估方法，准备包括UPDRS评分，人口基本情况数据，传感器数据，构建多模态数据集；利用高斯滤波对传感器数据进行预处理；搭建卷积神经网络模型，构建基于深度学习的传感器数据特征提取方法。融入手工特征，计算传感器数据对于帕金森健康风险评估具有重要意义的特征。整合人口统计数据，将人口统计数据融入模型。模型训练与预测，整合卷积神经网络提取到的特征，手工特征以及人口统计数据特征。构建基于这三类特征的特征表示一致性模块。最后，对模型进行训练，并对未知标签的样本进行预测。本方法及模型在帕金森风险预测的正确率达到81.4％。

技术领域

本发明属于生物信号传感技术，计算机数据处理领域，涉及一种基于多模态数据的帕金森健康风险评估方法。

背景技术

文献“Wearable-based Parkinson's Disease Severity Monitoring usingDeep Learning[J].arXiv preprint arXiv:1904.10829,2019.”提供了一种基于传感器信号数据的利用卷积神经网络进行帕金森运动障碍预测的方法，文献中的方法仅仅针对传感器数据进行建模。但是，在国际上，常常采用统一帕金森氏评定量表(也被称为UPDRS评分量表)用来衡量帕金森的发展情况。另外，已经有研究表明性别和年龄等因素差异也会存在帕金森健康风险差异。但在此文献的研究中，忽略了这类数据对帕金森健康风险预测重要的意义。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于多模态数据的帕金森健康风险评估方法，解决上述研究中忽略UPDRS评分数据和人口基本情况数据的问题。

具体来说，UPDRS评分数据表示统一帕金森氏症评定量表评分所得数据，人口基本情况数据包括人员的性别，年龄，学历。基于此，我们统称UPDRS评分数据和人口基本情况数据为人口统计数据。在本发明中，我们构建了包含人口统计数据与传感器数据的多模态数据集。多模态数据集由传感器数据，UPRDRS评分数据，人口基本情况数据组成。基于收集的多模态数据集，本发明提供一种基于多模态数据的帕金森健康风险评估方法。该方法利用人口统计数据和传感器数据进行帕金森健康风险评估。对于传感器数据，我们计算了一些对帕金森健康风险评估有意义的特征，我们称这些有意义的特征为手工特征，并同时利用卷积神经网络进行自动的特征提取。最后我们分别把三方面的特征(人口统计数据，手工特征，卷积神经网络特征)进行基于特征表示一致性的融合，最后利用全连接神经网络进行分类。该方法利用了人员的多种数据特征，可以更好的对人员的帕金森健康风险进行评估。

技术方案

一种基于多模态数据的帕金森健康风险评估方法，其特征在于步骤如下：

步骤1：以UPDRS评分，人口基本情况数据和传感器数据构建为多模态数据集；所述传感器数据为被测人员的运动数据，包括不同时间点的、x，y，z三个运动方向的多维度时间序列数据；

步骤2：利用高斯滤波对传感器数据进行预处理；

步骤3：将传感器数据样本通过卷积神经网络提取特征V_cnn；

所述卷积神经网络结构为八个卷积层，八个最大池化层；连接顺序为：先使用一个卷积层，以20个卷积核用于提取特征，步长设置为1，卷积核大小设置为3；接下来连接一个池化层，采用最大池化层，大小设置为3，步长设置为2；然后同样的结构，卷积层和池化层交替次8次，最后一个池化层的结果就是卷积神经网络提取到的特征；

步骤4、融入手工特征：以一个SensorMat矩阵表示一个样本的传感器数据，矩阵为三行N列，三行表示x，y，z三个运动方向，N代表序列的长度；X，Y，Z表示SensorMat[0]，SensorMat[1]，SensorMat[2]，分别表示三个运动方向的传感器数据的不同时间点的向量表示，基于传感器数据计算以下特征：