[发明专利]基于静态手写图像和动态多传感融合信号的震颤症状评估模型及其装置

权利要求书

1.一种基于静态手写图像和动态多传感融合信号的震颤症状评估模型，其包括：静态空间分支、动态时间分支、和骨干网络；

静态空间分支用来学习静态手写图像的全局空间特征；

动态时间分支用来学习动态多传感融合信号的时频域的谱图特征；

骨干网络用来融合全局空间特征、时频域的谱图特征以及EHR特征，由此评估震颤症状。

2.根据权利要求1所述的基于静态手写图像和动态多传感融合信号的震颤症状评估模型，其特征在于：

静态空间分支为经过微调的DenseNet-121网络；所述经过微调的DenseNet-121网络为保留了DenseNet-121网络的后两层之外的预训练权重部分；

静态手写图像中的大螺线、小螺线、或直线的图像输入到静态空间分支中。

3.根据权利要求2所述的基于静态手写图像和动态多传感融合信号的震颤症状评估模型，其特征在于：

动态时间分支包括第二Conv 7-32层；由大螺线、小螺线、或直线的动态多传感融合信号变换的时频域的谱图特征输入到动态时间分支的第二Conv7-32层中；

骨干网络为结合了SE-Module注意力机制的CNN网络；其包括顺次连接的输入为第一Conv 7-32层、与动态时间分支特征融合的第一拼接层、第一Max pool 3层、Conv 6-64层、第二Max pool 3层、Conv 5-128层、第一Conv 3-128层、第二Conv 3-128层、第三Max pool3层、Conv 3-256层、第一SE-Module注意力机制层、与静态空间分支融合的第二拼接层、Adapt pool 3层、Flatten层、第一FC层、与EHR特征融合的第三拼接层、第二FC层、Output层；静态手写图像中的大螺线、小螺线、或直线的图像同时输入到骨干网络的第一Conv 7-32层中；

静态空间分支的输出经过Conv 3-512层和第二SE-Module注意力机制层后在骨干网络的第二拼接层进行拼接；

动态时间分支的输出在骨干网络的第一拼接层进行拼接；

EHR特征在骨干网络的第三拼接层进行拼接；

骨干网络的Output层输出震颤症状评估结果。

4.根据权利要求3所述的基于静态手写图像和动态多传感融合信号的震颤症状评估模型，其特征在于：

动态多传感融合信号的时频域的谱图为自笔尖动态特征获得的时频域的谱图。

5.一种基于静态手写图像和动态多传感融合信号的震颤症状评估装置，其包括：计算单元；该计算单元运行基于静态手写图像和动态多传感融合信号的震颤症状评估模型；该震颤症状评估模型包括：静态空间分支、动态时间分支、和骨干网络；

静态空间分支用来学习静态手写图像的全局空间特征；

动态时间分支用来学习动态多传感融合信号的时频域的谱图特征；

骨干网络用来融合全局空间特征、时频域的谱图特征以及EHR特征，由此评估震颤症状。

6.根据权利要求5所述的基于静态手写图像和动态多传感融合信号的震颤症状评估装置，其特征在于：

静态空间分支为经过微调的DenseNet-121网络；所述经过微调的DenseNet-121网络为保留了DenseNet-121网络的后两层之外的预训练权重部分；

静态手写图像中的大螺线、小螺线、或直线的图像输入到静态空间分支中。