[发明专利]基于多流图神经网络的多动症智能决策支持方法及系统

权利要求书

1.一种基于多流图神经网络的多动症智能决策支持方法，其特征在于，包括：

获取用户于人机交互场景中的运动传感器数据，提取该运动传感器数据的时域统计特征；

基于该时域统计特征获取该人机交互场景的时空约束图；

获取该时空约束图的整图向量表示；

将所有该整图向量表示进行融合，得到该用户进行人机交互行为的注意力分类结果，作为该用户的多动症智能决策支持结果。

2.如权利要求1所述的基于多流图神经网络的多动症智能决策支持方法，其特征在于，该时域统计特征包括第一时间约束图和第二时域统计特征，该时空约束图包括第一时间约束图、第二时间约束图、第一空间约束图和第二空间约束图，其中：

通过手动特征提取方式提取该运动传感器数据的该第一时域统计特征，并根据该第一时域统计特征分别获取该人机交互场景的该第一时间约束图和该第一空间约束图；

以深度残差网络为自动特征提取器，提取该运动传感器数据的该第二时域统计特征，并根据该第二时域统计特征分别获取该人机交互场景的该第二时间约束图和该第二空间约束图。

3.如权利要求2所述的基于多流图神经网络的多动症智能决策支持方法，其特征在于，以ResNet18网络为该自动特征提取器。

4.如权利要求2所述的基于多流图神经网络的多动症智能决策支持方法，其特征在于，通过向量提取网络分别获取该第一时间约束图的整图向量表示H₁、该第二时间约束图的整图向量表示H₂、该第一空间约束图的整图向量表示H₃和该第二空间约束图的整图向量表示H₄；其中，该向量提取网络包括图卷积神经网络、正则化操作层、Dropout操作层和全局平均池化层。

5.如权利要求4所述的基于多流图神经网络的多动症智能决策支持方法，其特征在于，该图卷积神经网络的卷积计算公式为：

其中，为该时空约束图的邻接矩阵，为该时空约束图的度矩阵，X为该时域统计特征构成的特征矩阵，W为参数矩阵，H为该图卷积神经网络输出的特征矩阵，N为该人机交互场景中数字节点个数，F为X的特征维度，F′为H的特征维度。

6.如权利要求5所述的基于多流图神经网络的多动症智能决策支持方法，其特征在于，通过线性变换与求和操作，并通过经过一个全连接分类层，获得该分类结果Y；

Y＝softmax(ReLU(H₅W₅+b₅))

其中，H₅＝(H₁W₁+b₁)+(H₂W₂+b₂)+(H₃W₃+b₃)+(H₄W₄+b₄)，W₁、b₁、W₂、b₂、W₃、b₃、W₄、b₄、W₅、b₅为该全连接分类层的融合参数。

7.一种基于多流图神经网络的多动症智能决策支持系统，其特征在于，包括：

特征提取模块，用于获取用户于人机交互场景中的运动传感器数据，以提取该运动传感器数据的时域统计特征；

时空约束图构建模块，用于基于该时域统计特征获取该人机交互场景的时空约束图；

图卷积模块，用于获取该时空约束图的整图向量表示；

融合与分类模块，用于将所有该整图向量表示进行融合，以得到该用户进行人机交互行为的注意力分类结果。