[发明专利]基于多流图神经网络的多动症智能决策支持方法及系统

说明书

本发明提出一种基于时空约束的多流图神经网络多动症辅助诊断方法，包括：获取用户于人机交互场景中的运动传感器数据，提取该运动传感器数据的时域统计特征；基于该时域统计特征获取该人机交互场景的时空约束图；获取该时空约束图的整图向量表示；将所有该整图向量表示进行融合，得到该用户进行人机交互行为的分类结果。本发明还提出一种基于时空约束的多流图神经网络多动症辅助诊断系统，以及一种实现多流图神经网络多动症辅助诊断的数据处理系统。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于图神经网络的多流图神经网络多动症智能决策支持方法及系统。

背景技术

注意力缺陷多动症(Attention deficit andhyperactivity disorder,ADHD)是儿童时期一种常见的心理行为疾病，患病率高达5％-10％，主要表现为注意力不集中、多动和冲动，且症状可能并不会随着年龄的增长而逐渐消失。因此研究ADHD的诊断方法，在早期给予患者干预治疗，对于ADHD病情的控制具有重要意义。

现有的ADHD临床诊断方法主要有量表评定法、神经电生理诊查技术、认知神经生理诊查技术、脑影像学和脑功能影像学诊查技术。量表评定法由于缺乏定量化描述，易受医生主观因素的干扰；神经电生理诊查技术由于共生症的存在，诊断的准确率较低；认知神经生理诊查技术和脑影像学、脑功能影像学诊查技术易受患者在被试过程中紧张情绪的干扰，且后者的费用高昂并对人体有一定的损害；针对上述诊断方法的缺陷，近年来研究人员们设计了一系列基于可穿戴与交互技术的ADHD辅助诊断方法，通过场景游戏交互任务来评估ADHD症状，在游戏过程中借助可穿戴设备收集测试者的运动数据，以自然感知交互的方式实现更加客观且无损伤的定量评估。

在测试者佩戴可穿戴设备进行场景交互任务的过程中，测试者与任务节点之间存在着交互关联，各个任务节点之间存在着空间关联，而由于传统卷积神经网络仅限于欧几里得空间中以有序网格方式结构化的数据，因此其难以捕捉这种复杂的邻域信息。相反，图神经网络可以用于分析非结构化数据的特点，使其在对交互场景相关数据进行建模的过程中具有天然的优势，然而现有的应用于可穿戴运动传感器数据的图神经网络模型大多基于人体骨架结构进行构图，仍然无法捕捉场景交互任务中反映动态交互过程的时间约束信息以及反映静态物理场景排布关系的空间约束信息。

因此，目前急需设计一种基于交互场景中时空约束关系的图神经网络方法，能够通过图表示学习来挖掘交互场景中所蕴含的非结构化信息。

发明内容

针对上述问题，本发明通过基于时空约束的多流图神经网络，实现对多动症的智能决策支持(辅助诊断)，该基于多流图神经网络的多动症智能决策支持方法包括：获取用户于人机交互场景中的运动传感器数据，提取该运动传感器数据的时域统计特征；基于该时域统计特征获取该人机交互场景的时空约束图；获取该时空约束图的整图向量表示；将所有该整图向量表示进行融合，得到该用户进行人机交互行为的注意力分类结果(多动症智能决策支持结果)。

本发明所述的基于多流图神经网络的多动症智能决策支持方法，其中该时域统计特征包括第一时间约束图和第二时域统计特征，该时空约束图包括第一时间约束图、第二时间约束图、第一空间约束图和第二空间约束图，通过手动特征提取方式提取该运动传感器数据的该第一时域统计特征，并根据该第一时域统计特征分别获取该人机交互场景的该第一时间约束图和该第一空间约束图；以深度残差网络为自动特征提取器，提取该运动传感器数据的该第二时域统计特征，并根据该第二时域统计特征分别获取该人机交互场景的该第二时间约束图和该第二空间约束图。

本发明所述的基于多流图神经网络的多动症智能决策支持方法，以ResNet18网络为该自动特征提取器。