[发明专利]基于注意力机制的多动症行为表达和识别方法

说明书

本发明公开了一种基于注意力机制的多动症行为表达和识别方法，属于计算机视觉、视频分析领域。对比现有技术，本发明提出一种注意力模块，以在空间和时间上分别提取关键信息，使得行为识别具有更强的鲁棒性、更优的识别效果。本发明提出的识别方法由注意力模块和识别网络模块构成。(1)注意力模块由空间注意力模块和时间注意力模块组成，分别在空间和时间维度上提取关键行为信息。其中空间注意力模块基于YOLOv5x神经网络来实现对视频帧中人物区域的分割；时间注意力模块由基于帧间差分的方法来筛选关键帧，即视频流中像素点灰度值发生较大变化的帧。(2)将注意力模块提取的视频子序列作为C3D网络的输入来提取多动症行为特征并进行分类识别。

本发明获得国家自然科学基金(No：61902281)资助。

技术领域

本发明属于计算机视觉、视频分析领域，设计了一种基于视觉注意力模块的多动症行为表达方法来提取视频中包含行为关键信息的视频子序列，进而基于视频子序列进行多动症行为特征提取和识别。

背景技术

1.注意缺陷多动障碍(俗称多动症)是儿童常见的一种以行为障碍为特征的综合症，表现为与年龄和发育水平不相称的注意力不集中、活动过度和冲动等。目前，全球学龄儿童多动症发病率为3％～7％，是一种发病率极高的疾病。在漫长的治疗过程中，需持续观察患儿在日常生活中的多动症行为来监测其病情、反馈治疗效果。目前这主要依赖家人，然而家人在时间、耐心和专业知识方面的限制使其无法给出持续、客观的病情信息。由于摄像头等监控设备价格低廉，可进入普通家庭，且可友好、方便地获取患儿在日常生活中的视频。因此，通过自动识别视频中患者的多动症行为，进而分析、获取其病情信息，可实现持续、客观的病情监测，具有重大的现实应用意义。

2.视频行为识别的核心就是提取能够准确描述行为的特征表达。注意力机制是人类视觉所特有的大脑信号处理机制，使得人们可以快速地获取场景中的关键信息。将注意力机制引入到视频行为识别任务中，可以使与行为相关的关键信息更受关注，以提高识别效果。

3.现有的引入注意力机制的视频行为识别方法，通过提取特征表达中各部分的注意力得分，并将其作为融合权重，实现对原始特征的优化。但是基于这种方法优化后的特征表达，依赖于所提取的注意力得分的准确性。本专利提出的注意力模块由时间注意力模块和空间注意力模块两部分组成，其中时间注意力模块由基于帧间差分的关键帧实现，空间注意力模块由基于YOLOV5x(You Only Look Once Version 5x)的人体区域检测模块实现。此注意力模块无需提取特征表达中各部分的注意力得分，避免了其对行为特征的影响。

发明内容

本发明的目的是克服现有技术中存在的不足，提出一种基于注意力机制的多动症行为识别方法。主要工作包括两个方面：

1.数据集采集：通过手机采集在9个不同场景下12个人完成的6类动作，包含转头(动作标记为类别 0)、趴桌子(类别1)、转身(类别2)、踢(类别3)、打(类别4)、其它动作(类别5)。采集设备为Vivoy7s、OPPOr9、华为nova2s，它们具有不同分辨率。采集视角不固定，采集环境为不同光线(充足、较暗)强度、不同背景环境。数据库共有386个视频样本，每个视频样本时长10s左右，其中包含一类动作。

2.模型构建：由注意力模块和识别网络模块构成。(1)注意力模块由空间注意力模块和时间注意力模块组成，它们分别在空间和时间维度上提取关键行为信息。其中空间注意力模块基于YOLOv5x神经网络来实现对视频帧中人物区域的分割；时间注意力模块由基于帧间差分的方法来筛选关键帧，即视频流中像素点灰度值发生较大变化的帧。(2)将注意力模块提取的视频子序列作为C3D(Convolutional 3D)网络的输入来提取多动症行为特征并进行分类识别。

跟现有技术相比，本发明的主要优势在于：