[发明专利]基于时空双流网络的动作识别方法

说明书

本发明的一种基于时空双流网络的动作识别方法，包括如下步骤：确定动作类别；视频数据Dsubgt;v/subgt;采集；基于关键帧处理视频数据并构建动作类别数据集；构建时空双流网络Nsubgt;st/subgt;，空间特征提取模块Msubgt;s/subgt;由9层三维卷积和5层三维池化以及一个全连接神经网络构成，时间特征提取模块由二维卷积分片单元和Transformer编码器以及全连接神经网络构成，将空间特征提取模块Msubgt;s/subgt;获得的空间特征Fsubgt;s/subgt;与时间特征提取模块Msubgt;t/subgt;获得的时间特征Fsubgt;t/subgt;融合，获得融合特征Fsubgt;fusion/subgt;；基于时空双流网络进行动作识别，将融合特征Fsubgt;fusion/subgt;输入至softmax分类器，获得动作类别概率分布Asubgt;p/subgt;，输出动作类别Asubgt;result/subgt;。本发明具有能提高识别精度的特征。

技术领域

本发明涉及计算机视觉技术领域，具体涉及一种基于时空双流网络的动作识别方法。

背景技术

阿尔兹海默症（Alzheimer's disease, AD）是一种进行性神经系统变性病，发病早期症状不明显。由于迄今为止没有任何有效药物或治疗可以逆转AD的进程，因此提早发现和干预胜过其治疗。令人感到鼓舞的是计算机辅助技术、人工智能技术的发展为神经病理学诊断和病症早期预防开辟了新的道路。AD对人体产生的伤害主要包括：丧失情绪管理能力、记忆力下降、认知能力不足、行动能力衰弱等多种表现形式，而这些表现形式都可以通过识别潜在患者的日常行为中的阿尔兹海默症先兆动作加以认知。基于视觉的深度学习算法可以通过识别潜在患者的日常行为，进而找到反应阿尔兹海默症对人体机能产生负面影响的阿尔兹海默症先兆动作（例如阿尔兹海默症会导致人体记忆力下降，反映在生活中，患者更容易做饭时多次放盐或未放盐）从而实现AD的早期干预。

现有技术中，针对AD导致的记忆力的衰弱，Lussier等人通过对比正常人和阿尔兹海默症患者的日常活动行为，发现阿尔兹海默症患者在冰箱、橱柜前经常出现非正常的停顿。研究AD对人体行动能力的影响中，Bringas等人发现AD患者在日常活动中存在动作的中断，因此引入加速度计监测患者的日常活动数据，实现了通过深度学习模型判定AD患者的患病阶段。针对AD患者的认知能力情况测试，Negin等人提出了一种Praxis测试，根据医学的29个特定手势，提出了一个深度学习框架，通过学习患者与正常人的手势区别判断用户是否发生了阿尔兹海默症病变。但还存在以下问题，一方面是现有的阿尔兹海默症患者日常活动的数据集并不能反映受测者的真实情况，另一方面现有的识别算法不能融合阿尔兹海默症早期行为的空间维度特征、时间维度特征，使得动作识别的能力差。

发明内容

本发明的目的在于克服上述缺点而提出了一种能提高动作识别能力的基于时空双流网络的动作识别方法。

本发明的一种基于时空双流网络的动作识别方法，其中：该方法包括如下步骤：

步骤1、确定动作类别；