[发明专利]基于多自注意力机制深度学习的医疗行为识别方法

说明书

本发明涉及一种基于多自注意力机制深度学习的医疗行为识别方法，包括：对视频逐帧采样，并分解为若干个视频单元，并在时间维度上堆叠为一定大小的时间序列。将序列中的单帧图像抽取出来作为卷积神经网络的输入，得到视频单元的特征，再堆叠为序列的特征；然后将序列的特征输入循环神经网络捕捉序列时间维度上的特征；再将时间特征输入到多头注意力模型，提取非局部的时间特征，并将整个序列的信息充分的融合；最终经过全连接层得到人体动作类别预测。

技术领域

本发明涉及视频内容理解技术，尤其涉及面向行为分析的基于多自注意力机制深度学习的医疗行为识别方法。

背景技术

随着21世纪信息时代的到来，各种各样的视频信息充斥着我们的生活。动作识别是计算机视觉中的一个重要问题，在视觉监控、人机交互、智慧、智能机器人、无人驾驶等领域有着广泛的应用。一方面，利用人工智能、模式识别等技术，来观察分析医护人员是否佩戴完备的医疗防护用具，从而判断或提醒医护人员的卫生规范性。另一方面，可以检测进入医院的人员或病人是否按照规定佩戴口罩等防护用具，提示医疗的安全性。

在合理的患者知情同意告知前提下，可以通过对患者全方位视频进行智能分析人体行为动作识别，从而可以研究该患者个体的生活习惯、饮食特征、运动模式从而更科学更细致把握了解病人的身体状况，为科学的行为干预提供依据。

人体动作识别，目的在于通过对摄像头拍摄的视频的智能理解，从而对人体的动作进行分类识别研究。其研究对象往往是视频信息，而不再局限于单帧的图像分析。因此，一套完整有效的动作识别系统依赖于对视频序列中的时间、空间特征进行有效的特征提取与分类。

这是一项非常具有挑战性的工作，主要存在以下几方面的难题：(1)相同的动作，个体之间存在明显的差异。针对同一类动作，由于具体场景的不同，不同的个体可能会有不同的表现。即使是相同个体，在做同一类动作时也可能会有不同的表现。具体表现为行为动作的运动轨迹、运动速度以及运动幅度存在较大差异。(2)动态视频中往往存在许多干扰信息，比如动作相同但环境背景不同，以及个体与背景环境之间发生的相对运动、视频序列中的光照强度的变化，视频拍摄过程中镜头的抖动等等。这些难点均使得视频序列中的动作识别研究具有极大的挑战性。

发明内容

为了克服上述问题，本发明提供了一种基于多自注意力机制深度学习的医疗行为识别方法，包括以下步骤：

步骤1、读取视频，将视频分解为若干个单帧图像，然后将L个单帧图像进行堆叠，得到一个图像序列结构，同时为每个序列结构确定对应的动作分类标签；

步骤2、设计卷积神经网络，将序列中的单帧图像抽取出来作为视频单元，输入到该卷积神经网络中，通过多层计算得到视频单元的空间特征，维度为M；然后将一个序列中的L个视频单元特征进行堆叠，得到L×M的特征结构；

步骤3、设计循环神经网络结构，将步骤2中得到的L×M的特征结构作为单元，输入到该循环神经网络中捕捉时间维度上的特征，通过计算得到L×D维向量输出；

步骤4、设计多头自注意力模型，将步骤3中的得到的L×D维特征结构作为单元，输入到多头自注意力模型中，通过一系列计算得到L×D维的特征结构；然后通过平均池化和两层全连接层，最终得到N维向量输出。

步骤5、结合最终的N维向量输出和输入样本对应的标签，构建损失函数，通过最小化损失函数，训练卷积神经网络、循环神经网络和多头自注意力模型；

步骤6、得到效果最好的网络模型后，通过迁移学习将N分类模型学到的知识迁移到二分类模型上重新训练二分类模型。

步骤7、训练好最终的结合迁移学习的二分类模型后，用于医疗行为动作识别。

进一步的，所述步骤1中序列结构的获取方法如下：