[发明专利]一种基于深度学习的黑暗条件下动作识别方法

说明书

本发明公开了一种基于深度学习的黑暗条件下动作识别方法，包括以下步骤：S1、选择实时黑暗条件识别或黑暗视频片段识别；S2、从已选择的待识别模式中取出F帧原始黑暗帧作为暗亮双通道模型的输入；S3、对取出的原始黑暗帧进行预处理，得到黑暗帧以及对应的增亮帧；S4、将得到的黑暗帧和增亮帧分别输入到共享特征提取器，得到两个通道的高级语义特征；S5、将得到的两个通道的高级语义特征并行输入到自注意力机制，得到输出分类向量；S6、将得到的输出分类向量输入到全连接层，得到类别概率，再通过softmax函数得到概率最大的类别，作为输出；S7、判断是否结束识别。本发明解决了计算复杂度及存储的问题，大大提高了在暗光条件下识别的准确度。

技术领域

本发明涉及计算机视觉的技术领域，尤其涉及到一种基于深度学习的黑暗条件下动作识别方法。

背景技术

目前，基于深度学习的动作识别模型通常从原始视频帧中提取出光流信息进行辅助识别，成为双流模型。然而，传统的双流方法通常涉及光流的计算或估计，需要较高的计算能力和较大的存储资源。此外，光流只有在相邻帧之间像素值的变化非常显著时才有用，但这对于暗视频并不适用。由于目前尚未有针对黑暗条件下动作识别的专利，所以与本专利最为相近的现有方案是在正常光照条件下的动作识别，如中国专利CN110135386A所公开的一种基于深度学习的人体动作识别方法和系统。其中所采用的方法就是双流法，搭配开源模型ResNet网络作为特征提取器，最后采用多层感知机进行分类。此模型在处理正常光照下的动作识别任务具有一定的准确度，然而在遇到黑暗情况时性能却急剧下降，在论文“ARID A New Dataset for Recognizing Action in the Dark”中的相关实验表明ResNet50-I3D模型在公开数据集ARID的准确率仅为73.39％。

发明内容

本发明的目的在于克服现有技术的不足，提供一种无需光流提取所需的较大的计算和储存资源、应用成本低、识别准确度高的基于深度学习的黑暗条件下动作识别方法。

为实现上述目的，本发明所提供的技术方案为：

一种基于深度学习的黑暗条件下动作识别方法，包括以下步骤：

S1、选择实时黑暗条件识别或黑暗视频片段识别；

S2、从步骤S1已选择的待识别中取出F帧原始黑暗帧作为暗亮双通道模型的输入；实时黑暗条件识别时，保存每一帧信息并在保存到F帧时进入步骤S3，而选择黑暗视频片段识别则计算所有视频帧数，保证F帧的情况下等间隔提取，其间隔为2或4帧，视总帧数情况选择，如果视频片段少于F帧则进行循环取帧；

S3、对步骤S2取出的原始黑暗帧进行预处理，得到黑暗帧以及对应的增亮帧；

S4、将步骤S3得到的黑暗帧和增亮帧分别输入到共享特征提取器，得到两个通道的高级语义特征；

S5、将步骤S4得到的两个通道的高级语义特征并行输入到自注意力机制，得到输出分类向量Y_cls；

S6、将步骤S5得到的输出分类向量Y_cls输入到一个全连接层，得到类别概率，再通过softmax函数得到概率最大的类别，作为输出，并将对应的概率值输出；

S7、如果步骤S1选择的是黑暗视频片段识别，则识别结束；如果步骤S1选择的是实时黑暗条件识别，则判断现时的实时黑暗条件识别是否已结束，如果没有结束，则等待接受完新的F帧后返回步骤S3，否则识别结束。

进一步地，所述步骤S2中，F帧为64帧。

进一步对，所述暗亮双通道模型包括暗通道和亮通道，该两个通道均包括有一个输入和一个共享权值的特征提取器。

进一步地，所述步骤S3中，预处理的具体步骤如下：

S3-1、修改原始黑暗帧的尺寸，得到黑暗帧；