[发明专利]一种基于时空关系的行为识别方法及电子设备

说明书

本申请适用于设备管理技术领域，提供了一种基于时空关系的行为识别方法及电子设备，方法包括：接收待识别的目标视频数据；将所述目标视频数据导入预设的帧间动作提取网络，得到帧间动作特征数据；将所述帧间动作特征数据导入特征提取网络，输出所述目标视频数据对应的稀疏特征数据；所述特征提取网络是通过选择权重对池化融合网络内的各个卷积核进行稀疏性约束处理后生成的；将所述目标视频数据导入上下文注意力网络，确定所述目标视频数据中目标对象的步态行为数据；根据所述步态行为数据以及所述稀疏特征数据，得到所述目标对象的行为类别。采用上述方法能够大大降低了视频数据在进行行为识别过程中的计算成本，继而提高了运算效率。

技术领域

本申请属于数据处理技术领域，尤其涉及一种基于时空关系的行为识别方法及电子设备。

背景技术

随着人工智能技术的不断发展，计算机能够协助用户执行多种类型的识别操作，以提高用户的处理效率。例如，在用户对视频数据进行解析时，可以通过人工智能算法确定该视频数据中目标人物的行为类型，从而能够方便用户对目标人物进行分析，例如在对目标人物进行行为追踪，抑或在重点区域对危险动作进行监控时，人工智能的行为识别会大大降低用户的工作量，从而提高了分析效率。

现有的行为识别技术，往往是使用光流信息以确定目标对象在视频中的时间信息和空间信息，从而确定该目标对象的行为类型，但是逐帧提取光流从而确定整个视频数据的光流信息则需要建立结构较大的提取网络，设备要求运算能力较高且需要存储较大的神经网络，从而大大提高了运算设备的计算成本，以及降低了运算效率。

发明内容

本申请实施例提供了一种基于时空关系的行为识别方法、装置、电子设备及存储介质，可以解决现有的行为识别技术，往往是使用光流信息以确定目标对象在视频中的时间信息和空间信息，从而确定该目标对象的行为类型，但是逐帧提取光流从而确定整个视频数据的光流信息则需要建立结构较大的提取网络，设备要求运算能力较高且需要存储较大的神经网络，从而大大提高了运算设备的计算成本，以及降低了运算效率。

第一方面，本申请实施例提供了一种基于时空关系的行为识别方法，包括：

接收待识别的目标视频数据；

将所述目标视频数据导入预设的帧间动作提取网络，得到帧间动作特征数据；所述帧间动作特征数据用于确定所述目标视频数据中相邻的视频图像帧之间的动作特征信息；

将所述帧间动作特征数据导入特征提取网络，输出所述目标视频数据对应的稀疏特征数据；所述特征提取网络是通过选择权重对池化融合网络内的各个卷积核进行稀疏性约束处理后生成的；

将所述目标视频数据导入上下文注意力网络，确定所述目标视频数据中目标对象的步态行为数据；所述上下文注意力网络用于提取所述目标视频数据中所述目标对象与环境对象之间的相互位置关系；

根据所述步态行为数据以及所述稀疏特征数据，得到所述目标对象的行为类别。

在第一方面的一种可能的实现方式中，在所述将所述帧间动作特征数据导入特征提取网络，输出所述目标视频数据对应的稀疏特征数据之前，还包括：

为所述池化融合网络内至少一个待识别卷积核配置数值为0的所述选择权重，得到待校正网络；

将预设的多个训练特征数据输入至所述待校正网络生成第一训练结果，以及将多个所述训练特征数据输入至所述池化融合网络生成第二训练结果；

根据所述第一训练结果以及所述第二训练结果，确定所述待校正网络的损失值；

若所述损失值小于或等于所述损失阈值，则将配置所述选择权重的所述待识别卷积识别为冗余卷积核；

若所述损失值大于预设的损失阈值，则将配置所述选择权重的所述待识别卷积核识别为必要卷积核；