[发明专利]红外视频时序行为定位方法、装置、设备及存储介质

说明书

本发明涉及人工智能领域，公开了一种红外视频时序行为定位方法、装置、设备及存储介质，用于通过语义边和相邻边对多个视频片段构建图网络，进行动作识别及时序位置定位，提高了识别定位的准确度。红外视频时序行为定位方法包括：获取输入的红外视频，提取多个候选视频片段，根据多个候选视频片段得到多个视频片段特征；通过语义边和相邻边对多个候选视频片段进行边线构建，生成基础图网络；基于基础图网络构建双流图卷积神经网络，得到多个隐式特征值；根据双流图卷积神经网络进行预测，得到多个候选视频片段的行为动作结果和时序位置。此外，本发明还涉及区块链技术，多个候选视频片段的行为动作结果和时序位置可存储于区块链中。

技术领域

本发明涉及区域提取领域，尤其涉及一种红外视频时序行为定位方法、装置、设备及存储介质。

背景技术

视频分析在安全监控，人类行为分析和许多其他领域具有广泛应用潜力，理解视频中的人类行为已成为计算机视觉中的重要研究方向，由于很多涉及人身安全的行为大多发生在黑暗无光的场景下，因此对红外视频的人体行为动作识别与检测，在黑暗或光线环境不佳的场景中具有更为实际的应用。视频时序行为定位任务是需要从一段包含多个人体行为动作的视频中，准确检测出每一个动作的类别以及该动作在视频中的开始结束时刻，由于近几年深度学习在图片识别与图片检测任务中的准确率较机器学习方法有显著提升，因此视频时序行为定位任务目前基本都采用了深度学习方法并借鉴了图片定位任务中的很多思路方法，视频时序行为定位任务目前主要有两类基于深度学习的方法：第一类为单阶段识别定位方法，即设计一个深度学习网络可以直接预测该视频中含有动作的视频片段，第二类为双阶段识别定位方法，即先得到该视频中可能的视频片段结果，然后再从可能的视频片段结果中进行筛选得到最终的识别定位结果。

在现有的方案中，双阶段识别定位方法只是孤立地针对每一个视频片段使用算法进行识别判断，而没有有效地使用视频片段前后的语义信息，以及其他相邻的视频片段的信息。

发明内容

本发明提供了一种红外视频时序行为定位方法、装置、设备及存储介质，用于通过语义边和相邻边对多个视频片段构建图网络，并通过图卷积神经网络训练学习不同视频片段之间语义信息的特征关系，对每一个视频片段进行动作识别及时序位置定位，更充分地融合及学习了前后视频片段的语义信息，提高了识别定位的准确度。

本发明第一方面提供了一种红外视频时序行为定位方法，包括：获取输入的红外视频，并在双阶段识别定位方式的第一阶段从所述输入的红外视频中提取多个候选视频片段，所述多个候选视频片段用于指示可能的含有人体行为动作的视频片段，根据所述多个候选视频片段得到多个视频片段特征；在双阶段识别定位方式的第二阶段通过语义边和相邻边对所述多个候选视频片段进行边线构建，生成基础图网络；基于所述基础图网络构建双流图卷积神经网络，所述双流图卷积神经网络由两条图卷积神经网络组成，获取所述多个候选视频片段在每一条图卷积神经网络每一层的隐式特征值，得到多个隐式特征值；根据所述双流图卷积神经网络进行预测，得到所述多个候选视频片段的行为动作结果和时序位置。

可选的，在本发明第一方面的第一种实现方式中，所述获取输入的红外视频，并在双阶段识别定位方式的第一阶段从所述输入的红外视频中提取多个候选视频片段，所述多个候选视频片段用于指示可能的含有人体行为动作的视频片段，根据所述多个候选视频片段得到多个视频片段特征包括：基于预置的视频数据集获取输入的红外视频，所述输入的红外视频为用户输入的一段任意时间长度的红外视频；基于所述输入的红外视频，在双阶段识别定位方式的第一阶段通过预置算法提取得到多个候选视频片段，所述多个候选视频片段用于指示可能的含有人体行为动作的视频片段，记录每个候选视频片段中的动作类别以及每一个动作的开始时刻和结束时刻，得到多个视频片段特征。