[发明专利]红外视频时序行为定位方法、装置、设备及存储介质

权利要求书

1.一种红外视频时序行为定位方法，其特征在于，所述红外视频时序行为定位方法包括：

获取输入的红外视频，并在双阶段识别定位方式的第一阶段从所述输入的红外视频中提取多个候选视频片段，所述多个候选视频片段用于指示可能的含有人体行为动作的视频片段，根据所述多个候选视频片段得到多个视频片段特征；

在双阶段识别定位方式的第二阶段通过语义边和相邻边对所述多个候选视频片段进行边线构建，生成基础图网络；

基于所述基础图网络构建双流图卷积神经网络，所述双流图卷积神经网络由两条图卷积神经网络组成，获取所述多个候选视频片段在每一条图卷积神经网络每一层的隐式特征值，得到多个隐式特征值；

根据所述双流图卷积神经网络进行预测，得到所述多个候选视频片段的行为动作结果和时序位置。

2.根据权利要求1所述的红外视频时序行为定位方法，其特征在于，所述获取输入的红外视频，并在双阶段识别定位方式的第一阶段从所述输入的红外视频中提取多个候选视频片段，所述多个候选视频片段用于指示可能的含有人体行为动作的视频片段，根据所述多个候选视频片段得到多个视频片段特征包括：

基于预置的视频数据集获取输入的红外视频，所述输入的红外视频为用户输入的一段任意时间长度的红外视频；

基于所述输入的红外视频，在双阶段识别定位方式的第一阶段通过预置算法提取得到多个候选视频片段，所述多个候选视频片段用于指示可能的含有人体行为动作的视频片段，记录每个候选视频片段中的动作类别以及每一个动作的开始时刻和结束时刻，得到多个视频片段特征。

3.根据权利要求1所述的红外视频时序行为定位方法，其特征在于，所述在双阶段识别定位方式的第二阶段通过语义边和相邻边对所述多个候选视频片段进行边线构建，生成基础图网络包括：

在双阶段识别定位方式的第二阶段从所述多个候选视频片段中选取任意两个候选视频片段，基于预置的第一公式计算所述任意两个候选视频片段之间的关联程度；

当所述关联程度大于预设的第一阈值时，对所述任意两个候选视频片段构建语义边，生成第一图网络；

当所述关联程度为零时，基于预置的第二公式计算所述任意两个候选视频片段间的距离，当所述任意两个候选视频片段间的距离小于预设的第二阈值时，对所述任意两个候选视频片段构建相邻边，生成第二图网络；

将所述第一图网络和所述第二图网络合并，生成基础图网络。

4.根据权利要求1所述的红外视频时序行为定位方法，其特征在于，所述基于所述基础图网络构建双流图卷积神经网络，获取所述多个候选视频片段在每一条图卷积神经网络每一层的隐式特征值，得到多个隐式特征值包括：

基于基础图网络构建预置层数的图卷积神经网络，生成双流图卷积神经网络，预置的层数为K层，K为正整数；

获取任意两个候选视频片段的特征，根据所述任意两个候选视频片段的特征相似度和预置的第三公式计算度矩阵，得到多个度矩阵值；

将所述多个度矩阵值分别代入预置的第四公式，计算所有候选视频片段在图卷积神经网络第k层的隐式特征值，1≤k≤K；

基于激活函数ReLU对所述第k层的隐式特征值进行转化并输入至下一层图卷积神经网络，得到多个隐式特征值。

5.根据权利要求1所述的红外视频时序行为定位方法，其特征在于，所述根据所述双流图卷积神经网络进行预测，得到所述多个候选视频片段的行为动作结果和时序位置包括：

基于第一条图卷积神经网络，调用预置的第五公式，通过全连接神经网络层对所述多个隐式特征值进行信息融合，并调用损失层softmax进行人体行为动作分类，生成行为动作结果；

基于第二条图卷积神经网络，调用预置的第六公式和第七公式计算所述候选视频片段的时序位置和完整度概率。

6.根据权利要求1-5中任一项所述的红外视频时序行为定位方法，其特征在于，在所述根据所述双流图卷积神经网络进行预测，得到所述多个候选视频片段的行为动作结果和时序位置之后，所述方法还包括：

基于预置的算法对所述双流图卷积神经网络进行优化。