[发明专利]基于深度学习融合各种交互信息的多人行为检测方法及系统

权利要求书

1.一种基于深度学习融合各种交互信息的多人行为检测方法，其特征在于，通过构建带有标签的视频库作为样本集对行为检测网络进行训练，并将训练后的网络处理待测视频，根据最终的输出向量实现对区域中对象行为的检测；

所述的行为检测网络包括：一个用于提取视频表征的三维卷积神经网络、带有记忆池的表征抽取模块、一个多交互关系建模融合网络、三个全连接层和一个sigmoid回归层，其中：三维卷积神经网络根据输入的视频片段提取出视频表征并输出至表征抽取模块，表征抽取模块利用RoIAlign对视频表征上的各个边界框区域进行线性插值并经过池化得到人和物体的区域表征的同时表征抽取模块通过记忆池得到记忆表征，多交互关系建模融合网络对人和物体的区域表征以及记忆表征进行建模融合得到鲁棒行为表征，通过全连接层和sigmoid回归层得到各个类别的预测概率。

2.根据权利要求1所述的方法，其特征是，所述的带有标签的视频库，通过以下方式得到：将样本集中的视频等间隔标注后，将视频尺寸进行归一化处理，并依照以每个标注帧裁剪为若干片段。

3.根据权利要求2所述的方法，其特征是，所述的等间隔标注的内容包括：帧中每个人的边界框以及在该帧前后各1.5秒的时间区间内每个人各自发生的行为。

4.根据权利要求1所述的方法，其特征是，所述的三维卷积神经网络采用I3D网络、SlowFast网络、C3D网络。

5.根据权利要求1所述的方法，其特征是，所述的记忆池根据每个视频片段中人和物体的区域表征中人的区域表征，通过将当前片段的历史片段中人的区域表征的拼接，得到记忆表征。

6.根据权利要求1所述的方法，其特征是，所述的多交互关系建模融合网络包括：两个用于接收人的区域表征的人人交互建模模块、两个用于分别接收人的区域表征和物体的区域表征的人物交互建模模块、两个用于分别接收人的区域表征和记忆表征的人记忆建模交互模块，其中：第一人人交互建模模块、第一人物交互建模模块、第一人记忆建模交互模块、第二人人交互建模模块、第二人物交互建模模块、第二人记忆建模交互模块依次连接并传输经依次增强的人的区域表征，每个交互建模模块对人人交互、人物交互、人记忆交互中的一种交互关系进行建模，并与人的区域表征融合后传输至下一个模块中，最终输出的人的区域表征综合融合人人交互、人物交互、人记忆交互关系，即为最终输出的鲁棒行为表征；

所述的人人交互是指：同一个视频片段中不同的行为人之间的交互；

所述的人物交互是指：同一个视频片段中行为人与物体之间产生的交互；

所述的人记忆交互是指：当前片段中的行为人与历史较长期的临近片段中的行为人之间的交互。

7.根据权利要求6所述的方法，其特征是，所述的建模是指：其中：Q，K分别为输入的两种表征，W_Q，W_k1，W_k2，W_o是全连接层的权重，d是KW_K1的维度；

根据输入表征K的不同，模块处理不同的交互关系：K的取值包括人的区域表征、物体的区域表征以及记忆表征，对应的建模模块依次对应处理人人交互、人物交互和记忆交互并输出融合该类型交互信息的对应表征；当六个模块串联后，上一个建模模块的输出进一步作为下一个的Q进行输入，最终对多种不同的交互关系进行了融合。

8.根据权利要求1所述的方法，其特征是，所述的三个全连接层包括两个隐含层和一个输出层。

9.根据权利要求1所述的方法，其特征是，所述的sigmoid回归层包括sigmoid函数以及交叉熵损失函数，输出层的输出向量经过sigmoid层能够得到各个类别的预测概率，交叉熵损失函数用于训练整个网络。