[发明专利]一种基于特征融合的人物交互检测方法、系统、设备及介质

权利要求书

1.一种基于特征融合的人物交互检测方法，其特征在于：包括以下步骤：

步骤1，构建深度神经网络；

步骤2，对步骤1构建的深度神经网络进行初始化；

步骤3，将HICO-DET数据集与通过Faster-RCNN网络对HICO-DET数据集预测出的物体框及其类别进行合并，生成新的图像集合，所述新的图像集合包括新的训练集和测试集；

步骤4，训练步骤2初始化后的深度神经网络；

步骤5，将步骤3得到的新的测试集输入到步骤4训练好的深度神经网络中，进行交互行为分类预测，得到测试集的测试准确率。

2.根据权利要求1所述的一种基于特征融合的人物交互检测方法，其特征在于：所述步骤1具体包括：

步骤1.1，构建一个六层的特征提取网络，其结构依次为：输入层→第1个卷积层→第1个残差卷积层→第2个残差卷积层→第3个残差卷积层→第4个残差卷积层；

步骤1.2，构建一个三层的特征增强网络，其结构依次为：第1个卷积层→第2个卷积层→第3个卷积层；

步骤1.3，构建两个相同结构的三层的网络，分别作为人体独立特征处理网络和物体独立特征处理网络，其结构依次为：第1个自适应池化层→第1个全连接层→第2个全连接层；

步骤1.4，构建一个三层的交互特征处理网络，其结构依次为：第1个自适应池化层→第1个全连接层→第2个全连接层；

步骤1.5，构建一个两层的交互行为分类网络，其结构以此为：第1个全连接层→第2个全连接层。

3.根据权利要求1所述的一种基于特征融合的人物交互检测方法，其特征在于：所述步骤2的具体方法为：

步骤2.1，在(0，1)范围内随机选一个数，用所选数作为深度神经网络中每个节点的初始权值；

步骤2.2，将每个节点的初始权值作为第一次迭代过程中深度神经网络中每个节点的权值。

4.根据权利要求1所述的一种基于特征融合的人物交互检测方法，其特征在于：所述步骤3中的HICO-DET数据集包括训练集和测试集，训练集和测试集中均包含真实的人物框和物体框以及人物框和物体框真实的分类标签，将HICO-DET数据集中训练集和测试集中的图像，经过Faster-RCNN网络预测出物体框及其类别，将测出的物体框及其类别与HICO-DET数据集合并生成新的训练集与测试集。