[发明专利]一种基于深度神经网络的多视角多目标关联方法

权利要求书

1.一种基于深度神经网络的多视角多目标关联方法，其特征在于,包括以下步骤：

步骤一，采用特征提取对多个视角下同一时刻的多个目标检测框进行目标特征向量b₁,b₂,...,b_n提取；

步骤二，采用欧式距离对目标特征向量进行两两之间距离计算构建相似度矩阵A；

步骤三，通过双向循环神经网络参数对相似度矩阵A进行转化生成分配矩阵P；其中：所述步骤三中分配矩阵P生成步骤：

S301、对相似度矩阵A按行展开输入双向循环神经网络中获得第一相似度矩阵a₁；

S302、将第一相似度矩阵按列展开输入双向循环神经网络中进行特征训练获得第二相似度矩阵a₂；

S303、通过三个全连接层对第二相似度矩阵a₂进行特征提取获得综合表示矩阵a₃；

S304、利用sigmoid函数对综合表示矩阵a₃计算生成置换矩阵；

S305、将置换矩阵映射在(0,1)之间获得分配矩阵P；

步骤四，通过预设阀值对分配矩阵P进行转化构建二值分配矩阵；

步骤五，通过端到端方式判断深度神经网络中对应的损失模型是否收敛，如果满足收敛输出匹配矩阵；否则重复迭代步骤一至步骤四；其中：所述步骤五中深度神经网络中对应的损失模型构建过程：

S501、通过交叉熵损失函数对相似度矩阵A与分配矩阵P之间的关系进行约束建立能量损失模型；即：

其中，γ用来强调分类错误的样本，并且α用来平衡正负样本的不平衡问题；代表真实的匹配值，只能取0或者1；p_mn代表网络的输出结果，该值的取值范围为(0，1)；

S502、通过多个视角间的多目标匹配存在循环一致性对相似度矩阵A与分配矩阵P之间的关系进行约束建立循环一致性损失函数；即：

S503、通过矩阵的二范数对相似度矩阵A与分配矩阵P之间的关系约束建立对称性损失模型；

S504、通过每个目标在所有视角中的视角数对相似度矩阵A进行约束建立行列约束损失模型；即：

S505、深度网络中对应的损失模型即为上述四种损失模型的加和。