[发明专利]一种人包关系检测方法、装置、设备及存储介质

权利要求书

1.一种人包关系检测方法，其特征在于，包括：

基于神经网络结构创建人包关系检测网络；利用训练样本图像对所述人包关系检测网络进行训练，直至所述人包关系检测网络在训练过程中的损失函数满足训练要求，所述训练样本图像标注有人位置框、包位置框和人包对应关系；

通过人包关系检测网络提取待分析图像中的人位置框、包位置框、人关联嵌入向量和包关联嵌入向量，所述人位置框与所述人关联嵌入向量、所述包位置框与所述包关联嵌入向量一一对应；

根据所述人关联嵌入向量和所述包关联嵌入向量计算关联嵌入关系成本；

根据所述人位置框和所述包位置框计算先验成本；

基于所述关联嵌入关系成本和所述先验成本构建人包关系对应成本矩阵，并基于所述人包关系对应成本矩阵确定人包对应关系；

所述损失函数包括回归损失L_reg、分类损失L_cls和关联嵌入损失L_ass；

所述回归损失通过smooth-L1-loss函数、IOU-Loss函数或GIou-Loss函数计算获得；

所述分类损失通过cross-entropy-loss函数计算获得；

所述关联嵌入损失通过以下公式计算获得：

L_ass＝μL_pull+νL_push

其中，s表示当前所属关系中包和人的总数量，N为当前图像中人包均存在的情况的所属关系的数量，N′为所有所属关系数量，Δ₂为预设的距离阈值；表示当前所属关系中人和包的关联嵌入向量值，μ、ν表示加权系数，L_pull和L_push分别为L_pull损失函数和L_push损失函数；

所述损失函数通过以下公式计算获得：

L＝αL_cls+βL_reg+ηL_ass

其中α、β、η表示损失权重。

2.根据权利要求1所述的人包关系检测方法，其特征在于，所述根据所述人关联嵌入向量和所述包关联嵌入向量计算关联嵌入关系成本，包括：

获取所述人关联嵌入向量的向量值以及所述包关联嵌入向量的向量值

基于所述人关联嵌入向量的向量值以及所述包关联嵌入向量的向量值根据以下公式计算关联嵌入关系成本：

其中，i表示第i个人，j表示第j个包，表示关联嵌入距离，T₁、T₂为预设阈值，H为预设常数，f_ass()表示单调递增的关联嵌入距离到嵌入损失的映射。

3.根据权利要求1所述的人包关系检测方法，其特征在于，所述根据所述人位置框和所述包位置框计算先验成本，包括：

基于所述人位置框和所述包位置框的相对关系，根据以下公式计算先验成本：

其中，i表示第i个人，j表示第j个包，Θ表示所述人位置框和所述包位置框的相对关系，f_prior()表示先验知识到先验损失的映射。

4.根据权利要求1所述的人包关系检测方法，其特征在于，所述基于所述关联嵌入关系成本和所述先验成本构建人包关系对应成本矩阵，并基于所述人包关系对应成本矩阵确定人包对应关系，包括：

基于所述关联嵌入关系成本和所述先验成本构建人包关系对应成本矩阵，根据以下公式计算人包关系对应成本：

其中，λ∈[0，1]，i表示第i个人，j表示第j个包，表示关联嵌入关系成本，表示先验成本；

基于所述人包关系对应成本构建人包关系对应成本矩阵；

基于所述人包关系对应成本矩阵确定人包对应关系。

5.根据权利要求4所述的人包关系检测方法，其特征在于，所述基于所述人包关系对应成本矩阵确定人包对应关系，包括：

通过指派问题算法对所述人包关系对应成本矩阵进行求解，从而确定人包对应关系。