[发明专利]人-物交互关系识别方法、模型训练方法及对应装置

权利要求书

1.一种人-物交互关系识别方法，其特征在于，包括：

获取待识别图像中的行人检测框集合、物体检测框集合以及每个物体检测框对应的物体类别；其中，所述行人检测框表示检测到的行人位置，所述物体检测框表示检测到的物体位置；

获取所述待识别图像中的至少一组交互框以及每组交互框对应的交互行为类别；其中，一组交互框包括一个行人交互框和一个物体交互框，每组交互框对应一种交互行为类别下的一个交互点，所述交互点是指所述待识别图像中能够表示交互行为的发生位置的像素点，所述行人交互框表示利用所述交互点处的图像特征预测出的行人位置，所述物体交互框表示利用所述交互点处的图像特征预测出的物体位置；

将每组交互框中的行人交互框和物体交互框，分别与所述行人检测框集合中的行人检测框和所述物体检测框集合中的物体检测框进行匹配，若其中的行人交互框与一行人检测框匹配，且其中的物体交互框与一物体检测框匹配，则将匹配的行人检测框、匹配的物体检测框、该物体检测框对应的物体类别以及该组交互框对应的交互行为类别确定为一组人-物交互关系。

2.根据权利要求1所述的人-物交互关系识别方法，其特征在于，所述获取待识别图像中的行人检测框集合、物体检测框集合以及每个物体检测框对应的物体类别，包括：

利用第一神经网络对所述待识别图像进行目标检测，获得所述第一神经网络输出的所述待识别图像中的目标检测框集合以及每个目标检测框在每种目标类别下的置信度；其中，所述目标类别包括行人以及至少一种物体；

从所述目标检测框集合中筛选出在任一目标类别下的置信度大于该目标类别下的第一置信度阈值的目标检测框；在筛选出的目标检测框中，对应的目标类别为行人的框构成所述行人检测框集合，对应的目标类别为一种物体的框构成所述物体检测框集合，一个目标检测框对应的目标类别是指使得该目标检测框被筛选出的置信度所在的目标类别。

3.根据权利要求1所述的人-物交互关系识别方法，其特征在于，所述获取所述待识别图像中的至少一组行交互框以及每组交互框对应的交互行为类别，包括：

利用第二神经网络对所述待识别图像进行人-物交互关系检测，获得所述第二神经网络输出的所述待识别图像的交互热力图以及交互框集合；其中，所述交互热力图包括所述待识别图像中的每个像素点作为每种交互行为类别下的交互点的置信度，所述交互框集合包括所述待识别图像中的每个像素点在作为每种交互行为类别下的交互点时对应的一组交互框；

根据所述交互热力图，从所述待识别图像中筛选出在任一交互行为类别下的置信度大于在该交互行为类别下的第二置信度阈值的像素点作为该交互类别下的交互点；

确定由每种交互行为类别下连通的交互点构成的每种交互行为类别下的交互点区域；

从每种交互行为类别下的每个交互点区域中确定至少一个代表交互点，将所述至少一个代表交互点中的每个代表交互点在所述交互框集合中对应的一组交互框确定为一组用于与检测框集合进行匹配的交互框，并将该代表交互点对应的交互行为类别确定为该组交互框对应的交互行为类别。

4.根据权利要求3所述的人-物交互关系识别方法，其特征在于，所述从每种交互行为类别下的每个交互点区域中确定至少一个代表交互点，包括：

从每种交互行为类别下的每个交互点区域中选择置信度最大的K个交互点作为所述至少一个代表交互点；其中，K为正整数。