[发明专利]人物交互检测方法、神经网络及其训练方法、设备和介质

权利要求书

1.一种人物交互检测方法，包括：

获取待检测图像的图像特征；

对所述图像特征进行第一目标特征提取，以得到多个第一目标特征；

对所述图像特征进行第一交互特征提取，以得到一个或多个第一交互特征；

对所述多个第一目标特征进行处理，以得到所述待检测图像中的多个检测目标的目标信息，其中，所述多个检测目标包括一个或多个人体目标和一个或多个物体目标；

对所述一个或多个第一交互特征进行处理，以得到所述待检测图像中的一个或多个动作的动作信息、与所述一个或多个动作中的每一个动作对应的人体目标的人体信息、以及与所述每一个动作对应的物体目标的物体信息；

将所述多个检测目标和所述一个或多个动作进行匹配；以及

针对所述一个或多个动作中的每一个动作，基于与对应的人体目标匹配的检测目标的目标信息更新所述对应的人体目标的人体信息，基于与对应的物体目标匹配的检测目标的目标信息更新所述对应的物体目标的物体信息。

2.如权利要求1所述的方法，其中，所述目标信息包括包围所述对应的目标的检测框，其中，所述人体信息包括包围所述对应的人体目标的检测框，其中，所述物体信息包括包围所述对应的物体目标的检测框，

其中，基于与对应的人体目标匹配的检测目标的目标信息更新所述对应的人体目标的人体信息包括：

基于包围与所述对应的人体目标匹配的检测目标的第一人体检测框和包围所述对应的人体目标的第二人体检测框，确定更新后的包围所述对应的人体目标的第三人体检测框，

并且其中，基于与对应的物体目标匹配的检测目标的目标信息更新所述对应的物体目标的物体信息包括：

基于包围与所述对应的物体目标匹配的检测目标的第一物体检测框和包围所述对应的物体目标的第二物体检测框，确定更新后的包围所述对应的物体目标的第三物体检测框。

3.如权利要求2所述的方法，其中，所述目标信息包括置信度，其中，所述动作信息包括置信度，

其中，基于所述第一人体检测框和所述第二人体检测框，确定所述第三人体检测框包括：

基于所述第一人体检测框和与所述对应的人体目标匹配的检测目标的置信度，以及所述第二人体检测框和该动作的置信度，确定所述第三人体检测框，

并且其中，基于所述第一物体检测框和所述第二物体检测框，确定所述第三物体检测框包括：

基于所述第一物体检测框和与所述对应的物体目标匹配的检测目标的置信度，以及所述第二物体检测框和该动作的置信度，确定所述第三物体检测框。

4.如权利要求3所述的方法，其中，基于所述第一人体检测框和与所述对应的人体目标匹配的检测目标的置信度，以及所述第二人体检测框和所述对应的人体目标的置信度，确定所述第三人体检测框包括：

将与所述对应的人体目标匹配的检测目标的置信度作为所述第一人体检测框的权重，并将该动作的置信度作为所述第二人体检测框的权重，以确定所述第三人体检测框，

并且其中，基于所述第一物体检测框和与所述对应的物体目标匹配的检测目标的置信度，以及所述第二物体检测框和所述对应的物体目标的置信度，确定所述第三物体检测框包括：

将与所述对应的物体目标匹配的检测目标的置信度作为所述第一物体检测框的权重，并将该动作的置信度作为所述第二物体检测框的权重，以确定所述第三物体检测框。

5.如权利要求3所述的方法，其中，所述一个或多个动作中的每一个动作包括对应的人体目标和对应的物体目标之间的至少一个子动作，其中，所述动作信息包括所述至少一个子动作中的每一个子动作的类型和置信度，

其中，基于所述第一人体检测框和与所述对应的人体目标匹配的检测目标的置信度，以及所述第二人体检测框和该动作所包括的至少一个子动作中的至少一部分子动作的置信度，确定所述第三人体检测框，

其中，基于所述第一物体检测框和与所述对应的物体目标匹配的检测目标的置信度，以及所述第二物体检测框和所述至少一部分子动作的置信度，确定所述第三物体检测框。