[发明专利]一种基于特征融合的人物交互检测方法、系统、设备及介质

说明书

一种基于特征融合的人物交互检测方法、系统、设备及介质，方法步骤为：构建深度神经网络；对构建的深度神经网络进行初始化；将HICO‑DET数据集与通过Faster‑RCNN网络对HICO‑DET数据集预测出的物体框及其类别进行合并，生成新的图像集合；训练初始化后的深度神经网络；将新的测试集输入到训练好的深度神经网络中，进行交互行为分类预测，得到测试集的测试准确率；系统、设备及介质用于实现该方法；本发明通过从不同特征层获取独立特征和交互特征并将其进行融合，能够有效利用交互区域的上下文信息，使提取出的特征信息得到充分利用，具有提升交互行为预测性能的特点。

技术领域

本发明属于人物交互检测技术领域，特别涉及一种基于特征融合的人物交互检测方法、系统、设备及介质。

背景技术

人物交互(human object interaction，HOI)检测旨在解决人和物的交互关系问题，不同于常见的目标检测、动作识别等任务，人物交互检测需要更高层次的视觉理解。HOI检测要求模型明确地定位图像中人和物体的位置，同时正确预测其交互行为，如“人骑马”、“人开车”等。通过研究HOI检测来模拟人类认识周围世界的方式，识别图像蕴含的人物交互行为，是实现自动理解图像主题、自动描述图像主要内容的关键。现有技术中，一些方法通过视觉和语言预训练或者语言知识注入来激发HOI图像和文本对应的多模态模型，但大多数方法注重于图像中人和物体的具体特征信息，没有充分利用背景区域中的上下文信息。

申请号为【202211512924.0】的专利申请公开了一种基于YOLOv5的人物交互检测方法，该方法核心问题视为双重目标检测任务，双重检测包括人与物体在内的基础目标检测和交互区域特殊目标检测，关注每个人-物对之间的交互区域，解决复杂的多对多关系检测，将交互区域视为特殊目标，在得到目标检测结果的同时，也得到了交互检测的结果，达到了快速检测人物交互关系的效果。

针对如上所述的现有技术方案，在预测出交互区域以后直接输出一个是否存在交互关系的置信度、确定交互框需要的四个参数以及每种交互动作的分数，并没有使用其中的特征信息，使模型中没有考虑交互区域中的上下文信息，同时模型是基于YOLO算法实现的，导致模型预测性能受到了限制。

申请号为【202210127157.5】的专利申请公开了一种人物交互关系识别方法，该方法提供了一种人物交互关系识别方法，包括：识别目标图像中的人体对象和物体对象，获得所述人体对象的人体特征和所述物体对象的物体特征，并识别所述人体对象的动作姿态，获得所述人体对象的姿态特征；根据所述人体特征和姿态特征进行融合处理，获得所述人体对象的融合特征；根据所述融合特征和所述物体特征执行人物交互关系预测，获得所述人体对象与所述物体对象之间的人物交互关系识别结果。

针对如上所述的现有技术方案，融合后的特征仅包含人体对象的特征，缺乏全局信息的辅助，没有充分利用从图像中提取出的特征信息，忽略了人体和物体之间的上下文信息，同时增加了人体关键点检测的模型，导致整个网络的计算开销增大，影响模型的计算性能。

综上分析，目前，现有技术存在以下技术问题：

1、现有技术在进行动作行为的分类预测时，通常仅将人体特征和物体特征传入到分类网络中，没有使用到人体和物体交互区域中具有的区域特征信息，这样会导致一部分信息的缺失，从而影响模型的性能；

2、现有技术尝试从各个角度来提升分类方法的性能，但一般都进行了相对复杂的设计，导致计算效率低，训练时间相对较长。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种基于特征融合的人物交互检测方法、系统、设备及介质，通过从不同特征层获取独立特征和交互特征并将其进行融合，能够有效利用交互区域的上下文信息，使提取出的特征信息得到充分利用，具有提升交互行为预测性能的特点。

一种基于特征融合的人物交互检测方法，包括以下步骤：

步骤1，构建深度神经网络；