[发明专利]基于细粒度多模态共同表征的人-物体交互行为检测方法

说明书

一种基于细粒度多模态共同表征的人‑物体交互行为检测方法。通过整理样本图像中的人‑物体对及人‑物体交互行为，并借助三维人体重建方法及三维人体‑物体空间布局生成方法提取标记后的样本图像中的三维信息作为训练集，通过训练集对细粒度多模态共同表征模型进行训练后用于检测测试数据，得到人‑物体交互行为的检测分数实现交互行为检测。本发明能够准确地实现人‑物体交互行为进行检测，并同时获取到交互中的人与物体的二维和三维几何表征。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种基于细粒度多模态共同表征的人-物体交互行为检测方法。

背景技术

行为检测的核心就是人-物体交互行为检测，现有的行为检测越来越多倚重深度学习技术。比如，由C.Gao等在文献“ican:Instancecentric attention network forhuman-object interaction detection”(BMVC 2019)中记载的iCAN是此领域一个有效的模型。该方法以三通道RGB图像为输入，使用含有自注意力机制的人工神经网络检测图像中存在的人-物体交互行为。但该技术的缺陷在于：对于同样的人-物体交互行为，单纯的二维信息受视角影响严重，类内差异较大，从而带来严重的类内模糊性；三维人体姿态等信息对于视角变换有一定的鲁棒性，但是缺乏对人-物体交互行为检测必要的细节信息。

发明内容

本发明针对现有技术存在的上述不足，提出一种基于细粒度多模态共同表征的人-物体交互行为检测方法。

本发明是通过以下技术方案实现的：

本发明涉及一种基于细粒度多模态共同表征的人-物体交互行为检测方法，通过整理样本图像中的人-物体对及人-物体交互行为，并借助三维人体重建方法及三维人体-物体空间布局生成方法提取标记后的样本图像中的三维信息作为训练集，通过训练集对细粒度多模态共同表征模型进行训练后用于检测测试数据，得到人-物体交互行为的检测分数实现交互行为检测。

所述的整理是指：从作为样本图像的已有图像库中获取不同场景下、不同种类的人与物体交互图像，并标记其对应的交互行为和物体种类的标签。

所述的细粒度多模态共同表征模型包括：由分别处理人和物体信息的iCAN模块和处理编码后的空间信息的二维空间信息处理模块组成的二维信息处理分支以及由处理空间布局的三维布局模块和处理细节人体信息的三维人体模块组成的三维信息处理分支。

所述的检测分数，通过设置阈值进一步判断测试数据中的人-物体交互行为存在。

本发明涉及一种实现上述方法的系统，包括：数据预处理单元、细粒度三维空间布局构造单元和共同表征单元，其中：数据预处理单元与细粒度三维空间布局构造单元和共同表征单元相连并传输图像、人体边界框、物体边界框信息，细粒度三维空间布局构造单元与二维-三维共同表征学习单元相连并传输细粒度三维空间布局信息，二维三维共同表征学习单元接受前两个单元传入的二维信息和三维信息，输出人-物体交互行为的检测结果。

技术效果

本发明整体解决了人-物体交互行为检测中由于视角受限而产生的模糊性问题。

与现有技术相比，本发明利用细粒度多模态共同表征对人-物体交互行为进行检测，可以准确地实现人-物体交互行为进行检测，并同时获取到交互中的人与物体的二维和三维几何表征，对于一些困难场景它使得仅基于单目图像的人-物体交互行为检测也能具有良好效果，在实际应用中可以减轻对不同角度图像的依赖性，使得本发明中的技术普适性更强的同时检测效果更佳。

附图说明

图1为本发明流程图；

图2为本发明效果示意图；

图中数字为检测分数(0-1)；

图3为图像中人-物体对的细粒度三维空间布局获取示意图；