[发明专利]基于因果关联挖掘模型的场景图生成方法及系统

说明书

本申请提供一种基于因果关联挖掘模型的场景图生成方法及系统。该方法包括：获取图像数据；基于预先构建的因果关联挖掘模型对图像数据中的目标对象进行分析处理，得到关系分类结果，因果关联挖掘模型将关系分类结果输出，完成分析处理过程；根据关系分类结果构建场景图。能够挖掘对象和关系之间的本质因果，同时强化对象个性特征来消除类别共性特征的副作用。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种基于因果关联挖掘模型的场景图生成方法及系统。

背景技术

场景图的数据集中通常存在很强的频率偏见，现有的场景图生成模型通常将对象类别和关系之间的统计依赖性融入模型的框架来提高关系预测的准确性，在此基础上，隐式地将对象类别与谓词关系之间的统计依赖性融入场景图生成的过程，在这个主流框架中，关系分类结果的预测主要依赖于对象的特征和对象的类别。

基于上述情况，现有技术中在当前的模型框架下，由于受到对象分类任务的影响，对象特征中的类别共性特征成分会被强化，从而在关系预测中，造成了类别共性特征对对象特征的主导，从而使得对象个性特征进行了压制，使得这一框架不可避免地建立了对象类别和关系分类结果之间错误的因果关系，造成了关系分类结果的高偏差预测关系，因此学习对象和关系之间的正确因果对于提高场景图的性能至关重要。

发明内容

有鉴于此，本申请的目的在于提出一种基于因果关联挖掘模型的场景图生成方法及系统，用以解决上述技术问题。

基于上述目的，本申请的第一方面提供了一种基于因果关联挖掘模型的场景图生成方法，包括：

获取图像数据；

基于预先构建的因果关联挖掘模型对所述图像数据中的目标对象进行分析处理过程包括：

对所述图像数据进行对象特征提取，得到对象特征数据，并将所述对象特征数据分解为类别共性特征和对象个性特征；

根据所述类别共性特征和对象个性特征得到类别平均特征，并基于所述类别共性特征和所述对象个性特征得到第一关系数据，同时，基于所述类别平均特征得到第二关系数据；

对所述第一关系数据和所述第二关系数据进行差异处理，得到第三关系数据；

根据所述第一关系数据和所述第三关系数据进行关系分类，得到关系分类结果，所述因果关联挖掘模型将所述关系分类结果输出，完成所述分析处理过程；

根据所述关系分类结果构建场景图。

本申请的第二方面提供了一种基于因果关联挖掘模型的场景图生成系统，包括：

数据获取模块，被配置为获取图像数据；

提取分类模块，被配置为基于预先构建的因果关联挖掘模型对所述图像数据中的目标对象进行分析处理，所述提取分类模块包括：

提取分解单元，被配置为对所述图像数据进行对象特征提取，得到对象特征数据，并将所述对象特征数据分解为类别共性特征和对象个性特征；

关系数据获取单元，被配置为根据所述类别共性特征和对象个性特征得到类别平均特征，并基于所述类别共性特征和所述对象个性特征得到第一关系数据，同时，基于所述类别平均特征得到第二关系数据；

差异处理单元，被配置为对所述第一关系数据和所述第二关系数据进行差异处理，得到第三关系数据；

关系分类单元，被配置为根据所述第一关系数据和所述第三关系数据进行关系分类，得到关系分类结果，所述因果关联挖掘模型将所述关系分类结果输出，完成所述分析处理过程；

场景图构建模块，被配置为根据所述关系分类结果构建场景图。