[发明专利]机器学习模型训练方法和装置、场景图生成方法和装置

说明书

本公开提供一种机器学习模型训练方法和装置、场景图生成方法和装置，涉及人工智能领域。机器学习模型训练方法包括：提取样本图像中的第一目标特征信息；利用第一机器学习模型对第一目标特征信息和预设的重加权系数进行信息传递处理，以得到样本图像的第二目标特征信息；利用样本图像的第二目标特征信息生成第一场景图；利用第一场景图和样本图像的标注结果，生成第一损失函数；利用第一损失函数对第一机器学习模型进行训练。

技术领域

本公开涉及人工智能领域，特别涉及一种机器学习模型训练方法和装置、场景图生成方法和装置。

背景技术

场景图生成是利用图谱的形式将图像或视频中的目标以及目标之间的关系进行表征的技术。场景图包含多个三元组。每个三元组由两个节点(代表目标)和一条边(代表关系)组成。例如，图像中包括一个人和一辆自行车，可能的一个关系是这个人骑着自行车。

现有的场景图生成方法主要包括上下文信息建模的场景图方法。该方法使用基于图卷积网络的上下文信息传递来提升对物体和关系的识别准确性。

发明内容

发明人注意到，基于图卷积的上下文信息传递方法对于空间距离较近的目标会倾向于产生较大的关联响应。例如，目标A和目标B在语义上相差较远，但目标A和目标B的空间位置较近，从而无法准确区分开目标A和目标B，即导致出现目标表征混淆问题。

据此，本公开提供一种机器学习模型训练方案，通过对图像信号进行降噪，从而有效解决目标表征混淆问题。

根据本公开实施例的第一方面，提供一种机器学习模型训练方法，包括：提取样本图像中的第一目标特征信息；利用第一机器学习模型对所述第一目标特征信息和预设的重加权系数进行信息传递处理，以得到所述样本图像的第二目标特征信息；利用所述样本图像的第二目标特征信息生成第一场景图；利用所述第一场景图和所述样本图像的标注结果，生成第一损失函数；利用第一损失函数对所述第一机器学习模型进行训练。

在一些实施例中，所述利用第一机器学习模型对所述第一目标特征信息和预设的重加权系数进行信息传递处理包括：利用所述第一目标特征信息和所述重加权系数生成目标关联矩阵；利用所述第一目标特征信息和所述目标关联矩阵生成所述第二目标特征信息。

在一些实施例中，所述目标关联矩阵与所述重加权系数和所述第一目标特征信息的注意力评分结果的哈达玛Hadamard乘积相关联；所述第二目标特征信息与所述第一目标特征信息、所述目标关联矩阵与所述第一目标特征信息的乘积和预设目标特征信息之和相关联。

在一些实施例中，所述目标关联矩阵A^(k+1)为：

A^(k+1)＝Normalize(Ω^(k)⊙H(Y^(k)))

其中，Normalize为归一化函数，Ω^(k)为所述重加权系数，Y^(k)为所述第一目标特征信息，H为注意力评分函数，⊙为Hadamard乘法算符；所述第二目标特征信息Y^(k+1)为：

Y^(k+1)＝AF1(a(Y^(k)+A^(k+1)Y^(k)+Y⁽⁰⁾))

其中，AF1为激活函数，a为系数，Y⁽⁰⁾为所述预设目标特征信息。