[发明专利]机器学习模型训练方法和装置、场景图生成方法和装置

权利要求书

1.一种机器学习模型训练方法，包括：

提取样本图像中的第一目标特征信息；

利用第一机器学习模型对所述第一目标特征信息和预设的重加权系数进行信息传递处理，以得到所述样本图像的第二目标特征信息；

利用所述样本图像的第二目标特征信息生成第一场景图；

利用所述第一场景图和所述样本图像的标注结果，生成第一损失函数；

利用第一损失函数对所述第一机器学习模型进行训练。

2.根据权利要求1所述的方法，其中，所述利用第一机器学习模型对所述第一目标特征信息和预设的重加权系数进行信息传递处理包括：

利用所述第一目标特征信息和所述重加权系数生成目标关联矩阵；

利用所述第一目标特征信息和所述目标关联矩阵生成所述第二目标特征信息。

3.根据权利要求2所述的方法，其中，

所述目标关联矩阵与所述重加权系数和所述第一目标特征信息的注意力评分结果的哈达玛Hadamard乘积相关联；

所述第二目标特征信息与所述第一目标特征信息、所述目标关联矩阵与所述第一目标特征信息的乘积和预设目标特征信息之和相关联。

4.根据权利要求3所述的方法，其中，

所述目标关联矩阵A^(k+1)为：

A^(k+1)＝Normalize(Ω^(k)⊙H(Y^(k)))

其中，Normalize为归一化函数，Ω^(k)为所述重加权系数，Y^(k)为所述第一目标特征信息，H为注意力评分函数，⊙为Hadamard乘法算符；

所述第二目标特征信息Y^(k+1)为：

Y^(k+1)＝AF1(a(Y^(k)+A^(k+1)Y^(k)+Y⁽⁰⁾))

其中，AF1为激活函数，a为系数，Y⁽⁰⁾为所述预设目标特征信息。

5.根据权利要求1-4中任一项所述的方法，还包括：

利用所述第二机器学习模型对所述第二目标特征信息进行处理，以生成关系预测矩阵，其中所述关系预测矩阵中包括所述样本图像中每两个目标之间的关系预测特征；

确定所述关系预测矩阵的最大秩；

根据所述关系预测矩阵确定所述样本图像中各目标关系预测结果的交叉熵损失函数；

根据所述交叉熵损失函数和所述关系预测矩阵的最大秩生成第二损失函数；

利用第二损失函数对所述第一机器学习模型和所述第二机器学习模型进行训练。

6.根据权利要求5所述的方法，其中，

所述第二特征信息包括所述样本图像中的每一个目标的目标特征，以及所述样本图像中的每两个特征的联合特征。

7.根据权利要求6所述的方法，其中，

所述样本图像中第i个目标和第j个目标之间的关系预测特征与所述第i个目标的目标特征、所述第j个目标的目标特征、以及所述第i个目标和所述第j个目标的联合特征相关联，1≤i，j≤M，i≠j。

8.根据权利要求7所述的方法，其中，

所述第i个目标和所述第j个目标之间的关系预测特征P_ij为：

P_ij＝AF2(W_r(y_i*y_j*u_ij)+f_ij)

其中，AF2为激活函数，W_r为关系预测函数，y_i为所述第i个目标的目标特征，y_j为所述第j个目标的目标特征，u_ij为所述第i个目标和所述第j个目标的联合特征，f_ij为所述第i个目标和所述第j个目标之间的关系类别的概率分布，*为特征融合算符。