[发明专利]图像差异检测及模型训练的方法、设备及程序产品

权利要求书

1.一种图像差异检测模型训练方法，包括：

获取训练样本集，所述训练样本集中的每个训练样本包括样本图像、所述样本图像对应的基准图像、和标注信息，所述标注信息用于表示所述样本图像与所述基准图像是否存在差异；

将所述样本图像和所述基准图像输入图像差异检测模型，所述图像差异检测模型包括特征提取子模型和差异定位子模型；

将所述样本图像和所述基准图像输入所述特征提取子模型，通过所述特征提取子模型，提取所述样本图像的图像特征，得到第一特征矩阵，并提取所述基准图像的图像特征，得到第二特征矩阵；

通过所述差异定位子模型，根据所述第一特征矩阵和所述第二特征矩阵，确定差异可视化矩阵，所述差异可视化矩阵包含所述样本图像和所述基准图像的差异位置信息；

根据所述差异可视化矩阵，确定所述样本图像和所述基准图像存在差异的预测概率；

根据所述预测概率，确定所述样本图像和所述基准图像是否存在差异的预测结果；

根据所述预测结果和所述标注信息，确定第一损失；

将所述第一特征矩阵转换为第一特征向量，并将所述第二特征矩阵转换为第二特征向量；

根据所述第一特征向量与所述第二特征向量之间的距离，以及所述标注信息，确定第二损失；

根据所述第一损失和所述第二损失，确定综合损失值；

根据所述综合损失值，更新所述图像差异检测模型的模型参数。

2.根据权利要求1所述的方法，其中，将任一特征矩阵转换为特征向量，包括：

将所述任一特征矩阵进行展平处理，得到第一向量；

通过至少一个全连接层，对所述第一向量进行至少一次特征变换处理，得到对应的特征向量。

3.根据权利要求2所述的方法，其中，所述将所述任一特征矩阵进行展平处理，得到第一向量之前，还包括：

对所述任一特征矩阵进行平均池化处理。

4.根据权利要求1-3中任一项所述的方法，其中，所述将所述样本图像和所述基准图像输入所述特征提取子模型，通过所述特征提取子模型，提取所述样本图像的图像特征，得到所述第一特征矩阵，并提取所述基准图像的图像特征，得到所述第二特征矩阵，包括：

所述特征提取子模型包括第一网络和第二网络，所述第一网络和第二网络具有相同的结构，并且所述第一网络和第二网络的权重不共享；

将所述样本图像和所述基准图像分别输入所述第一网络和第二网络，利用所述第一网络，提取所述样本图像的图像特征，得到所述第一特征矩阵；利用所述特征提取子模型的第二网络，提取所述基准图像的图像特征，得到所述第二特征矩阵。

5.根据权利要求4所述的方法，其中，利用所述特征提取子模型的任一网络，提取输入图像的图像特征，得到输入图像的特征矩阵，包括：

利用所述特征提取子模型的任一网络，提取输入图像的初始图像特征；

对所述初始图像特征进行特征细化处理，得到细化后的第二图像特征；

将所述初始图像特征和所述第二图像特征进行融合处理后，得到所述输入图像的特征矩阵；

其中，所述任一网络为所述第一网络或所述第二网络，若所述任一网络为所述第一网络，则所述输入图像为所述样本图像，所述输入图像的特征矩阵为所述第一特征矩阵，若所述任一网络为第二网络，则所述输入图像为所述基准图像，所述输入图像的特征矩阵为所述第二特征矩阵。

6.根据权利要求5所述的方法，其中，所述将所述初始图像特征和所述第二图像特征进行融合处理后，得到所述输入图像的特征矩阵，包括：

将所述初始图像特征经过缩放处理，得到缩放处理后的图像特征；

将缩放处理后的图像特征和所述第二图像特征进行融合处理，得到所述输入图像的特征矩阵。

7.根据权利要求1-3中任一项所述的方法，其中，所述根据所述第一特征矩阵和所述第二特征矩阵，确定所述差异可视化矩阵，包括：

将所述第一特征矩阵和所述第二特征矩阵连接，得到融合特征矩阵；

对所述融合特征矩阵进行差异特征提取处理，得到所述样本图像和所述基准图像的差异可视化矩阵。