[发明专利]一种模型训练的方法、业务执行的方法及装置

说明书

本说明书公开了一种模型训练的方法、业务执行的方法及装置，首先，获取样本图像以及第一样本文字信息，其中，样本图像中包含的文字信息与第一样本文字信息相匹配。其次，将样本图像和第一样本文字信息输入到待训练的匹配模型中，以通过匹配模型中的图像特征提取层，从样本图像中提取图像特征，以及，通过匹配模型中的文字特征提取层，从第一样本文字信息中提取文字特征。而后，将图像特征与文字特征输入到匹配模型中的匹配层中，以确定出图像特征与文字特征之间的匹配度。最后，以最大化匹配度为优化目标，对匹配模型进行训练。本方法减少了通过从样本图像中提取出的图像特征，识别文字信息这一步骤，从而，提高核对图像中的文本的效率。

技术领域

本说明书涉及计算机技术领域，尤其涉及一种模型训练的方法、业务执行的方法及装置。

背景技术

随着科技的发展，由于图像中的文本通常包含着比较丰富的信息，在业务执行、隐私数据保护方面起到极大的作用。例如，在交易业务中，通常需要用户上传发票图像，从而基于业务发票信息对上传的发票图像中的文本进行核对。

目前，如何提高核对图像中的文本的效率，则是一个亟待解决的问题。

发明内容

本说明书提供一种模型训练的方法、装置、存储介质及电子设备，以提高核对图像中的文本的效率。

本说明书采用下述技术方案：

本说明书提供了一种模型训练的方法，包括：

获取样本图像以及第一样本文字信息，其中，所述样本图像中包含的文字信息与所述第一样本文字信息相匹配；

将所述样本图像和所述第一样本文字信息输入到待训练的匹配模型中，以通过所述匹配模型中的图像特征提取层，从所述样本图像中提取图像特征，以及，通过所述匹配模型中的文字特征提取层，从所述第一样本文字信息中提取文字特征；

将所述图像特征与所述文字特征输入到所述匹配模型中的匹配层中，以确定出所述图像特征与所述文字特征之间的匹配度；

以最大化所述匹配度为优化目标，对所述匹配模型进行训练。

可选地，在对所述匹配模型进行训练之前，所述方法还包括：

从样本图像中确定文字区域，并对所述文字区域内的图像进行特征提取；

对所述文字区域内的图像进行遮盖，得到遮盖后图像，其中，所述文字区域内包含的每个文字的文字图像不会被完全遮盖；

根据从所述遮盖后图像中提取出的图像特征，对所述遮盖后图像进行还原，得到还原后图像，并对所述还原后图像进行特征提取；

确定从所述文字区域内的图像中提取出的图像特征与从所述还原后图像中提取出的图像特征之间的偏差；

对所述匹配模型进行训练，具体包括：

以最大化所述匹配度为优化目标，以及最小化所述偏差为优化目标，对所述匹配模型进行训练。

可选地，对所述文字区域内的图像进行遮盖，得到遮盖后图像，具体包括：

确定预设尺寸的滑动窗口在所述文字区域内滑动时所覆盖的各子区域；

从所述各子区域中确定出需要遮盖的子区域，作为目标子区域；

将所述目标子区域进行遮盖，得到所述遮盖后图像。

可选地，确定从所述文字区域内的图像中提取出的图像特征与从所述还原后图像中提取出的图像特征之间的偏差，具体包括：