[发明专利]一种模型训练的方法、业务执行的方法及装置

权利要求书

1.一种模型训练的方法，包括：

获取样本图像以及第一样本文字信息，其中，所述样本图像中包含的文字信息与所述第一样本文字信息相匹配；

将所述样本图像和所述第一样本文字信息输入到待训练的匹配模型中，以通过所述匹配模型中的图像特征提取层，从所述样本图像中提取图像特征，以及，通过所述匹配模型中的文字特征提取层，从所述第一样本文字信息中提取文字特征；

将所述图像特征与所述文字特征输入到所述匹配模型中的匹配层中，以确定出所述图像特征与所述文字特征之间的匹配度；

以最大化所述匹配度为优化目标，对所述匹配模型进行训练。

2.如权利要求1所述的方法，在对所述匹配模型进行训练之前，所述方法还包括：

从样本图像中确定文字区域，并对所述文字区域内的图像进行特征提取；

对所述文字区域内的图像进行遮盖，得到遮盖后图像，其中，所述文字区域内包含的每个文字的文字图像不会被完全遮盖；

根据从所述遮盖后图像中提取出的图像特征，对所述遮盖后图像进行还原，得到还原后图像，并对所述还原后图像进行特征提取；

确定从所述文字区域内的图像中提取出的图像特征与从所述还原后图像中提取出的图像特征之间的偏差；

对所述匹配模型进行训练，具体包括：

以最大化所述匹配度为优化目标，以及最小化所述偏差为优化目标，对所述匹配模型进行训练。

3.如权利要求2所述的方法，对所述文字区域内的图像进行遮盖，得到遮盖后图像，具体包括：

确定预设尺寸的滑动窗口在所述文字区域内滑动时所覆盖的各子区域；

从所述各子区域中确定出需要遮盖的子区域，作为目标子区域；

将所述目标子区域进行遮盖，得到所述遮盖后图像。

4.如权利要求2所述的方法，确定从所述文字区域内的图像中提取出的图像特征与从所述还原后图像中提取出的图像特征之间的偏差，具体包括：

根据所述文字区域内包含的文字图像在各投影方向上的投影，确定从所述文字区域内的图像中提取出的图像特征在不同投影方向上的特征分量，以及，根据所述还原后图像中包含的文字图像在各投影方向上的投影，确定从所述还原后图像中提取出的图像特征在不同投影方向上的特征分量；

针对每个投影方向，确定从所述文字区域内的图像中提取出的图像特征在该投影方向上的特征分量与从所述还原后图像中提取出的图像特征在该投影方向上的特征分量之间的偏差，作为该投影方向上的偏差；

根据各投影方向上的偏差，确定从所述文字区域内的图像中提取出的图像特征与从所述还原后图像中提取出的图像特征之间的偏差。

5.如权利要求1所述的方法，在对所述匹配模型进行训练之前，所述方法还包括：

获取第二样本文字信息，所述第二样本文字信息与所述第一样本文字信息不同；

将所述第二样本文字信息输入到所述匹配模型中，以通过所述匹配模型中的文字特征提取层，从所述第二样本文字信息中提取文字特征；

将所述图像特征、所述第一样本文字信息对应的文字特征以及所述第二样本文字信息对应的文字特征输入到所述匹配模型中的匹配层中，以确定出所述图像特征与所述第一样本文字信息对应的文字特征之间的匹配度，以及所述图像特征与所述第二样本文字信息对应的文字特征之间的匹配度；

对所述匹配模型进行训练，具体包括：

以最大化所述图像特征与所述第一样本文字信息对应的文字特征之间的匹配度，最小化所述图像特征与所述第二样本文字信息对应的文字特征之间的匹配度为优化目标，对所述匹配模型进行训练。