[发明专利]一种基于自监督学习的验证码识别器的训练方法和装置

权利要求书

1.一种训练验证码识别器的方法，所述验证码识别器包括特征提取器和分类器，所述方法包括：

获取无标签的第一样本集，其中包括多个第一样本，每个第一样本对应一个验证码图像；其中,获取无标签的第一样本集，包括：获取真实的验证码图像作为正面示例；基于所述正面示例的验证码图像进行破坏字符完整性的合成处理，将合成的验证码图像作为负面示例；其中，基于正面示例的验证码图像进行破坏字符完整性的合成处理，包括以下中的至少一种：将所述正面示例的验证码图像上、下部分按照不同的间距进行合成；将所述正面示例的验证码图像上、下部分按照不同的旋转方向进行合成；拼接不同的正面示例的验证码图像的上、下部分；

对于各个第一样本，将对应的验证码图像划分为多个图块；

利用所述特征提取器分别提取各个图块的特征，得到各个图块的编码向量；

从所述多个图块中选取连续的图块序列，利用回归网络，基于所述图块序列中前面若干图块的编码向量，确定隐含向量，基于所述隐含向量确定所述图块序列中后续图块的预测向量；其中，从所述多个图块中选取连续的图块序列包括：从所述多个图块构成的图块阵列中选取同一列的图块，将该列的图块按照从上到下的顺序，或者从下到上的顺序排成所述图块序列；

基于所述后续图块的编码向量和预测向量，确定第一预测损失；

根据各个第一样本对应的第一预测损失，训练所述特征提取器和所述回归网络；

基于训练好的特征提取器，训练所述分类器。

2.根据权利要求1所述的方法，其中，所述基于训练好的特征提取器，训练分类器，包括：

获取有标签的第二样本集，其中包括多个第二样本，每个第二样本对应一个验证码图像，且具有标注的真实字符；

对于各个第二样本，将对应的验证码图像输入训练好的特征提取器，得到第二样本的特征向量；

将所述特征向量输入所述分类器，预测其中的字符；

基于预测的字符和所述真实字符，确定第二预测损失；

根据第二预测损失，更新所述分类器。

3.根据权利要求1所述的方法，其中，所述正面示例的数目少于所述负面示例。

4.根据权利要求1所述的方法，其中，所述将所述验证码图像划分为多个图块，包括：

将所述验证码图像划分为预定大小的图块，每个所述图块与其相邻图块存在预定比例的重叠。

5.根据权利要求1所述的方法，其中，所述特征提取器通过卷积神经网络CNN实现。

6.根据权利要求1所述的方法，其中，所述回归网络为基于时序的神经网络，所述基于所述图块序列中前面若干图块的编码向量，确定隐含向量包括：

将所述前面若干图块分别对应的若干编码向量依次输入所述基于时序的神经网络，所述基于时序的神经网络依次迭代处理所述若干编码向量，将处理所述若干编码向量中最后一个编码向量后得到的状态向量，作为所述隐含向量。

7.根据权利要求1所述的方法，其中所述验证码识别器还包括分解器，所述分解器包括背景图像提取网络、字符图像提取网络和权重掩码生成网络；所述方法还包括通过以下方式训练所述分解器：

获取无标签的第三样本集，其中包括多个第三样本，每个第三样本对应一个包含干扰图像的验证码图像；

对于各个第三样本，去除对应验证码图像中高频、不规则噪声，得到消噪图像；

将所述消噪图像分别输入背景图像提取网络、字符图像提取网络和权重掩码生成网络，分别从中得到背景图像、字符图像和权重掩码图像；其中，所述权重掩码图像的像素点数据代表背景图像、字符图像中相应像素点在重构时的比重；

根据背景图像、字符图像和权重掩码图像生成重构图像；

根据所述消噪图像、重构图像和权重掩码图像，确定第三预测损失；

根据第三预测损失，更新背景图像提取网络、字符图像提取网络和权重掩码生成网络。