[发明专利]一种从合同简体迁移到繁体的光学字符联合训练及识别方法

权利要求书

1.一种从合同简体迁移到繁体的光学字符联合训练及识别方法，其特征在于，包括以下步骤：

1)建立多任务字符识别模型，具体包括：

1.1在字符识别模型基础上增加多任务模块，所述的多任务模块包括：文字拆解预测子模块、字数统计预测子模块、笔画区间预测子模块、异常文字检查子模块、文字结构分类子模块；

1.2将解码模块和多任务模块合并，形成多任务字符识别模型；

2)将多任务字符识别模型进行训练，得到训练后的多任务字符识别模型；

3)向训练后的多任务字符识别模型输入包含简体字和繁体字的合同图片，得到各子任务的识别结果以及直接解码的识别结果，子任务的识别结果包括子任务检测文字的数量、子任务解码序列、子任务解码序列长度，直接解码的识别结果包括解码文字序列、解码文字序列长度，然后通过分别比较各子任务的识别结果与直接解码的识别结果间的编辑距离联合修正，得到识别结果。

2.根据权利要求1所述的从合同简体迁移到繁体的光学字符联合训练及识别方法，其特征在于，步骤2)中，将多任务字符识别模型进行训练，具体包括：

2.1构造特征训练字典；

2.2将训练样本转化为异常文字检查结果和字数统计预测结果，利用特征训练字典将训练样本转化为文字拆解预测结果、笔画区间预测结果和文字结构分类结果；

2.3将文字拆解预测结果、字数统计预测结果、笔画区间预测结果、异常文字检查结果、文字结构分类结果输入到多任务模块中，采用总误差函数进行训练，得到训练后的多任务字符识别模型。

3.根据权利要求2所述的从合同简体迁移到繁体的光学字符联合训练及识别方法，其特征在于，步骤2.1中，所述的特征训练字典具体包括：

2.1.1笔画区间字典，根据简体字与繁体字的笔画数划分为笔画数1-8的第一列表、笔画数9-15的第二列表、笔画数16-25的第三列表、笔画数大于25的第四列表；

2.1.2原子字字典，对简体字与繁体字进行逐字筛选，选出同时满足以下特征的字：1.无法被拆解为另外一个笔画区间在[a,b]的字；2.该文字被数量多于阙值r的字包含，其中a,b,r是按照具体问题调整的超参数；

2.1.3文字结构字典，包括包含及半包含关系的第一类文字、左右结构的第二类文字、上下结构的第三类文字、三字结构的第四类文字、其他的第五类文字。

4.根据权利要求2所述的从合同简体迁移到繁体的光学字符联合训练及识别方法，其特征在于，步骤2.3中，所述的总误差函数为，其中，J(θ)表示总误差函数，θ表示整个网络的参数集合，L_taski表示第i个任务的误差，α_i为对应第i个任务的超参数，λ为学习速率参数，L_init表示解码模块的初始误差；

L_taski的第1个任务的误差为笔画区间误差L_taski的第2个任务的误差为文字结构分类误差为L_taski的第3个任务的误差为多分类包含文字误差L_taski的第4个任务的误差为图片文字统计数量误差L_taski的第5个任务的误差为异常文字二分类误差

其中，D表示训练样本的规模，i为训练样本的序号，Ti表示第i个训练样本中的字序列；是针对第i个训练样本第t个字序列所在的笔画区间标准值；是针对第i个训练样本第t个字序列所在的结构分类槽位；是针对第i个训练样本第t个字序列相关字多分类误差的标准槽位；m⁽ⁱ⁾是针对第i个训练样本中出现的待识别文字量的计数；是针对第i个训练样本中第t个字序列出现的异常文字的标记槽位；分别是神经网络分支解码的结果；L为回归问题损失函数，L′为分类问题损失函数。

5.根据权利要求1所述的从合同简体迁移到繁体的光学字符联合训练及识别方法，其特征在于，步骤3)中，所述的子任务解码序列包括文字拆解序列、笔画区间序列和文字结构序列；

所述的子任务解码序列长度为文字拆解序列、笔画区间序列和文字结构序列的解码序列长度。

6.根据权利要求1所述的从合同简体迁移到繁体的光学字符联合训练及识别方法，其特征在于，步骤3)中，通过分别比较各子任务的识别结果与直接解码的识别结果间的编辑距离联合修正，具体包括：

3.1对于待识的包含简体字和繁体字的合同图片，判断子任务解码序列长度是否相同；

3.2如果子任务解码序列长度不同，采用语言模型直接修正，得到识别结果；

如果子任务解码序列长度相同，则判断解码文字序列长度是否大于子任务检测文字的数量；

3.3如果解码文字序列长度是大于子任务检测文字的数量，则分别计算解码文字序列到3个子任务序列进行删除，产生三个序列最小编辑代价数记为a1,a2,a3，判断a1,a2,a3是否低于阈值；

3.4如果a1,a2,a3不低于阈值，则采用语言模型修正，得到识别结果；

如果a1,a2,a3低于阈值，则按照最小编辑代价操作对识别的原始序列进行删除替换操作，之后筛选替换字符集，然后采用语言模型修正，得到识别结果；

3.5如果解码文字序列长度等于子任务检测文字的数量，则标记解码序列中异常高于阈值的文字，采用语言模型修正，得到识别结果；

3.6如果解码文字序列长度小于子任务检测文字的数量，则分别计算解码文字序列到3个子任务序列进行插入，产生三个序列最小编辑代价数记为a1,a2,a3，判断a1,a2,a3是否低于阈值；

3.7如果a1,a2,a3不低于阈值，则采用语言模型修正，得到识别结果；

如果a1,a2,a3低于阈值，则按照最小编辑代价操作对识别的原始序列进行插入替换操作，之后筛选字符集，然后采用语言模型修正，得到识别结果。