[发明专利]识别模型训练方法及装置在审
申请号: | 202110595230.7 | 申请日: | 2021-05-28 |
公开(公告)号: | CN113361253A | 公开(公告)日: | 2021-09-07 |
发明(设计)人: | 王安;李长亮 | 申请(专利权)人: | 北京金山数字娱乐科技有限公司 |
主分类号: | G06F40/205 | 分类号: | G06F40/205;G06F40/284;G06F40/295;G06Q50/18 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 李晓庆 |
地址: | 100085 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 识别 模型 训练 方法 装置 | ||
1.一种识别模型训练方法,其特征在于,包括:
对获取的目标样本文档进行解析,获得每个目标样本文档的多个目标文本以及每个目标文本的实体类型;
基于每个目标文本的实体类型,以及每个目标文本与其他目标文本之间的距离,确定每个目标文本与其他目标文本之间的关联关系;
将所述目标文本作为目标样本文本,将所述目标文本与其他目标文本之间的关联关系作为所述目标样本文本的目标样本标签;
基于所述目标样本文本以及所述目标样本文本对应的目标样本标签对识别模型进行训练,以获得训练后的所述识别模型。
2.根据权利要求1所述的识别模型训练方法,其特征在于,所述对获取的目标样本文档进行解析,获得每个目标样本文档的多个目标文本以及每个目标文本的实体类型,包括:
将获取的多个目标样本文档输入解析模型,获得每个目标样本文档的多个目标文本以及每个目标文本的实体类型。
3.根据权利要求2所述的识别模型训练方法,其特征在于,所述解析模型通过以下步骤训练:
获取多个初始样本文档,并确定每个初始样本文档中的目标文本以及所述目标文本的实体类型;
将所述目标文本作为初始样本文本,将所述目标文本的实体类型作为初始样本标签;
基于所述初始样本文本以及所述初始样本文本对应的初始样本标签对解析模型进行训练,以获得训练后的所述解析模型。
4.根据权利要求3所述的识别模型训练方法,其特征在于,所述确定每个初始样本文档中的目标文本以及所述目标文本的实体类型,包括:
通过BIO标注确定每个初始样本文档中的目标文本,且为所述目标文本设置对应的实体类型。
5.根据权利要求3所述的识别模型训练方法,其特征在于,所述确定每个初始样本文档中的目标文本以及所述目标文本的实体类型,包括:
对每个初始样本文档进行分区获得多个初始文本,将每个初始文本输入实体识别模型,获得包含实体的初始文本;
将包含实体的初始文本作为目标文本,且为所述目标文本设置对应的实体类型。
6.根据权利要求1-5任意一项所述的识别模型训练方法,其特征在于,所述基于每个目标文本的实体类型,以及每个目标文本与其他目标文本之间的距离,确定每个目标文本与其他目标文本之间的关联关系,包括:
确定与每个目标文本的实体类型对应的关联实体类型,并确定所述关联实体类型对应的其他目标文本;
确定所述目标文本与所述关联实体类型对应的每个其他目标文本之间的编辑距离;
将编辑距离最小的所述其他目标文本作为所述目标文本的关联目标文本。
7.根据权利要求6所述的识别模型训练方法,其特征在于,所述将所述目标文本作为目标样本文本,将所述目标文本与其他目标文本之间的关联关系作为所述目标样本文本的目标样本标签,包括:
将所述目标文本作为目标样本文本,将所述关联目标文本作为所述目标样本文本的目标样本标签。
8.根据权利要求7所述的识别模型训练方法,其特征在于,所述解析模型包括Layout模型,所述识别模型包括BERT模型。
9.一种文档识别方法,其特征在于,包括:
接收携带有目标文档的文档识别请求,将所述目标文档输入解析模型,获得所述目标文档的多个目标文本以及每个目标文本的实体类型;
将所述多个目标文本以及每个目标文本的实体类型输入识别模型,获得所述目标文本的每个目标文本以及与所述每个目标文本对应的关联目标文本。
10.根据权利要求9所述的文档识别方法,其特征在于,所述解析模型采用权利要求3的步骤训练获得;所述识别模型采用权利要求1-8任意一项的识别模型训练方法训练获得。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山数字娱乐科技有限公司,未经北京金山数字娱乐科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110595230.7/1.html,转载请声明来源钻瓜专利网。