[发明专利]地址要素解析方法、装置和电子设备在审
申请号: | 202111238411.0 | 申请日: | 2021-10-25 |
公开(公告)号: | CN113886512A | 公开(公告)日: | 2022-01-04 |
发明(设计)人: | 徐英浩;姚雪丹;陈树华 | 申请(专利权)人: | 北京顶象技术有限公司 |
主分类号: | G06F16/29 | 分类号: | G06F16/29;G06F40/295;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 北京超凡宏宇专利代理事务所(特殊普通合伙) 11463 | 代理人: | 荣颖佳 |
地址: | 100000 北京市海淀区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 地址 要素 解析 方法 装置 电子设备 | ||
1.一种地址要素解析方法,其特征在于,包括:
获取待解析地址数据;
利用预设Lebert模型对所述待解析地址数据进行特征编码,得到目标地址编码;其中,所述预设Lebert模型中的attention计算采用非参数式的相对位置编码;
基于所述目标地址编码确定所述待解析地址数据的目标解析结果;其中,所述目标解析结果包括:每个实体的起始位置、每个所述实体的终止位置和每个所述实体的类型,所述实体表示所述待解析地址数据中具有独立语义的分词结果。
2.根据权利要求1所述的方法,其特征在于,获取待解析地址数据,包括:
获取原始地址数据;
将所述原始地址数据中的无效字符进行过滤,得到所述待解析地址数据;其中,所述无效字符包括:网页链接、代码和标点符号。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取目标训练样本;其中,所述目标训练样本中包括多个训练地址数据;
对每个所述训练地址数据执行遮蔽操作,得到遮蔽后的训练样本;
利用遮蔽后的训练样本对初始Bert模型进行训练,得到目标Bert模型;
在所述目标Bert模型的Encoder层之间添加适配器Adapter,以得到目标Lebert模型;其中,所述Adapter用于融合地址元素信息和外部词汇信息;
调整所述目标Lebert模型中attention计算的编码方式为非参数式的相对位置编码,得到所述预设Lebert模型。
4.根据权利要求3所述的方法,其特征在于,获取目标训练样本,包括:
获取多个样本地址数据;
对每个所述样本地址数据进行数据清洗,得到清洗后的样本地址数据;
对每个所述清洗后的样本地址数据进行实体类型识别,得到具有实体类型标记的地址数据;
对每个所述具有实体类型标记的地址数据进行数据增强,得到所述目标训练样本。
5.根据权利要求4所述的方法,其特征在于,对每个所述具有实体类型标记的地址数据进行数据增强,包括:
基于第一预设概率分布对每个所述具有实体类型标记的地址数据中的目标实体进行实体替换;其中,所述目标实体表示所述具有实体类型标记的地址数据中的任意一个实体;
所述第一预设概率分布包括:第一概率和第二概率;所述第一概率为实体保持不变的概率,所述第二概率为实体被替换的概率;所述第一概率和所述第二概率的和为1;
所述第二概率具体包括第二预设概率分布,所述第二预设概率分布包括:第一子概率、第二子概率和第三子概率;所述第一子概率为实体被随机替换的概率,第二子概率为实体被删除的概率,第三子概率为实体保持不变的概率;所述第一子概率、所述第二子概率和所述第三子概率的和为1。
6.根据权利要求3所述的方法,其特征在于,对每个所述训练地址数据执行遮蔽操作,包括:
基于第三预设概率分布对每个所述训练地址数据中预设比例的字符进行遮蔽,得到遮蔽后的训练样本;
其中,所述第三预设概率分布包括:第三概率、第四概率和第五概率;所述第三概率为字符被替换为预设遮蔽字符的概率,所述第四概率为字符保持不变的概率,所述第五概率为字符被随机替换的概率;所述第三概率、所述第四概率和所述第五概率的和为1。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京顶象技术有限公司,未经北京顶象技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111238411.0/1.html,转载请声明来源钻瓜专利网。