[发明专利]命名实体识别方法、装置和计算机设备有效
申请号: | 201910164478.0 | 申请日: | 2019-03-05 |
公开(公告)号: | CN109858040B | 公开(公告)日: | 2021-05-07 |
发明(设计)人: | 刘志煌;杨凡;黄斐;龚磊;方高林 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295 |
代理公司: | 广州华进联合专利商标代理有限公司 44224 | 代理人: | 黄晓庆;李文渊 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 命名 实体 识别 方法 装置 计算机 设备 | ||
1.一种命名实体识别方法,包括:
获取当前业务场景的频繁序列文本模式对应的正则表达式;其中,频繁序列文本模式基于对当前业务场景的业务文本数据挖掘得到;文本模式是指文本序列元素的组成方式;当相关上下文在序列中与命名实体共现频率超过一定阈值,那么该上下文序列元素与实体之间构成频繁序列文本模式;
将待提取文本与所述正则表达式进行模式匹配;
根据匹配的所述正则表达式,从所述待提取文本中抽取对应的文字信息,得到所述待提取文本的命名实体提取结果;
所述方法还包括:
获取业务场景下的多条文本数据;
找出单位长度为1的字序列前缀和对应投影数据集;统计字序列前缀出现频率并将支持度高于最小支持度阈值的前缀添加到数据集,获取频繁一项集字序列模式;对所有长度为i且满足最小支持度要求的前缀递归挖掘,返回字序列数据集中所有的频繁字序列模式,得到候选频繁序列文本模式;其中,递规挖掘为:挖掘前缀的投影数据集,如果投影数据为空集合,则返回递归,统计对应投影数据集中各项的最小支持度,将满足支持度的各单项与当前前缀合并,得到新前缀,不满足支持度要求则递归返回,令i=i+1,前缀为合并单项后的各个新前缀,分别执行递归挖掘;
对所述候选频繁序列文本模式进行合并和/或删除处理,得到频繁序列文本模式。
2.根据权利要求1所述的方法,其特征在于,所述将待提取文本与所述正则表达式进行模式匹配的步骤,包括:
获取各所述频繁序列文本模式的优先级信息;
根据所述频繁序列文本模式的优先级信息,按序将对应的正则表达式与待提取的文本进行匹配,直至找到匹配的正则表达式。
3.根据权利要求1所述的方法,其特征在于,在所述根据匹配的所述正则表达式,从所述待提取文本中抽取对应的文字信息,得到所述待提取文本的命名实体提取结果的步骤之后,包括:
利用预设过滤词库中的各过滤词对所述命名实体提取结果的文本进行过滤,得到待提取文本的命名实体。
4.根据权利要求1所述的方法,其特征在于,对所述候选频繁序列文本模式进行合并和/或删除处理,得到频繁序列文本模式的步骤,包括:
删除不符合要求的候选频繁序列文本模式;
合并相同字前缀的候选频繁序列文本模式;
删除所述候选频繁序列文本模式中超频繁序列文本模式对应的子频繁序列文本模式;
合并所述候选频繁序列文本模式中具有部分相同模式的频繁序列文本模式,得到频繁序列文本模式。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据预设的衍生规则,对所述候选频繁序列文本模式进行衍生,扩展所述候选频繁序列文本模式的数量。
6.根据权利要求1所述的方法,其特征在于,所述方法还包括:
根据所述频繁序列文本模式的长度设置所述频繁序列文本模式的优先级。
7.根据权利要求6所述的方法,其特征在于,若所述频繁序列文本模式中存在满足长度阈值的最长公共子序列的多个频繁序列文本模式,则将多个频繁序列文本模式中长度最长的频繁序列文本模式设置最高优先级。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910164478.0/1.html,转载请声明来源钻瓜专利网。