[发明专利]标签提取方法、装置和电子设备有效
申请号: | 201811469780.9 | 申请日: | 2018-11-26 |
公开(公告)号: | CN111222328B | 公开(公告)日: | 2023-06-16 |
发明(设计)人: | 叶君健;薛璐影 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/216;G06F16/335 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 标签 提取 方法 装置 电子设备 | ||
1.一种标签提取方法,其特征在于,包括:
对待处理的文本数据进行分词,以得到所述文本数据对应的分词序列,所述分词序列包括按照分词顺序排列的多个分词;
获取所述分词序列中每个分词的左熵和右熵;
对所述分词序列中的分词进行依存分析,得到所述分词序列中各个分词之间的依赖关系;
根据所述依赖关系,对所述分词序列中的所述多个分词进行分割,得到分词集合;
根据所述分词集合、每个分词的左熵和右熵,确定所述文本数据的目标标签;
所述分词集合包括多个,所述根据所述分词集合、每个分词的左熵和右熵,确定所述文本数据的目标标签,包括:
根据每个所述分词集合中的第一个分词的左熵以及最后一个分词的右熵,分别确定每个所述分词集合是否可组成标签;
针对任意相邻两个分词集合,如果确定前一个分词集合可组成标签,且后一个分词集合可组成标签,则将所述前一个分词集合中的最后一个分词与所述后一个分词集合中的第一个分词,组成连续词,并获取所述连续词的互信息;
根据所述连续词的互信息,确定对应相邻的两个分词集合的组合状态;
根据所有的相邻两个分词集合的组合状态,确定N个分割点,所述N为大于等于零的整数;
根据所述N个分割点对所有的分词集合再次进行分割,以得到N+1个分词集群,所述分词集群中包括至少K个分词集合,所述K为大于或者等于1的正整数;
将所述分词集群中的每M个分词集合进行拼接,并将每次拼接得到的标签添加到目标标签集合中,其中,所述M依次取1到K的每个值;
将所述目标标签集合中的所有标签,作为所述目标标签。
2.如权利要求1所述的方法,其特征在于,所述根据所述依赖关系,对所述分词序列中的所述多个分词进行分割,得到分词集合,包括:
根据所述依赖关系,依次确定所述分词序列中相邻两个分词之间是否存在依赖关系;
若相邻的两个分词之间存在依赖关系,则将相邻的两个分词划分到同一个分词集合中;
若相邻的两个分词之间不存在依赖关系,则将相邻的两个分词划分到不同的分词集合中。
3.如权利要求1所述的方法,其特征在于,所述根据所述分词集合、每个分词的左熵和右熵,确定所述文本数据的目标标签,包括:
判断所述分词集合中第一个分词的左熵以及最后一个分词的右熵是否均大于第一预设阈值;
若判断获知所述分词集合中第一个分词的左熵以及最后一个分词的右熵均大于第一预设阈值,则对所述分词集合中的分词进行拼接,以得到所述目标标签。
4.如权利要求1所述的方法,其特征在于,所述根据每个所述分词集合中的第一个分词的左熵以及最后一个分词的右熵,分别确定每个所述分词集合是否可组成标签,包括:
针对每个分词集合,判断对应分词集合中第一个分词的左熵以及最后一个分词的右熵是否均大于第一预设阈值;
若判断获知所述对应分词集合中第一个分词的左熵以及最后一个分词的右熵均大于第一预设阈值,则确定所述对应分词集合可组成标签;
若判断获知所述对应分词集合中的第一个分词的左熵和/或最后一个分词的右熵小于或者等于第一预设阈值,则确定所述对应分词集合不能组成标签。
5.如权利要求1所述的方法,其特征在于,所述根据所述连续词的互信息,确定对应相邻的两个分词集合的组合状态,包括:
判断所述连续词的互信息是否大于第二预设阈值;
若判断获知所述连续词的互信息大于第二预设阈值,则确定所述对应相邻的两个分词集合的组合状态为可组合状态;
若判断获知所述连续词的互信息小于或者等于第二预设阈值,则确定所述对应两个分词集合不能组合在一起。
6.如权利要求1或5所述的方法,其特征在于,所述获取所述连续词的互信息,包括:
根据预先建立的连续词与互信息的对应关系,获取与所述连续词对应的互信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811469780.9/1.html,转载请声明来源钻瓜专利网。
- 上一篇:可变径形状记忆合金闭合夹及堆叠式多发变径闭合夹装置
- 下一篇:多功能转动机