[发明专利]标签提取方法、装置和电子设备有效
申请号: | 201811469780.9 | 申请日: | 2018-11-26 |
公开(公告)号: | CN111222328B | 公开(公告)日: | 2023-06-16 |
发明(设计)人: | 叶君健;薛璐影 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/216;G06F16/335 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 宋合成 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 标签 提取 方法 装置 电子设备 | ||
本发明公开了一种标签提取方法、装置和电子设备,其中,方法包括:对待处理的文本数据进行分词,以得到所述文本数据对应的分词序列,所述分词序列包括按照分词顺序排列的多个分词;获取所述分词序列中每个分词的左熵和右熵;对所述分词序列中的分词进行依存分析,得到所述分词序列中各个分词之间的依赖关系;根据所述依赖关系,对所述分词序列中的所述多个分词进行分割,得到分词集合;根据所述分词集合、每个分词的左熵和右熵,确定所述文本数据的目标标签。该方法结合分词的左熵和右熵以及依赖关系,能实现词与词进行组合得到具有一定语义信息的较长的标签的提取,提高了标签提取的准确性,从而方便用户更加深刻的理解和运用文本数据。
技术领域
本发明涉及信息技术领域,尤其涉及一种标签提取方法、装置和电子设备。
背景技术
标签是从文本数据中提取具有语义信息和价值的词组,是描述文本数据的关键特征。基于标签,用户可以深刻的理解和运用文本数据,从而更好地组织文本数据或结构化文本数据,更好地将文本数据被应用到诸如知识图谱、内容分发等业务中。
相关技术中,利用左右信息熵算法进行标签提取,通过计算文本数据中每个词的左右信息熵,左右信息熵越高,说明该词在文档中越重要。由此可知,左右信息熵算法是判断文本数据中的每个词是否可以选为标签,也即左右信息熵算法适用于提取语义信息较短的标签,并不能实现词与词进行组合得到具有一定语义信息的较长的标签的提取。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此,本发明的第一个目的在于提出一种标签提取方法,对待处理的文本数据进行分词,以得到所述文本数据对应的分词序列,所述分词序列包括按照分词顺序排列的多个分词;获取所述分词序列中每个分词的左熵和右熵;对所述分词序列中的分词进行依存分析,得到所述分词序列中各个分词之间的依赖关系;根据所述依赖关系,对所述分词序列中的所述多个分词进行分割,得到分词集合;根据所述分词集合、每个分词的左熵和右熵,确定所述文本数据的目标标签。该方法结合分词的左熵和右熵以及依赖关系,能实现词与词进行组合得到具有一定语义信息的较长的标签的提取,提高了标签提取的准确性,从而方便用户更加深刻的理解和运用文本数据。
本发明的第二个目的在于提出一种标签提取装置。
本发明的第三个目的在于提出一种电子设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
本发明的第五个目的在于提出一种计算机程序产品。
为达上述目的,本发明第一方面实施例提出了一种标签提取方法,对待处理的文本数据进行分词,以得到所述文本数据对应的分词序列,所述分词序列包括按照分词顺序排列的多个分词;获取所述分词序列中每个分词的左熵和右熵;对所述分词序列中的分词进行依存分析,得到所述分词序列中各个分词之间的依赖关系;根据所述依赖关系,对所述分词序列中的所述多个分词进行分割,得到分词集合;根据所述分词集合、每个分词的左熵和右熵,确定所述文本数据的目标标签。
本发明实施例的标签提取方法,结合分词的左熵和右熵以及依赖关系进行标签提取,能实现词与词进行组合得到具有一定语义信息的较长的标签的提取,提高了标签提取的准确性,从而方便用户更加深刻的理解和运用文本数据。
为达上述目的,本发明第二方面实施例提出了一种标签提取装置,包括:
分词模块,用于对待处理的文本数据进行分词,以得到所述文本数据对应的分词序列,所述分词序列包括按照分词顺序排列的多个分词;
获取模块,用于获取所述分词序列中每个分词的左熵和右熵;
依存分析模块,用于对所述分词序列中的分词进行依存分析,得到所述分词序列中各个分词之间的依赖关系;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811469780.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:可变径形状记忆合金闭合夹及堆叠式多发变径闭合夹装置
- 下一篇:多功能转动机