[发明专利]用于语义挖掘的复合词处理方法、装置及其设备

说明书

本发明提出一种用于语义挖掘的复合词处理方法、装置及其设备，其中，方法包括：确定训练语料中每句话的M个分词；按照M个分词的出现顺序选择N个分词生成N维复合词，其中，M大于等于2，且N大于等于2且小于等于M；对N维复合词的字符串进行K次哈希运算，查询预先建立的随机哈希字典空间中获取与每次哈希运算结果唯一对应的位置，并根据与K次哈希运算结果对应的K个位置的浮点数字生成N维复合词的K维词向量，其中，K为大于1的整数；根据所有N维复合词的K维词向量筛选出满足预设条件的N维目标复合词，将N维目标复合词输入给词袋模型进行语义挖掘。由此，实现将更多更大粒度的语义特征引入词袋模型，进一步提升词袋模型的效果。

技术领域

本发明涉及信息处理技术领域，尤其涉及一种用于语义挖掘的复合词处理方法、装置及其设备。

背景技术

人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语音识别、图像识别、自然语言处理和专家系统等。

目前，在文本语义相关性匹配任务中，常见的词袋(Bag of Words)模型有着广泛的应用。相关技术中，采用Bigram(二元语法)统计训练语聊中相邻两个词的出现概率，通过T-statics统计排序，得到某两个词同时出现的可能性，从而对较大可能性同时出现的两个词进行捆绑得到的复合词作为新的语义特征嵌入到词向量空间，并输入给词袋模型。

然而，对于每一批新的训练语料都需要重新统计其Bigram的T-statics形成Bigram词表，然后才能开始对词袋模型训练，从而造成较大的训练开销，以及仅仅将两个词进行捆绑得到的复合词作为新的语义特征嵌入到词向量空间，并输入给词袋模型，影响词袋模型的效果。

发明内容

本发明的目的旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种用于语义挖掘的复合词处理方法，用于解决现有技术中的语料训练成本高，以及为了提升词袋模型效果，需要引入更多的二元捆绑词，影响内存性能；或者是仅仅将两个词进行捆绑得到的复合词作为新的语义特征嵌入到词向量空间，并输入给词袋模型，影响词袋模型效果的问题。

本发明的第二个目的在于提出一种用于语义挖掘的复合词处理装置。

本发明的第三个目的在于提出一种计算机设备。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种用于语义挖掘的复合词处理方法，所述方法包括以下步骤：确定训练语料中每句话的M个分词；按照所述M个分词的出现顺序选择N个分词生成N维复合词，其中，M大于等于2，且N大于等于2且小于等于M；对所述N维复合词的字符串进行K次哈希运算，查询预先建立的随机哈希字典空间中获取与每次哈希运算结果唯一对应的位置，并根据与K次哈希运算结果对应的K个位置的浮点数字生成所述N维复合词的K维词向量，其中，K为大于1的整数；根据所有N维复合词的K维词向量筛选出满足预设条件的N维目标复合词，将所述N维目标复合词输入给词袋模型进行语义挖掘。