[发明专利]用于语义挖掘的复合词处理方法、装置及其设备

权利要求书

1.一种用于语义挖掘的复合词处理方法，其特征在于，包括以下步骤：

确定训练语料中每句话的M个分词；

按照所述M个分词的出现顺序选择N个分词生成N维复合词，其中，M大于等于2，且N大于等于2且小于等于M；

对所述N维复合词的字符串进行K次哈希运算，查询预先建立的随机哈希字典空间中获取与每次哈希运算结果唯一对应的位置，并根据与K次哈希运算结果对应的K个位置的浮点数字生成所述N维复合词的K维词向量，其中，K为大于1的整数；

根据所有N维复合词的K维词向量筛选出满足预设条件的N维目标复合词，将所述N维目标复合词输入给词袋模型进行语义挖掘；

其中，所述根据所有N维复合词的K维词向量筛选出满足预设条件的N维目标复合词，包括：

将每个N维复合词的K维词向量输入到预设的算法中进行处理，获取满足预设条件的N维目标复合词。

2.如权利要求1所述的方法，其特征在于，所述根据所有N维复合词的K维词向量筛选出满足预设条件的N维目标复合词，包括：

将每个N维复合词的K维词向量输入到预设的线性回归模型中，获取表示每个N维复合词重要程度的权重；

根据每个N维复合词的K维词向量和对应权重，获取每个N维复合词的K维加权词向量；

根据所有N维复合词的K维加权词向量筛选出满足预设条件的N维目标复合词。

3.如权利要求2所述的方法，其特征在于，所述根据每个N维复合词的K维词向量和对应权重，获取每个N维复合词的K维加权词向量，包括：

计算每个N维复合词的K维词向量和对应权重的乘积，获取每个N维复合词的K维加权词向量。

4.如权利要求2所述的方法，其特征在于，在所述确定训练语料中每句话的M个分词之后，还包括：

按照所述M个分词的出现顺序选择2个分词生成二维复合词；

对所述二维复合词的字符串进行计算获取计算结果，查询原始词向量字典空间，获取与所述计算结果对应的唯一位置，应用与所述位置对应的数字生成所述二维复合词的K维词向量，其中，K为大于1的整数；

所述根据所有N维复合词的K维加权词向量筛选出满足预设条件的N维目标复合词，包括：

将所述二维复合词的K维词向量和所述所有N维复合词的K维加权词向量加和，根据加和结果筛选出满足预设条件的N维目标复合词；

其中，所述根据所有N维复合词的K维词向量筛选出满足预设条件的N维目标复合词，包括：

将每个N维复合词的K维词向量输入到预设的算法中进行处理，获取满足预设条件的N维目标复合词。

5.如权利要求1-4任一所述的方法，其特征在于，所述将所述N维目标复合词输入给词袋模型进行语义挖掘，包括：

应用所述词袋模型中的N维目标复合词对文本进行语义检测；

根据检测结果筛选掉不满足文本语义的复合词。

6.一种用于语义挖掘的复合词处理装置，其特征在于，包括：

确定模块，用于确定训练语料中每句话的M个分词；

第一生成模块，用于按照所述M个分词的出现顺序选择N个分词生成N维复合词，其中，M大于等于2，且N大于等于2且小于等于M；

第一处理模块，用于对所述N维复合词的字符串进行K次哈希运算，查询预先建立的随机哈希字典空间中获取与每次哈希运算结果唯一对应的位置，并根据与K次哈希运算结果对应的K个位置的浮点数字生成所述N维复合词的K维词向量，其中，K为大于1的整数；

筛选模块，用于根据所有N维复合词的K维词向量筛选出满足预设条件的N维目标复合词；

挖掘模块，用于将所述N维目标复合词输入给词袋模型进行语义挖掘；

其中，所述根据所有N维复合词的K维词向量筛选出满足预设条件的N维目标复合词，包括：

将每个N维复合词的K维词向量输入到预设的算法中进行处理，获取满足预设条件的N维目标复合词。