[发明专利]一种获取新词语的方法及装置

权利要求书

1.一种获取新词语的方法，其特征在于，包括以下步骤：

依据预设的第一词语长度对目标语料进行切分，得到第一切分词语库；

基于凝固度算法以及左右熵算法，对所述第一切分词语库进行筛选，得到语料词语库；

依据当前抓取的网络词语库、上一次抓取的网络词语库以及预先存储的本地词语库，获取所述网络词语库包含的网络新词语库；

从所述目标语料中，提取出与所述网络新词语库相匹配的词语，得到语料新词语库；

合并所述语料新词语库和所述语料词语库，从合并的词语库中，删除包含在所述语料新词语库中的子串词语，所述子串词语未包含在所述语料词语库中但该子串词语对应的字符串包含在所述语料词语库中，得到所述目标语料包含的新词语；

所述基于凝固度算法以及左右熵算法，对所述第一切分词语库进行筛选，得到语料词语库，包括：

针对所述第一切分词语库中的每一切分词语，基于该切分词语在所述目标语料中的频次，计算该切分词语的凝固度；

依据切分词语对应的词语长度，从具有该词语长度的各切分词语中，提取凝固度在该词语长度对应的凝固度阈值内的切分词语，得到初筛切分词语库；

计算所述初筛切分词语库中各初筛切分词语在所述目标语料中的左右熵，提取左右熵在预设左右熵阈值内的初筛切分词语，得到再筛切分词语库；

依据预设的第二词语长度对所述目标语料依次进行切分，得到第二切分词语库；

从所述第二切分词语库中提取与所述再筛切分词语库相匹配的第二切分词语，从提取出的所述第二切分词语中，获取在所述目标语料中相邻、且前一第二切分词语词尾的字符串与后一第二切分词语词首的字符串相同的第二切分词语；

合并获取的前后第二切分词语，得到第二切分组合词语；

依据所述第二词语长度对各第二切分组合词语进行切分，得到每一第二切分组合词语对应的第三切分词语库；

将各个所述第三切分词语库分别与所述再筛切分词语库进行对比，若一第三切分词语库中的每一第三切分词语均包含在所述再筛切分词语库内，将该第三切分词语库对应的第二切分组合词语置于潜在词语库；

合并所述潜在词语库与所述再筛切分词语库，得到所述语料词语库。

2.根据权利要求1所述的方法，其特征在于，采用逆向最大匹配分词算法从所述目标语料中提取出与所述网络新词语库相匹配的词语。

3.根据权利要求1所述的方法，其特征在于，所述依据当前抓取的网络词语库、上一次抓取的网络词语库以及预先存储的本地词语库，获取所述网络词语库包含的网络新词语库，包括：

获取当前抓取的网络词语库中的网络词语，筛选出频率处于预设网络词语阈值内的网络词语；

从筛选出的网络词语中，删除与所述本地词语库相匹配的网络词语，得到过滤网络词语；

从所述过滤网络词语中，删除与上一次抓取的网络词语库相匹配的过滤网络词语，得到所述网络新词语库。

4.根据权利要求1所述的方法，其特征在于，所述第一词语长度包括：词语最小长度以及词语最大长度；所述依据预设的第一词语长度对目标语料进行切分，得到第一切分词语库，包括：

对所述目标语料进行切分，从切分得到的切分词语中，获取词语长度在所述词语最小长度至所述词语最大长度之间的切分词语；

统计切分词语在所述目标语料中的频次；

基于切分词语以及该切分词语在所述目标语料中的频次，构建所述第一切分词语库。

5.根据权利要求1所述的方法，其特征在于，在所述得到第一切分词语库之后，所述方法还包括：

用预先设置的停用词库与所述第一切分词语库进行比较，从所述第一切分词语库中，去掉与所述停用词库相匹配的词语，以对所述第一切分词语库进行更新；

在所述得到所述语料词语库之后，还包括：

将所述语料词语库与预先存储的常用词库进行比较，去掉与所述常用词库相匹配的词语，以对所述语料词语库进行更新。