[发明专利]一种词典生成方法、新词发现方法、装置及电子设备

说明书

本申请涉及一种词典生成方法、新词发现方法、装置及电子设备。方法包括：对文本语料进行分词处理，得到候选分词集，候选分词集的分词对应有以出现频率为初始值的分词分值；基于候选分词集合对文本语料的语句进行分词划分；多轮迭代执行：基于候选分词集中分词的分词分值，确定文本语料中的语句的分词划分结果的置信值；基于包含目标分词的分词划分结果的置信值总和，更新候选分词集中目标分词的分词分值；基于多轮迭代过程中每个语句置信值最高的分词划分结果，或者基于最后一轮迭代过程中每个语句置信值最高的分词划分结果，构建目标词典。

技术领域

本申请实施例涉及信息挖掘技术领域，尤其涉及一种词典生成方法、新词发现方法、装置及电子设备。

背景技术

随着互联技术的快速发展，网络语言呈现爆炸式的增长。为了使计算机更好的理解互联网出现的新词，新词发现技术尤为重要。

现有的新词发现方式是在对语料进行分词处理后，以分词的点互信息和左右熵为指标，衡量分词是否作为新词。现阶段，基于点互信息和左右熵的新词发现方式已相对成熟，难以再进一步挖掘出新的词汇。此外，这种方式没有重视字符较多的分词作为新词的可能性，一般包含字符较多的分词在点互信息和左右熵上表现不佳，难以被选作新词。因此，有必要开发出与现有技术不同的新词发现方式。

发明内容

本申请实施例其中一个目的是提供一种词典生成方法、新词发现方法、装置及电子设备，能够在保证较高命中率的基础上，发现新的词汇。

为了实现上述目的，本申请实施例采用下述技术方案：

第一方面，本申请实施例提供一种词典生成方法，包括：

对文本语料进行分词处理，得到所述文本语料对应的候选分词集，所述候选分词集的分词对应有以出现频率作为初始值的分词分值；

基于所述候选分词集合对所述文本语料中的语句进行分词划分；

多轮迭代执行以下方法：基于候选分词集中分词对应的分词分值，确定所述文本语料中的语句的分词划分结果的置信值；基于包含目标分词的分词划分结果的置信值总和，更新候选分词集中所述目标分词对应的分词分值；

基于多轮迭代过程中所述文本语料的每个语句置信值最高的分词划分结果，或者基于最后一轮迭代过程中所述文本语料的每个语句置信值最高的分词划分结果，构建目标词典。

第二方面，提供了一种新词发现方法，包括：

对文本语料进行分词处理，得到所述文本语料对应的候选分词集，其中，所述候选分词集的分词对应有以分词的出现频率作为初始值的分词分值；

基于候选分词集合对所述文本语料中的语句进行分词划分；

多轮迭代执行以下方法：基于候选分词集中分词对应的分词分值，确定所述文本语料中的语句的分词划分结果的置信值；基于包含目标分词的分词划分结果的置信值总和，更新候选分词集中所述目标分词对应的分词分值；

基于目标词典和原始词典的差异，生成新词集合。

第三方面，提供了一种词典生成装置，包括：

第一分词处理模块，对文本语料进行分词处理，得到所述文本语料对应的候选分词集，所述候选分词集的分词对应有以出现频率作为初始值的分词分值；

第一分词划分模块，基于候选分词集合对所述文本语料中的语句进行分词划分；

第一迭代执行模块，多轮迭代执行以下方法：基于候选分词集中分词对应的分词分值，确定所述文本语料中的语句的分词划分结果的置信值；基于包含目标分词的分词划分结果的置信值总和，更新候选分词集中所述目标分词对应的分词分值；