[发明专利]词典更新方法及计算机可读存储介质

说明书

本发明公开了一种词典更新方法及计算机可读存储介质。所述方法包括：采用以下方式发现新词：对接收到的语料进行预处理，以得到文本数据；对文本数据进行分行处理，得到语句数据；依照词典中包含的单独词对语句数据进行分词处理，以得到分词后的词语数据；对相邻的分词后的词语数据进行组合处理，以生成候选数据串；对候选数据串进行判断处理，以发现新词；所述判断处理包括：计算候选数据串中各词语与其外侧词语的信息熵，去除各词语与其外侧词语的信息熵在预设范围外的候选数据串；在发现新词时，将该新词加入词典，以更新后的词典再次进行分词处理、组合处理和发现新词的过程，直至未发现新词为止。本发明可提升新词发现的准确度。

本申请是申请日为2015年10月27日，申请号为201510706254.X，发明创造名称为“新词发现方法及装置”的分案申请。

技术领域

本发明涉及智能交互领域，尤其涉及一种词典更新方法及计算机可读存储介质。

背景技术

在中文信息处理的众多领域，均需要基于词典完成对应的功能。例如，在智能检索系统或智能对话系统中，通过分词、问题检索、相似度匹配、确定检索结果或智能对话的答案等，其中每个过程都是通过词语为最小单位进行计算，计算的基础为词语词典，所以词语词典对于整个系统的性能有着很大的影响。

社会文化的进步和变迁、经济商业的快速发展，往往带动着语言的变化，而最快速体现语言变化的就是新词的出现。特别是在特定领域内，是否能在新词出现后及时更新词语词典，对词语词典所在的智能对话系统的系统效率有着决定性的影响。

新词也就是新发现的单独词，在现有技术中，至少有以下三个来源：客户提供的领域内的新词；通过客户提供的语料发现的新词；运营过程中发现的新词。

现有技术中新词发现准确度有待提升。

发明内容

本发明解决的技术问题是如何提升新词发现的准确度。

为解决上述技术问题，本发明实施例提供一种计算机可读存储介质，其上存储有程序，该程序被执行时实现新词发现方法，所述方法包括：

对接收到的语料进行预处理，以得到文本数据；

对所述文本数据进行分行处理，得到语句数据；

依照词典中包含的单独词对所述语句数据进行分词处理，以得到分词后的词语数据；

对相邻的所述分词后的词语数据进行组合处理，以生成候选数据串；

对所述候选数据串进行判断处理，以发现新词；所述判断处理包括：计算所述候选数据串中各词语与其外侧词语的信息熵，去除各词语与其外侧词语的信息熵在预设范围外的候选数据串。

可选地，所述判断处理还包括：计算候选数据串的所述频次相关的概率特征值，所述候选数据串的所述频次相关的概率特征值在预设范围外时，去除该候选数据串。

可选地，所述频次相关的概率特征值包括：候选数据串出现的频次、频率或根据所述候选数据串出现的频次和频率计算得到的数值。

可选地，所述判断处理还包括：计算候选数据串中各个词语数据间的互信息；去除所述互信息在预设范围外的候选数据串。

可选地，所述判断处理还包括：计算所述候选数据串边界词语数据与内侧词语数据的信息熵，去除所述信息熵在预设范围外的候选数据串。

可选地，对所述候选数据串进行判断处理，以发现新词依次包括：

计算所述候选数据串的频次，去除所述频次在预设范围外的候选数据串；

计算剩余的所述候选数据串的互信息，去除所述互信息在预设范围外的候选数据串；