[发明专利]词典更新方法及计算机可读存储介质

权利要求书

1.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被执行时实现新词发现方法，所述方法包括：

对接收到的语料进行预处理，以得到文本数据；

对所述文本数据进行分行处理，得到语句数据；

依照词典中包含的单独词对所述语句数据进行分词处理，以得到分词后的词语数据；

对相邻的所述分词后的词语数据进行组合处理，以生成候选数据串；

对所述候选数据串进行判断处理，以发现新词；所述判断处理包括：计算所述候选数据串中各词语与其外侧词语的信息熵，去除各词语与其外侧词语的信息熵在预设范围外的候选数据串；计算所述候选数据串边界词语数据与内侧词语数据的信息熵，去除所述信息熵在预设范围外的候选数据串。

2.根据权利要求1所述的计算机可读存储介质，其特征在于，所述判断处理还包括：计算候选数据串的频次相关的概率特征值，所述候选数据串的频次相关的概率特征值在预设范围外时，去除该候选数据串。

3.根据权利要求2所述的计算机可读存储介质，其特征在于，所述频次相关的概率特征值包括：候选数据串出现的频次、频率或根据所述候选数据串出现的频次和频率计算得到的数值。

4.根据权利要求1所述的计算机可读存储介质，其特征在于，所述判断处理还包括：计算候选数据串中各个词语数据间的互信息；去除所述互信息在预设范围外的候选数据串。

5.根据权利要求1所述的计算机可读存储介质，其特征在于，对所述候选数据串进行判断处理，以发现新词依次包括：

计算所述候选数据串的频次，去除所述频次在预设范围外的候选数据串；

计算剩余的所述候选数据串的互信息，去除所述互信息在预设范围外的候选数据串；

计算剩余的所述候选数据串边界词语数据与内侧词语数据的信息熵，去除所述信息熵在预设范围外的候选数据串；

计算剩余的所述候选数据串边界词语数据与外侧词语数据的信息熵，去除所述信息熵在预设范围外的候选数据串；

剩余的所述候选数据串作为新词。

6.根据权利要求1所述的计算机可读存储介质，其特征在于，所述生成候选数据串，包括：利用Bigram模型将同一行的语句数据中相邻词语作为候选数据串。

7.根据权利要求1所述的计算机可读存储介质，其特征在于，所述对接收到的语料进行预处理，以得到文本数据包括：将语料的格式统一为文本格式；过滤脏词、敏感词和停用词中的一种或多种。

8.根据权利要求1所述的计算机可读存储介质，其特征在于，还包括：设定候选数据串的长度范围，以排除长度在所述长度范围之外的候选数据串。

9.一种词典更新方法，其特征在于，包括：

采用以下方式发现新词：对接收到的语料进行预处理，以得到文本数据；对所述文本数据进行分行处理，得到语句数据；依照词典中包含的单独词对所述语句数据进行分词处理，以得到分词后的词语数据；对相邻的所述分词后的词语数据进行组合处理，以生成候选数据串；对所述候选数据串进行判断处理，以发现新词；所述判断处理包括：计算所述候选数据串中各词语与其外侧词语的信息熵，去除各词语与其外侧词语的信息熵在预设范围外的候选数据串；计算所述候选数据串边界词语数据与内侧词语数据的信息熵，去除所述信息熵在预设范围外的候选数据串；

在发现新词时，将该新词加入词典，以更新后的词典再次进行分词处理、组合处理和发现新词的过程，直至未发现新词为止。