[发明专利]一种用于构建词典的方法、装置及计算机可读存储介质

说明书

本发明实施例提供了一种用于构建词典的方法和装置，该方法包括：获取候选词和该候选词的释义；从该候选词的释义中，选择该候选词的特征词；根据该候选词的特征词，通过预设的分类器，得到该候选词的初始判定结果；根据从至少一个中间词中每个中间词的释义中选择的特征词，通过该分类器，得到该每个中间词的判定结果，其中，该至少一个中间词包括该候选词的N级特征词；根据该候选词的初始判定结果和该至少一个中间词的判定结果，确定该候选词的最终判定结果，该候选词的最终判定结果用于指示能否将该候选词添加至该词典。因此，能够提高词典的准确性。

技术领域

本发明实施例涉及自然语言处理领域，更具体地，涉及一种用于构建词典的方法和装置。

背景技术

词典是自然语言处理过程中的关键资源，目前大部分的词典是基于人工构建的词典，即通过人工在语料中整理识别出来的词典，但是，人工构建的词典的缺点是词典中的词不够完善，尤其是对于现有的不断涌现的网络新词来说，人工构建的词典的缺点更为明显，不能很好地满足实际应用。

为了使得词典的构建更为完善，引入了自动构建词典的方式。目前，已知一种构建词典的方法，通过释义知识库(例如，现代汉语大辞典、百度百科等)，查找现有词典中词的释义，接着从词的释义中提取词袋(Bag of words，BoW)特征，所谓的BoW特征，就是从词的释义中提取多个特征词以及每个特征词出现的频次，进而基于BoW特征构建分类器。当需要判断候选词能否添加至词典时，基于相同的原理，从候选词的释义中提取 BoW特征，根据候选词的BoW特征，通过分类器判定候选词能否添加至词典中。

但是，这种基于BoW特征构建词典的方式，仅仅考虑了词对应的特征词中的每个特征词出现的频次，将每个特征词都作为一个独立体，并不能很好地表示释义中的语义信息，例如，部分词的类型倾向与其习惯用法、常见搭配等信息有关，而这些信息是释义中提取的BoW特征所不能体现的，因而，这部分词会给候选词的类型倾向的判定带来较大干扰，降低词典的准确性。

因而，如何提高词典的准确性，已成为亟需解决的问题。

发明内容

本发明实施例提供一种用于构建词典的方法，能够提高词典的准确性。

第一方面，提供了一种用于构建词典的方法，该方法包括：

获取候选词；

从释义知识库中获取所述候选词的释义；

从所述候选词的释义中，选择所述候选词的特征词，所述候选词的特征词为所述候选词的释义中的实词；

根据所述候选词的特征词，通过预设的分类器，得到所述候选词的初始判定结果，所述分类器用于指示一个词归属于所述词典的概率；

根据从至少一个中间词中每个中间词的释义中选择的特征词，通过所述分类器，得到所述每个中间词的判定结果，其中，所述至少一个中间词包括所述候选词的N级特征词，

所述N级特征词为所述候选词的特征词，所述N＝1，或，

所述N级特征词中的第K级特征词是从所述N级特征词中的第K-1级特征词的释义中选择的特征词，所述N和K都为大于1的整数，且所述K小于或等于所述N；

根据所述候选词的初始判定结果和所述至少一个中间词的判定结果，确定所述候选词的最终判定结果，所述候选词的最终判定结果用于指示能否将所述候选词添加至所述词典。