[发明专利]用于生成输入法词库中的词条组合的方法和装置

说明书

技术领域

本申请涉及计算机技术领域，具体涉及输入法技术领域，尤其涉及用于生成输入法词库中的词条组合的方法和装置。

背景技术

输入法是一种能够实现文字输入的软件。在用户使用输入法输入整句或者根据用户已上屏的上文词条主动提供下文的候选词条时，可以使用到由相邻的上文词条和下文词条组成的二元词条组合。高质量的词条组合，有利于输入法提供整句输入或基于上文词条提供下文的候选词条时提高出词的质量，有助于用户花费更少的时间选择需要上屏的词条。

现有技术中生成二元词条组合的方案，或者生成的词条组合过多，或者词条组合的质量较差，词条组合的质量较差容易造成出词时的效果较差，词条组合过多造成终端所需要安装的词库占用较大的存储空间，因此需要进一度精选出高质量的词条组合作为输入法词库中的词条组合。

发明内容

本申请的目的在于提出一种改进的用于生成输入法词库中的词条组合的方法和装置，来解决以上背景技术部分提到的技术问题。

第一方面，本申请实施例提供了一种用于生成输入法词库中的词条组合的方法，该方法包括：对预设语料进行切词，得到预设语料中的词条集合；将预设语料中的词条集合中每组相邻出现的上文词条与下文词条提取为词条组合，形成词条组合集合；基于词条组合在预设语料中的互信息量和/或词条组合对应的拼音被用户使用输入法应用输入的输入次数，从词条组合集合中筛选出词条组合子集；使用词条组合子集生成输入法词库中的至少一个词条组合。

在一些实施例中，上述方法还包括：基于词条组合、词条组合的上文词条以及词条组合的下文词条在所述预设语料中的出现输入次数以及所述预设语料的总频次，生成所述词条集合中每个词条组合的互信息量。

在一些实施例中，在所述对预设语料进行切词，得到词条集合之后，上述方法还包括：从所述词条集合去除未出现在预设词典中的词条。

在一些实施例中，在所述将所述预设语料中的词条集合中每组相邻出现的上文词条与下文词条提取为词条组合，形成词条组合集合之后，上述方法还包括：从所述词条组合集合中去除未出现在预设词典中的词条组合。

在一些实施例中，上述基于词条组合在所述预设语料中的互信息量从所述词条组合集合中筛选出词条组合子集，包括以下任一项：从所述词条组合中筛选出互信息量大于预设阈值的词条组合；从所述词条组合中筛选出互信息量最大的预设数目个词条组合。

在一些实施例中，上述基于词条组合在所述预设语料中的互信息量和词条组合对应的拼音被用户使用输入法应用输入的输入次数，从所述词条组合集合中筛选出词条组合子集，包括：基于所述词条组合的互信息量从所述词条组合集合中筛选出词条组合第一子集；基于词条组合对应的拼音被用户使用输入法应用输入的输入次数从所述词条组合集合中筛选出词条组合第二子集；合并所述词条组合第一子集以及所述词条组合第二子集并去重，得到所述词条组合子集。

在一些实施例中，上述使用所述词条组合子集生成输入法词库中的至少一个词条组合，包括：将所述词条组合子集中分成至少一个词条组合分组，其中每个词条组合分组是由上文词条相同且下文词条匹配的拼音相同的至少一个词条组合组成；基于词条组合中上文词条在所述预设语料中转移到下文词条的转移概率，对所述至少一个词条组合分组中的各个词条组合分组进行过滤；将过滤后的所述至少一个词条组合分组中的词条组合添加至所述输入法词库中。

在一些实施例中，上述使用所述词条组合子集生成输入法词库中的至少一个词条组合，还包括：基于词条组合在所述预设语料中的出现输入次数与词条组合的上文词条在所述预设语料中的出现输入次数的比值，生成词条组合中上文词条在所述预设语料中转移到下文词条的转移概率。

在一些实施例中，上述基于词条组合中上文词条在所述预设语料中转移到下文词条的转移概率，对所述至少一个词条组合分组中的各个词条组合分组进行过滤，包括以下任一项：保留词条组合分组中转移概率最大的预设数目个词条组合；保留词条组合分组中转移概率大于概率阈值的词条组合。

第二方面，本申请实施例提供了一种用于生成输入法词库中的词条组合的装置，装置包括：切词单元，用于对预设语料进行切词，得到所述预设语料中的词条集合；提取单元，用于将所述预设语料中的词条集合中每组相邻出现的上文词条与下文词条提取为词条组合，形成词条组合集合；筛选单元，用于基于词条组合在所述预设语料中的互信息量和/或词条组合对应的拼音被用户使用输入法应用输入的输入次数，从所述词条组合集合中筛选出词条组合子集；生成单元，用于使用所述词条组合子集生成输入法词库中的至少一个词条组合。