[发明专利]词库构建方法、装置、电子设备和存储介质

说明书

本申请公开了一种词库构建方法、装置、电子设备和存储介质，属于输入法技术领域。所述词表构建方法，包括：对第一语料对应的第一分词结果中的各分词进行处理，得到N个i元组集合；i∈[1，k]，k和N为大于1的正整数；分别从每个i元组集合中筛选出包括预设字符的元组集合，对应得到目标i元组集合；其中，所述预设字符包括至少两种输入模式下输入的字符；统计目标元组集合中的各元组的频次；其中，所述目标元组集合为N个i元组集合中的集合；基于所述频次确定目标元组，并基于所述目标元组构建词库。

技术领域

本申请属于输入法领域，具体涉及一种词库构建方法、装置、电子设备和存储介质。

背景技术

生活中存在大量中英文数字混合的词。目前用户在使用输入法的过程中，对于混合的词往往通过不断切换键盘类型来进行输入，影响输入效率。

对于输入法应用来说，如何构建出包括混合的词汇的词库是目前研究的重要问题。

现有的混合词词库的构建方式主要有如下两种方式：(1)直接利用第三方开源工具切分一个包含英文和数字的句子，但该方式通常直接分别将英文和数字片段各当作一个词，但是单独的一个英文或数字无明显的语义指向，因此，词方法构建的混合词词库不合理。(2)先人工构建混合词词库，再利用第三方开源工具进行分词，但是该种方式需要投入大量人力，效率低下，且对于人工没有维护到的词，后续使用开源工具进行分词，仍然会存在第一种方案的缺陷。

发明内容

本申请实施例的目的是提供一种词库构建方法、装置、电子设备和存储介质，能够解决现有技术中输入法中的混合词词库的构建不合理，以及需要大量人工，效率低下的问题。

第一方面，本申请实施例提供了一种词库构建方法，该方法包括：

对第一语料对应的第一分词结果中的各分词进行处理，得到N个i元组集合；i∈[1，k]，k和N为大于1的正整数；

分别从每个i元组集合中筛选出包括预设字符的元组集合，对应得到目标i元组集合；其中，所述预设字符包括至少两种输入模式下输入的字符；

统计目标元组集合中的各元组的频次；其中，所述目标元组集合为N个i元组集合中的集合；

基于所述频次确定目标元组，并基于所述目标元组构建词库。

第二方面，本申请实施例提供了一种词库构建装置，该装置包括：

第一处理模块，用于对第一语料对应的第一分词结果中的各分词进行处理，得到N个i元组集合；i∈[1，k]，k和N均为大于1的正整数；

筛选模块，用于分别从每个i元组集合中筛选出包括预设字符的元组集合，分别对应得到目标i元组集合；其中，所述预设字符包括至少两种输入模式下输入的字符；

统计模块，用于统计目标元组集合中的各元组的频次；其中，所述目标元组集合为N个i元组集合中的集合；

构建模块，用于基于所述频次确定目标元组，并基于所述目标元组构建词库。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。