[发明专利]标准词库分词方法、装置、设备及计算机可读存储介质

权利要求书

1.一种标准词库分词方法，其特征在于，所述标准词库分词方法包括以下步骤：

将待分词标准词库中的标准词打散为单个汉字，形成原始汉字库，并计算所述原始汉字库中每两个汉字之间的第一相邻概率和第一贝叶斯概率；

依据所述第一相邻概率和所述第一贝叶斯概率，对所述原始汉字库执行汉字合并操作，得到包含第一合并汉字组的待调整汉字库；

计算所述待调整汉字库中每两个汉字之间的第二相邻概率和第二贝叶斯概率，并判断所述第二相邻概率内的最小相邻概率是否大于预设阈值；

若所述最小相邻概率大于预设阈值，则依据所述第二相邻概率和所述第二贝叶斯概率，对所述待调整汉字库执行汉字合并操作，得到包含第二合并汉字组的目标汉字库，并将所述第二合并汉字组作为标准词输出至预设存储区域，其中，所述目标汉字库中每两个汉字之间的相邻概率内的最小相邻概率小于或等于预设阈值；

若所述最小相邻概率小于或等于预设阈值，则将所述第一合并汉字组作为标准词输出至预设存储区域；

所述将待分词标准词库中的标准词打散为单个汉字，形成原始汉字库的步骤包括：

将待分词标准词库中的标准词打散为单个汉字，并将打散的汉字随机的存储到预设空白数据库中，以形成原始汉字库；

所述依据所述第一相邻概率和所述第一贝叶斯概率，对所述原始汉字库执行汉字合并操作的步骤包括：

从所述原始汉字库中查找所述第一相邻概率最大的两个汉字作为两个待合并汉字，并合并所述两个待合并汉字，得到合并汉字组；

依据所述两个待合并汉字的第一贝叶斯概率，调整所述合并汉字组中的两待合并汉字的位置关系；

所述依据所述两个待合并汉字的第一贝叶斯概率，调整所述合并汉字组中的两待合并汉字的位置关系的步骤包括：

获取所述两个待合并汉字中的第一待合并汉字位于第二待合并汉字之前的第一贝叶斯概率，并判断所述第一贝叶斯概率是否大于预设贝叶斯概率；

若所述第一贝叶斯概率大于或等于预设贝叶斯概率，则将第一待合并汉字与第二待合并汉字的位置关系调整为第一待合并汉字位于第二待合并汉字之前；

若所述第一贝叶斯概率小于预设贝叶斯概率，则将第一待合并汉字与第二待合并汉字的位置关系调整为第一待合并汉字位于第二待合并汉字之后。

2.如权利要求1所述的标准词库分词方法，其特征在于，所述合并汉字组作为单个汉字参与相邻概率和贝叶斯概率的计算。

3.如权利要求2所述的标准词库分词方法，其特征在于，判断所述第二相邻概率内的最小相邻概率是否大于预设阈值的步骤之后，还包括：

若所述最小相邻概率大于预设阈值，则判断所述第二相邻概率最大的两个汉字中是否存在至少一汉字为合并汉字组；

若所述第二相邻概率最大的两个汉字中存在至少一汉字为合并汉字组，则判断所述合并汉字组包含的汉字个数是否达到预设汉字个数；

若所述合并汉字组包含的汉字个数达到预设汉字个数，则将所述合并汉字组作为标准词输出至预设存储区域；

若所述合并汉字组包含的汉字个数未达到预设汉字个数，则执行步骤：依据所述第二相邻概率和所述第二贝叶斯概率，对所述待调整汉字库执行汉字合并操作，得到包含第二合并汉字组的目标汉字库，并将所述第二合并汉字组作为标准词输出至预设存储区域，其中，所述目标汉字库中每两个汉字之间的相邻概率内的最小相邻概率小于或等于预设阈值。

4.如权利要求1-3中任一项所述的标准词库分词方法，其特征在于，所述将待分词标准词库中的标准词打散为单个汉字，形成汉字库的步骤之前，还包括：

当监测到触发的标准词库分词指令时，依据所述标准词库分词指令确定待分词标准词库。

5.如权利要求4所述的标准词库分词方法，其特征在于，依据所述标准词库分词指令确定待分词标准词库的步骤包括：

从所述标准词库分词指令中读取标准词库识别码，并将数据库中与所述标准词库识别码对应的标准词库确定为待分词标准词库。