[发明专利]分词方法、装置以及计算机可读存储介质

权利要求书

1.一种分词方法，包括：

根据应用场景构建分词词库，所述分词词库中包括与应用场景对应的自定义词语；

利用所述分词词库对训练语料进行标注；

利用标注后的训练语料对隐马尔可夫模型进行训练，以便利用训练好的隐马尔可夫模型对待分词的语料进行分词。

2.根据权利要求1所述的分词方法，其中，所述利用所述分词词库对训练语料进行标注包括：

通过训练语料与所述分词词库中的词语进行匹配，将所述训练语料进行分词；

根据分词后的训练语料中每个字在词语中的位置，对每个字标注状态，所述状态包括：词头、词中、词尾和单字。

3.根据权利要求2所述的分词方法，其中，所述利用标注后的训练语料对隐马尔可夫模型进行训练包括：

根据标注后的训练语料统计同一个字在不同状态下的概率作为该字的标注概率；

将所述训练语料输入所述隐马尔可夫模型得到同一个字在不同状态下的概率作为该字的训练概率；

根据各个字的标注概率与训练概率误差，调整所述隐马尔可夫模型的参数，直至所述误差达到最小，则得到训练好的隐马尔可夫模型。

4.根据权利要求1所述的分词方法，其中，

所述训练语料和所述待分词的语料是根据停用词表去除停用词后的语料；

其中，所述训练语料和所述待分词的语料被划分为多个弹性分布式数据集，所述停用词表被设置为广播变量，在各个弹性分布式数据集中被并行调用，执行对每个弹性分布式数据集中训练语料或待分词的语料去除停用词的步骤。

5.根据权利要求1所述的分词方法，其中，

所述训练语料被划分为多个弹性分布式数据集，所述分词词库被设置为广播变量；

所述利用所述分词词库对训练语料进行标注包括：

在每个弹性分布式数据集中调用所述广播变量中的分词词库，对每个弹性分布式数据集中的训练语料并行进行标注。

6.根据权利要求1所述的分词方法，其中，还包括：

将待分词的语料划分为多个弹性分布式数据集；

在每个弹性分布式数据集中调用所述训练好的隐马尔可夫模型，对每个弹性分布式数据集中的待分词的语料并行进行分词；

将各个弹性分布式数据集中的待分词的语料的分词结果进行组合，得到所述待分词的语料的分词结果。

7.根据权利要求6所述的分词方法，其中，

调用训练好的隐马尔可夫模型对待分词的语料进行分词包括：

将所述待分词的语料输入训练好的隐马尔可夫模型，得到所述待分词的语料中每个字在每种状态下的概率矩阵，每两个字之间的状态转移概率矩阵，以及初始概率矩阵；

根据所述每个字在每种状态下的概率矩阵，每两个字之间的状态转移概率矩阵，以及初始概率矩阵，利用维特比算法确定每个字对应的状态；

根据每个字对应的状态进行分词，得到分词结果。

8.一种分词装置，包括：

词库构建模块，用于根据应用场景构建分词词库，所述分词词库中包括与应用场景对应的自定义词语；

标注模块，用于利用所述分词词库对训练语料进行标注；

模型训练模块，用于利用标注后的训练语料对隐马尔可夫模型进行训练，以便利用训练好的隐马尔可夫模型对待分词的语料进行分词。

9.根据权利要求8所述的分词装置，其中，

所述标注模块用于通过训练语料与所述分词词库中的词语进行匹配，将所述训练语料进行分词，根据分词后的训练语料中每个字在词语中的位置，对每个字标注状态，所述状态包括：词头、词中、词尾和单字。