[发明专利]用于分词的方法和装置

权利要求书

1.一种用于分词的方法，包括：

获取预设词汇集合和待分词文本，其中，预设词汇集合为基于预设文本集合预先生成的词汇集合，预设词汇集合中的词汇包括第一信息和第二信息，第一信息用于表征词汇在预设文本集合中出现的概率，对于预设词汇集合中的词汇，第二信息用于表征在预设文本集合中，以除该词汇以外的词汇出现作为条件，该词汇出现的条件概率；

基于所述预设词汇集合，对所述待分词文本进行分词，获得至少一个词汇序列；

对于所述至少一个词汇序列中的词汇序列，确定该词汇序列中的词汇的第一信息和第二信息，以及基于所确定的第一信息和第二信息，确定该词汇序列的概率，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻的词汇确定出的第二信息；

从至少一个词汇序列中选取概率最大的词汇序列作为分词结果。

2.根据权利要求1所述的方法，其中，所述基于所确定的第一信息和第二信息，确定该词汇序列的概率，包括：

对该词汇序列中相邻的两个词汇进行连线，生成分词路径，其中，分词路径的节点由该词汇序列中的词汇表征，分词路径的边为用于连接词汇的线；

基于该词汇序列中的词汇的第一信息和第二信息，确定分词路径的边的权重；

基于所确定的权重，确定该词汇序列的概率。

3.根据权利要求1所述的方法，其中，对于词汇序列中的词汇，该词汇的第二信息为基于与该词汇相邻，且位于该词汇之前的词汇确定出的第二信息。

4.根据权利要求3所述的方法，其中，所述确定该词汇序列中的词汇的第二信息，包括：

对于该词汇序列中的词汇，执行以下步骤：确定该词汇序列是否包括与该词汇相邻，且位于该词汇之前的词汇；响应于确定包括，基于与该词汇相邻，且位于该词汇之前的词汇，确定该词汇的第二信息。

5.根据权利要求1所述的方法，其中，所述预设词汇集合通过以下生成步骤获得：

获取所述预设文本集合和针对所述预设文本集合中的预设文本预先标注的样本分词结果；

将所述预设文本集合中的预设文本作为输入，将所输入的预设文本所对应的样本分词结果作为期望输出，利用机器学习方法，训练得到分词模型；

利用所述分词模型对所述预设文本集合中的预设文本进行分词，获得第一分词结果；

基于所获得的第一分词结果，生成初始词汇集合，其中，初始词汇集合中的词汇包括基于所获得的第一分词结果确定出的第一信息；

基于所述初始词汇集合，对所述预设文本集合中的预设文本进行分词，获得第二分词结果；

基于所述初始词汇集合和所获得的第二分词结果，生成所述预设词汇集合，其中，预设词汇集合中的词汇包括第一信息和基于所获得的第二分词结果确定出的第二信息。

6.根据权利要求5所述的方法，其中，所述训练得到分词模型，包括：

对预先确定的至少两个初始模型进行训练，得到至少两个分词模型；以及

所述利用所述分词模型对所述预设文本集合中的预设文本进行分词，获得第一分词结果，包括：

利用所述至少两个分词模型对所述预设文本集合中的预设文本进行分词，获得至少两个第一分词结果。

7.根据权利要求6所述的方法，其中，在所述基于所获得的第一分词结果，生成初始词汇集合之前，所述生成步骤还包括：

从所获得的至少两个第一分词结果中提取相同的词汇；以及

所述基于所获得的第一分词结果，生成初始词汇集合，包括：

基于所提取的词汇和所获得的第一分词结果，生成初始词汇集合。

8.根据权利要求1所述的方法，其中，所述对所述待分词文本进行分词，获得至少一个词汇序列，包括：

对所述待分词文本和预设文本格式进行匹配，以确定所述待分词文本是否包括与所述预设文本格式相匹配的文本；

响应于确定包括，基于所述预设词汇集合和所确定的、相匹配的文本，对所述待分词文本进行分词，获得至少一个词汇序列，其中，词汇序列包括所确定的、相匹配的文本。